Rocket® Data Replicate and Sync (RDRS), tidigare tcVISION, är en datareplikeringslösning som utvecklats av Rocket Software. RDRS tillhandahåller en IBM-integreringslösning för stordatordatareplikering, datasynkronisering, datamigrering och ändringsdatainsamling (CDC) för flera Azure-dataplattformstjänster.
Arkitektur
Ladda ned en Visio-fil med den här arkitekturen.
Arbetsflöde
RDRS-datareplikeringslösningen stöder CDC från många stordatorbaserade databaser, inklusive IBM Db2, IBM Information Management System (IMS), Adabas for Software AG, CA Datacom och Computer Associates Integrated Data Management System (CA IDMS). RDRS tillhandahåller loggbaserade CDC-agenter för att samla in ändringsdata på postnivå. Den här loggbaserade CDC lägger försumbara omkostnader på produktionskälldatabaser.
RDRS stöder CDC från VSAM-filer (Virtual Storage Access Method).
En aktivitet startar på stordatorn. Startade uppgifter, eller STC:er, skapas på stordatorn som en del av installation av RDRS-programvara. Två viktiga STC:er är:
- Avbilda agenten, som samlar in ändrade data från källan.
- Använd agenten, som använder databashanteringssystem (DBMS)-specifika API:er för att effektivt skriva ändrade data till målet.
Kommentar
För Db2 z/OS erbjuder RDRS också en agentlös CDC-lösning med hjälp av en användardefinierad db2-typ (UDT) som inte behöver STC:er.
Den öppna plattformshanteraren (OPM) fungerar som en replikeringsserver. Den här servern innehåller verktyg för automatisk datamappning för att generera metadata för källor och mål. Den innehåller också regeluppsättningen för att extrahera data från källan. Servern transformerar och bearbetar data för målsystemen och skriver data till målen. Du kan installera den här komponenten på Linux-, Unix- och Windows-operativsystem.
RDRS-instrumentpanelen tillhandahåller administration, granskning, åtgärd, kontroll och övervakning av datautbytesprocesserna. RDRS-kommandoradsverktygen automatiserar datautbytesprocesser och hanterar obevakade åtgärder i datasynkroniseringsprocessen.
RDRS-tillämpningsagenten använder DBMS-specifika API:er. Dessa API:er implementerar effektivt dataändringar i realtid i kombination med CDC-teknik vid källan till Azure-måldatatjänsterna, vilket innebär databasen och filerna.
RDRS stöder direktuppspelning av ändrade data till Azure Event Hubs eller Kafka. Sedan bearbetar Azure Logic Apps, en funktion eller en anpassad lösning på den virtuella datorn (VM) dessa händelser.
Azure-dataplattformsmålen som stöds av RDRS är Azure SQL Database, Azure Database for PostgreSQL, Azure Database for MySQL, Azure Cosmos DB, Azure Data Lake Storage med flera.
Data som hamnar i Azure-dataplattformen används av Azure-tjänster eller andra plattformar som har behörighet att se dem. Exempel är Power BI, Azure Synapse Analytics eller anpassade program.
RDRS kan ångra synkronisering av avbildningsändringar från en Azure-databasplattform (till exempel SQL Database, Azure Database for MySQL, Azure Database for PostgreSQL eller Data Lake Storage) och skriva tillbaka dem till stordatorns datanivå.
Säkerhetskopiering och avlastning av stordatordatabasen kopieras till en virtuell Azure-dator med hjälp av RDRS för massinläsningsbearbetning.
RDRS-massinläsningen utför en inledande måldatabasbelastning med hjälp av stordatorns källdata. Källdata kan läsas direkt från stordatorns datalager eller från en stordators säkerhetskopiering eller avlastningsfil. Massinläsningen ger en automatisk översättning av stordatordatatyper, till exempel EBCDIC-paketerade fält (extended binary coded decimal interchange code). Använd säkerhetskopieringen eller ta bort data för bästa prestanda i stället för en direkt läsning av stordatordatabasen. Du bör inte läsa databasen direkt eftersom om du flyttar avlastnings- eller säkerhetskopieringsdata till den nödvändiga virtuella RDRS Azure-datorn och använder inbyggda databasinläsare minimeras nätverksindata/utdata (I/O) och belastningstiden minskar.
Komponenter
Lösningen använder följande komponenter.
Nätverks- och identitetskomponenter
- Azure ExpressRoute: Med ExpressRoute kan du utöka dina lokala nätverk till Microsoft Cloud via en privat anslutning som hanteras av en anslutningsleverantör. Du kan använda ExpressRoute för att upprätta anslutningar till molntjänster som Microsoft Azure och Microsoft 365.
- Azure VPN Gateway: En VPN-gateway är en specifik typ av virtuell nätverksgateway som skickar krypterad trafik mellan ett virtuellt Azure-nätverk och en lokal plats via det offentliga Internet.
- Microsoft Entra-ID: Microsoft Entra ID är en identitets- och åtkomsthanteringstjänst som du kan synkronisera med en lokal katalog.
Programkomponenter
- Logic Apps: Logic Apps hjälper dig att skapa och köra automatiserade återkommande uppgifter och processer enligt ett schema. Du kan anropa tjänster i och utanför Azure, till exempel HTTP- eller HTTPS-slutpunkter, publicera meddelanden till Azure-tjänster som Azure Storage och Azure Service Bus eller ladda upp filer till en filresurs.
- Azure Functions: Med Azure Functions kan du köra små delar av koden, som kallas funktioner, utan att behöva bekymra dig om programinfrastrukturen. När du använder Functions tillhandahåller molninfrastrukturen de uppdaterade servrar som du behöver för att hålla programmet igång i stor skala.
- Virtuella Azure-datorer: Virtuella Azure-datorer är skalbara beräkningsresurser på begäran. En virtuell Azure-dator ger flexibiliteten i virtualisering och eliminerar underhållskraven för fysisk maskinvara. Virtuella Azure-datorer fungerar på både Windows- och Linux-system.
Lagringskomponenter
- Lagring: Lagring erbjuder ohanterade lagringslösningar som Azure Blob Storage, Azure Table Storage, Azure Queue Storage och Azure Files. Azure Files är särskilt användbart för omkonstruerade stordatorlösningar och ger ett effektivt tillägg med hanterad SQL-lagring.
- Azure SQL: Azure SQL är en fullständigt hanterad plattform som en tjänst (PaaS) för SQL Server från Azure. Relationsdata kan migreras och användas effektivt med andra Azure-komponenter, till exempel Azure SQL Managed Instance, virtuella Azure SQL-datorer, Azure Database for PostgreSQL, Azure Database for MariaDB och Azure Database for MySQL.
- Azure Cosmos DB: Azure Cosmos DB är ett no-SQL-erbjudande som du kan använda för att migrera icke-tabelldata från stordatorn.
Övervaka komponenter
- Azure Monitor: Azure Monitor tillhandahåller en omfattande lösning för att samla in, analysera och agera på telemetri från molnmiljöer och lokala miljöer.
- Application Insights: Application Insights analyserar och presenterar programtelemetri.
- Azure Monitor-loggar: Azure Monitor-loggar är en funktion i Monitor som samlar in och organiserar logg- och prestandadata från övervakade resurser. Du kan konsolidera data från flera källor, till exempel plattformsloggar från Azure-tjänster, logg- och prestandadata från VM-agenter och användnings- och prestandadata från program, till en enda arbetsyta som ska analyseras tillsammans med hjälp av ett avancerat frågespråk som snabbt kan analysera miljontals poster.
- Log Analytics: Log Analytics är ett verktyg i Azure-portalen. Du kan använda loggfrågor för att få insikter från de data som samlas in i Azure Monitor-loggar. Log Analytics använder ett kraftfullt frågespråk så att du kan koppla data från flera tabeller, aggregera stora datamängder och utföra komplexa åtgärder med minimal kod.
Att tänka på
Dessa överväganden implementerar grundpelarna i Azure Well-Architected Framework, som är en uppsättning vägledande grundsatser som kan användas för att förbättra kvaliteten på en arbetsbelastning. Mer information finns i Microsoft Azure Well-Architected Framework.
Kostnadsoptimering
Kostnadsoptimering handlar om att titta på sätt att minska onödiga utgifter och förbättra drifteffektiviteten. Mer information finns i Översikt över kostnadsoptimeringspelare. Använd Priskalkylatorn för Azure för att beräkna kostnaden för att implementera den här lösningen.
Tillförlitlighet
Tillförlitlighet säkerställer att ditt program kan uppfylla de åtaganden du gör gentemot dina kunder. Mer information finns i Checklista för designgranskning för tillförlitlighet.
- Konfigurera RDRS OPM på virtuella Azure-datorer som distribueras i separata tillgänglighetszoner för att ge hög tillgänglighet. Vid fel aktiveras en sekundär RDRS OPM och den sekundära RDRS OPM kommunicerar sin IP-adress till RDRS Mainframe Manager. Stordatorn kommunicerar sedan med den nya RDRS OPM som fortsätter att bearbetas vid nästa logiska omstartsplats med hjälp av en kombination av logiska arbetsenheter (LUW) och omstartsfiler.
- Utforma Azure-databastjänster för att stödja zonredundans så att de kan redundansväxla till en sekundär nod om det uppstår ett avbrott eller ett planerat underhållsperiod.
- Använd Azure Monitor-loggar och Application Insights för att övervaka hälsotillståndet för en Azure-resurs. Du kan ange aviseringar för proaktiv hantering.
Skalbarhet
- Konfigurera RDRS-skalning för CDC-bearbetning genom att köra flera parallella replikeringsströmmar. Analysera först filerna som ingår i logiska transaktioner. Dessa filer måste bearbetas tillsammans i följd. RDRS CDC-processen säkerställer integriteten för varje logisk transaktion. Till exempel kan uppsättningar med tabeller som inte deltar i vanliga transaktioner delas in i parallella uppgifter genom att skapa flera bearbetningsskript.
- RDRS kan köra parallell samtidig massbelastningsbearbetning samtidigt på en enskild virtuell Azure-dator eller på flera virtuella Azure-datorer, vilket ger horisontell skalbarhet. Utför snabba massinläsningsåtgärder för stora tabeller genom att dela upp processen i flera uppgifter, antingen med hjälp av godtyckliga intervall eller radfiltrering. Radfiltrering kan använda en nyckel, partitionsnyckel, datum och andra filter.
- Sql Database serverlös beräkningsnivå tillhandahåller ett alternativ för automatisk skalning baserat på arbetsbelastningen. Andra Azure-databaser kan skalas upp och skalas ned med hjälp av automatisering för att uppfylla arbetsbelastningskraven.
- Mer information finns i Metodtips för automatisk skalning i Azure.
Säkerhet
Säkerhet ger garantier mot avsiktliga attacker och missbruk av dina värdefulla data och system. Mer information finns i Checklista för designgranskning för säkerhet.
- Kontrollera autentisering och åtkomst för RDRS med hjälp av Microsoft Entra-ID.
- Kryptera dataöverföringar mellan RDRS-produkter (stordator till Azure) med hjälp av TLS (Transport Layer Security).
- Använd ExpressRoute eller ett plats-till-plats-VPN för en privat och effektiv anslutning till Azure från en lokal miljö.
- Autentisera Azure-resurser med hjälp av Microsoft Entra-ID och hantera behörigheter med rollbaserad åtkomstkontroll (RBAC).
- Använd databastjänsterna i Azure för att stödja olika säkerhetsalternativ som TDE (datakryptering i vila), datakryptering under överföring (TLS) och datakryptering under bearbetning, så att dina data alltid krypteras.
- Riktlinjer för hur du utformar säkra lösningar finns i Dokumentation om Azure-säkerhet.
- Information om din säkerhetsbaslinje finns i Säkerhetsbaslinjer för Azure.
Information om scenario
Stordatorer är servrar som bearbetar ett stort antal transaktioner. Stordatorprogram producerar och förbrukar stora mängder data varje dag. Offentliga moln ger elasticitet, kostnadsoptimering, användarvänlighet och enkel integrering. Många x86- och stordatorprogram flyttas till molnet, så organisationer måste ha en väl utformad strategi för dataintegrering och migrering från stordator till moln.
Det här scenariot integrerar en IBM Z-datanivå (stordator) med Azure-molndataplattformen med hjälp av RDRS som tillhandahålls av Rocket Software.
Potentiella användningsfall
Den här lösningen är perfekt för storskaliga datamigreringar till Azure-dataplattformen. Tänk på det här scenariot för följande användningsfall:
- Fullständig migrering av en stordators datanivå: I det här användningsfallet vill en kund flytta alla sina Db2-, IMS-, IDMS-, filer och andra data från en stordator till Azure-dataplattformen.
- Samexistens för stordator- och Azure-baserade program: I det här användningsfallet kräver en kund stöd för en dubbelriktad synkronisering mellan en stordator och Azure-dataplattformen.
- Arkivering: I det här användningsfallet vill en kund lagra data i gransknings- och efterlevnadssyfte, men vill inte komma åt dessa data ofta. Lagring tillhandahåller en lågkostnadslösning för att lagra arkivdata.
Deltagare
Den här artikeln underhålls av Microsoft. Det har ursprungligen skrivits av följande medarbetare.
Huvudsakliga författare:
- Sandip Khandelwal | Teknisk arkitekt
Övriga medarbetare:
- Liz Casey | Senior innehållsutvecklare
Om du vill se icke-offentliga LinkedIn-profiler loggar du in på LinkedIn.
Nästa steg
- Utbildning: Skapa en dataplattform i Azure
- Kontakta Azure Data Engineering Team.
- Migreringsguider för Azure-databaser
- Utbildning: Utforma en SQL Server-migreringsstrategi
- Migreringsguide: SQL Server till Azure SQL Database