Rocket® Data Replication and Sync (RDRS), voorheen tcVISION, is een oplossing voor gegevensreplicatie die is ontwikkeld door Rocket Software. RDRS biedt een IBM mainframe-integratieoplossing voor mainframe-gegevensreplicatie, gegevenssynchronisatie, gegevensmigratie en change data capture (CDC) voor verschillende Azure-gegevensplatformservices.
Architectuur
Een Visio-bestand van deze architectuur downloaden.
Workflow
De RDRS-gegevensreplicatieoplossing ondersteunt CDC van veel mainframe-databases, waaronder IBM Db2, IBM Information Management System (IMS) DB, Adabas for Software AG, CA Datacom en Computer Associates Integrated Gegevensbeheer System (CA IDMS). RDRS biedt op logboek gebaseerde CDC-agents voor het vastleggen van de wijzigingsgegevens op recordniveau. Met dit cdc op basis van logboeken wordt een te verwaarlozen overhead voor productiebrondatabases geplaatst.
RDRS ondersteunt CDC vanuit VSAM-bestanden (Virtual Storage Access Method).
Een taak begint op het mainframe. Gestarte taken of STC's worden gemaakt op het mainframe als onderdeel van de installatie van RDRS-software. Twee essentiële STC's zijn:
- Capture-agent, die gewijzigde gegevens van de bron vastlegt.
- Pas agent toe, die gebruikmaakt van databasebeheersysteem (DBMS)-specifieke API's om op efficiënte wijze gewijzigde gegevens naar het doel te schrijven.
Notitie
Voor Db2 z/OS biedt RDRS ook een cdc-oplossing zonder agent via een door de gebruiker gedefinieerd type (UDT) van Db2 waarvoor geen STC's nodig zijn.
Het open platformbeheer (OPM) fungeert als een replicatieserver. Deze server bevat hulpprogramma's voor automatische gegevenstoewijzing voor het genereren van metagegevens voor bronnen en doelen. Het bevat ook de regelset voor het extraheren van gegevens uit de bron. De server transformeert en verwerkt de gegevens voor de doelsystemen en schrijft de gegevens naar de doelen. U kunt dit onderdeel installeren op Linux-, Unix- en Windows-besturingssystemen.
Het RDRS-dashboard biedt beheer, controle, bewerking, beheer en bewaking van de processen voor gegevensuitwisseling. De RDRS-opdrachtregelprogramma's automatiseren processen voor gegevensuitwisseling en beheren onbeheerde bewerkingen van het proces voor gegevenssynchronisatie.
De RDRS-agent maakt gebruik van DBMS-specifieke API's. Deze API's implementeren efficiënt realtime gegevenswijzigingen in combinatie met CDC-technologie bij de bron in de doelgegevensservices van Azure, wat betekent dat de database en bestanden.
RDRS biedt ondersteuning voor directe streaming van de gewijzigde gegevens naar Azure Event Hubs of Kafka. Vervolgens verwerkt Azure Logic Apps, een functie of een aangepaste oplossing in de virtuele machine (VM) deze gebeurtenissen.
De Azure-gegevensplatformdoelen die worden ondersteund door RDRS zijn Onder andere Azure SQL Database, Azure Database for PostgreSQL, Azure Database for MySQL, Azure Cosmos DB, Azure Data Lake Storage en andere.
Gegevens die in het Azure-gegevensplatform terechtkomen, worden gebruikt door Azure-services of andere platforms die het mogen zien. Voorbeelden hiervan zijn Power BI, Azure Synapse Analytics of aangepaste toepassingen.
RDRS kan het vastleggen van wijzigingen in een Azure-databaseplatform (zoals SQL Database, Azure Database for MySQL, Azure Database for PostgreSQL of Data Lake Storage) omkeren en terugschrijven naar de mainframe-gegevenslaag.
De back-up van de mainframe-database en het verwijderen van bestanden worden gekopieerd naar een Azure-VM met behulp van RDRS voor bulksgewijs laden.
De RDRS-bulkbelasting voert een initiële doeldatabasebelasting uit met behulp van mainframe-brongegevens. Brongegevens kunnen rechtstreeks vanuit het mainframe-gegevensarchief of vanuit een mainframe-back-up worden gelezen of het bestand worden verwijderd. De bulksgewijs laden biedt een automatische vertaling van mainframe-gegevenstypen, zoals uitgebreide, met binaire code gecodeerde decimale interchange code (EBCDIC)-verpakte velden. Gebruik de back-up of verwijder gegevens voor de beste prestaties in plaats van een directe leesbewerking van de mainframe-database. U moet de database niet rechtstreeks lezen omdat het verplaatsen van gegevens uit het laden of maken van back-ups naar de vereiste RDRS Azure-VM en het gebruik van systeemeigen databaselaadders de netwerkinvoer/uitvoer (I/O) minimaliseert en de laadtijd vermindert.
Onderdelen
De oplossing maakt gebruik van de volgende onderdelen.
Netwerk- en identiteitsonderdelen
- Azure ExpressRoute: Met ExpressRoute kunt u uw on-premises netwerken uitbreiden naar de Microsoft Cloud via een privéverbinding die wordt verwerkt door een connectiviteitsprovider. U kunt ExpressRoute gebruiken om verbindingen tot stand te brengen met cloudservices, zoals Microsoft Azure en Microsoft 365.
- Azure VPN Gateway: een VPN-gateway is een specifiek type virtuele netwerkgateway waarmee versleuteld verkeer tussen een virtueel Azure-netwerk en een on-premises locatie via het openbare internet wordt verzonden.
- Microsoft Entra-id: Microsoft Entra ID is een service voor identiteits- en toegangsbeheer die u kunt synchroniseren met een on-premises adreslijst.
Toepassingsonderdelen
- Logic Apps: Logic Apps helpt bij het maken en uitvoeren van geautomatiseerde terugkerende taken en processen volgens een schema. U kunt services binnen en buiten Azure aanroepen, zoals HTTP- of HTTPS-eindpunten, berichten posten naar Azure-services, zoals Azure Storage en Azure Service Bus, of bestanden uploaden naar een bestandsshare.
- Azure Functions: Met Azure Functions kunt u kleine stukjes code uitvoeren, ook wel functies genoemd, zonder dat u zich zorgen hoeft te maken over de toepassingsinfrastructuur. Wanneer u Functions gebruikt, biedt de cloudinfrastructuur de up-to-date servers die u nodig hebt om uw toepassing op schaal te houden.
- Virtuele Azure-machines: Azure-VM's zijn on-demand, schaalbare computingresources. Een Virtuele Azure-machine biedt de flexibiliteit van virtualisatie en elimineert de onderhoudsvereisten van fysieke hardware. Virtuele Azure-machines werken op zowel Windows- als Linux-systemen.
Opslagonderdelen
- Opslag: Storage biedt onbeheerde opslagoplossingen zoals Azure Blob Storage, Azure Table Storage, Azure Queue Storage en Azure Files. Azure Files is vooral handig voor opnieuw ontworpen mainframeoplossingen en biedt een effectieve invoegtoepassing met beheerde SQL-opslag.
- Azure SQL: Azure SQL is een volledig beheerd platform als een service (PaaS) voor SQL Server vanuit Azure. Relationele gegevens kunnen efficiënt worden gemigreerd en gebruikt met andere Azure-onderdelen, zoals Azure SQL Managed Instance, Azure SQL-VM's, Azure Database for PostgreSQL, Azure Database for MariaDB en Azure Database for MySQL.
- Azure Cosmos DB: Azure Cosmos DB is een no-SQL-aanbieding die u kunt gebruiken om niet-tabellaire gegevens uit het mainframe te migreren.
Bewakingsonderdelen
- Azure Monitor: Azure Monitor biedt een uitgebreide oplossing voor het verzamelen, analyseren en uitvoeren van telemetrie vanuit cloud- en on-premises omgevingen.
- Application Insights: Application Insights analyseert en presenteert toepassingstelemetrie.
- Azure Monitor-logboeken: Azure Monitor-logboeken is een functie van Monitor waarmee logboek- en prestatiegegevens van bewaakte resources worden verzameld en ingedeeld. U kunt gegevens uit meerdere bronnen samenvoegen, zoals platformlogboeken van Azure-services, logboek- en prestatiegegevens van VM-agents en gebruiks- en prestatiegegevens van toepassingen, in één werkruimte die samen moet worden geanalyseerd met behulp van een geavanceerde querytaal waarmee miljoenen records snel kunnen worden geanalyseerd.
- Log Analytics: Log Analytics is een hulpprogramma in Azure Portal. U kunt logboekquery's gebruiken om inzicht te krijgen in de gegevens die zijn verzameld in Azure Monitor-logboeken. Log Analytics maakt gebruik van een krachtige querytaal, zodat u gegevens uit meerdere tabellen kunt samenvoegen, grote gegevenssets kunt aggregeren en complexe bewerkingen met minimale code kunt uitvoeren.
Overwegingen
Met deze overwegingen worden de pijlers van het Azure Well-Architected Framework geïmplementeerd. Dit is een set richtlijnen die kunnen worden gebruikt om de kwaliteit van een workload te verbeteren. Zie Microsoft Azure Well-Architected Framework voor meer informatie.
Kostenoptimalisatie
Kostenoptimalisatie gaat over manieren om onnodige uitgaven te verminderen en operationele efficiëntie te verbeteren. Zie Overzicht van de pijler kostenoptimalisatie voor meer informatie. Gebruik de Azure-prijscalculator om de kosten voor het implementeren van deze oplossing te schatten.
Betrouwbaarheid
Betrouwbaarheid zorgt ervoor dat uw toepassing kan voldoen aan de toezeggingen die u aan uw klanten hebt gedaan. Zie de controlelijst ontwerpbeoordeling voor betrouwbaarheid voor meer informatie.
- RDRS OPM instellen op Azure-VM's die zijn geïmplementeerd in afzonderlijke beschikbaarheidszones om hoge beschikbaarheid te bieden. In geval van storingen wordt een secundaire RDRS OPM geactiveerd en communiceert de secundaire RDRS OPM het IP-adres naar RDRS Mainframe Manager. Het mainframe communiceert vervolgens met de nieuwe RDRS OPM die blijft verwerken op het volgende logische herstartpunt met behulp van een combinatie van logische werkeenheid (LUW) en bestanden opnieuw opstarten.
- Ontwerp Azure-databaseservices ter ondersteuning van zoneredundantie, zodat ze een failover naar een secundair knooppunt kunnen uitvoeren als er een storing of een gepland onderhoudsvenster is.
- Gebruik Azure Monitor-logboeken en Application Insights om de status van een Azure-resource te bewaken. U kunt waarschuwingen instellen voor proactief beheer.
Schaalbaarheid
- Stel RDRS-schaalaanpassing in voor CDC-verwerking door meerdere parallelle replicatiestromen uit te voeren. Analyseer eerst de bestanden die zijn opgenomen in logische transacties. Deze bestanden moeten op volgorde worden verwerkt. Het RDRS CDC-proces zorgt voor de integriteit van elke logische transactie. Sets tabellen die niet deelnemen aan algemene transacties, kunnen bijvoorbeeld worden onderverdeeld in parallelle taken door meerdere verwerkingsscripts te maken.
- RDRS kan gelijktijdig gelijktijdige verwerking van bulksgewijs laden uitvoeren op één Virtuele Azure-machine of op meerdere Azure-VM's, wat horizontale schaalbaarheid biedt. Voer snelle bulksgewijs laden voor grote tabellen uit door het proces te splitsen in meerdere taken, hetzij met behulp van willekeurige intervallen of het filteren van rijen. Rijfiltering kan gebruikmaken van een sleutel, partitiesleutel, datum en andere filters.
- De serverloze rekenlaag van SQL Database biedt een optie voor automatisch schalen op basis van de workload. Andere Azure-databases kunnen omhoog en omlaag worden geschaald door automatisering te gebruiken om te voldoen aan de workloadvereisten.
- Zie aanbevolen procedures voor automatisch schalen in Azure voor meer informatie.
Beveiliging
Beveiliging biedt garanties tegen opzettelijke aanvallen en misbruik van uw waardevolle gegevens en systemen. Zie de controlelijst ontwerpbeoordeling voor beveiliging voor meer informatie.
- Verificatie en toegang voor RDRS beheren met behulp van Microsoft Entra-id.
- Versleutel gegevensoverdracht tussen RDRS-producten (mainframe naar Azure) met behulp van Transport Layer Security (TLS).
- Gebruik ExpressRoute of een site-naar-site-VPN voor een privé- en efficiënte verbinding met Azure vanuit een on-premises omgeving.
- Azure-resources verifiëren met behulp van Microsoft Entra ID en machtigingen beheren met op rollen gebaseerd toegangsbeheer (RBAC).
- Gebruik de databaseservices in Azure ter ondersteuning van verschillende beveiligingsopties, zoals data encryption at rest (TDE), gegevensversleuteling in transit (TLS) en gegevensversleuteling tijdens de verwerking, zodat uw gegevens altijd worden versleuteld.
- Zie de documentatie voor Azure-beveiliging voor richtlijnen over het ontwerpen van beveiligde oplossingen.
- Zie Beveiligingsbasislijnen voor Azure voor meer informatie over uw beveiligingsbasislijn.
Scenariodetails
Mainframes zijn servers die een groot aantal transacties verwerken. Mainframe-toepassingen produceren en verbruiken elke dag grote hoeveelheden gegevens. Openbare clouds bieden elasticiteit, kostenoptimalisatie, gebruiksgemak en eenvoudige integratie. Veel x86- en mainframe-toepassingen worden verplaatst naar de cloud, dus organisaties moeten beschikken over een goed ontworpen mainframe-to-cloud-gegevensintegratie en -migratiestrategie.
In dit scenario wordt een IBM Z-gegevenslaag (mainframe) geïntegreerd met het Azure-cloudgegevensplatform met behulp van RDRS die wordt geleverd door Rocket Software.
Potentiële gebruikscases
Deze oplossing is ideaal voor grootschalige gegevensmigraties naar het Azure-gegevensplatform. Houd rekening met dit scenario voor de volgende gebruiksvoorbeelden:
- Volledige migratie van een mainframe-gegevenslaag: In dit gebruiksscenario wil een klant al hun Db2-, IMS-, IDMS-, bestanden en andere gegevens van een mainframe verplaatsen naar het Azure-gegevensplatform.
- Co-existentie van mainframe- en Azure-toepassingen: In dit gebruiksscenario vereist een klant ondersteuning voor een bidirectionele synchronisatie tussen een mainframe en het Azure-gegevensplatform.
- Archivering: In dit gebruiksscenario wil een klant gegevens opslaan voor controle- en nalevingsdoeleinden, maar wil deze gegevens niet regelmatig openen. Opslag biedt een voordelige oplossing voor het opslaan van archiefgegevens.
Medewerkers
Dit artikel wordt onderhouden door Microsoft. De tekst is oorspronkelijk geschreven door de volgende Inzenders.
Belangrijkste auteurs:
- Sandip Khandelwal | Senior Engineering Architect
Andere Inzenders:
- Liz Casey | Senior Content Developer
Als u niet-openbare LinkedIn-profielen wilt zien, meldt u zich aan bij LinkedIn.
Volgende stappen
- Training: Een gegevensplatform ontwerpen in Azure
- Neem contact op met het Azure Data-engineer ing-team.
- Azure-databasemigratiehandleidingen
- Training: Een MIGRATIEstrategie voor SQL Server ontwerpen
- Migratiehandleiding: SQL Server naar Azure SQL Database