Apache®, Spark en het vlamlogo zijn geregistreerde handelsmerken of handelsmerken van de Apache Software Foundation in de Verenigde Staten en/of andere landen. Er wordt geen goedkeuring door De Apache Software Foundation geïmpliceerd door het gebruik van deze markeringen.
In dit artikel wordt een end-to-end moderniseringsplan voor mainframe- en midrangegegevensbronnen beschreven.
Architectuur
Een Visio-bestand van deze architectuur downloaden.
Gegevensstroom
In de volgende gegevensstroom wordt een proces beschreven voor het moderniseren van een mainframe-gegevenslaag. Het komt overeen met het voorgaande diagram.
Mainframe- en midrangesystemen slaan gegevens op in gegevensbronnen, zoals bestandssystemen (VSAM, plat bestand, LTFS), relationele databases (Db2 voor z/OS, Db2 voor IBM i, Db2 voor Linux UNIX en Windows) of niet-relationele databases (IMS, ADABAS, IDMS).
Het objectconversieproces extraheert objectdefinities uit bronobjecten. De definities worden vervolgens geconverteerd naar bijbehorende objecten in het doelgegevensarchief.
- SQL Server Migration Assistant (SSMA) voor Db2 migreert schema's en gegevens van IBM Db2-databases naar Azure-databases.
- Beheerde gegevensprovider voor hostbestanden converteert objecten door:
- Cobol- en RPG-recordindelingen of copybooks parseren.
- De copybooks toewijzen aan C#-objecten die door .NET-toepassingen worden gebruikt.
- Hulpprogramma's van derden voeren geautomatiseerde objectconversie uit op niet-relationele databases, bestandssystemen en andere gegevensarchieven.
Gegevens worden opgenomen en getransformeerd. Mainframe- en midrangesystemen slaan hun bestandssysteemgegevens op in EBCDIC-gecodeerde indeling in bestandsindelingen zoals:
- Geïndexeerde VSAM-bestanden
- Niet-geïndexeerde GDG-bestanden
- Platte bestanden
Cobol, PL/I en copybooks voor assemblytaal definiëren de gegevensstructuur van deze bestanden.
a. FTP draagt mainframe- en midrange-bestandssysteemgegevenssets over met enkele indelingen en uitgepakte velden in binaire indeling en bijbehorende copybook naar Azure.
b. Gegevens worden geconverteerd. De aangepaste Azure Data Factory-connector is een oplossing die is ontwikkeld met behulp van het hostbestandsclientonderdeel van Host Integration Server om mainframe-gegevenssets te converteren.
Host Integration Server integreert bestaande IBM-hostsystemen, programma's, berichten en gegevens met Azure-toepassingen. Host Integration Server is een hostbestandsclientonderdeel dat u kunt gebruiken om een aangepaste oplossing te ontwikkelen voor gegevenssetconversie.
De aangepaste Azure Data Factory-connector is gebaseerd op het opensource Spark-framework en wordt uitgevoerd in Azure Synapse Analytics. Net als bij andere oplossingen kan het copybook worden geparseerd en gegevens worden geconverteerd. Beheer de service voor gegevensconversie met behulp van de connector hostbestandsinhoud van Azure Logic Apps parseren.
c. Relationele databasegegevens worden gemigreerd.
IBM mainframe- en midrangesystemen slaan gegevens op in relationele databases, zoals deze:
Met deze services worden de databasegegevens gemigreerd:
- Data Factory maakt gebruik van een Db2-connector om gegevens uit de databases te extraheren en te integreren.
- SQL Server Integration Services verwerkt verschillende ETL-taken voor gegevens.
d. Niet-relationele databasegegevens worden gemigreerd.
IBM mainframe- en midrangesystemen slaan gegevens op in niet-relationele databases, zoals deze:
- IDMS, een netwerkmodeldatabasebeheersysteem (DBMS)
- IMS, een hiërarchisch model DBMS
- Adabas
- Datacom
Producten van derden integreren gegevens uit deze databases.
Azure-services zoals Data Factory en AzCopy laden gegevens in Azure-databases en Azure-gegevensopslag. U kunt ook oplossingen van derden en aangepaste laadoplossingen gebruiken om gegevens te laden.
Azure biedt veel oplossingen voor beheerde gegevensopslag:
Azure-services maken gebruik van de gemoderniseerde gegevenslaag voor computing, analyse, opslag en netwerken.
Clienttoepassingen maken ook gebruik van de gemoderniseerde gegevenslaag.
Onderdelen
Gegevensopslag
- SQL Database maakt deel uit van de Azure SQL-serie. Het is gebouwd voor de cloud en biedt alle voordelen van een volledig beheerd en groenblijvend platform als een service. SQL Database biedt ook geautomatiseerde ai-functies die de prestaties en duurzaamheid optimaliseren. Serverloze reken- en Hyperscale-opslagopties schalen automatisch resources op aanvraag.
- Azure Database for PostgreSQL is een volledig beheerde relationele databaseservice die is gebaseerd op de community-editie van de opensource PostgreSQL-database-engine .
- Azure Cosmos DB is een wereldwijd gedistribueerde NoSQL-database met meerdere modellen.
- Azure Database for MySQL is een volledig beheerde relationele databaseservice die is gebaseerd op de communityversie van de opensource MySQL-database-engine .
- Azure Database for MariaDB is een relationele databaseservice in de cloud. Deze is gebaseerd op de database-engine van de MariaDB Community Edition.
- SQL Managed Instance is een intelligente, schaalbare clouddatabaseservice die alle voordelen biedt van een volledig beheerd en groenblijvend platform als een service. SQL Managed Instance heeft bijna 100% compatibiliteit met de nieuwste SQL Server Enterprise Edition-database-engine. Het biedt ook een systeemeigen implementatie van een virtueel netwerk waarmee veelvoorkomende beveiligingsproblemen worden opgelost.
- Azure Data Lake Storage is een opslagopslagplaats met grote hoeveelheden gegevens in de oorspronkelijke, onbewerkte indeling. Data Lake Stores zijn geoptimaliseerd voor schalen naar terabytes en petabytes aan gegevens. De gegevens zijn doorgaans afkomstig van meerdere heterogene bronnen. Het kan gestructureerd, semi-gestructureerd of ongestructureerd zijn.
Compute
- Data Factory integreert gegevens in verschillende netwerkomgevingen met behulp van een integratieruntime (IR), een rekeninfrastructuur. Data Factory kopieert gegevens tussen cloudgegevensarchieven en gegevensarchieven in on-premises netwerken met behulp van zelf-hostende IR's.
- Azure Virtual Machines biedt on-demand, schaalbare computingresources. Een virtuele Azure-machine (VM) biedt de flexibiliteit van virtualisatie, maar elimineert de onderhoudsvereisten van fysieke hardware. Azure-VM's bieden een keuze uit besturingssystemen, waaronder Windows en Linux.
Gegevensintegrators
- Azure Data Factory is een hybride service voor gegevensintegratie. In deze oplossing maakt een aangepaste Azure Data Factory-connector gebruik van het hostbestandsclientonderdeel van hostintegratieserver om mainframe-gegevenssets te converteren. Met minimale installatie kunt u een aangepaste connector gebruiken om uw mainframe-gegevensset te converteren, net zoals u elke andere Azure Data Factory-connector zou gebruiken.
- AzCopy is een opdrachtregelprogramma waarmee blobs of bestanden naar en uit opslagaccounts worden verplaatst.
- SQL Server Integration Services is een platform voor het maken van gegevensintegratie- en transformatieoplossingen op ondernemingsniveau. U kunt het gebruiken om complexe zakelijke problemen op te lossen door:
- Bestanden kopiëren of downloaden.
- Datawarehouses laden.
- Gegevens opschonen en analyseren.
- SQL Server-objecten en -gegevens beheren.
- Met Host Integration Server-technologieën en -hulpprogramma's kunt u bestaande IBM-hostsystemen, programma's, berichten en gegevens integreren met Azure-toepassingen. Het hostbestandsclientonderdeel biedt flexibiliteit voor gegevens die worden geconverteerd van EBCDIC naar ASCII. U kunt bijvoorbeeld JSON/XML genereren op basis van de gegevens die worden geconverteerd.
- Azure Synapse brengt gegevensintegratie, zakelijke datawarehousing en big data-analyses samen. De Azure Synapse-conversieoplossing die in deze architectuur wordt gebruikt, is gebaseerd op Apache Spark en is een goede kandidaat voor de conversie van grote mainframe-gegevenssetworkloads. Het ondersteunt een breed scala aan mainframe-gegevensstructuren en -doelen en vereist minimale coderingsinspanningen.
Andere hulpprogramma's
- SQL Server Migration Assistant voor Db2 automatiseert de migratie van Db2 naar Microsoft-databaseservices. Wanneer deze wordt uitgevoerd op een virtuele machine, converteert dit hulpprogramma Db2-databaseobjecten naar SQL Server-databaseobjecten en maakt deze objecten in SQL Server.
- Gegevensprovider voor hostbestanden is een onderdeel van hostintegratieserver die gebruikmaakt van offline-, SNA- of TCP/IP-verbindingen.
- Met offlineverbindingen leest en schrijft de gegevensprovider records in een lokaal binair bestand.
- Met SNA- en TCP/IP-verbindingen leest en schrijft de gegevensprovider records die zijn opgeslagen in externe z/OS-gegevenssets (IBM Z Series Mainframe) of externe i5/OS -systemen (IBM AS/400 en iSeries) fysieke bestanden. Alleen i5/OS-systemen maken gebruik van TCP/IP.
- Azure-services bieden omgevingen, hulpprogramma's en processen voor het ontwikkelen en schalen van nieuwe toepassingen in de openbare cloud.
Scenariodetails
Moderne oplossingen voor gegevensopslag, zoals het Azure-gegevensplatform, bieden betere schaalbaarheid en prestaties dan mainframe- en midrangesystemen. Door uw systemen te moderniseren, kunt u profiteren van deze voordelen. Het bijwerken van technologie, infrastructuur en procedures is echter complex. Het proces omvat een uitgebreid onderzoek naar bedrijfs- en technische activiteiten. Gegevensbeheer is een overweging wanneer u uw systemen moderniseert. U moet ook kijken naar gegevensvisualisatie en -integratie.
Succesvolle moderniseringen maken gebruik van een data-first-strategie. Wanneer u deze benadering gebruikt, richt u zich op de gegevens in plaats van op het nieuwe systeem. Gegevensbeheer is niet langer alleen een item in de controlelijst voor modernisering. In plaats daarvan zijn de gegevens het middelpunt. Gecoördineerde, kwaliteitsgerichte gegevensoplossingen vervangen gefragmenteerde, slecht beheerde oplossingen.
Deze oplossing maakt gebruik van Azure-gegevensplatformonderdelen in een data-first benadering. De oplossing omvat met name:
- Objectconversie. Objectdefinities uit het brongegevensarchief converteren naar bijbehorende objecten in het doelgegevensarchief.
- Gegevensopname. Verbinding maken naar het brongegevensarchief en het extraheren van gegevens.
- Gegevenstransformatie. Geëxtraheerde gegevens transformeren naar de juiste doelgegevensopslagstructuren.
- Gegevensopslag. Het laden van gegevens uit het brongegevensarchief naar het doelgegevensarchief, zowel in eerste instantie als voortdurend.
Potentiële gebruikscases
Organisaties die gebruikmaken van mainframe- en midrangesystemen kunnen profiteren van deze oplossing, met name wanneer ze deze doelen willen bereiken:
- Bedrijfskritieke workloads moderniseren.
- Bedrijfsinformatie verkrijgen om de activiteiten te verbeteren en een concurrentievoordeel te krijgen.
- Verwijder de hoge kosten en starheid die zijn gekoppeld aan mainframe- en midrange-gegevensarchieven.
Overwegingen
Met deze overwegingen worden de pijlers van het Azure Well-Architected Framework geïmplementeerd, een set richtlijnen die u kunt gebruiken om de kwaliteit van een workload te verbeteren. Zie Microsoft Azure Well-Architected Framework voor meer informatie. Wanneer u de gegevensprovider voor hostbestandenclient gebruikt om gegevens te converteren, schakelt u groepsgewijze verbindingen in om de opstarttijd van de verbinding te verkorten. Wanneer u Data Factory gebruikt om gegevens te extraheren, kunt u de prestaties van de kopieeractiviteit afstemmen.
Beveiliging
Beveiliging biedt garanties tegen opzettelijke aanvallen en misbruik van uw waardevolle gegevens en systemen. Zie Overzicht van de beveiligingspijler voor meer informatie.
- Houd rekening met de verschillen tussen on-premises clientidentiteiten en clientidentiteiten in Azure. U moet eventuele verschillen compenseren.
- Beheerde identiteiten gebruiken voor gegevensstromen tussen onderdelen.
- Wanneer u gegevensprovider voor hostbestanden gebruikt om gegevens te converteren, volgt u de aanbevelingen in gegevensproviders voor beveiliging en beveiliging van hostbestanden.
Kostenoptimalisatie
Kostenoptimalisatie gaat over het verminderen van onnodige uitgaven en het verbeteren van operationele efficiëntie. Zie Overzicht van de pijler kostenoptimalisatie voor meer informatie.
- SQL Server Migration Assistant is een gratis, ondersteund hulpprogramma dat de databasemigratie van Db2 naar SQL Server, SQL Database en SQL Managed Instance vereenvoudigt. SQL Server Migration Assistant automatiseert alle aspecten van migratie, waaronder migratiebeoordelingsanalyse, conversie van schema- en SQL-instructies en gegevensmigratie.
- De op Azure Synapse Spark gebaseerde oplossing is gebouwd op basis van opensource-bibliotheken. Het elimineert de financiële lasten van hulpprogramma's voor licentieconversie.
- Gebruik de Azure-prijscalculator om de kosten voor het implementeren van deze oplossing te schatten.
Prestatie-efficiëntie
Prestatie-efficiëntie is de mogelijkheid om op efficiënte wijze uw werkbelasting te schalen om te voldoen aan de vereisten die gebruikers eraan stellen. Zie het overzicht van de pijler Prestatie-efficiëntie voor meer informatie.
- De belangrijkste pijlers van prestatie-efficiëntie zijn prestatiebeheer, capaciteitsplanning, schaalbaarheid en het kiezen van een geschikt prestatiepatroon.
- U kunt de zelf-hostende IR uitschalen door het logische exemplaar te koppelen aan meerdere on-premises machines in de actief-actieve modus.
- Azure SQL Database biedt de mogelijkheid om uw databases dynamisch te schalen. In een serverloze laag kunnen de rekenresources automatisch worden geschaald. Elastische pool, waarmee databases resources in een pool kunnen delen, kunnen alleen handmatig worden geschaald.
Bijdragers
Dit artikel wordt onderhouden door Microsoft. De tekst is oorspronkelijk geschreven door de volgende Inzenders.
Hoofdauteur:
- Ashish Khandelwal | Principal Engineering Architect Manager
Andere Inzenders:
- Mick Alberts | Technische schrijver
- Nithish Aruldoss | Technische architect
Als u niet-openbare LinkedIn-profielen wilt zien, meldt u zich aan bij LinkedIn.
Volgende stappen
Bekijk de Azure Database Migration Guides. Neem contact op met Azure Data-engineer ing - Mainframe & Midrange Modernization voor meer informatie.
Zie de volgende artikelen:
- IBM-workloads in Azure
- Mainframe opnieuw hosten op virtuele Azure-machines
- Mainframe-workloads die worden ondersteund in Azure
- Mainframe-rekenkracht verplaatsen naar Azure