Oplossingsideeën
Dit artikel is een oplossingsidee. Als u wilt dat we de inhoud uitbreiden met meer informatie, zoals mogelijke use cases, alternatieve services, implementatieoverwegingen of prijsrichtlijnen, laat het ons dan weten door GitHub-feedback te geven.
Wanneer u een on-premises mainframe of midrange-toepassing migreert naar Azure, is het overdragen van de gegevens een primaire overweging. Voor verschillende moderniseringsscenario's is het snel repliceren van bestanden naar Azure vereist of het onderhouden van synchronisatie tussen on-premises bestanden en Azure-bestanden.
In dit artikel worden verschillende processen beschreven voor het overdragen van bestanden naar Azure, het converteren en transformeren van bestandsgegevens en het opslaan van de gegevens on-premises en in Azure.
Architectuur
In het volgende diagram ziet u enkele opties voor het repliceren en synchroniseren van on-premises bestanden naar Azure:
Een Visio-bestand van deze architectuur downloaden.
Gegevensstroom
Bestanden overdragen naar Azure:
De eenvoudigste manier om bestanden on-premises of naar Azure over te dragen, is met behulp van File Transfer Protocol (FTP). U kunt een FTP-server hosten op een virtuele Azure-machine (VM). Een eenvoudige TAAL voor FTP-taakbeheer (JCL) verzendt bestanden naar Azure in binaire indeling. Dit is essentieel voor het behouden van mainframe- en midrangeberekenings- en binaire gegevenstypen. U kunt verzonden bestanden opslaan in on-premises schijven, Azure VM-bestandsopslag of Azure Blob Storage.
U kunt ook on-premises bestanden uploaden naar Blob Storage met behulp van hulpprogramma's zoals AzCopy.
De Azure Data Factory FTP/SFTP-connector kan ook worden gebruikt om gegevens van het mainframesysteem over te dragen naar Blob Storage. Voor deze methode is een tussenliggende VM vereist waarop een zelf-hostende Integration Runtime (SHIR) is geïnstalleerd.
U kunt ook hulpprogramma's van derden vinden in Azure Marketplace om bestanden over te dragen van mainframes naar Azure.
Gegevens organiseren, converteren en transformeren:
Azure kan de codepaginabestanden van IBM Extended Binary Coded Decimal Interchange Code (EBCDIC) niet lezen in Azure VM-schijven of Blob Storage. Als u deze bestanden compatibel wilt maken met Azure, converteert Host Integration Server (HIS) deze van EBCDIC naar de ASCII-indeling (American Standard Code for Information Interchange).
Kopieerboeken definiëren de gegevensstructuur van COBOL-, PL/I- en assemblytaalbestanden. HIS converteert deze bestanden naar ASCII op basis van de copybookindelingen.
Voordat u gegevens overdraagt naar Azure-gegevensarchieven, moet u de gegevens mogelijk transformeren of gebruiken voor analyse. Data Factory kan deze ETL-activiteiten (extract-transform-load) en ELT-activiteiten (extract-load-transform) beheren en de gegevens rechtstreeks opslaan in Azure Data Lake Storage.
Voor big data-integraties kunnen Azure Databricks en Azure Synapse Analytics alle transformatieactiviteiten snel en effectief uitvoeren met behulp van de Apache Spark-engine om in-memory berekeningen uit te voeren.
Gegevens opslaan:
U kunt overgedragen gegevens opslaan in een van de verschillende beschikbare permanente Azure-opslagmodi, afhankelijk van uw vereisten.
Als er geen analyse nodig is, kan Azure Data Factory gegevens rechtstreeks opslaan in een breed scala aan opslagopties, zoals Data Lake Storage en Blob Storage.
Azure host verschillende databases, die verschillende behoeften aanpakken:
- Relationele databases omvatten de SQL Server-familie en opensourcedatabases zoals PostgreSQL en MySQL.
- Niet-relationele databases omvatten Azure Cosmos DB, een snelle, multimodel, wereldwijd gedistribueerde NoSQL-database.
Analyse en business intelligence controleren:
Microsoft Fabric is een alles-in-één analyseoplossing die uw organisatie kan gebruiken om gegevensverplaatsing te bestuderen, te experimenteren met gegevenswetenschappen en realtime analyses en business intelligence te bekijken. Het biedt een uitgebreide suite met functies, waaronder een data lake, data engineering en gegevensintegratie.
Onderdelen
Verschillende scenario's voor bestandsoverdracht, integratie en opslag maken gebruik van verschillende onderdelen. Zie de Azure-prijscalculator om de kosten voor Azure-resources te schatten.
Netwerken
Een on-premises gegevensgateway is brugsoftware die on-premises gegevens verbindt met cloudservices. U kunt de gateway installeren op een toegewezen on-premises VM.
Gegevensintegratie en -transformatie
Gegevensprovider voor hostbestanden is een onderdeel van HIS dat EBCDIC-codepaginabestanden converteert naar ASCII. De provider kan records offline lezen en schrijven in een lokaal binair bestand, of systemen netwerkarchitectuur (SNA) of Transmission Control Protocol/Internet Protocol (TCP/IP) gebruiken om records te lezen en schrijven in externe IBM z/OS mainframe-gegevenssets of fysieke i5/OS-bestanden. HIS-connectors zijn beschikbaar voor BizTalk en Azure Logic Apps.
Azure Data Factory is een hybride gegevensintegratieservice die u kunt gebruiken voor het maken, plannen en organiseren van ETL- en ELT-werkstromen.
Azure Databricks is een op Apache Spark gebaseerd analyseplatform dat is geoptimaliseerd voor Azure. U kunt Databricks gebruiken om binnenkomende gegevens te correleren en te verrijken met andere gegevens die zijn opgeslagen in Databricks.
Azure Synapse Analytics is een snelle en flexibele clouddatawarehouse met een MPP-architectuur (Massively Parallel Processing) die u kunt gebruiken om gegevens elastisch en onafhankelijk te schalen, te berekenen en op te slaan.
Databases
Azure SQL Database is een schaalbare relationele clouddatabaseservice. Azure SQL Database is altijd actueel en altijd up-to-date, met ai-functies en geautomatiseerde functies die de prestaties en duurzaamheid optimaliseren. Serverloze reken- en hyperschaalopslagopties schalen automatisch resources op aanvraag. Met Azure Hybrid Benefit kunt u uw bestaande on-premises SQL Server-licenties in de cloud gebruiken zonder extra kosten.
Azure SQL Managed Instance combineert de breedste compatibiliteit van de SQL Server-database-engine met alle voordelen van een volledig beheerd en groenblijvend platform als een service (PaaS). Met SQL Managed Instance kunt u uw bestaande apps op schaal moderniseren met vertrouwde hulpprogramma's, vaardigheden en resources.
SQL Server op Azure Virtual Machines tilt uw SQL Server-workloads naar de cloud en combineert de flexibiliteit en hybride connectiviteit van Azure met prestaties, beveiliging en analyses van SQL Server. U hebt toegang tot de nieuwste SQL Server-updates en -releases met 100% codecompatibiliteit.
Azure Database for PostgreSQL is een volledig beheerde relationele databaseservice op basis van de community-editie van de opensource PostgreSQL-database-engine.
Azure Database for MySQL is een volledig beheerde relationele databaseservice op basis van de communityversie van de opensource MySQL-database-engine.
Azure Cosmos DB is een volledig beheerde NoSQL-databaseservice met meerdere modellen voor het bouwen en moderniseren van schaalbare, krachtige toepassingen. Azure Cosmos DB schaalt doorvoer en opslag elastisch en onafhankelijk in geografische regio's en garandeert latenties van één milliseconde bij een beschikbaarheid van 99e percentiel overal ter wereld.
Andere gegevensarchieven
Blob Storage slaat grote hoeveelheden ongestructureerde gegevens op, zoals tekst of binaire gegevens, die u overal kunt openen via HTTP of HTTPS. U kunt Blob Storage gebruiken om gegevens openbaar beschikbaar te maken of om toepassingsgegevens privé op te slaan.
Data Lake Storage is een opslagopslagplaats met een grote hoeveelheid gegevens in een systeemeigen, onbewerkte indeling. Data Lake Storage biedt schaalaanpassing voor workloads voor big data-analyses met terabytes en petabytes aan gegevens. De gegevens zijn doorgaans afkomstig van meerdere heterogene bronnen en kunnen gestructureerd, semigestructureerd of ongestructureerd zijn.
Potentiële gebruikscases
Gebruiksvoorbeelden voor replicatie en synchronisatie van on-premises bestanden zijn:
Downstream- of upstream-afhankelijkheden, bijvoorbeeld als toepassingen die worden uitgevoerd op een mainframe en toepassingen die worden uitgevoerd in Azure, gegevens moeten uitwisselen via bestanden.
Parallelle tests van opnieuw gehoste of opnieuw ontworpen toepassingen in Azure met on-premises toepassingen.
Nauw gekoppelde on-premises toepassingen op systemen die niet onmiddellijk kunnen worden hersteld of gemoderniseerd.
Medewerkers
Dit artikel wordt onderhouden door Microsoft. De tekst is oorspronkelijk geschreven door de volgende Inzenders.
Belangrijkste auteurs:
- Ashish Khandelwal | Principal Engineering Architecture Manager
- Nithish Aruldoss | Technische architect
Als u niet-openbare LinkedIn-profielen wilt zien, meldt u zich aan bij LinkedIn.
Volgende stappen
- Neem voor meer informatie contact op met het Microsoft SQL Data-engineer ing-team.
- Azure-databasemigratiehandleidingen