Lösningsidéer
I den här artikeln beskrivs en lösningsidé. Molnarkitekten kan använda den här vägledningen för att visualisera huvudkomponenterna för en typisk implementering av den här arkitekturen. Använd den här artikeln som utgångspunkt för att utforma en välkonstruerad lösning som överensstämmer med arbetsbelastningens specifika krav.
När du migrerar en lokal stordator eller ett mellanregisterprogram till Azure är överföring av data ett primärt övervägande. Flera moderniseringsscenarier kräver att filer replikeras till Azure snabbt eller att synkroniseringen mellan lokala filer och Azure-filer upprätthålls.
Den här artikeln beskriver flera processer för att överföra filer till Azure, konvertera och transformera fildata och lagra data lokalt och i Azure.
Arkitektur
Följande diagram visar några av alternativen för att replikera och synkronisera lokala filer till Azure:
Ladda ned en Visio-fil med den här arkitekturen.
Dataflöde
Överföra filer till Azure:
Det enklaste sättet att överföra filer lokalt eller till Azure är att använda File Transfer Protocol (FTP). Du kan vara värd för en FTP-server på en virtuell Azure-dator (VM). Ett enkelt FTP-jobbkontrollspråk (JCL) skickar filer till Azure i binärt format, vilket är viktigt för att bevara stordator- och mellanregisterberäkningar och binära datatyper. Du kan lagra överförda filer på lokala diskar, Azure VM-fillagring eller Azure Blob Storage.
Du kan också ladda upp lokala filer till Blob Storage med hjälp av verktyg som AzCopy.
Azure Data Factory FTP/SFTP-anslutningsappen kan också användas för att överföra data från stordatorsystemet till Blob Storage. Den här metoden kräver en mellanliggande virtuell dator där en lokalt installerad integrationskörning (SHIR) är installerad.
Du hittar även verktyg från tredje part på Azure Marketplace för att överföra filer från stordatorer till Azure.
Orkestrera, konvertera och transformera data:
Azure kan inte läsa IBM:s EBCDIC-kodfiler (Extended Binary Coded Decimal Interchange Code) i Virtuella Azure-diskar eller Blob Storage. För att göra dessa filer kompatibla med Azure konverterar Host Integration Server (HIS) dem från EBCDIC till ASCII-format (American Standard Code for Information Interchange).
Copybooks definierar datastrukturen för COBOL-, PL/I- och sammansättningsspråkfiler. HIS konverterar dessa filer till ASCII baserat på copybook-layouterna.
Innan du överför data till Azure-datalager kan du behöva transformera data eller använda dem för analys. Data Factory kan hantera dessa elt-aktiviteter (extract-transform-load) och extract-load-transform (ELT) och lagra data direkt i Azure Data Lake Storage.
För stordataintegreringar kan Azure Databricks och Azure Synapse Analytics utföra alla transformeringsaktiviteter snabbt och effektivt med hjälp av Apache Spark-motorn för att utföra minnesinterna beräkningar.
Lagra data:
Du kan lagra överförda data i ett av flera tillgängliga beständiga Azure-lagringslägen, beroende på dina krav.
Om det inte finns något behov av analys kan Azure Data Factory lagra data direkt i en mängd olika lagringsalternativ, till exempel Data Lake Storage och Blob Storage.
Azure är värd för olika databaser som hanterar olika behov:
- Relationsdatabaser omfattar SQL Server-familjen och databaser med öppen källkod som PostgreSQL och MySQL.
- Icke-relationsdatabaser inkluderar Azure Cosmos DB, en snabb, globalt distribuerad NoSQL-databas med flera modeller.
Granska analys och business intelligence:
Microsoft Fabric är en allt-i-ett-analyslösning som din organisation kan använda för att studera dataflytt, experimentera med datavetenskap och granska analys i realtid och business intelligence. Det erbjuder en omfattande uppsättning funktioner, inklusive en datasjö, datateknik och dataintegrering.
Komponenter
Olika scenarier för filöverföring, integrering och lagring använder olika komponenter. Se priskalkylatorn för Azure för att beräkna kostnader för Azure-resurser.
Nätverk
En lokal datagateway är bryggprogramvara som ansluter lokala data till molntjänster. Du kan installera gatewayen på en dedikerad lokal virtuell dator.
Dataintegration och omvandling
Dataprovider för värdfiler är en komponent i HIS som konverterar EBCDIC-kodsidefiler till ASCII. Providern kan läsa och skriva poster offline i en lokal binär fil eller använda System Network Architecture (SNA) eller Transmission Control Protocol/Internet Protocol (TCP/IP) för att läsa och skriva poster i fjärrdatauppsättningar för IBM z/OS-stordator eller fysiska i5/OS-filer. HIS-anslutningsappar är tillgängliga för BizTalk och Azure Logic Apps.
Azure Data Factory är en hybridtjänst för dataintegrering som du kan använda för att skapa, schemalägga och samordna ETL- och ELT-arbetsflöden.
Azure Databricks är en Apache Spark-baserad analysplattform som är optimerad för Azure. Du kan använda Databricks för att korrelera inkommande data och utöka dem med andra data som lagras i Databricks.
Azure Synapse Analytics är ett snabbt och flexibelt molndatalager med en arkitektur för massiv parallell bearbetning (MPP) som du kan använda för att skala, beräkna och lagra data elastiskt och oberoende av varandra.
Databaser
Azure SQL Database är en skalbar relationsmolndatabastjänst. Azure SQL Database är ständigt och alltid uppdaterat med AI-baserade och automatiserade funktioner som optimerar prestanda och hållbarhet. Lagringsalternativ för serverlös beräkning och hyperskala skalar automatiskt resurser på begäran. Med Azure Hybrid-förmånen kan du använda dina befintliga lokala SQL Server-licenser i molnet utan extra kostnad.
Azure SQL Managed Instance kombinerar den bredaste SQL Server-databasmotorns kompatibilitet med alla fördelar med en fullständigt hanterad och vintergrön plattform som en tjänst (PaaS). Med SQL Managed Instance kan du modernisera dina befintliga appar i stor skala med välbekanta verktyg, kunskaper och resurser.
SQL Server på Azure Virtual Machines lyfter och flyttar dina SQL Server-arbetsbelastningar till molnet för att kombinera flexibiliteten och hybridanslutningen i Azure med SQL Server-prestanda, säkerhet och analys. Du kan komma åt de senaste SQL Server-uppdateringarna och versionerna med 100 % kodkompatibilitet.
Azure Database for PostgreSQL är en fullständigt hanterad relationsdatabastjänst baserad på communityversionen av PostgreSQL-databasmotorn med öppen källkod.
Azure Database for MySQL är en fullständigt hanterad relationsdatabastjänst baserad på communityversionen av MySQL-databasmotorn med öppen källkod.
Azure Cosmos DB är en fullständigt hanterad NoSQL-databastjänst med flera modeller för att skapa och modernisera skalbara, högpresterande program. Azure Cosmos DB skalar dataflöde och lagring elastiskt och oberoende över geografiska regioner och garanterar svarstider med ensiffrig millisekunder med 99:e percentiltillgängligheten var som helst i världen.
Andra datalager
Blob Storage lagrar stora mängder ostrukturerade data, till exempel text eller binära data, som du kan komma åt var som helst via HTTP eller HTTPS. Du kan använda Blob Storage för att exponera data offentligt eller för att lagra programdata privat.
Data Lake Storage är en lagringsplats som innehåller en stor mängd data i inbyggt rådataformat. Data Lake Storage tillhandahåller skalning för stordataanalysarbetsbelastningar med terabyte och petabyte med data. Data kommer vanligtvis från flera heterogena källor och kan vara strukturerade, halvstrukturerade eller ostrukturerade.
Potentiella användningsfall
Användningsfall för lokal filreplikering och synkronisering omfattar:
Underordnade eller överordnade beroenden, till exempel om program som körs på en stordator och program som körs på Azure behöver utbyta data via filer.
Parallell testning av omvärdade eller omkonstruerade program i Azure med lokala program.
Tätt kopplade lokala program på system som inte omedelbart kan repareras eller moderniseras.
Deltagare
Den här artikeln underhålls av Microsoft. Det har ursprungligen skrivits av följande medarbetare.
Huvudsakliga författare:
- Ashish Khandelwal | Principal Engineering Architecture Manager
- Nithish Aruldoss | Teknisk arkitekt
Om du vill se icke-offentliga LinkedIn-profiler loggar du in på LinkedIn.
Nästa steg
- Kontakta Microsoft SQL Data Engineering-teamet om du vill ha mer information.
- Migreringsguider för Azure-databaser