Apache®, Spark och flamlogotypen är antingen registrerade varumärken eller varumärken som tillhör Apache Software Foundation i USA och/eller andra länder. Inget godkännande från Apache Software Foundation underförstås av användningen av dessa märken.
Den här artikeln beskriver en moderniseringsplan från slutpunkt till slutpunkt för stordator- och mellanregisterdatakällor.
Arkitektur
Ladda ned en Visio-fil med den här arkitekturen.
Dataflöde
Följande dataflöde beskriver en process för att modernisera en stordators datanivå. Det motsvarar föregående diagram.
Stordator- och mellanregistersystem lagrar data i datakällor, till exempel filsystem (VSAM, flat fil, LTFS), relationsdatabaser (Db2 för z/OS, Db2 för IBM i, Db2 för Linux UNIX och Windows) eller icke-relationella databaser (IMS, ADABAS, IDMS).
Objektkonverteringsprocessen extraherar objektdefinitioner från källobjekt. Definitionerna konverteras sedan till motsvarande objekt i måldatalagret.
- SQL Server Migration Assistant (SSMA) för Db2 migrerar scheman och data från IBM Db2-databaser till Azure-databaser.
- Hanterad dataprovider för värdfiler konverterar objekt genom att:
- Parsa COBOL- och RPG-postlayouter eller copybooks.
- Mappa copybooks till C#-objekt som .NET-program använder.
- Verktyg från tredje part utför automatisk objektkonvertering på icke-relationsdatabaser, filsystem och andra datalager.
Data matas in och transformeras. Stordator- och mellanregistersystem lagrar sina filsystemdata i EBCDIC-kodat format i filformat som:
- Indexerade VSAM-filer
- Icke-indexerade GDG-filer
- Flata filer
COBOL, PL/I och sammansättningsspråk copybooks definierar datastrukturen för dessa filer.
a. FTP överför stordator- och mellanregisterfilsystemdatauppsättningar med enkel layout och uppackade fält i binärt format och motsvarande copybook till Azure.
b. Data konverteras. Den anpassade Azure Data Factory-anslutningsappen är en lösning som utvecklats med hjälp av värdfilklientkomponenten i värdintegreringsservern för att konvertera stordatordatauppsättningar.
Värdintegreringsservern integrerar befintliga IBM-värdsystem, program, meddelanden och data med Azure-program. Värdintegreringsserver är en klientkomponent för värdfil som du kan använda för att utveckla en anpassad lösning för datamängdskonvertering.
Den anpassade Azure Data Factory-anslutningsappen baseras på Spark-ramverket med öppen källkod och körs på Azure Synapse Analytics. Precis som andra lösningar kan den parsa kopieringsboken och konvertera data. Hantera tjänsten för datakonvertering med hjälp av anslutningsappen För Azure Logic Apps Parsa värdfilinnehåll.
c. Relationsdatabasdata migreras.
IBM-stordator- och mellanregistersystem lagrar data i relationsdatabaser som dessa:
Dessa tjänster migrerar databasdata:
- Data Factory använder en Db2-anslutningsapp för att extrahera och integrera data från databaserna.
- SQL Server Integration Services hanterar olika data-ETL-uppgifter.
d. Icke-relationsdatabasdata migreras.
IBM-stordator- och mellanregistersystem lagrar data i icke-relationsdatabaser som dessa:
- IDMS, ett databashanteringssystem för nätverksmodeller (DBMS)
- IMS, en hierarkisk modell DBMS
- Adabas
- Datacom
Produkter från tredje part integrerar data från dessa databaser.
Azure-tjänster som Data Factory och AzCopy läser in data i Azure-databaser och Azure-datalagring. Du kan också använda lösningar från tredje part och anpassade inläsningslösningar för att läsa in data.
Azure tillhandahåller många hanterade datalagringslösningar:
Azure-tjänster använder den moderniserade datanivån för databehandling, analys, lagring och nätverk.
Klientprogram använder också den moderniserade datanivån.
Komponenter
Datalagring
- SQL Database ingår i Azure SQL-familjen. Den är byggd för molnet och ger alla fördelar med en fullständigt hanterad och vintergrön plattform som en tjänst. SQL Database tillhandahåller även AI-baserade automatiserade funktioner som optimerar prestanda och hållbarhet. Lagringsalternativ för serverlös beräkning och hyperskala skalar automatiskt resurser på begäran.
- Azure Database for PostgreSQL är en fullständigt hanterad relationsdatabastjänst som baseras på communityversionen av PostgreSQL-databasmotorn med öppen källkod.
- Azure Cosmos DB är en globalt distribuerad NoSQL-databas med flera modeller.
- Azure Database for MySQL är en fullständigt hanterad relationsdatabastjänst som baseras på communityversionen av MySQL-databasmotorn med öppen källkod.
- Azure Database for MariaDB är en molnbaserad relationsdatabastjänst. Den baseras på MariaDB community edition-databasmotorn.
- SQL Managed Instance är en intelligent, skalbar molndatabastjänst som erbjuder alla fördelar med en fullständigt hanterad och vintergrön plattform som en tjänst. SQL Managed Instance har nästan 100 % kompatibilitet med den senaste SQL Server Enterprise-databasmotorn. Det tillhandahåller också en intern implementering av virtuella nätverk som hanterar vanliga säkerhetsproblem.
- Azure Data Lake Storage är en lagringsplats som innehåller stora mängder data i sitt ursprungliga rådataformat. Datasjölager är optimerade för skalning till terabyte och petabyte med data. Data kommer vanligtvis från flera heterogena källor. Den kan vara strukturerad, halvstrukturerad eller ostrukturerad.
Compute
- Data Factory integrerar data i olika nätverksmiljöer med hjälp av en integreringskörning (IR), som är en beräkningsinfrastruktur. Data Factory kopierar data mellan molndatalager och datalager i lokala nätverk med hjälp av lokala IR:er.
- Azure Virtual Machines tillhandahåller skalbara databehandlingsresurser på begäran. En virtuell Azure-dator (VM) ger flexibiliteten i virtualisering men eliminerar underhållskraven för fysisk maskinvara. Virtuella Azure-datorer erbjuder ett val av operativsystem, inklusive Windows och Linux.
Dataintegrerare
- Azure Data Factory är en hybridtjänst för dataintegrering. I den här lösningen använder en anpassad Azure Data Factory-anslutningsapp klientkomponenten värdfil i Värdintegreringsservern för att konvertera stordatordatauppsättningar. Med minimal konfiguration kan du använda en anpassad anslutningsapp för att konvertera din stordators datauppsättning precis som du skulle använda andra Azure Data Factory-anslutningsappar.
- AzCopy är ett kommandoradsverktyg som flyttar blobar eller filer till och från lagringskonton.
- SQL Server Integration Services är en plattform för att skapa lösningar för dataintegrering och transformering på företagsnivå. Du kan använda den för att lösa komplexa affärsproblem genom att:
- Kopiera eller ladda ned filer.
- Läser in informationslager.
- Rensa och bryta data.
- Hantera SQL Server-objekt och -data.
- Med tekniker och verktyg för värdintegreringsserver kan du integrera befintliga IBM-värdsystem, program, meddelanden och data med Azure-program. Klientkomponenten värdfil ger flexibilitet för data som konverteras från EBCDIC till ASCII. Du kan till exempel generera JSON/XML från de data som konverteras.
- Azure Synapse sammanför dataintegrering, informationslager för företag och stordataanalys. Azure Synapse-konverteringslösningen som används i den här arkitekturen baseras på Apache Spark och är en bra kandidat för konvertering av stor stordatordatauppsättningsarbetsbelastning. Den stöder en mängd olika stordatordatastrukturer och mål och kräver minimal kodning.
Andra verktyg
- SQL Server Migration Assistant för Db2 automatiserar migreringen från Db2 till Microsofts databastjänster. När det körs på en virtuell dator konverterar det här verktyget Db2-databasobjekt till SQL Server-databasobjekt och skapar dessa objekt i SQL Server.
- Dataprovider för värdfiler är en komponent i värdintegreringsservern som använder offline-, SNA- eller TCP/IP-anslutningar.
- Med offlineanslutningar läser och skriver dataprovider poster i en lokal binär fil.
- Med SNA- och TCP/IP-anslutningar läser och skriver dataleverantören poster som lagras i fjärrdatauppsättningar för z/OS (IBM Z-seriens stordator) eller fjärranslutna i5/OS-filer (IBM AS/400- och iSeries-system). Endast i5/OS-system använder TCP/IP.
- Azure-tjänster tillhandahåller miljöer, verktyg och processer för att utveckla och skala nya program i det offentliga molnet.
Information om scenario
Moderna datalagringslösningar som Azure-dataplattformen ger bättre skalbarhet och prestanda än stordator- och mellanregistersystem. Genom att modernisera dina system kan du dra nytta av dessa fördelar. Det är dock komplicerat att uppdatera teknik, infrastruktur och metoder. Processen omfattar en omfattande undersökning av affärs- och ingenjörsaktiviteter. Datahantering är ett övervägande när du moderniserar dina system. Du måste också titta på datavisualisering och integrering.
Lyckade moderniseringar använder en data-first-strategi. När du använder den här metoden fokuserar du på data i stället för det nya systemet. Datahantering är inte längre bara ett objekt i checklistan för modernisering. I stället är data mittpunkten. Koordinerade, kvalitetsorienterade datalösningar ersätter fragmenterade, dåligt styrda datalösningar.
Den här lösningen använder Azure-dataplattformskomponenter i en datainriktad metod. Mer specifikt omfattar lösningen:
- Objektkonvertering. Konvertera objektdefinitioner från källdatalagret till motsvarande objekt i måldatalagret.
- Datainsamling. Anslut till källdatalagret och extrahera data.
- Datatransformering. Omvandla extraherade data till lämpliga måldatalagerstrukturer.
- Datalagring. Läser in data från källdatalagret till måldatalagret, både initialt och kontinuerligt.
Potentiella användningsfall
Organisationer som använder stordator- och mellanregistersystem kan dra nytta av den här lösningen, särskilt när de vill uppnå följande mål:
- Modernisera verksamhetskritiska arbetsbelastningar.
- Skaffa business intelligence för att förbättra verksamheten och få en konkurrensfördel.
- Ta bort de höga kostnader och stelhet som är associerade med stordator- och mellanregisterdatalager.
Att tänka på
Dessa överväganden implementerar grundpelarna i Azure Well-Architected Framework, en uppsättning vägledande grundsatser som du kan använda för att förbättra kvaliteten på en arbetsbelastning. Mer information finns i Microsoft Azure Well-Architected Framework. När du använder dataprovidern för Host Files-klienten för att konvertera data aktiverar du anslutningspooler för att minska starttiden för anslutningen. När du använder Data Factory för att extrahera data justerar du kopieringsaktivitetens prestanda.
Säkerhet
Säkerhet ger garantier mot avsiktliga attacker och missbruk av dina värdefulla data och system. Mer information finns i Översikt över säkerhetspelare.
- Tänk på skillnaderna mellan lokala klientidentiteter och klientidentiteter i Azure. Du måste kompensera för eventuella skillnader.
- Använd hanterade identiteter för komponent-till-komponent-dataflöden.
- När du använder dataprovidern för värdfiler för att konvertera data följer du rekommendationerna i Dataprovidrar för säkerhet och skydd för Värdfiler.
Kostnadsoptimering
Kostnadsoptimering handlar om att minska onödiga utgifter och förbättra drifteffektiviteten. Mer information finns i Översikt över kostnadsoptimeringspelare.
- SQL Server Migration Assistant är ett kostnadsfritt verktyg som stöds och som förenklar databasmigreringen från Db2 till SQL Server, SQL Database och SQL Managed Instance. SQL Server Migration Assistant automatiserar alla aspekter av migreringen, inklusive migreringsanalys, schema- och SQL-instruktionskonvertering och datamigrering.
- Den Azure Synapse Spark-baserade lösningen bygger på bibliotek med öppen källkod. Det eliminerar den ekonomiska bördan av licensieringskonverteringsverktyg.
- Använd Priskalkylatorn för Azure för att beräkna kostnaden för att implementera den här lösningen.
Prestandaeffektivitet
Prestandaeffektivitet handlar om att effektivt skala arbetsbelastningen baserat på användarnas behov. Mer information finns i översikten över grundpelare för prestandaeffektivitet.
- Grundpelarna i prestandaeffektivitet är prestandahantering, kapacitetsplanering, skalbarhet och val av lämpligt prestandamönster.
- Du kan skala ut den lokalt installerade IR :n genom att associera den logiska instansen med flera lokala datorer i aktivt-aktivt läge.
- Azure SQL Database erbjuder möjligheten att dynamiskt skala dina databaser. På en serverlös nivå kan den automatiskt skala beräkningsresurserna. Elastisk pool, som gör att databaser kan dela resurser i en pool, kan bara skalas manuellt.
Deltagare
Den här artikeln underhålls av Microsoft. Det har ursprungligen skrivits av följande medarbetare.
Huvudförfattare:
- Ashish Khandelwal | Arkitektchef för huvudteknik
Övriga medarbetare:
- Mick Alberts | Teknisk författare
- Nithish Aruldoss | Teknisk arkitekt
Om du vill se icke-offentliga LinkedIn-profiler loggar du in på LinkedIn.
Nästa steg
Granska Migreringsguiderna för Azure Database. Kontakta Azure Datateknik – Stordator och mellanordnad modernisering för mer information.
Se följande artiklar:
- IBM-arbetsbelastningar i Azure
- Omvärdning av stordator på virtuella Azure-datorer
- Stordatorarbetsbelastningar som stöds i Azure
- Flytta stordatorberäkning till Azure