Redigera

Dela via

Modernisera stordator- och mellansystemdata

Azure Cosmos DB
Azure Data Lake
Azure SQL Database
Azure SQL Managed Instance
Azure Storage

Apache®, Spark och flamlogotypen är antingen registrerade varumärken eller varumärken som tillhör Apache Software Foundation i USA och/eller andra länder. Inget godkännande från Apache Software Foundation underförstås av användningen av dessa märken.

Den här artikeln beskriver en moderniseringsplan från slutpunkt till slutpunkt för stordator- och mellanregisterdatakällor.

Arkitektur

Arkitekturdiagram som visar hur du moderniserar stordatorer och mellanregistersystem genom att migrera data till Azure.

Ladda ned en Visio-fil med den här arkitekturen.

Dataflöde

Följande dataflöde beskriver en process för att modernisera en stordators datanivå. Det motsvarar föregående diagram.

  1. Stordator- och mellanregistersystem lagrar data i datakällor, till exempel filsystem (VSAM, flat fil, LTFS), relationsdatabaser (Db2 för z/OS, Db2 för IBM i, Db2 för Linux UNIX och Windows) eller icke-relationella databaser (IMS, ADABAS, IDMS).

  2. Objektkonverteringsprocessen extraherar objektdefinitioner från källobjekt. Definitionerna konverteras sedan till motsvarande objekt i måldatalagret.

    • SQL Server Migration Assistant (SSMA) för Db2 migrerar scheman och data från IBM Db2-databaser till Azure-databaser.
    • Hanterad dataprovider för värdfiler konverterar objekt genom att:
      • Parsa COBOL- och RPG-postlayouter eller copybooks.
      • Mappa copybooks till C#-objekt som .NET-program använder.
    • Använd ett anpassat verktyg för att konvertera databasobjekt från Db2 till Azure Database for PostgreSQL. Observera att du kan behöva begära åtkomst till det här verktyget.
    • Verktyg från tredje part utför automatiserad objektkonvertering på icke-relationella databaser, filsystem och andra datalager.

  3. Data matas in och transformeras. Stordator- och mellanregistersystem lagrar sina filsystemdata i EBCDIC-kodat format i filformat som:

    COBOL, PL/I och sammansättningsspråk copybooks definierar datastrukturen för dessa filer.

    a. FTP överför stordator- och mellanregisterfilsystemdatauppsättningar med enkel layout och uppackade fält i binärt format och motsvarande copybook till Azure.

    b. Data konverteras. Den anpassade Azure Data Factory-anslutningsappen är en lösning som utvecklats med hjälp av värdfilklientkomponenten i värdintegreringsservern för att konvertera stordatordatauppsättningar.

    Värdintegreringsservern integrerar befintliga IBM-värdsystem, program, meddelanden och data med Azure-program. Värdintegreringsserver är en klientkomponent för värdfil som du kan använda för att utveckla en anpassad lösning för datamängdskonvertering.

    Den anpassade Azure Data Factory-anslutningsappen baseras på Spark-ramverket med öppen källkod och körs på Azure Synapse Analytics. Precis som andra lösningar kan den parsa kopieringsboken och konvertera data. Hantera tjänsten för datakonvertering med hjälp av anslutningsappen För Azure Logic Apps Parsa värdfilinnehåll.

    c. Relationsdatabasdata migreras.

    IBM-stordator- och mellanregistersystem lagrar data i relationsdatabaser som dessa:

    Dessa tjänster migrerar databasdata:

    • Data Factory använder en Db2-anslutningsapp för att extrahera och integrera data från databaserna.
    • SQL Server Integration Services hanterar olika data-ETL-uppgifter.

    d. Icke-relationella databasdata migreras.

    IBM-stordator- och mellanregistersystem lagrar data i icke-relationella databaser som dessa:

    Produkter från tredje part integrerar data från dessa databaser.

  4. Azure-tjänster som Data Factory och AzCopy läser in data i Azure-databaser och Azure-datalagring. Du kan också använda lösningar från tredje part och anpassade inläsningslösningar för att läsa in data.

  5. Azure tillhandahåller många hanterade datalagringslösningar:

  6. Azure-tjänster använder den moderniserade datanivån för databehandling, analys, lagring och nätverk.

  7. Klientprogram använder också den moderniserade datanivån.

Komponenter

Datalagring

  • SQL Database ingår i Azure SQL-familjen. Den är byggd för molnet och ger alla fördelar med en fullständigt hanterad och vintergrön plattform som en tjänst. SQL Database tillhandahåller även AI-baserade automatiserade funktioner som optimerar prestanda och hållbarhet. Lagringsalternativ för serverlös beräkning och hyperskala skalar automatiskt resurser på begäran.
  • Azure Database for PostgreSQL är en fullständigt hanterad relationsdatabastjänst som baseras på communityversionen av PostgreSQL-databasmotorn med öppen källkod.
  • Azure Cosmos DB är en globalt distribuerad NoSQL-databas med flera modeller.
  • Azure Database for MySQL är en fullständigt hanterad relationsdatabastjänst som baseras på communityversionen av MySQL-databasmotorn med öppen källkod.
  • SQL Managed Instance är en intelligent, skalbar molndatabastjänst som erbjuder alla fördelar med en fullständigt hanterad och vintergrön plattform som en tjänst. SQL Managed Instance har nästan 100 % kompatibilitet med den senaste SQL Server Enterprise-databasmotorn. Det tillhandahåller också en intern implementering av virtuella nätverk som hanterar vanliga säkerhetsproblem.
  • Azure Data Lake Storage är en lagringsplats som innehåller stora mängder data i sitt ursprungliga rådataformat. Datasjölager är optimerade för skalning till terabyte och petabyte med data. Data kommer vanligtvis från flera heterogena källor. Den kan vara strukturerad, halvstrukturerad eller ostrukturerad.

Compute

Dataintegrerare

  • Azure Data Factory är en hybridtjänst för dataintegrering. I den här lösningen använder en anpassad Azure Data Factory-anslutningsapp klientkomponenten värdfil i Värdintegreringsservern för att konvertera stordatordatauppsättningar. Med minimal konfiguration kan du använda en anpassad anslutningsapp för att konvertera din stordators datauppsättning precis som du skulle använda andra Azure Data Factory-anslutningsappar.
  • AzCopy är ett kommandoradsverktyg som flyttar blobar eller filer till och från lagringskonton.
  • SQL Server Integration Services är en plattform för att skapa lösningar för dataintegrering och transformering på företagsnivå. Du kan använda den för att lösa komplexa affärsproblem genom att:
    • Kopiera eller ladda ned filer.
    • Läser in informationslager.
    • Rensa och bryta data.
    • Hantera SQL Server-objekt och -data.
  • Med tekniker och verktyg för värdintegreringsserver kan du integrera befintliga IBM-värdsystem, program, meddelanden och data med Azure-program. Klientkomponenten värdfil ger flexibilitet för data som konverteras från EBCDIC till ASCII. Du kan till exempel generera JSON/XML från de data som konverteras.
  • Azure Synapse sammanför dataintegrering, informationslager för företag och stordataanalys. Azure Synapse-konverteringslösningen som används i den här arkitekturen baseras på Apache Spark och är en bra kandidat för konvertering av stor stordatordatauppsättningsarbetsbelastning. Den stöder en mängd olika stordatordatastrukturer och mål och kräver minimal kodning.

Andra verktyg

  • SQL Server Migration Assistant för Db2 automatiserar migreringen från Db2 till Microsofts databastjänster. När det körs på en virtuell dator konverterar det här verktyget Db2-databasobjekt till SQL Server-databasobjekt och skapar dessa objekt i SQL Server.
  • Dataprovider för värdfiler är en komponent i värdintegreringsservern som använder offline-, SNA- eller TCP/IP-anslutningar.
    • Med offlineanslutningar läser och skriver dataprovider poster i en lokal binär fil.
    • Med SNA- och TCP/IP-anslutningar läser och skriver dataleverantören poster som lagras i fjärrdatauppsättningar för z/OS (IBM Z-seriens stordator) eller fjärranslutna i5/OS-filer (IBM AS/400- och iSeries-system). Endast i5/OS-system använder TCP/IP.
  • Azure-tjänster tillhandahåller miljöer, verktyg och processer för att utveckla och skala nya program i det offentliga molnet.

Information om scenario

Moderna datalagringslösningar som Azure-dataplattformen ger bättre skalbarhet och prestanda än stordator- och mellanregistersystem. Genom att modernisera dina system kan du dra nytta av dessa fördelar. Det är dock komplicerat att uppdatera teknik, infrastruktur och metoder. Processen omfattar en omfattande undersökning av affärs- och ingenjörsaktiviteter. Datahantering är ett övervägande när du moderniserar dina system. Du måste också titta på datavisualisering och integrering.

Lyckade moderniseringar använder en data-first-strategi. När du använder den här metoden fokuserar du på data i stället för det nya systemet. Datahantering är inte längre bara ett objekt i checklistan för modernisering. I stället är data mittpunkten. Koordinerade, kvalitetsorienterade datalösningar ersätter fragmenterade, dåligt styrda datalösningar.

Den här lösningen använder Azure-dataplattformskomponenter i en datainriktad metod. Mer specifikt omfattar lösningen:

  • Objektkonvertering. Konvertera objektdefinitioner från källdatalagret till motsvarande objekt i måldatalagret.
  • Datainsamling. Ansluta till källdatalagret och extrahera data.
  • Datatransformering. Omvandla extraherade data till lämpliga måldatalagerstrukturer.
  • Datalagring. Läser in data från källdatalagret till måldatalagret, både initialt och kontinuerligt.

Potentiella användningsfall

Organisationer som använder stordator- och mellanregistersystem kan dra nytta av den här lösningen, särskilt när de vill uppnå följande mål:

  • Modernisera verksamhetskritiska arbetsbelastningar.
  • Skaffa business intelligence för att förbättra verksamheten och få en konkurrensfördel.
  • Ta bort de höga kostnader och stelhet som är associerade med stordator- och mellanregisterdatalager.

Att tänka på

Dessa överväganden implementerar grundpelarna i Azure Well-Architected Framework, en uppsättning vägledande grundsatser som du kan använda för att förbättra kvaliteten på en arbetsbelastning. Mer information finns i Microsoft Azure Well-Architected Framework. När du använder dataprovidern för Host Files-klienten för att konvertera data aktiverar du anslutningspooler för att minska starttiden för anslutningen. När du använder Data Factory för att extrahera data justerar du kopieringsaktivitetens prestanda.

Säkerhet

Säkerhet ger garantier mot avsiktliga attacker och missbruk av dina värdefulla data och system. Mer information finns i Översikt över säkerhetspelare.

  • Tänk på skillnaderna mellan lokala klientidentiteter och klientidentiteter i Azure. Du måste kompensera för eventuella skillnader.
  • Använd hanterade identiteter för komponent-till-komponent-dataflöden.
  • När du använder dataprovidern för värdfiler för att konvertera data följer du rekommendationerna i Dataprovidrar för säkerhet och skydd för Värdfiler.

Kostnadsoptimering

Kostnadsoptimering handlar om att minska onödiga utgifter och förbättra drifteffektiviteten. Mer information finns i Översikt över kostnadsoptimeringspelare.

  • SQL Server Migration Assistant är ett kostnadsfritt verktyg som stöds och som förenklar databasmigreringen från Db2 till SQL Server, SQL Database och SQL Managed Instance. SQL Server Migration Assistant automatiserar alla aspekter av migreringen, inklusive migreringsanalys, schema- och SQL-instruktionskonvertering och datamigrering.
  • Den Azure Synapse Spark-baserade lösningen bygger på bibliotek med öppen källkod. Det eliminerar den ekonomiska bördan av licensieringskonverteringsverktyg.
  • Använd Priskalkylatorn för Azure för att beräkna kostnaden för att implementera den här lösningen.

Prestandaeffektivitet

Prestandaeffektivitet är arbetsbelastningens förmåga att skala för att uppfylla användarnas krav på ett effektivt sätt. Mer information finns i översikten över grundpelare för prestandaeffektivitet.

  • Grundpelarna i prestandaeffektivitet är prestandahantering, kapacitetsplanering, skalbarhet och val av lämpligt prestandamönster.
  • Du kan skala ut den lokalt installerade IR :n genom att associera den logiska instansen med flera lokala datorer i aktivt-aktivt läge.
  • Azure SQL Database erbjuder möjligheten att dynamiskt skala dina databaser. På en serverlös nivå kan den automatiskt skala beräkningsresurserna. Elastisk pool, som gör att databaser kan dela resurser i en pool, kan bara skalas manuellt.

Deltagare

Den här artikeln underhålls av Microsoft. Det har ursprungligen skrivits av följande medarbetare.

Huvudförfattare:

Övriga medarbetare:

Om du vill se icke-offentliga LinkedIn-profiler loggar du in på LinkedIn.

Nästa steg

Granska Migreringsguiderna för Azure Database. Kontakta Azure Dataingenjör ing – Stordator och mellanordnad modernisering för mer information.

Mer information finns i följande artiklar: