Sdílet prostřednictvím

Modernizace sálových počítačů a dat střední uspořádání

Azure Cosmos DB
Azure Data Lake
Azure SQL Database
Azure SQL Managed Instance
Azure Storage

Apache®, Spark a logo plamene jsou registrované ochranné známky nebo ochranné známky nadace Apache Software Foundation ve Spojených státech a/nebo v jiných zemích. Použití těchto značek neznamená žádnou podporu ze strany Apache Software Foundation.

Tento článek popisuje ucelený plán modernizace pro sálové a střední zdroje dat. Modernizace pomáhá zlepšit škálovatelnost a výkon vašich důležitých úloh.

Architecture

Diagram architektury znázorňující, jak modernizovat sálové a střední uspořádání systémů migrací dat do Azure

Stáhněte si soubor aplikace Visio s touto architekturou.

Dataflow

Následující tok dat odpovídá předchozímu diagramu:

  1. Sálové a střední uspořádání systémů ukládají data v následujících zdrojích dat.

    • Systémy souborů:

      • Metoda přístupu k virtuálnímu úložišti (VSAM)
      • Ploché soubory
      • Systém souborů lineární pásky

    • Relační databáze:

      • Db2 pro z/OS
      • Db2 pro IBM i
      • Db2 pro Linux UNIX a Windows

    • Nerelační databáze:

      • Systém správy informací (IMS)
      • Adabas
      • Integrated Database Management System (IDMS)

  2. Proces převodu objektů extrahuje definice objektů ze zdrojových objektů. Definice se pak převedou na odpovídající objekty v cílovém úložišti dat.

    • Sql Server Migration Assistant for Db2 migruje schémata a data z databází IBM Db2 do databází Azure.

    • Zprostředkovatel spravovaných dat pro soubory hostitele převádí objekty podle:

      • Analýza běžných obchodních jazyků (COBOL) a rozložení záznamů generátoru sestav nebo copybooků
      • Mapování copybooků na objekty jazyka C#, které aplikace .NET používají.

    • Nástroj Db2toAzurePostgreSQL migruje databázové objekty z Db2 do Azure Database for PostgreSQL.

    • Partnerské nástroje provádějí automatizované převody objektů v nerelačních databázích, systémech souborů a dalších úložištích dat.

  3. Data se ingestují a transformují. Sálové a střední uspořádání systémů ukládají data systému souborů ve formátu kódování EBCDIC ve formátech souborů, jako jsou:

    • Indexované soubory VSAM
    • Neindexované soubory GDG .
    • Ploché soubory.

    COBOL, Programovací jazyk 1 a sady copybooků jazyka sestavení definují datovou strukturu těchto souborů.

    a. Protokol FTP (File Transfer Protocol) přenáší sálové a střední datové sady systému souborů a jejich odpovídající kopie do Azure. Tyto datové sady mají jedno rozložení a rozbalené pole v binárním formátu.

    b. Převod dat se provádí vývojem vlastních programů pomocí součásti hostitelského souboru hostitelského integračního serveru nebo pomocí integrovaného konektoru pro hostitelské soubory IBM v Azure Logic Apps.

    Převaděč sparkových poznámkových bloků se vyvíjí pomocí opensourcových architektur Sparku. Je kompatibilní s prostředími Sparku, jako jsou Microsoft Fabric a Azure Databricks.

    c. Migrují se data relační databáze.

    Sálový počítač IBM a střední uspořádání systémů ukládají data v relačních databázích, jako jsou:

    Následující služby migrují data databáze:

    • Azure Data Factory používá konektor Db2 k extrakci a integraci dat z databází.
    • Služba SQL Server Integration Services zpracovává různé úlohy extrakce, transformace a načítání dat.
    • Fabric Data Factory používá k migraci dat Db2 konektor IBM Db2.

    d. Nerelationální data databáze se migrují.

    Sálový počítač IBM a střední uspořádání systémů ukládají data v nerelačních databázích, jako jsou:

    Partnerské produkty integrují data z těchto databází.

  4. Nástroje Azure, jako je Azure Data Factory a AzCopy , načítají data do databází Azure a úložiště dat Azure. K načtení dat můžete také použít partnerová řešení a vlastní řešení načítání.

  5. Azure poskytuje různé databázové služby, včetně plně spravovaných relačních databázových služeb, jako jsou Azure SQL Database a NoSQL, jako je Azure Cosmos DB. Tyto služby jsou navržené pro škálovatelnost, flexibilitu a globální distribuci.

    Azure také poskytuje řadu řešení úložiště, včetně Azure Blob Storage pro nestrukturovaná data a Soubory Azure pro plně spravované sdílené složky.

  6. Služby Azure používají modernizované datové vrstvy pro výpočty, analýzy, úložiště a sítě.

  7. Klientské aplikace také používají modernizované datové vrstvy.

Components

Tato architektura používá následující komponenty.

Úložiště dat

Tato architektura popisuje, jak migrovat data do škálovatelného, bezpečnějšího cloudového úložiště a spravovaných databází pro flexibilní inteligentní správu dat v Azure.

  • Azure Cosmos DB je globálně distribuovaná databáze NoSQL s více modely. V této architektuře slouží Azure Cosmos DB jako škálovatelný cíl NoSQL pro modernizaci nerelačních databází sálových počítačů, jako jsou IMS a IDMS.

  • Azure Database for MySQL je plně spravovaná relační databázová služba založená na komunitní edici opensourcového databázového stroje MySQL . V této architektuře poskytuje Azure Database for MySQL další možnost cíle relační databáze pro migrovaná data sálového počítače.

  • Azure Database for PostgreSQL je plně spravovaná relační databázová služba založená na komunitní edici opensourcového databázového stroje PostgreSQL . V této architektuře poskytuje Azure Database for PostgreSQL alternativní cílovou databázi pro migraci relačních dat v sálových počítačích.

  • SQL Database je součástí řady Azure SQL. Je navržená pro cloud a poskytuje všechny výhody plně spravované a evergreen platformy jako služby (PaaS). SQL Database také poskytuje automatizované funkce využívající AI, které optimalizují výkon a odolnost. Bezserverové výpočetní prostředky a možnosti úložiště Hyperscale automaticky škálujte prostředky na vyžádání. V této architektuře služba SQL Database slouží jako cílová databáze pro migrovaná relační data ze systémů Db2 mainframů.

  • Azure SQL Managed Instance je cloudová databázová služba, která poskytuje všechny výhody plně spravované a evergreen PaaS. Sql Managed Instance má téměř úplnou kompatibilitu s nejnovějším databázovým strojem edice SQL Server Enterprise. Poskytuje také nativní implementaci virtuální sítě, která řeší běžné problémy se zabezpečením. V této architektuře služba SQL Managed Instance slouží jako cíl pro data mainframů, která vyžadují kompatibilitu SQL Serveru a podnikové funkce.

  • Azure Data Lake Storage je úložiště, které uchovává velké objemy dat v nativním nezpracovaném formátu. Úložiště Data Lake jsou optimalizovaná pro škálování na terabajty a petabajty dat. Data obvykle pocházejí z několika heterogenních zdrojů. Může to být strukturovaná, částečně strukturovaná nebo nestrukturovaná. V této architektuře poskytuje Data Lake Storage škálovatelné úložiště pro převedená data systému souborů sálového počítače a slouží jako pracovní oblast pro transformaci dat.

  • Microsoft Fabric Lakehouse je platforma architektury dat pro ukládání, správu a analýzu strukturovaných a nestrukturovaných dat v jednom umístění. V této architektuře slouží Microsoft Fabric Lakehouse jako jednotná analytická platforma pro nezpracovaná data sálového počítače a zpracovávané datové sady.

  • Databáze SQL v Microsoft Fabric je transakční databáze vhodná pro vývojáře, která je založená na SQL Database. Můžete ji použít k vytvoření provozní databáze v Prostředcích infrastruktury. Databáze SQL v prostředcích infrastruktury používá stejný databázový stroj SQL jako SQL Database. V této architektuře poskytuje databáze SQL v Microsoft Fabric moderní transakční databázi pro migrovaná provozní data sálového počítače.

Compute

  • Azure Data Factory je cloudová služba microsoftu pro integraci dat, která integruje data napříč různými síťovými prostředími pomocí prostředí Integration Runtime (IR), což je výpočetní infrastruktura. Azure Data Factory kopíruje data mezi cloudovými úložišti dat a úložišti dat v místních sítích pomocí místních prostředí IR. V této architektuře Azure Data Factory orchestruje celý proces migrace dat z mainframových zdrojů do cílů Azure.

  • Místní brána dat je místně nainstalovaná klientská aplikace pro Windows, která slouží jako most mezi místními místními zdroji dat a službami v Microsoft Cloudu. V této architektuře vytváří místní brána dat zabezpečené připojení mezi sálovými systémy a službami Azure.

  • Azure Virtual Machines je nabídka infrastruktury jako služby (IaaS), která poskytuje škálovatelné výpočetní prostředky na vyžádání. Virtuální počítač Azure poskytuje flexibilitu virtualizace, ale eliminuje nároky na údržbu fyzického hardwaru. Virtuální počítače Azure poskytují výběr operačních systémů, včetně Windows a Linuxu. V této architektuře hostuje nástroje pro migraci virtuálních počítačů Azure, jako je SQL Server Migration Assistant pro db2 a aplikace pro vlastní převod.

Integrátory dat

Tato architektura popisuje různé nástroje pro migraci nativní pro Azure, které používáte v závislosti na zdrojových datech sálového počítače a cílové databázi.

  • azure Data Factory je hybridní služba pro integraci dat. Azure Data Factory migruje data ze zdrojů Db2 do cílů databáze Azure pomocí nativních konektorů. V této architektuře slouží Azure Data Factory jako primární služba pro integraci dat pro orchestraci pracovních postupů migrace dat mainframů.

  • AzCopy je nástroj příkazového řádku, který přesouvá objekty blob nebo soubory do a z účtů úložiště. V této architektuře AzCopy během procesu migrace přenáší velké objemy dat systému souborů sálového počítače do služby Azure Storage.

  • SQL Server Integration Services je platforma pro vytváření řešení integrace a transformace dat na podnikové úrovni. V této architektuře ji použijete k orchestraci úloh transformace dat během migrace sálového počítače, například:

    • Kopírování nebo stahování souborů
    • Načítání datových skladů
    • Čištění a dolování dat.
    • Správa objektů a dat SQL Serveru

  • Technologie a nástroje hostitelského serveru hostování můžou integrovat stávající hostitelské systémy, programy, zprávy a data IBM s aplikacemi Azure. Klientská komponenta hostitelského souboru poskytuje flexibilitu pro data převedená z EBCDIC na ASCII. Můžete například vygenerovat data ve formátu JSON nebo XML z převedených dat. V této architektuře převede Server integrace hostitele data sálového počítače s kódováním EBCDIC do formátu ASCII pro využití Azure.

  • Microsoft Fabric je komplexní analytická platforma připravená pro podniky. Sjednocuje přesun dat, zpracování dat, příjem dat, transformaci, směrování událostí v reálném čase a vytváření sestav. Podporuje tyto funkce pomocí následujících integrovaných služeb:

    • Datový inženýr infrastruktury
    • Továrna pro zpracování dat Fabric
    • Datová věda sítě
    • Analýza Real-Time prostředků infrastruktury
    • Datový sklad Fabrique
    • Databázové systémy Fabric

V této architektuře poskytuje Fabric komplexní analytickou platformu pro kompletní modernizaci dat a business intelligence.

Další nástroje

  • Nástroj SQL Server Migration Assistant pro db2 automatizuje migraci z db2 do databázových služeb Microsoftu. Když tento nástroj běží na virtuálním počítači, převede databázové objekty Db2 na databázové objekty SQL Serveru a vytvoří tyto objekty v SQL Serveru. V této architektuře nástroj SQL Server Migration Assistant pro db2 automatizuje převod schémat databází a objektů mainframe db2 na cíle databáze Azure.

  • Zprostředkovatel dat pro soubory hostitelů je součástí serveru pro integraci hostitelů , který používá připojení offline, SNA nebo TCP/IP.

    • Při offline připojení zprostředkovatel dat čte a zapisuje záznamy do místního binárního souboru.
    • Díky připojení SNA a TCP/IP zprostředkovatel dat čte a zapisuje záznamy uložené v datových sadách vzdáleného z/OS (řada IBM Z) nebo vzdálených fyzických souborech i5/OS (IBM AS/400 a iSeries). Protokol TCP/IP používají pouze systémy i5/OS.

    V této architektuře umožňuje poskytovatel dat pro hostitelské soubory připojení a přístup k datům mezi sálovými systémy souborů a aplikacemi Azure.

  • Služby Azure poskytují prostředí, nástroje a procesy pro vývoj a škálování nových aplikací ve veřejném cloudu. V této architektuře poskytují služby Azure cílovou cloudovou platformu pro modernizované sálové aplikace a úlohy analýzy dat.

Podrobnosti scénáře

Moderní řešení úložiště dat, jako je datová platforma Azure, poskytují lepší škálovatelnost a výkon než sálové a střední uspořádání systémů. Díky modernizaci systémů můžete tyto výhody využít. Aktualizace technologií, infrastruktury a postupů je ale složitá. Tento proces zahrnuje vyčerpávající šetření obchodních a technických aktivit. Správa dat je jednou z hledisek při modernizaci systémů. Musíte se také podívat na vizualizaci a integraci dat.

Úspěšná modernizace používá strategii pro první data. Při použití tohoto přístupu se zaměříte na data, nikoli na nový systém. Správa dat už není jen položkou v kontrolním seznamu modernizace. Místo toho jsou data středem. Koordinovaná řešení dat zaměřená na kvalitu nahrazují fragmentovaná, špatně řízená řešení.

Toto řešení využívá komponenty datové platformy Azure v přístupu založeném na datech. Konkrétně řešení zahrnuje:

  • Převod objektů. Převeďte definice objektů ze zdrojového úložiště dat na odpovídající objekty v cílovém úložišti dat.

  • Příjem dat Připojte se ke zdrojovému úložišti dat a extrahujte data.

  • Transformace dat Transformujte extrahovaná data do odpovídajících cílových struktur úložiště dat.

  • Úložiště dat. Načtěte data ze zdrojového úložiště dat do cílového úložiště dat, a to jak zpočátku, tak nepřetržitě.

Potenciální případy použití

Organizace, které používají sálové a střední systémy, můžou z tohoto řešení těžit, zejména pokud chtějí:

  • Modernizace důležitých úloh

  • Získejte business intelligence, abyste zlepšili provoz a získali konkurenční výhodu.

  • Odeberte vysoké náklady a pevnost, které jsou spojené s sálovými a středními úložišti dat.

Considerations

Tyto aspekty implementují pilíře dobře architektuře Azure, což je sada hlavních principů, které můžete použít ke zlepšení kvality úlohy. Další informace naleznete v tématu Well-Architected Framework.

Zabezpečení

Zabezpečení poskytuje záruky proti záměrným útokům a zneužití cenných dat a systémů. Další informace najdete v kontrolním seznamu pro kontrolu návrhu zabezpečení.

Optimalizace nákladů

Optimalizace nákladů se zaměřuje na způsoby, jak snížit zbytečné výdaje a zlepšit efektivitu provozu. Další informace najdete v kontrolním seznamu pro kontrolu návrhu pro optimalizaci nákladů.

  • SQL Server Migration Assistant je bezplatný podporovaný nástroj, který zjednodušuje migraci databáze z Db2 na SQL Server, SQL Database a SQL Managed Instance. Sql Server Migration Assistant automatizuje všechny aspekty migrace, včetně analýzy posouzení migrace, schématu a převodu příkazů SQL a migrace dat.

  • Řešení založené na Microsoft Fabric Lakehouse je postavené na opensourcových technologiích (Delta Lake, Apache Spark). Tento přístup eliminuje finanční zátěž nástrojů pro převod licencí a poskytuje jednotné prostředí SaaS pro analýzy.

  • K odhadu nákladů na implementaci tohoto řešení použijte cenovou kalkulačku Azure.

Efektivita výkonu

Efektivita výkonu odkazuje na schopnost vaší úlohy efektivně škálovat tak, aby splňovala požadavky uživatelů. Další informace najdete v kontrolním seznamu pro kontrolu návrhu týkajícího se efektivity výkonu.

  • Klíčovými pilíři efektivity výkonu jsou správa výkonu, plánování kapacity, škálovatelnost a volba vhodného modelu výkonu.

  • Místní prostředí IR můžete škálovat přidružením logické instance k několika místním počítačům v režimu aktivní-aktivní.

  • Pomocí služby SQL Database můžete dynamicky škálovat databáze. Bezserverová úroveň může automaticky škálovat výpočetní prostředky. Elastické fondy umožňují databázím sdílet prostředky ve fondu a dají se škálovat pouze ručně.

Pokud k převodu dat použijete zprostředkovatele dat pro klienta Soubory hostitele, zapněte sdružování připojení , abyste zkrátili dobu spuštění připojení. Pokud k extrakci dat použijete Azure Data Factory, vylaďte výkon aktivity kopírování.

Contributors

Microsoft udržuje tento článek. Tento článek napsali následující přispěvatelé.

Hlavní autor:

Další přispěvatelé:

Pokud chcete zobrazit nepublikované profily LinkedIn, přihlaste se na LinkedIn.

Další kroky

Projděte si příručky k migraci databází Azure. Další informace najdete v sadě Azure Data Engineering – Mainframe &Midrange Modernization .

Podívejte se na následující články: