Sdílet prostřednictvím

Replikace a synchronizace dat mainframů do Azure

Azure Data Factory
Azure Databricks

Tato ukázková architektura popisuje plán implementace pro replikaci a synchronizaci dat během modernizace do Azure. Popisuje technické aspekty, jako jsou úložiště dat, nástroje a služby.

Architektura

Diagram architektury, který ukazuje, jak synchronizovat místní data a data databází Azure během modernizace mainframů.

Stáhněte si soubor aplikace Visio s touto architekturou.

Workflow

Následující pracovní postup odpovídá předchozímu diagramu:

Mainframy a midrange systémy v pravidelných intervalech aktualizují místní aplikační databáze. Aby byla zachována konzistence, toto řešení synchronizuje nejnovější data s databázemi Azure. Proces synchronizace zahrnuje následující kroky.

  1. Dynamické kanály Azure Data Factory orchestrují aktivity, které sahají od extrakce dat až po načítání dat. Aktivity kanálu můžete naplánovat, spustit ručně nebo je spustit automaticky.

    Kanály seskupují aktivity, které provádějí úlohy. Aby bylo možné extrahovat data, Azure Data Factory dynamicky vytvoří jeden kanál pro každou místní tabulku. Při replikaci dat v Azure pak můžete použít masivně paralelní implementaci. Řešení můžete také nakonfigurovat tak, aby splňovalo vaše požadavky:

    • Úplná replikace: Replikujete celou databázi a provedete potřebné úpravy datových typů a polí v cílové databázi Azure.

    • Částečná, rozdílová nebo přírůstková replikace: Sloupce vodoznaku ve zdrojových tabulkách se používají k synchronizaci aktualizovaných řádků s databázemi Azure. Tyto sloupce obsahují buď průběžně se zvyšující klíč, nebo časové razítko, které označuje poslední aktualizaci tabulky.

    Azure Data Factory také používá kanály pro následující transformační úlohy:

    • Konverze datového typu
    • Manipulace s daty
    • Formátování dat
    • Odvození sloupce
    • Zploštění dat
    • Třídění dat
    • Filtrování dat

  2. Data aplikace ukládají místní databáze, jako jsou Db2 zOS, Db2 for i a Db2 LUW.

  3. Místní prostředí Integration Runtime (IR) poskytuje prostředí, které Azure Data Factory používá ke spouštění a odesílání aktivit.

  4. Azure Data Lake Storage Gen2 a Azure Blob Storage připraví data. Tento krok je někdy vyžadován k transformaci a sloučení dat z více zdrojů.

  5. Pro přípravu dat Azure Data Factory používá Azure Databricks, vlastní aktivity a toky dat kanálu k rychlé a efektivní transformaci dat.

  6. Azure Data Factory načte data do následujících relačních a nerelačních databází Azure:

    • Azure SQL
    • Azure Database for PostgreSQL
    • Azure Cosmos DB
    • Azure Data Lake Storage
    • Azure Database for MySQL

  7. Služba SSIS (SQL Server Integration Services) extrahuje, transformuje a načítá data.

  8. Místní brána dat je místně nainstalovaná klientská aplikace systému Windows, která funguje jako most mezi místními místními zdroji dat a službami Azure.

  9. Datový kanál v Microsoft Fabric je logické seskupení aktivit, které provádějí příjem dat z Db2 do úložiště a databází Azure.

  10. Pokud řešení vyžaduje replikaci téměř v reálném čase, můžete použít nástroje od jiných výrobců.

Součásti

Tato část popisuje další nástroje, které můžete použít při modernizaci, synchronizaci a integraci dat.

Integrátory dat

  • azure Data Factory je hybridní služba pro integraci dat. Toto plně spravované bezserverové řešení můžete použít k vytváření, plánování a orchestraci pracovních postupů extrakce, transformace a načítání (ETL) a pracovních postupů extrakce, načítání a transformace (ELT).

  • Azure Synapse Analytics je podniková analytická služba, která zrychluje dobu přehledu napříč datovými sklady a systémy pro velké objemy dat. Azure Synapse Analytics kombinuje to nejlepší z následujících technologií a služeb:

    • SQL technologie pro podnikové datové sklady

    • Technologie Spark pro big data

    • Azure Data Explorer pro analýzu protokolů a časových řad

    • Azure Pipelines pro integraci dat a pracovní postupy ETL a ELT

    • Hluboká integrace s dalšími službami Azure, jako jsou Power BI, Azure Cosmos DB a Azure Machine Learning

  • SSIS je platforma pro vytváření řešení pro integraci a transformaci dat na podnikové úrovni. SSIS můžete použít ke správě, replikaci, čištění a vytěžování dat.

  • Azure Databricks je platforma pro analýzu dat. Je založen na opensourcovém systému distribuovaného zpracování Apache Spark a je optimalizován pro cloudovou platformu Azure. V analytickém pracovním postupu Azure Databricks čte data z více zdrojů a pomocí Sparku poskytuje přehledy.

Úložiště dat

  • Azure SQL Database je součástí řady Azure SQL a je vytvořená pro cloud. Tato služba poskytuje výhody plně spravované a stálezelené platformy jako služby (PaaS). SQL Database také poskytuje automatizované funkce využívající umělou inteligenci, které optimalizují výkon a odolnost. Možnosti bezserverového výpočetního prostředí a úložiště Hyperscale automaticky škálují prostředky na vyžádání.

  • Azure SQL Managed Instance je součástí portfolia služeb Azure SQL. Tato inteligentní a škálovatelná cloudová databázová služba kombinuje nejširší kompatibilitu s SQL Server enginem se všemi výhodami plně spravovaného a stále zeleného PaaS. Pomocí SQL Managed Instance můžete modernizovat stávající aplikace ve velkém měřítku.

  • SQL Server v Azure Virtual Machines poskytuje způsob, jak přenést úlohy SQL Serveru metodou "lift and shift" do cloudu s úplnou kompatibilitou kódu. SQL Server na virtuálních počítačích Azure je součástí řady Azure SQL a poskytuje kombinaci výkonu, zabezpečení a analýz SQL Serveru s flexibilitou a hybridním připojením Azure. Pomocí SQL Serveru na virtuálních počítačích Azure můžete migrovat stávající aplikace nebo vytvářet nové aplikace. Máte také přístup k nejnovějším aktualizacím a verzím SQL Serveru, včetně SQL Serveru 2019.

  • Azure Database for PostgreSQL je plně spravovaná relační databázová služba, která je založená na komunitní edici opensourcového databázového stroje PostgreSQL . Pomocí této služby se můžete zaměřit na inovace aplikací namísto správy databází. Podle potřeby můžete také škálovat úlohu.

  • Azure Cosmos DB je globálně distribuovaná databáze s více modely . Pomocí služby Azure Cosmos DB můžete zajistit, aby vaše řešení mohla elasticky a nezávisle škálovat propustnost a úložiště v libovolném počtu geografických oblastí. Tato plně spravovaná databázová služba NoSQL zaručuje latenci v řádu jednotek milisekund na devadesátém devátém percentilu kdekoli na světě.

  • Data Lake Storage je úložiště úložiště, které uchovává velké množství dat v nativním formátu RAW. Úložiště Data Lake jsou optimalizovaná pro škálování na terabajty a petabajty dat. Data obvykle pocházejí z více heterogenních zdrojů a mohou být strukturovaná, částečně strukturovaná nebo nestrukturovaná. Data Lake Storage Gen2 kombinuje funkce Data Lake Storage Gen1 s úložištěm objektů blob. Toto řešení Data Lake nové generace poskytuje sémantiku souborového systému, zabezpečení na úrovni souborů a škálování. Poskytuje také vrstvené úložiště, vysokou dostupnost a možnosti zotavení po havárii služby Blob Storage.

  • Microsoft Fabric je komplexní analytická platforma připravená pro podniky. Sjednocuje přesun dat, zpracování dat, příjem dat, transformaci, směrování událostí v reálném čase a vytváření sestav. Tyto funkce podporuje pomocí integrovaných služeb, jako jsou Fabric Data Engineer, Fabric Data Factory, Fabric Data Science, Fabric Real-Time Intelligence, Fabric Data Warehouse a Fabric Databases.

  • Azure Database for MySQL je plně spravovaná relační databázová služba, která je založená na komunitní edici opensourcového databázového stroje MySQL.

Další nástroje

Podrobnosti scénáře

Dostupnost a integrita dat jsou zásadní při modernizaci mainframů a midrange. Strategie založené na datech pomáhají zachovat data nedotčená a dostupná během migrace do Azure. Abyste předešli přerušením během modernizace, někdy je potřeba rychle replikovat data nebo udržovat místní data synchronizovaná s databázemi Azure.

Konkrétně toto řešení zahrnuje:

  • Extrakce: Připojení ke zdrojové databázi a extrahování dat z ní.

  • Transformace:

    • Příprava: Dočasně uložte data v původním formátu a připravte je na transformaci.

    • Příprava: Transformujte data a manipulujte s nimi pomocí pravidel mapování, která splňují požadavky cílové databáze.

  • Načítání: Vložení dat do cílové databáze.

Potenciální případy použití

Mezi scénáře replikace a synchronizace dat, které mohou toto řešení využít, patří:

  • Architektura segregace odpovědnosti za dotazy, která používá Azure k obsluze všech kanálů dotazů.

  • Prostředí, která paralelně testují místní aplikace a znovu hostované nebo znovu navržené aplikace.

  • Místní systémy s úzce propojenými aplikacemi, které vyžadují postupnou nápravu nebo modernizaci.

Doporučení

Následující doporučení můžete použít pro většinu scénářů. Pokud nemáte konkrétní požadavek, který by těmto doporučením nedopovídal, postupujte podle nich.

Když k extrakci dat používáte Azure Data Factory, proveďte kroky k vyladění výkonu aktivity kopírování.

Úvahy

Tyto aspekty implementují pilíře dobře architektuře Azure, což je sada hlavních principů, které můžete použít ke zlepšení kvality úlohy. Další informace naleznete v tématu Microsoft Azure Well-Architected Framework.

Spolehlivost

Spolehlivost pomáhá zajistit, aby vaše aplikace splňovala závazky, které jste pro své zákazníky udělali. Další informace najdete v kontrolním seznamu pro kontrolu návrhu pro spolehlivost.

  • Správa infrastruktury, včetně dostupnosti, je v databázích Azure automatizovaná.

  • Informace o službě Microsoft Service pro ochranu DRDA při selhání naleznete v tématu Sdružování a převzetí služeb při selhání.

  • Místní bránu dat a prostředí IR můžete seskupit a poskytnout tak vyšší záruky dostupnosti.

Zabezpečení

Zabezpečení poskytuje záruky proti záměrným útokům a zneužití cenných dat a systémů. Další informace najdete v kontrolním seznamu pro kontrolu návrhu zabezpečení.

  • Pomocí skupin zabezpečení sítě omezte přístup pouze na nezbytné funkce pro každou službu.

  • Pro služby PaaS používejte privátní koncové body . Používejte brány firewall služeb, které jsou dosažitelné i nedosažitelné prostřednictvím internetu, abyste doplnili zabezpečení svých služeb.

  • Používejte spravované identity pro toky dat mezi komponentami.

  • Informace o typech klientských připojení, které služba Microsoft Service for DRDA podporuje, naleznete v tématu Plánování a navrhování řešení pomocí služby Microsoft Service for DRDA. Připojení klientů ovlivňují povahu transakcí, sdružování, převzetí služeb při selhání, ověřování a šifrování ve vaší síti.

Optimalizace nákladů

Optimalizace nákladů se zaměřuje na způsoby, jak snížit zbytečné výdaje a zlepšit efektivitu provozu. Další informace najdete v kontrolním seznamu pro kontrolu návrhu pro optimalizaci nákladů.

Efektivita provozu

Efektivita provozu se zabývá provozními procesy, které nasazují aplikaci a udržují ji spuštěnou v produkčním prostředí. Další informace najdete v kontrolním seznamu pro kontrolu návrhu pro efektivitu provozu.

Efektivita výkonu

Efektivita výkonu odkazuje na schopnost vaší úlohy efektivně škálovat tak, aby splňovala požadavky uživatelů. Další informace najdete v kontrolním seznamu pro kontrolu návrhu týkajícího se efektivity výkonu.

  • Azure ExpressRoute zvažte jako možnost ve velkém měřítku, pokud vaše implementace využívá značnou šířku pásma pro počáteční replikaci nebo probíhající replikaci změněných dat.

  • Zvolte správnou konfiguraci IR pro váš scénář.

Další kroky