Ez a példaarchitektúra egy implementációs tervet vázol fel az adatok azure-ba való modernizálás során történő replikálására és szinkronizálására. Olyan technikai szempontokat tárgyal, mint az adattárak, az eszközök és a szolgáltatások.
Architektúra
Töltse le az architektúra Visio-fájlját.
Munkafolyamat
A nagyszámítógépek és a középső rendszerek rendszeres időközönként frissítik a helyszíni alkalmazásadatbázisokat. A konzisztencia fenntartása érdekében a megoldás szinkronizálja a legújabb adatokat az Azure-adatbázisokkal. A szinkronizálási folyamat a következő lépéseket foglalja magában:
Az Azure Data Factory dinamikus folyamatai vezénylési tevékenységeket végeznek, amelyek az adatkinyeréstől az adatbetöltésig terjednek. Ütemezheti a folyamattevékenységeket, manuálisan indíthatja el őket, vagy automatikusan aktiválhatja őket.
A folyamatok csoportosítják a tevékenységeket végrehajtó tevékenységeket. Az adatok kinyeréséhez a Data Factory dinamikusan létrehoz egy folyamatot minden helyszíni táblához. Ezután nagy mértékben párhuzamos implementációt használhat, amikor adatokat replikál az Azure-ban. A megoldást úgy is konfigurálhatja, hogy megfeleljen a követelményeknek:
- Teljes replikáció: Replikálja a teljes adatbázist, és elvégezheti a szükséges módosításokat a cél Azure-adatbázis adattípusaiban és mezőiben.
- Részleges, különbözeti vagy növekményes replikáció: A forrástáblákban vízjeloszlopokkal szinkronizálhatja a frissített sorokat az Azure-adatbázisokkal. Ezek az oszlopok egy folyamatosan növekvő kulcsot vagy egy időbélyeget tartalmaznak, amely a tábla utolsó frissítését jelzi.
A Data Factory folyamatokat is használ a következő átalakítási feladatokhoz:
- Adattípus-átalakítás
- Adatkezelés
- Adatformázás
- Oszlop származtatása
- Adatelsimítás
- Adatrendezés
- Adatszűrés
A helyszíni adatbázisok, például a Db2 zOS, az i db2 és a Db2 LUW tárolják az alkalmazásadatokat.
A saját üzemeltetésű integrációs modul (SHIR) biztosítja a Data Factory által a tevékenységek futtatásához és továbbításához használt környezetet.
Az Azure Data Lake Storage Gen2 és az Azure Blob Storage helyet biztosít az adatok átmeneti tárolásához. Erre a lépésre néha szükség van több forrásból származó adatok átalakításához és egyesítéséhez.
Az adatok előkészítéséhez a Data Factory az Azure Databrickset, az egyéni tevékenységeket és a folyamat adatfolyamait használja az adatok gyors és hatékony átalakításához.
A Data Factory az alábbi relációs és nem kapcsolódó Azure-adatbázisokba tölti be az adatokat:
- Azure SQL
- Azure Database for PostgreSQL
- Azure Cosmos DB
- Azure Data Lake Storage
- Azure Database for MySQL
SQL Server Integration Services (SSIS): Ez a platform képes adatokat kinyerni, átalakítani és betölteni.
Nem Microsoft-eszközök: Ha a megoldás közel valós idejű replikációt igényel, használhat nem Microsoft-eszközöket.
Összetevők
Ez a szakasz az adatkorszerűsítés, a szinkronizálás és az integráció során használható egyéb eszközöket ismerteti.
Eszközök
A Microsoft Service for Distributed Relational Database Architecture (DRDA) a gazdagépintegrációs kiszolgáló (HIS) egyik összetevője. A Microsoft Service for DRDA egy olyan alkalmazáskiszolgáló, amelyet a DRDA Application Requester (AR) ügyfelei használnak. A DRDA AR-ügyfelek közé tartoznak például a z/OS-hez készült IBM Db2 és az i5/OS-hez készült Db2. Ezek az ügyfelek az alkalmazáskiszolgálóval konvertálják a Db2 SQL-utasításokat, és futtatják őket az SQL Serveren.
A Db2-hez készült SQL Server Migration Assistant (SSMA) automatizálja a Db2-ből a Microsoft adatbázis-szolgáltatásokba való migrálást. Miközben virtuális gépen (virtuális gépen) fut, ez az eszköz SQL Server-adatbázisobjektumokká alakítja a DB2 adatbázis-objektumokat, és létrehozza ezeket az objektumokat az SQL Serverben. A Db2 SSMA ezután adatokat migrál a Db2-ből a következő szolgáltatásokba:
- SQL Server 2012
- SQL Server 2014
- SQL Server 2016
- SQL Server 2017 Windows és Linux rendszeren
- SQL Server 2019 Windows és Linux rendszeren
- Azure SQL Database
Az Azure Synapse Analytics adatraktárak és big data rendszerek elemzési szolgáltatása. Ez az eszköz Spark-technológiákat használ, és mély integrációval rendelkezik a Power BI-val, az Azure Machine Learningdel és más Azure-szolgáltatásokkal.
Adat integrátorok
A Data Factory egy hibrid adatintegrációs szolgáltatás. Ezzel a teljes mértékben felügyelt, kiszolgáló nélküli megoldással létrehozhat, ütemezhet és vezényelhet ki, alakíthat át és tölthet be (ETL) munkafolyamatokat, valamint kinyerheti, betöltheti és átalakíthatja az ELT-munkafolyamatokat .
Az Azure Synapse Analytics egy nagyvállalati elemzési szolgáltatás, amely felgyorsítja az adattárházak és big data rendszerek áttekintésének idejét. Az Azure Synapse Analytics az alábbi technológiák és szolgáltatások legjobbjait egyesíti:
- A vállalati adattárházakban használt SQL-technológiák.
- Spark-technológiák, amelyeket big data-hoz használ.
- Az Azure Data Explorer, amelyet napló- és idősorozat-elemzésekhez használ.
- Az Adatintegrációhoz, valamint az ETL- és ELT-munkafolyamatokhoz használt Azure Pipelines.
- Mély integráció más Azure-szolgáltatásokkal, például a Power BI-val, az Azure Cosmos DB-vel és a Machine Learningdel.
Az SSIS egy nagyvállalati szintű adatintegrációs és átalakítási megoldások létrehozására szolgáló platform. Az SSIS használatával kezelheti, replikálhatja, tisztíthatja és bányászhatja az adatokat.
Az Azure Databricks egy adatelemzési platform. Az Apache Spark nyílt forráskódú elosztott feldolgozási rendszerén alapul, és az Azure-felhőplatformra van optimalizálva. Egy elemzési munkafolyamatban az Azure Databricks több forrásból olvas adatokat, és a Spark használatával biztosít elemzéseket.
Adattárolás
Az SQL Database az Azure SQL-család része, és a felhőhöz készült. Ez a szolgáltatás egy teljes mértékben felügyelt és örökzöld platform,mint szolgáltatás (PaaS) előnyeit kínálja. Az SQL Database AI-alapú, automatizált funkciókat is biztosít, amelyek optimalizálják a teljesítményt és a tartósságot. A kiszolgáló nélküli számítási és rugalmas skálázási tárolási lehetőségek automatikusan igény szerint méretezik az erőforrásokat.
A felügyelt Azure SQL-példány az Azure SQL szolgáltatásportfóliójának része. Ez az intelligens és méretezhető felhőalapú adatbázis-szolgáltatás egyesíti az SQL Server-motor legszélesebb kompatibilitását a teljes mértékben felügyelt és örökzöld PaaS minden előnyével. A felügyelt SQL-példányokkal nagy léptékben modernizálhatja a meglévő alkalmazásokat.
Az Azure-beli virtuális gépeken futó SQL Server lehetővé teszi az SQL Server számítási feladatainak felhőbe való áthelyezését 100%-os kódkompatibilitás mellett. Az Azure SQL-család részeként az Azure-beli virtuális gépeken futó SQL Server az SQL Server teljesítményét, biztonságát és elemzését biztosítja az Azure rugalmasságával és hibrid kapcsolatával. Meglévő alkalmazások migrálásához vagy új alkalmazások létrehozásához használja az SQL Servert az Azure-beli virtuális gépeken. A legújabb SQL Server-frissítéseket és kiadásokat is elérheti, beleértve az SQL Server 2019-et is.
Az Azure Database for PostgreSQL egy teljes körűen felügyelt relációsadatbázis-szolgáltatás, amely a nyílt forráskódú PostgreSQL-adatbázismotor közösségi kiadásán alapul. Ezzel a szolgáltatással az adatbázis-kezelés helyett az alkalmazásinnovációra összpontosíthat. A számítási feladatokat gyorsan és egyszerűen skálázhatja.
Az Azure Cosmos DB egy globálisan elosztott, többmodelles adatbázis. Az Azure Cosmos DB használatával biztosíthatja, hogy a megoldások rugalmasan és egymástól függetlenül méretezhetik az átviteli sebességet és a tárolást tetszőleges számú földrajzi régióban. Ez a teljes körűen felügyelt NoSQL-adatbázis-szolgáltatás garantálja az egyjegyű, ezredmásodperces késéseket a kilencvenkilencedik percentilisen a világon bárhol.
A Data Lake Storage egy tárház, amely nagy mennyiségű adatot tárol natív, nyers formátumban. A Data Lake-tárolók terabájtos és petabájtos adatokra való skálázásra vannak optimalizálva. Az adatok általában több, heterogén forrásból származnak, és strukturálhatók, részben strukturálhatók vagy strukturálatlanok. A Data Lake Storage Gen2 egyesíti a Data Lake Storage Gen1 képességeit a Blob Storage-jal. Ez a következő generációs Data Lake-megoldás fájlrendszer-szemantikát, fájlszintű biztonságot és skálázást biztosít. Emellett a Blob Storage rétegzett tárolási, magas rendelkezésre állási és vészhelyreállítási képességeit is kínálja.
Az Azure Database for MySQL egy teljes körűen felügyelt relációsadatbázis-szolgáltatás, amely a nyílt forráskódú MySQL-adatbázismotor közösségi kiadásán alapul.
A Blob Storage optimalizált felhőalapú objektumtárolást biztosít, amely nagy mennyiségű strukturálatlan adatot kezel.
Forgatókönyv részletei
Az adatok rendelkezésre állása és integritása elengedhetetlen a nagyszámítógépek és a középső modernizáció szempontjából. Az adatelső stratégiák segítenek megőrizni az adatokat az Azure-ba való migrálás során. A modernizáció során fellépő fennakadások elkerülése érdekében néha gyorsan replikálnia kell az adatokat, vagy szinkronizálnia kell a helyszíni adatokat az Azure-adatbázisokkal.
Ez a megoldás a következőket tartalmazza:
- Kinyerés: Csatlakozás egy forrásadatbázishoz, és kinyerés egy forrásadatbázisból.
- Transzformáció:
- Előkészítés: Ideiglenesen tárolja az adatokat az eredeti formátumban, és előkészíti az átalakításra.
- Előkészítés: Adatok átalakítása és manipulálása a céladatbázis követelményeinek megfelelő leképezési szabályokkal.
- Betöltés: Adatok beszúrása céladatbázisba.
Lehetséges használati esetek
A megoldás előnyeit élvező adatreplikációs és szinkronizálási forgatókönyvek a következők:
- Command Query Responsibility Szegregáció (CQRS) architektúrák, amelyek az Azure-t használják az összes lekérdezési csatorna kiszolgálására.
- Olyan környezetek, amelyek helyszíni alkalmazásokat tesztelnek, és párhuzamosan újrakonstruált vagy újraszerkesztett alkalmazásokat tesztelnek.
- Olyan helyszíni rendszerek, amelyek szorosan összekapcsolt alkalmazásokkal rendelkeznek, amelyek szakaszos szervizelést vagy korszerűsítést igényelnek.
Ajánlások
Amikor a Data Factoryt használja az adatok kinyerésére, végezze el a másolási tevékenység teljesítményének finomhangolását.
Megfontolások
Ezek a szempontok implementálják az Azure Well-Architected Framework alappilléreit, amely a számítási feladatok minőségének javítására használható vezérelvek halmaza. További információ: Microsoft Azure Well-Architected Framework.
Tartsa szem előtt ezeket a szempontokat, amikor figyelembe veszi ezt az architektúrát.
Megbízhatóság
A megbízhatóság biztosítja, hogy az alkalmazás megfeleljen az ügyfelek felé vállalt kötelezettségeknek. További információ: A megbízhatósági pillér áttekintése.
Az infrastruktúra-kezelés, beleértve a rendelkezésre állást is, automatizált az Azure-adatbázisokban.
A MICROSOFT Service for DRDA feladatátvételi védelmével kapcsolatos információkért tekintse meg a készletezést és a feladatátvételt .
A helyszíni adatátjáró és az integrációs modul (IR) fürtözésével magasabb rendelkezésre állási garanciákat biztosíthat.
Biztonság
A biztonság biztosítékokat nyújt a szándékos támadások és az értékes adatokkal és rendszerekkel való visszaélés ellen. További információ: A biztonsági pillér áttekintése.
A hálózati biztonsági csoportok használatával csak az egyes szolgáltatások működéséhez szükséges hozzáféréseket korlátozhatja.
Privát végpontok használata a PaaS-szolgáltatásokhoz. Az interneten keresztül elérhető és elérhetetlen szolgáltatási tűzfalak használata a szolgáltatások biztonságának kiegészítéséhez.
Felügyelt identitások használata összetevők között végzett adatfolyamokhoz.
A Microsoft Service for DRDA által támogatott ügyfélkapcsolatok típusainak megismeréséhez tekintse meg a tervezési és tervezési megoldásokat a DRDA-hoz készült Microsoft Service használatával. Az ügyfélkapcsolatok hatással vannak a hálózat tranzakcióira, készletezésére, feladatátvételére, hitelesítésére és titkosítására.
Költségoptimalizálás
A költségoptimalizálás a szükségtelen kiadások csökkentésének és a működési hatékonyság javításának módjairól szól. További információ: A költségoptimalizálási pillér áttekintése.
A díjszabási modellek az összetevő-szolgáltatások között eltérőek. Tekintse át az elérhető összetevő-szolgáltatások díjszabási modelljeit, hogy biztosan megfeleljenek a költségvetésnek.
A megoldás implementálási költségeinek becsléséhez használja az Azure díjszabási kalkulátorát .
Működés eredményessége
Az üzemeltetési kiválóság azokat az üzemeltetési folyamatokat fedi le, amelyek üzembe helyeznek egy alkalmazást, és éles környezetben tartják azt. További információ: Az Operatív kiválóság pillér áttekintése.
Az infrastruktúra-kezelés, beleértve a méretezhetőséget is, automatizálva van az Azure-adatbázisokban.
A saját üzemeltetésű integrációs modult úgy skálázhatja fel, hogy a logikai példányt több helyszíni géphez társítja aktív-aktív módban.
Teljesítmény hatékonysága
A teljesítménybeli hatékonyság lehetővé teszi, hogy a számítási feladatok hatékonyan méretezhetők legyenek a felhasználók igényei szerint. További információ: Teljesítményhatékonyság pillér áttekintése.
Vegye figyelembe az Azure ExpressRoute-t nagy léptékű lehetőségként, ha a megvalósítás jelentős sávszélességet használ a kezdeti replikációhoz vagy a folyamatban lévő módosított adatreplikációhoz.
Válassza ki a forgatókönyvhöz megfelelő integrációs modul-konfigurációt .
Következő lépések
- További információért forduljon az Azure adatmérnök ing – Helyszíni modernizáláshoz.
- Olvassa el a migrálási útmutatót.