Megoldási ötletek
Ez a cikk egy megoldási ötlet. Ha azt szeretné, hogy további információkkal bővítsük a tartalmat, például a lehetséges használati eseteket, alternatív szolgáltatásokat, megvalósítási szempontokat vagy díjszabási útmutatást, a GitHub visszajelzésével tudassa velünk.
Amikor egy helyszíni nagyszámítógépet vagy középkategóriás alkalmazást migrál az Azure-ba, az adatok átvitele elsődleges szempont. Számos modernizációs forgatókönyv megköveteli a fájlok gyors replikálását az Azure-ba, vagy a helyszíni fájlok és az Azure-fájlok közötti szinkronizálás fenntartását.
Ez a cikk a fájlok Azure-ba történő átvitelének, a fájladatok átalakításának és átalakításának, valamint az adatok helyszíni és Azure-beli tárolásának számos folyamatát ismerteti.
Architektúra
Az alábbi ábra a helyszíni fájlok Azure-ba való replikálásának és szinkronizálásának néhány lehetőségét mutatja be:
Töltse le az architektúra Visio-fájlját.
Adatfolyam
Fájlok átvitele az Azure-ba:
A fájlok helyszíni vagy Azure-ba történő átvitelének legegyszerűbb módja a File Transfer Protocol (FTP) használata. FTP-kiszolgálót üzemeltethet egy Azure-beli virtuális gépen (VM). Egy egyszerű FTP-feladatvezérlő nyelv (JCL) bináris formátumban küld fájlokat az Azure-ba, ami elengedhetetlen a nagyszámítógépek, a középső számítási és bináris adattípusok megőrzéséhez. A továbbított fájlokat helyszíni lemezeken, Azure-beli virtuálisgép-fájltárolóban vagy Azure Blob Storage-ban tárolhatja.
Helyszíni fájlokat is feltölthet a Blob Storage-ba olyan eszközökkel, mint az AzCopy.
Az Azure Data Factory FTP/SFTP-összekötője a nagyszámítógép-rendszerről a Blob Storage-ba történő adatátvitelre is használható. Ehhez a módszerhez olyan köztes virtuális gépre van szükség, amelyen egy saját üzemeltetésű integrációs modul (SHIR) van telepítve.
Az Azure Marketplace-en külső eszközök is találhatók a fájlok nagyszámítógépekről az Azure-ba való átviteléhez.
Adatok vezénylálása, konvertálása és átalakítása:
Az Azure nem tudja olvasni az IBM Extended Binary Coded Decimal Interchange Code (EBCDIC) kódlapfájljait az Azure-beli virtuálisgép-lemezeken vagy a Blob Storage-ban. Ahhoz, hogy ezek a fájlok kompatibilisek legyenek az Azure-ral, a gazdagépintegrációs kiszolgáló (HIS) átalakítja őket az EBCDIC-ből az American Standard Code for Information Interchange (ASCII) formátumba.
A copybookok határozzák meg a COBOL, a PL/I és a szerelvény nyelvi fájljainak adatstruktúráját. A HIS ezeket a fájlokat ASCII-vé alakítja a vágókönyv elrendezése alapján.
Mielőtt adatokat továbbítana az Azure-adattárakba, előfordulhat, hogy át kell alakítania az adatokat, vagy elemzésre kell használnia. A Data Factory képes kezelni ezeket a kinyerési-átalakítási-betöltési (ETL) és a extract-load-transform (ELT) tevékenységeket, és közvetlenül az Azure Data Lake Storage-ban tárolni az adatokat.
A big data-integrációk esetében az Azure Databricks és az Azure Synapse Analytics az Apache Spark motorral gyorsan és hatékonyan végezheti el az összes átalakítási tevékenységet a memóriabeli számítások elvégzéséhez.
Adatok tárolása:
Az átvitt adatokat a követelményektől függően számos elérhető állandó Azure-tárolási mód egyikében tárolhatja.
Ha nincs szükség elemzésre, az Azure Data Factory közvetlenül tárolhatja az adatokat számos tárolási lehetőségben, például a Data Lake Storage-ban és a Blob Storage-ban.
Az Azure különböző adatbázisokat üzemeltet, amelyek különböző igényeket kielégítenek:
- A relációs adatbázisok közé tartozik az SQL Server-család, valamint a nyílt forráskódú adatbázisok, például a PostgreSQL és a MySQL.
- A nem relációs adatbázisok közé tartozik az Azure Cosmos DB, egy gyors, többmodelles, globálisan elosztott NoSQL-adatbázis.
Tekintse át az elemzést és az üzleti intelligenciát:
A Microsoft Fabric egy teljes körű elemzési megoldás, amellyel szervezete tanulmányozhatja az adatáthelyezést, kísérletezhet az adatelemzésekkel, és áttekintheti a valós idejű elemzéseket és az üzleti intelligenciát. Átfogó funkciókkal rendelkezik, beleértve a data lake-t, az adatelemzést és az adatintegrációt.
Összetevők
A különböző fájlátviteli, integrációs és tárolási forgatókönyvek különböző összetevőket használnak. Az Azure-erőforrások költségeinek becsléséhez tekintse meg az Azure díjkalkulátorát .
Hálózatkezelés
A helyszíni adatátjárók olyan hídszoftverek, amelyek a helyszíni adatokat felhőszolgáltatásokhoz csatlakoztatják. Az átjárót egy dedikált helyszíni virtuális gépre telepítheti.
Adatintegráció és -átalakítás
A gazdagépfájlok adatszolgáltatója a HIS azon összetevője, amely az EBCDIC-kódlapfájlokat ASCII-vé alakítja. A szolgáltató offline állapotban tud rekordokat olvasni és írni egy helyi bináris fájlban, vagy használhatja a Systems Network Architecture (SNA) vagy a Transmission Control Protocol/Internet Protocol (TCP/IP) protokollt a rekordok távoli IBM z/OS-főszámítógép-adatkészletekben vagy i5/OS fizikai fájlokban való olvasására és írására. A HIS-összekötők a BizTalkhoz és az Azure Logic Appshez érhetők el.
Az Azure Data Factory egy hibrid adatintegrációs szolgáltatás, amellyel ETL- és ELT-munkafolyamatokat hozhat létre, ütemezhet és vezényelhet.
Az Azure Databricks egy Azure-ra optimalizált Apache Spark-alapú elemzési platform. A Databricks segítségével korrelálhatja a bejövő adatokat, és gazdagíthatja őket a Databricksben tárolt más adatokkal.
Az Azure Synapse Analytics egy gyors és rugalmas felhőalapú adattárház, amely nagymértékben párhuzamos feldolgozási (MPP) architektúrával rendelkezik, amellyel rugalmasan és függetlenül méretezheti, kiszámíthatja és tárolhatja az adatokat.
Adatbázisok
Az Azure SQL Database egy méretezhető relációs felhőadatbázis-szolgáltatás. Az Azure SQL Database örökzöld és mindig naprakész, AI-alapú és automatizált funkciókkal, amelyek optimalizálják a teljesítményt és a tartósságot. A kiszolgáló nélküli számítási és rugalmas skálázási tárolási lehetőségek automatikusan skálázják az erőforrásokat igény szerint. Az Azure Hybrid Benefit használatával a felhőben meglévő helyszíni SQL Server-licenceket további költségek nélkül használhatja.
Az Azure SQL Managed Instance egyesíti a legszélesebb körű SQL Server adatbázismotor-kompatibilitást a teljes mértékben felügyelt és örökzöld platform szolgáltatásként (PaaS) nyújtott előnyeivel. A felügyelt SQL-példányokkal nagy léptékben modernizálhatja meglévő alkalmazásait ismerős eszközökkel, készségekkel és erőforrásokkal.
Az Azure-beli virtuális gépeken futó SQL Server az SQL Server számítási feladatait a felhőbe emelésével és áthelyezésével kombinálja az Azure rugalmasságát és hibrid kapcsolatát az SQL Server teljesítményével, biztonságával és elemzésével. A legújabb SQL Server-frissítéseket és kiadásokat 100%-os kódkompatibilitással érheti el.
Az Azure Database for PostgreSQL egy teljes mértékben felügyelt relációsadatbázis-szolgáltatás, amely a nyílt forráskódú PostgreSQL-adatbázismotor közösségi kiadásán alapul.
Az Azure Database for MySQL egy teljes körűen felügyelt relációsadatbázis-szolgáltatás, amely a nyílt forráskódú MySQL-adatbázismotor közösségi kiadásán alapul.
Az Azure Cosmos DB egy teljes mértékben felügyelt, többmodelles NoSQL-adatbázis-szolgáltatás skálázható, nagy teljesítményű alkalmazások létrehozásához és modernizálásához. Az Azure Cosmos DB rugalmasan és egymástól függetlenül méretezi az átviteli sebességet és a tárolást a földrajzi régiók között, és garantálja az egy számjegyből álló ezredmásodperc késéseket a 99. percentilis rendelkezésre állással bárhol a világon.
Egyéb adattárak
A Blob Storage nagy mennyiségű strukturálatlan adatot, például szöveges vagy bináris adatot tárol, amelyek bárhonnan elérhetők HTTP-en vagy HTTPS-en keresztül. A Blob Storage használatával nyilvánosan közzéteheti az adatokat, vagy privát módon tárolhatja az alkalmazásadatokat.
A Data Lake Storage egy tárház, amely nagy mennyiségű adatot tárol natív, nyers formátumban. A Data Lake Storage skálázást biztosít a big data-elemzési számítási feladatokhoz terabájttal és petabájtnyi adattal. Az adatok általában több heterogén forrásból származnak, és strukturáltak, részben strukturáltak vagy strukturálatlanok lehetnek.
Lehetséges használati esetek
A helyszíni fájlreplikációs és szinkronizálási használati esetek a következők:
Alsó vagy felsőbb rétegbeli függőségek, például ha egy nagyszámítógépen futó alkalmazásoknak és az Azure-on futó alkalmazásoknak fájlokon keresztül kell adatokat cserélnie.
Az Azure-ban újrakonzolált vagy újraszerkesztett alkalmazások párhuzamos tesztelése helyszíni alkalmazásokkal.
Szorosan összekapcsolt helyszíni alkalmazások olyan rendszereken, amelyeket nem lehet azonnal szervizelni vagy modernizálni.
Közreműködők
Ezt a cikket a Microsoft tartja karban. Eredetileg a következő közreműködők írták.
Fő szerzők:
- Ashish Khandelwal | Főmérnöki architektúramenedzser
- Nithish Aruldoss | Mérnökmérnök
A nem nyilvános LinkedIn-profilok megtekintéséhez jelentkezzen be a LinkedInbe.
Következő lépések
- További információért forduljon a Microsoft SQL adatmérnök ing csapatához.
- Azure-adatbázisok migrálási útmutatói