Eszközök az Oracle adatraktár-migrálásához az Azure Synapse Analyticsbe
Ez a cikk egy hétrészes sorozat hatodik része, amely útmutatást nyújt az Oracle-ből az Azure Synapse Analyticsbe való migráláshoz. A cikk középpontjában a Microsoft és a külső eszközök ajánlott eljárásait találja.
Adattárház migrálási eszközei
A meglévő adattárház Azure Synapse-ba való migrálásával a következő előnyöket élvezheti:
Globálisan biztonságos, skálázható, alacsony költségű, felhőalapú natív, használatalapú elemzési adatbázis.
Az Azure-ban található gazdag Microsoft-elemzési ökoszisztéma. Ez az ökoszisztéma olyan technológiákból áll, amelyek segítenek az adattárház migrálását követően modernizálni az adattárházat, és kiterjeszteni az elemzési képességeket az új érték eléréséhez.
A Microsoft és a külső partnerek számos eszköze segíthet a meglévő adattárház Azure Synapse-ba való migrálásában. Ez a cikk az alábbi eszközök típusait ismerteti:
Microsoft-adat- és adatbázis-migrálási eszközök.
Külső adattárház-automatizálási eszközök az Azure Synapse-ba való migrálás automatizálásához és dokumentálásához.
Külső adattárház-migrálási eszközök a sémák és adatok Azure Synapse-ba való migrálásához.
Külső eszközökkel áthidalhatja a meglévő adattárház DBMS és az Azure Synapse közötti SQL-különbségeket.
Microsoft-adatmigrálási eszközök
A Microsoft számos eszközt kínál a meglévő adattárház Azure Synapse-ba való migrálásához, például:
Microsoft-szolgáltatások fizikai adatátvitelhez.
Microsoft-szolgáltatások adatbetöltéshez.
A következő szakaszok részletesebben ismertetik ezeket az eszközöket.
SQL Server Migration Assistant (SSMA)
Az Oracle-hez készült SQL Server Migration Assistant (SSMA) a migrálási folyamat számos részét automatizálhatja, többek között bizonyos esetekben függvényeket és eljárási kódot. Az SSMA célkörnyezetként támogatja az Azure Synapse-t.
Az Oracle-hez készült SSMA segíthet az Oracle-adattárházak vagy -adattárházak Azure Synapse-ba való migrálásában. Az SSMA úgy lett kialakítva, hogy automatizálja a táblák, nézetek és adatok áttelepítésének folyamatát egy meglévő Oracle-környezetből.
Microsoft Azure Data Factory
A Data Factory egy teljes mértékben felügyelt, használatalapú, hibrid adatintegrációs szolgáltatás, amely nagy mértékben skálázható ETL- és ELT-feldolgozást biztosít. Az Apache Spark használatával dolgozza fel és elemzi az adatokat párhuzamosan és a memóriában az átviteli sebesség maximalizálása érdekében.
Tipp.
A Data Factory lehetővé teszi skálázható adatintegrációs folyamatok kód nélküli összeállítását.
A Data Factory-összekötők támogatják a külső adatforrásokhoz és adatbázisokhoz való kapcsolatokat, és sablonokat tartalmaznak a gyakori adatintegrációs feladatokhoz. A vizuális előtérbeli, böngészőalapú felhasználói felület lehetővé teszi a nem programozók számára, hogy folyamatokat hozzanak létre és futtassanak az adatok betöltéséhez, átalakításához és betöltéséhez. A tapasztaltabb programozók egyéni kódot, például Python-programokat is tartalmazhatnak.
Tipp.
A Data Factory lehetővé teszi az üzleti és informatikai szakemberek együttműködésen alapuló fejlesztését.
A Data Factory egyben vezénylési eszköz is, és a legjobb Microsoft-eszköz a végpontok közötti migrálási folyamat automatizálására. Az automatizálás csökkenti a migrálás kockázatát, erőfeszítését és idejét, és könnyen megismételhetővé teszi a migrálási folyamatot. Az alábbi ábrán a Data Factoryben található leképezési adatfolyam látható.
A következő képernyőképen a Data Factoryben egy hullámzó adatfolyam látható.
A Data Factoryben néhány kattintással egyszerű vagy átfogó ETL- és ELT-folyamatokat fejleszthet kódolás és karbantartás nélkül. Az ETL/ELT feldolgozza az adatok betöltését, áthelyezését, előkészítését, átalakítását és feldolgozását. A Data Factoryben ütemezéseket és eseményindítókat tervezhet és kezelhet, így automatizált adatintegrációs és betöltési környezetet hozhat létre. A Data Factoryben meghatározhatja, kezelheti és ütemezheti a PolyBase tömeges adatbetöltési folyamatait.
Tipp.
A Data Factory olyan eszközöket tartalmaz, amelyekkel az adatok és a teljes adattárház is migrálva lesz az Azure-ba.
A Data Factory használatával biztonságos és konzisztens módon valósíthat meg és kezelhet hibrid környezetet helyszíni, felhőbeli, streamelési és SaaS-adatokkal. Az SaaS-adatok olyan alkalmazásokból származhatnak, mint a Salesforce.
Az adatfolyamok átszervezése egy új képesség a Data Factoryben. Ez a funkció megnyitja a Data Factoryt azoknak az üzleti felhasználóknak, akik kódírás nélkül szeretnének vizuálisan felderíteni, felderíteni és előkészíteni az adatokat. A Wrangling-adatfolyamok önkiszolgáló adat-előkészítést kínálnak, hasonlóan a Microsoft Excelhez, a Power Queryhez és a Microsoft Power BI-adatfolyamokhoz. Az üzleti felhasználók táblázatstílusú felhasználói felületen készíthetnek elő és integrálhatnak adatokat legördülő átalakítási lehetőségekkel.
A nagy léptékű adatmigrálás segít a forrásban lévő adatok Azure SQL-célba való migrálásában a Data Factory használatával.
A Data Factory az adatintegráció és az ETL/ELT-folyamatok Azure Synapse-környezetben való implementálásának ajánlott megközelítése, különösen akkor, ha újra szeretné élesíteni a meglévő örökölt folyamatokat.
Microsoft-szolgáltatások fizikai adatátvitelhez
A következő szakaszok a Microsoft által az adatátvitelhez nyújtott termékek és szolgáltatások széles körét ismertetik. Ez az offline adatáthelyezés lehetővé teszi a végfelhasználók számára, hogy jelentősen csökkentsék a migrálás állásidejét.
Azure ExpressRoute
Az Azure ExpressRoute privát kapcsolatokat hoz létre az Azure-adatközpontok és az infrastruktúra között a helyszínen vagy egy rendezési környezetben. Az ExpressRoute-kapcsolatok nem mennek át a nyilvános interneten, és nagyobb megbízhatóságot, gyorsabb sebességet és alacsonyabb késést kínálnak, mint a tipikus internetkapcsolatok. Bizonyos esetekben az ExpressRoute-kapcsolatok használatával jelentős költségelőnyökhöz juthat a helyszíni rendszerek és az Azure közötti adatátvitelhez.
AzCopy
Az AzCopy egy parancssori segédprogram, amely szabványos internetkapcsolaton keresztül másol fájlokat az Azure Blob Storage-ba. Egy raktármigrálási projektben az AzCopy használatával kinyert, tömörített, tagolt szövegfájlokat tölthet fel, mielőtt betöltené őket az Azure Synapse-ba a PolyBase használatával. Az AzCopy feltölthet egyes fájlokat, fájlkijelöléseket vagy fájlmappákat. Ha az exportált fájlok Parquet formátumban vannak, használjon helyette egy natív Parquet-olvasót.
Azure Data Box
Az Azure Data Box egy Microsoft-szolgáltatás, amely egy védett fizikai tárolóeszközt biztosít, amellyel átmásolhatja a migrálási adatokat. Ezután az eszközt egy Azure-adatközpontba kell szállítani a felhőbeli tárolóba való adatfeltöltéshez. Ez a szolgáltatás költséghatékony lehet nagy mennyiségű adat, például több tíz vagy több száz terabájt esetén, vagy ha a hálózati sávszélesség nem érhető el könnyen. Az Azure Data Box általában az Azure Synapse-ba irányuló nagy egyszeri előzményadat-terheléshez használatos.
Azure Data Box Gateway
Az Azure Data Box Gateway egy virtualizált felhőalapú tárolóátjáró-eszköz, amely a helyszínen található, és elküldi a rendszerképeket, médiatartalmakat és egyéb adatokat az Azure-nak. Használja a Data Box Gatewayt egyszeri áttelepítési feladatokhoz vagy folyamatos növekményes adatfeltöltésekhez.
Microsoft-szolgáltatások adatbetöltéshez
A következő szakaszok azokat a termékeket és szolgáltatásokat ismertetik, amelyeket a Microsoft kínál az ügyfeleknek az adatok betöltéséhez.
COPY INTO
A COPY INTO utasítás biztosítja a legnagyobb rugalmasságot a nagy átviteli sebességű adatbetöltéshez az Azure Synapse-ba. A képességekről COPY INTO további információt a COPY (Transact-SQL) című témakörben talál.
PolyBase
A PolyBase az Azure Synapse-ba irányuló tömeges adatbetöltés leggyorsabb és legskálázhatóbb módszere. A PolyBase az Azure Synapse nagymértékben párhuzamos feldolgozási (MPP) architektúráját használja az adatok párhuzamos betöltéséhez a leggyorsabb átviteli sebesség elérése érdekében. A PolyBase az Azure Blob Storage-ban egybesimított fájlokból, vagy közvetlenül külső adatforrásokból és más relációs adatbázisokból tud adatokat olvasni összekötőkkel.
Tipp.
A PolyBase az Azure Blob Storage-ból párhuzamosan képes adatokat betölteni az Azure Synapse-ba.
A PolyBase közvetlenül is képes olvasni a gziptel tömörített fájlokból, hogy csökkentse az adatok fizikai mennyiségét egy betöltési folyamat során. A PolyBase támogatja a népszerű adatformátumokat, például a tagolt szöveget, az ORC-t és a Parquetet.
Tipp.
Egy migrálási folyamat részeként meghívhatja a PolyBase-t a Data Factoryből.
A PolyBase szorosan integrálva van a Data Factoryvel az adatbetöltési ETL-/ELT-folyamatok gyors fejlesztésének támogatása érdekében. Az adatbetöltési folyamatokat vizualizációs felhasználói felületen ütemezheti a nagyobb hatékonyság és kevesebb hiba érdekében, mint a kézzel írt kód. A Microsoft a PolyBase használatát javasolja az Azure Synapse-be történő adatbetöltéshez, különösen a nagy mennyiségű adatbetöltéshez.
A PolyBase adatokat tölt be vagy INSERT...SELECT utasításokat használCREATE TABLE AS. CREATE TABLE AS minimalizálja a naplózást a legmagasabb átviteli sebesség elérése érdekében. Az adatbetöltés leghatékonyabb bemeneti formátuma a tömörített, tagolt szövegfájlok. A maximális átviteli sebesség érdekében ossza fel a nagy bemeneti fájlokat több kisebb fájlra, és töltse be őket párhuzamosan. Az átmeneti táblába való leggyorsabb betöltéshez adja meg a céltáblát típusként HEAP , és használja a ciklikus időszeleteléses eloszlást.
A PolyBase bizonyos korlátozásokkal rendelkezik, az adatsor hosszának 1 megabájtnál kisebbnek kell lennie, és nem támogatja a rögzített szélességű beágyazott formátumokat, például a JSON-t és az XML-t.
Microsoft tools for Oracle migrations
Az Oracle SQL Server Migration Assistant (SSMA) segítségével migrálhatja az örökölt helyszíni adatraktár-platformot az Azure Synapse-be.
Microsoft-partnerek Oracle-migrálásokhoz
A Microsoft-partnerek eszközöket, szolgáltatásokat és szakértelmet kínálnak az örökölt helyszíni adattárházplatform Azure Synapse-ba való migrálásához.
Következő lépések
A modern adattárházak implementálásával kapcsolatos további információkért tekintse meg a következő cikket ebben a sorozatban: Az Oracle migrálásán túl egy modern adattárház implementálása a Microsoft Azure-ban.