Eszközök a Teradata adatraktár migrálásához Azure Synapse Analyticsbe
Ez a cikk egy hétrészes sorozat hatodik része, amely útmutatást nyújt a Teradata-ból Azure Synapse Analyticsbe való migráláshoz. A cikk középpontjában a Microsoft és a külső eszközök ajánlott eljárásai áll.
Adattárház migrálási eszközei
A meglévő adattárház Azure Synapse való migrálásával a következő előnyöket élvezheti:
Globálisan biztonságos, méretezhető, alacsony költségű, natív felhőbeli, használatalapú elemzési adatbázis.
Az Azure-ban található gazdag Microsoft-elemzési ökoszisztéma. Ez az ökoszisztéma olyan technológiákból áll, amelyek segítenek modernizálni az adattárházat a migrálás után, és kiterjesztik az elemzési képességeket, hogy új értéket teremtsen.
A Microsofttól és a külső partnerektől származó számos eszköz segíthet a meglévő adattárház Azure Synapse való migrálásában. Ez a cikk a következő eszközök típusait ismerteti:
Microsoft-adat- és adatbázis-migrálási eszközök.
Külső adattárház-automatizálási eszközök a Azure Synapse történő migrálás automatizálásához és dokumentálásához.
Külső adattárház-migrálási eszközök a sémák és az adatok Azure Synapse való migrálásához.
Külső eszközökkel áthidalhatja a meglévő adattárház DBMS és Azure Synapse közötti SQL-különbségeket.
Microsoft-adatmigrálási eszközök
A Microsoft számos eszközt kínál a meglévő adattárház Azure Synapse való migrálásához, például:
Microsoft-szolgáltatások fizikai adatátvitelhez.
Microsoft-szolgáltatások adatbetöltéshez.
A következő szakaszok részletesebben ismertetik ezeket az eszközöket.
Microsoft Azure Data Factory
A Data Factory egy teljes mértékben felügyelt, használatalapú, hibrid adatintegrációs szolgáltatás, amely nagy mértékben skálázható ETL- és ELT-feldolgozást biztosít. Az Apache Sparkot használja az adatok párhuzamos és memóriabeli feldolgozására és elemzésére az átviteli sebesség maximalizálása érdekében.
Tipp
A Data Factory lehetővé teszi skálázható adatintegrációs folyamatok kód nélküli összeállítását.
A Data Factory-összekötők támogatják a külső adatforrásokhoz és adatbázisokhoz való csatlakozást, és sablonokat tartalmaznak a gyakori adatintegrációs feladatokhoz. A vizuális előtérbeli, böngészőalapú felhasználói felület lehetővé teszi a nem programozók számára, hogy folyamatokat hozzanak létre és futtassanak az adatok betöltéséhez, átalakításához és betöltéséhez. A tapasztaltabb programozók egyéni kódot is tartalmazhatnak, például Python-programokat.
Tipp
A Data Factory lehetővé teszi az üzleti és informatikai szakemberek közötti együttműködésen alapuló fejlesztést.
A Data Factory egy vezénylési eszköz is, és a legjobb Microsoft-eszköz a végpontok közötti migrálási folyamat automatizálására. Az automatizálás csökkenti a migrálás kockázatát, erőfeszítését és idejét, és könnyen megismételhetővé teszi a migrálási folyamatot. Az alábbi ábrán egy data factory-beli leképezési adatfolyam látható.
A következő képernyőképen egy adatáramlást mutatunk be a Data Factoryben.
A Data Factoryban néhány kattintással kódolás vagy karbantartás nélkül fejleszthet egyszerű vagy átfogó ETL- és ELT-folyamatokat. Az ETL/ELT feldolgozza az adatok betöltését, áthelyezését, előkészítését, átalakítását és feldolgozását. A Data Factoryben ütemezéseket és eseményindítókat tervezhet és kezelhet, így automatizált adatintegrációs és betöltési környezetet hozhat létre. A Data Factoryben meghatározhatja, kezelheti és ütemezheti a PolyBase tömeges adatbetöltési folyamatait.
Tipp
A Data Factory olyan eszközöket tartalmaz, amelyek segítenek az adatok és a teljes adattárház Azure-ba való migrálásában.
A Data Factory használatával biztonságos és konzisztens módon valósíthat meg és kezelhet hibrid környezetet helyszíni, felhőbeli, streamelési és SaaS-adatokkal. Az SaaS-adatok olyan alkalmazásokból származhatnak, mint a Salesforce.
Az adatfolyamok átszervezése egy új képesség a Data Factoryben. Ez a funkció megnyitja a Data Factoryt azoknak az üzleti felhasználóknak, akik kódírás nélkül szeretnének vizuálisan felderíteni, felderíteni és előkészíteni az adatokat. A Wrangling-adatfolyamok a Microsoft Excelhez, a Power Query és a Microsoft Power BI-adatfolyamokhoz hasonlóan önkiszolgáló adat-előkészítést kínálnak. Az üzleti felhasználók táblázatstílusú felhasználói felületen, legördülő átalakítási lehetőségekkel készíthetnek elő és integrálhatnak adatokat.
A Data Factory az adatintegrációs és ETL-/ELT-folyamatok Azure Synapse környezetben való implementálásához ajánlott módszer, különösen akkor, ha újra szeretné élesíteni a meglévő örökölt folyamatokat.
Microsoft-szolgáltatások fizikai adatátvitelhez
Az alábbi szakaszok számos olyan terméket és szolgáltatást tárgyalnak, amelyeket a Microsoft kínál az ügyfeleknek az adatátvitelhez.
Azure ExpressRoute
Az Azure ExpressRoute privát kapcsolatokat hoz létre az Azure-adatközpontok és az infrastruktúra között a helyszínen vagy egy rendezési környezetben. Az ExpressRoute-kapcsolatok nem lépnek át a nyilvános interneten, és nagyobb megbízhatóságot, gyorsabb sebességet és alacsonyabb késést biztosítanak, mint a tipikus internetkapcsolatok. Bizonyos esetekben jelentős költségelőnyre tehet szert az ExpressRoute-kapcsolatok használatával a helyszíni rendszerek és az Azure közötti adatátvitelhez.
AzCopy
Az AzCopy egy parancssori segédprogram, amely szabványos internetkapcsolaton keresztül másolja a fájlokat Azure Blob Storage. Egy raktármigrálási projektben az AzCopy segítségével kibontott, tömörített, tagolt szövegfájlokat tölthet fel, mielőtt betöltené őket Azure Synapse a PolyBase használatával. Az AzCopy feltölthet egyes fájlokat, fájlkijelöléseket vagy fájlmappákat. Ha az exportált fájlok Parquet formátumúak, használjon helyette egy natív Parquet-olvasót.
Azure Data Box
Az Azure Data Box egy Microsoft-szolgáltatás, amely egy saját fejlesztésű fizikai tárolóeszközt biztosít, amelybe migrálási adatokat másolhat. Ezután az eszközt egy Azure-adatközpontba küldi, ahol feltöltheti az adatokat a felhőbeli tárolóba. Ez a szolgáltatás költséghatékony lehet nagy mennyiségű adat, például több tíz vagy több száz terabájt esetén, vagy ha a hálózati sávszélesség nem érhető el könnyen. Az Azure Data Boxot általában nagy egyszeri előzményadatok Azure Synapse való betöltéséhez használják.
Azure Data Box Gateway
Az Azure Data Box Gateway egy virtualizált felhőalapú tárolóátjáró-eszköz, amely a helyszínen található, és elküldi a rendszerképeket, médiatartalmakat és egyéb adatokat az Azure-nak. Használja a Data Box Gatewayt egyszeri migrálási feladatokhoz vagy folyamatban lévő növekményes adatfeltöltésekhez.
Microsoft-szolgáltatások adatbetöltéshez
Az alábbi szakaszok azokat a termékeket és szolgáltatásokat ismertetik, amelyeket a Microsoft kínál az ügyfeleknek az adatbetöltéshez.
COPY INTO
A COPY INTO utasítás biztosítja a legnagyobb rugalmasságot a nagy átviteli sebességű adatbetöltéshez Azure Synapse. A képességekkel kapcsolatos COPY INTO további információkért lásd: COPY (Transact-SQL).
PolyBase
A PolyBase a leggyorsabb és legskálázhatóbb módszer a Azure Synapse történő tömeges adatbetöltéshez. A PolyBase a Azure Synapse nagymértékben párhuzamos feldolgozási (MPP) architektúráját használja az adatok párhuzamos betöltéséhez a leggyorsabb átviteli sebesség eléréséhez. A PolyBase Azure Blob Storage egybesimított fájljaiból, vagy közvetlenül külső adatforrásokból és más relációs adatbázisokból tud adatokat olvasni összekötők segítségével.
Tipp
A PolyBase az adatok párhuzamos betöltésére képes Azure Blob Storage Azure Synapse.
A PolyBase közvetlenül is olvashat a gzip-vel tömörített fájlokból, hogy csökkentse az adatok fizikai mennyiségét a betöltési folyamat során. A PolyBase támogatja a népszerű adatformátumokat, például a tagolt szöveget, az ORC-t és a Parquetet.
Tipp
Egy migrálási folyamat részeként meghívhatja a PolyBase-t a Data Factoryből.
A PolyBase szorosan integrálva van a Data Factoryval az adatbetöltési ETL-/ELT-folyamatok gyors fejlesztésének támogatásához. Az adatbetöltési folyamatokat vizualizációs felhasználói felületen ütemezheti a jobb hatékonyság és kevesebb hiba érdekében, mint a kézzel írt kód. A Microsoft a PolyBase-et javasolja a Azure Synapse való adatbetöltéshez, különösen a nagy mennyiségű adatbetöltéshez.
A PolyBase az adatok betöltéséhez használ CREATE TABLE AS vagy INSERT...SELECT utasításokat.
CREATE TABLE AS minimalizálja a naplózást a legnagyobb átviteli sebesség eléréséhez. Az adatbetöltés leghatékonyabb bemeneti formátuma a tömörített, tagolt szövegfájlok. A maximális átviteli sebesség érdekében ossza fel a nagy bemeneti fájlokat több kisebb fájlra, és töltse be őket párhuzamosan. Az előkészítési táblába való leggyorsabb betöltéshez adja meg a céltáblát típusként HEAP , és használja a ciklikus időszeleteléses eloszlást.
A PolyBase bizonyos korlátozásokkal rendelkezik, az adatsor hosszának 1 megabájtnál kisebbnek kell lennie, és nem támogatja az olyan rögzített szélességű beágyazott formátumokat, mint a JSON és az XML.
Microsoft-partnerek a Teradata migrálásához
A Microsoft-partnerek eszközöket, szolgáltatásokat és szakértelmet kínálnak a régi helyszíni adattárházplatform Azure Synapse való migrálásához.
Következő lépések
Ha többet szeretne megtudni a modern adattárházak implementálásáról, tekintse meg a következő cikket ebben a sorozatban: A Teradata migrálásán túl egy modern adattárház implementálása a Microsoft Azure-ban.