Eszközök a Netezza adattárház migrálásához Azure Synapse Analyticsbe
Ez a cikk egy hétrészes sorozat hatodik része, amely útmutatást nyújt a Netezza-ból Azure Synapse Analyticsbe való migráláshoz. Ez a cikk a Microsoft és külső eszközök ajánlott eljárásait ismerteti.
Adattárház migrálási eszközei
A meglévő adattárház Azure Synapse való migrálásával a következő előnyöket élvezheti:
Globálisan biztonságos, skálázható, alacsony költségű, natív felhőbeli, használatalapú elemzési adatbázis.
Az Azure-ban található gazdag Microsoft-elemzési ökoszisztéma. Ez az ökoszisztéma olyan technológiákból áll, amelyek segítenek az adattárház modernizálásában a migrálás után, és kiterjesztik az elemzési képességeket, hogy új értéket teremtsen.
A Microsoft és a külső partnerek számos eszköze segíthet a meglévő adattárház Azure Synapse való migrálásában. Ez a cikk az alábbi eszközök típusait ismerteti:
Microsoft-adat- és adatbázis-migrálási eszközök.
Külső adattárház-automatizálási eszközök a Azure Synapse való migrálás automatizálásához és dokumentálásához.
Külső adattárház-migrálási eszközök a sémák és adatok Azure Synapse való migrálásához.
Külső eszközökkel áthidalhatja a meglévő adattárház DBMS és Azure Synapse közötti SQL-különbségeket.
Microsoft adatmigrálási eszközök
A Microsoft számos eszközt kínál a meglévő adattárház Azure Synapse való migrálásához, például:
Microsoft-szolgáltatások fizikai adatátvitelhez.
Microsoft-szolgáltatások adatbetöltéshez.
A következő szakaszok részletesebben ismertetik ezeket az eszközöket.
Microsoft Azure Data Factory
A Data Factory egy teljes mértékben felügyelt, használatalapú, hibrid adatintegrációs szolgáltatás, amely nagy mértékben skálázható ETL- és ELT-feldolgozást biztosít. Az Apache Spark használatával dolgozza fel és elemzi az adatokat párhuzamosan és a memóriában az átviteli sebesség maximalizálása érdekében.
Tipp
A Data Factory lehetővé teszi skálázható adatintegrációs folyamatok kód nélküli összeállítását.
A Data Factory-összekötők támogatják a külső adatforrásokhoz és adatbázisokhoz való kapcsolódást, és sablonokat tartalmaznak a gyakori adatintegrációs feladatokhoz. A vizuális előtérbeli, böngészőalapú felhasználói felület lehetővé teszi, hogy a nem programozók folyamatokat hozzanak létre és futtassanak az adatok betöltéséhez, átalakításához és betöltéséhez. A tapasztaltabb programozók egyéni kódot is beépíthetnek, például Python-programokat.
Tipp
A Data Factory lehetővé teszi az üzleti és informatikai szakemberek közötti együttműködésen alapuló fejlesztést.
A Data Factory egy vezénylési eszköz is, és a legjobb Microsoft-eszköz a végpontok közötti migrálási folyamat automatizálásához. Az automatizálás csökkenti a migrálás kockázatát, erőfeszítését és idejét, és könnyen megismételhetővé teszi a migrálási folyamatot. Az alábbi ábrán a Data Factory egy leképezési adatfolyama látható.
A következő képernyőképen a Data Factoryben futó, megrendült adatfolyam látható.
A Data Factoryben néhány kattintással kódolás és karbantartás nélkül fejleszthet egyszerű vagy átfogó ETL- és ELT-folyamatokat. Az ETL/ELT feldolgozza az adatok betöltését, áthelyezését, előkészítését, átalakítását és feldolgozását. A Data Factoryben ütemezéseket és eseményindítókat tervezhet és kezelhet, így automatizált adatintegrációs és betöltési környezetet hozhat létre. A Data Factoryben meghatározhatja, kezelheti és ütemezheti a PolyBase tömeges adatbetöltési folyamatait.
Tipp
A Data Factory eszközöket tartalmaz az adatok és a teljes adattárház Azure-ba való migrálásához.
A Data Factory használatával biztonságos és konzisztens módon valósíthat meg és kezelhet hibrid környezetet helyszíni, felhőbeli, streamelési és SaaS-adatokkal. Az SaaS-adatok olyan alkalmazásokból származhatnak, mint a Salesforce.
Az adatfolyamok átszervezése a Data Factory új képessége. Ez a funkció megnyitja a Data Factoryt azoknak az üzleti felhasználóknak, akik kódírás nélkül szeretnének vizuálisan felderíteni, feltárni és előkészíteni az adatokat. A Wrangling-adatfolyamok a Microsoft Excelhez, Power Query és Microsoft Power BI-adatfolyamokhoz hasonlóan önkiszolgáló adat-előkészítést kínálnak. Az üzleti felhasználók táblázatstílusú felhasználói felületen készíthetik elő és integrálhatják az adatokat a legördülő átalakítási lehetőségekkel.
A Data Factory az adatintegrációs és ETL-/ELT-folyamatok Azure Synapse környezetben való implementálásához ajánlott megközelítés, különösen akkor, ha a meglévő örökölt folyamatokat szeretné újrabontásra használni.
Microsoft-szolgáltatások fizikai adatátvitelhez
Az alábbi szakaszok számos olyan terméket és szolgáltatást tárgyalnak, amelyeket a Microsoft kínál az ügyfeleknek az adatátvitelhez.
Azure ExpressRoute
Az Azure ExpressRoute privát kapcsolatokat hoz létre az Azure-adatközpontok és az infrastruktúra között a helyszínen vagy egy rendezési környezetben. Az ExpressRoute-kapcsolatok nem működnek a nyilvános interneten, és nagyobb megbízhatóságot, gyorsabb sebességet és alacsonyabb késést biztosítanak, mint a tipikus internetkapcsolatok. Bizonyos esetekben jelentős költségelőnyt érhet el azzal, ha ExpressRoute-kapcsolatokat használ a helyszíni rendszerek és az Azure közötti adatátvitelhez.
AzCopy
Az AzCopy egy parancssori segédprogram, amely szabványos internetkapcsolaton keresztül másolja a fájlokat Azure Blob Storage. Egy raktármigrálási projektben az AzCopyval kibontott, tömörített, tagolt szövegfájlokat tölthet fel, mielőtt betöltené őket Azure Synapse a PolyBase használatával. Az AzCopy képes egyes fájlokat, fájlkijelöléseket vagy fájlmappákat feltölteni. Ha az exportált fájlok Parquet formátumúak, használjon helyette egy natív Parquet-olvasót.
Azure Data Box
Az Azure Data Box egy Microsoft-szolgáltatás, amely egy saját fejlesztésű fizikai tárolóeszközt biztosít, amellyel átmásolhatja a migrálási adatokat. Ezután az eszközt egy Azure-adatközpontba küldi, ahol feltöltheti az adatokat a felhőbeli tárolóba. Ez a szolgáltatás költséghatékony lehet nagy mennyiségű adat, például több tíz vagy több száz terabájt esetén, vagy ha a hálózati sávszélesség nem érhető el könnyen. Az Azure Data Boxot általában nagy egyszeri adatbetöltéshez használják a Azure Synapse.
Azure Data Box Gateway
Az Azure Data Box Gateway egy virtualizált felhőalapú tárolóátjáró-eszköz, amely a helyszínen található, és elküldi a rendszerképeket, adathordozókat és egyéb adatokat az Azure-nak. Használja a Data Box Gatewayt egyszeri migrálási feladatokhoz vagy folyamatban lévő növekményes adatfeltöltésekhez.
Microsoft-szolgáltatások adatbetöltéshez
A következő szakaszok azokat a termékeket és szolgáltatásokat ismertetik, amelyeket a Microsoft kínál az ügyfeleknek az adatbetöltésben való segítségnyújtáshoz.
COPY INTO
A COPY INTO utasítás biztosítja a legnagyobb rugalmasságot a nagy átviteli sebességű adatbetöltéshez Azure Synapse. A képességekkel kapcsolatos COPY INTO további információkért lásd: COPY (Transact-SQL).
PolyBase
A PolyBase a leggyorsabb, legskálázhatóbb módszer a Azure Synapse történő tömeges adatbetöltéshez. A PolyBase a Azure Synapse nagymértékben párhuzamos feldolgozási (MPP) architektúráját használja az adatok párhuzamos betöltéséhez a leggyorsabb átviteli sebesség eléréséhez. A PolyBase képes adatokat olvasni Azure Blob Storage egybesimított fájljaiból, vagy közvetlenül külső adatforrásokból és más relációs adatbázisokból összekötőkkel.
Tipp
A PolyBase képes párhuzamosan betölteni az adatokat Azure Blob Storage Azure Synapse.
A PolyBase közvetlenül is olvashat a gziptel tömörített fájlokból, hogy csökkentse az adatok fizikai mennyiségét a betöltési folyamat során. A PolyBase támogatja a népszerű adatformátumokat, például a tagolt szöveget, az ORC-t és a Parquetet.
Tipp
Egy migrálási folyamat részeként meghívhatja a PolyBase-t a Data Factoryből.
A PolyBase szorosan integrálva van a Data Factoryvel az adatbetöltési ETL-/ELT-folyamatok gyors fejlesztésének támogatása érdekében. Az adatbetöltési folyamatokat vizualizációs felhasználói felületen keresztül ütemezheti a jobb hatékonyság és kevesebb hiba érdekében, mint a kézzel írt kód. A Microsoft a PolyBase használatát javasolja a Azure Synapse való adatbetöltéshez, különösen a nagy mennyiségű adatbetöltéshez.
A PolyBase a CREATE TABLE AS vagy INSERT...SELECT utasításokkal tölti be az adatokat.
CREATE TABLE AS minimalizálja a naplózást a legmagasabb átviteli sebesség elérése érdekében. Az adatbetöltés leghatékonyabb bemeneti formátuma a tömörített, tagolt szövegfájlok. A maximális átviteli sebesség érdekében ossza fel a nagy bemeneti fájlokat több kisebb fájlra, és töltse be őket párhuzamosan. Az előkészítési táblába való leggyorsabb betöltéshez adja meg a céltáblát típusként HEAP , és használja a ciklikus időszeleteléses elosztást.
A PolyBase bizonyos korlátozásokkal rendelkezik, az adatsor hosszának 1 megabájtnál kisebbnek kell lennie, és nem támogatja a rögzített szélességű beágyazott formátumokat, például a JSON-t és az XML-t.
Microsoft-partnerek a Netezza-migrálásokhoz
A Microsoft-partnerek olyan eszközöket, szolgáltatásokat és szakértelmet kínálnak, amelyekkel az örökölt helyszíni adattárházplatformot migrálhatja Azure Synapse.
Következő lépések
Ha többet szeretne megtudni a modern adattárházak implementálásáról, tekintse meg a következő cikket ebben a sorozatban: A Netezza migrálásán túl, modern adattárház implementálása a Microsoft Azure-ban.