Helyszíni Hadoop-adatok migrálása az Azure Data Lake Storage Gen2-be az Azure-hoz készült WANdisco LiveData platformmal
Az Azure-hoz készült WANdisco LiveData platform petabájtnyi helyszíni Hadoop-adatot migrál az Azure Data Lake Storage Gen2 fájlrendszereibe anélkül, hogy megszakítanák az adatműveleteket, vagy állásidőt igényelnek. A platform folyamatos ellenőrzései megakadályozzák az adatok elvesztését, miközben konzisztensek maradnak az átvitel mindkét végén, még akkor is, ha módosításon mennek keresztül.
A platform két szolgáltatásból áll. Az Azure-hoz készült LiveData Migrator aktívan használt adatokat migrál a helyszíni környezetekből az Azure Storage-ba, az Azure-hoz készült LiveData Plane pedig gondoskodik arról, hogy az összes módosított vagy betöltött adat replikálva legyen.
Mindkét szolgáltatás kezelése az Azure Portal és az Azure CLI használatával. Minden szolgáltatás ugyanazt a forgalmi díjas, használatalapú számlázási modellt követi, mint az összes többi Azure-szolgáltatás: az Azure-hoz készült LiveData platform adatfelhasználása a havi Azure-számlán jelenik meg, amely használati metrikákat biztosít.
Az adatok offline migrálásával ellentétben statikus adatokat másolhat az Azure Data Boxba, vagy a Hadoop-eszközök, például a DistCp használatával teljes körűen kezelheti üzleti rendszereit az online migrálás során az Azure-hoz készült WANdisco LiveData szolgáltatással. A big data-környezetek továbbra is működnek az adatok Azure-ba való áthelyezése közben.
Az Azure-hoz készült WANdisco LiveData platform főbb előnyei
A WANdisco LiveData platform az Azure széles körű hálózati képességgel rendelkező konszenzusmotorjához biztosítja az adatkonzisztenciát, és nagy léptékben valós idejű adatreplikálást végez. További információért tekintse meg az alábbi videót:
A platform fő előnyei a következők:
Adat pontossága: Az adatok végpontok közötti ellenőrzése megakadályozza az adatvesztést, és biztosítja az átvitt adatok megfelelő használatát.
Adatkonzisztencia: Az adatkötetek automatikusan konzisztensek maradnak a környezetek között, még akkor is, ha folyamatos változáson mennek keresztül.
Adathatékonyság: Nagy adatmennyiségek folyamatos átvitele a sávszélesség-felhasználás teljes szabályozásával.
Állásidő megszüntetése: A migrálás során szabadon hozhat létre, módosíthat, olvashat és törölhet adatokat más alkalmazásokkal anélkül, hogy az Azure-ba irányuló adattovábbítás során megszakítaná az üzleti műveleteket. Továbbra is üzemeltethet alkalmazásokat, elemzési infrastruktúrát, betöltési feladatokat és egyéb feldolgozásokat.
Egyszerű használat: A platform Azure-integrációjával létrehozhatja, konfigurálhatja, ütemezheti és nyomon követheti az automatizált migrálások előrehaladását. Emellett szükség szerint konfigurálhatja a szelektív adatreplikációt, a Hive-metaadatokat, az adatbiztonságot és a bizalmasságot.
Az Azure-hoz készült WANdisco LiveData platform főbb jellemzői
A platform fő funkciói a következők:
Metaadatok migrálása: A HDFS-adatok mellett migrálja a metaadatokat (a Hive-ből és más tárolókból) az Azure-hoz készült LiveData Migration szolgáltatással.
Ütemezett átvitel: Az Azure-hoz készült LiveData Migrator használatával szabályozhatja és automatizálhatja az adatátvitelt, így nincs szükség az adatok módosításainak manuális migrálására.
Kerberos: LiveData Migrator for Azure-támogatás s Kerberized clusters.
Kizárási sablonok: Szabályok létrehozása az Azure-hoz készült LiveData Migratorban bizonyos fájlméretek vagy fájlnevek (glob-minták használatával definiált) áttelepítésének megakadályozása érdekében a céltárolóba. Hozzon létre kizárási sablonokat az Azure Portalon vagy a parancssori felülettel, és alkalmazza őket tetszőleges számú migrálásra.
Útvonalleképezések: Alternatív célútvonalak definiálása adott cél fájlrendszerekhez, amelyek automatikusan áthelyezik az átvitt adatokat a megadott könyvtárakba.
Sávszélesség-kezelés: Konfigurálja az Azure-beli LiveData Migrator hálózati sávszélességének maximális mennyiségét a használaton túli sávszélesség megakadályozására.
Kizárások: Olyan sablon-lekérdezések definiálása, amelyek megakadályozzák a feltételeknek megfelelő fájlok és könyvtárak áttelepítését, lehetővé téve az adatok szelektív áttelepítését a forrásrendszerből.
Metrikák: Az Azure-hoz készült LiveData Migratorban történő adatátvitel részleteinek megtekintése, például az idővel átvitt fájlok, a kizárt elérési utak, az átvitel sikertelen elemei stb.
Big Data gyorsabb migrálása kockázat nélkül
Az Azure-hoz készült WANdisco LiveData platform első szolgáltatása az Azure-hoz készült LiveData Migrator, amely a helyszíni környezetekből az Azure Storage-ba migrálja az adatokat. Miután üzembe helyezte a LiveData Migratort a helyszíni Hadoop-fürtön, automatikusan létrehozza a fájlrendszer legjobb konfigurációját. Innen adja meg a rendszer Kerberos-adatait. Az Azure-hoz készült LiveData Migrator ezután készen áll az adatok Azure Storage-ba való migrálására.
Az Azure-hoz készült LiveData Migrator használata előtt tekintse át ezeket az előfeltételeket.
Migrálás végrehajtása:
Az Azure CLI-ben:
- Regisztráljon a WANdisco erőforrás-szolgáltatóra az Azure CLI-ben a futtatással
az provider register --namespace Wandisco.Fusion --consent-to-permissions. - A LiveData Platform forgalmi díjas számlázási feltételeinek elfogadása a futtatással
az vm image terms accept --offer ldma --plan metered-v1 --publisher Wandisco --subscription <subscriptionID>.
- Regisztráljon a WANdisco erőforrás-szolgáltatóra az Azure CLI-ben a futtatással
LiveData Migrator-példány üzembe helyezése az Azure Portalról a helyszíni Hadoop-fürtre. (Nem kell módosítania vagy újraindítania a fürtöt.)
Feljegyzés
Az Azure-hoz készült WANdisco LiveData Migrator lehetővé teszi Hadoop-tesztfürt létrehozását.
Szükség esetén konfigurálja a Kerberos adatait.
Határozza meg a cél Azure Data Lake Storage Gen2-kompatibilis tárfiókot.
Adja meg a migrálni kívánt adatok helyét, például:
/user/hive/warehouse.
Indítsa el az áttelepítést.
A migrálás előrehaladásának monitorozása szabványos Azure-eszközök használatával, beleértve az Azure CLI-t és az Azure Portalt.
Adatok kétirányú replikálás aktív változás alatt az Azure-hoz készült LiveData Plane használatával
A LiveData platform második szolgáltatása az Azure-hoz készült LiveData Plane. A LiveData Plane a WANdisco koordinációs motorjával konzisztensen tartja az adatokat számos helyszíni Hadoop-fürtön és Az Azure Storage-ban azáltal, hogy intelligensen alkalmazza az adatok módosításait az összes rendszeren, így kiküszöböli az adatütközések kockázatát a különböző felhasználási pontokon.
A kezdeti migrálás után az adatok konzisztensek maradnak az Azure-hoz készült LiveData Planerel:
A LiveData Plane üzembe helyezése a helyszíni Azure-ban és az Azure-ban az Azure Portalról indulva. Nincs szükség alkalmazásmódosításra.
Konfiguráljon olyan replikációs szabályokat, amelyek lefedik azokat az adathelyeket, amelyeket konzisztensnek szeretne tartani, például:
/user/contoso/sales/region/WA.Futtassa azokat az alkalmazásokat, amelyek igény szerint mindkét helyen hozzáférnek és módosítanak adatokat.
Az Azure-hoz készült LiveData Plane folyamatosan replikálja az adatváltozásokat minden környezetben anélkül, hogy jelentős hatással lenne a fürt működésére vagy az alkalmazások teljesítményére.
Meghajtó vagy próbaverzió tesztelése
Az Azure-hoz készült LiveData platform marketplace-oldalán két lehetőség közül választhat:
A Get It Now (Lekérés most ) gomb elindítja a szolgáltatást az előfizetésében. Innen használhatja a saját Hadoop-fürtjét vagy a WANdisco próbaverziós fürtjét.
Válassza a Test Drive lehetőséget az Azure-hoz készült LiveData Migrator teszteléséhez egy előre konfigurált és üzemeltetett környezetben. Ez lehetővé teszi, hogy kipróbálja a LiveData Migrator for Azure-t, mielőtt hozzáadná azt az előfizetéshez, anélkül, hogy az adatokkal bármilyen költséggel vagy kockázattal jár.
Következő lépések
- Migrálás tervezése és létrehozása az Azure-hoz készült LiveData Migrationben.