Az Azure Data Lake Storage migrálása Gen1-ről Gen2-be az Azure Portal használatával
Ez a cikk bemutatja, hogyan egyszerűsítheti a migrálást az Azure Portal használatával.
Feljegyzés
Az Azure Data Lake Storage Gen1 ki lett állítva. A nyugdíjazási bejelentést itt találja. A Data Lake Storage Gen1-erőforrások már nem érhetők el. Ha különleges segítségre van szüksége, forduljon hozzánk.
Íme egy videó, amely további információkat közöl erről.
Fejezetek:
00.37 – Bevezetés
01:16 – Felkészülés a migrálásra
07:15 – Áttelepítés másolása
17:40 – Másolás és teljes migrálás
19:43 – Teljes migrálás
33:15 – Migrálás után
Mielőtt hozzákezd, olvassa el az Azure Data Lake Storage migrálási irányelveiben és mintáiban az 1. generációs verzióról Gen2-be való migrálásra vonatkozó általános útmutatást.
Előfordulhat, hogy a fiókja bizonyos megkötések alapján nem jogosult a portálalapú migrálásra. Ha az Adatok áttelepítése gomb nincs engedélyezve az Azure Portalon a Gen1-fiókhoz, támogatási csomag esetén támogatási kérelmet is be lehet nyújtani. A Microsoft Q&A közösségi szakértőitől is kaphat válaszokat.
Feljegyzés
A könnyebb olvasás érdekében ez a cikk a Gen1 kifejezést használja az 1. generációs Azure Data Lake Storage-ra, a Gen2 kifejezést pedig az Azure Data Lake Storage Gen2-re.
1. lépés: Tárfiók létrehozása Gen2-képességekkel
Az Azure Data Lake Storage Gen2 nem dedikált tárfiók vagy szolgáltatástípus. Ez az Azure Storage-fiók hierarchikus névtér funkciójának engedélyezésével elérhető képességek készlete. Gen2-képességekkel rendelkező fiók létrehozásához lásd : Tárfiók létrehozása az Azure Data Lake Storage Gen2-vel való használathoz.
A fiók létrehozásakor mindenképpen konfigurálja a beállításokat az alábbi értékekkel.
| Beállítás | Érték |
|---|---|
| Tárfiók neve | Tetszőleges név. Ennek a névnek nem kell egyeznie a Gen1-fiók nevével, és tetszőleges előfizetésben lehet. |
| Helyen | A Data Lake Storage Gen1-fiók által használt régió |
| Replikáció | LRS vagy ZRS |
| Minimális TLS-verzió | 1,0 |
| NFS v3 | Disabled (Letiltva) |
| Hierarchikus névtér | Engedélyezve |
Feljegyzés
Az Azure Portal áttelepítési eszköze nem helyezi át a fiókbeállításokat. Ezért a fiók létrehozása után manuálisan kell konfigurálnia az olyan beállításokat, mint a titkosítás, a hálózati tűzfalak és az adatvédelem.
Fontos
Győződjön meg arról, hogy friss, újonnan létrehozott tárfiókot használ, amelynek nincs előzménye. Ne migráljon korábban használt fiókba, és ne használjon olyan fiókot, amelyben a tárolókat törölték a fiók üressé tétele érdekében.
2. lépés: Azure szerepköralapú hozzáférés-vezérlési (Azure RBAC-) szerepkör-hozzárendelések ellenőrzése
Gen2 esetén győződjön meg arról, hogy a Storage Blob Data Owner szerepkör hozzá lett rendelve a Microsoft Entra felhasználói identitásához a tárfiók, a szülő erőforráscsoport vagy az előfizetés hatókörében.
Gen1 esetén győződjön meg arról, hogy a Tulajdonos szerepkör hozzá lett rendelve a Microsoft Entra-identitáshoz a Gen1-fiók, a szülőerőforrás-csoport vagy az előfizetés hatókörében.
3. lépés: Azure Data Lake Analytics-számítási feladatok migrálása
Az Azure Data Lake Storage Gen2 nem támogatja az Azure Data Lake Analytics szolgáltatást. Az Azure Data Lake Analytics 2024. február 29-én megszűnik . Ha az Azure Portal használatával próbál áttelepíteni egy Azure Data Lake Storage Gen1-fiókot, amelyet az Azure Data Lake Analyticshez használ, lehetséges, hogy megszakítja az Azure Data Lake Analytics számítási feladatait. A Gen1-fiók áttelepítése előtt először át kell telepítenie az Azure Data Lake Analytics számítási feladatait az Azure Synapse Analyticsbe vagy egy másik támogatott számítási platformra.
További információ: Az Azure Data Lake Analytics kezelése az Azure Portalon.
4. lépés: A Gen1-fiók előkészítése
A csak szóközökkel vagy tabulátorokkal rendelkező fájl- vagy könyvtárnevek, amelyek egy ., egy :vagy több egymást követő perjellel végződnek,// nem kompatibilisek a Gen2-vel. A migrálás előtt át kell neveznie ezeket a fájlokat vagy könyvtárakat.
A jobb teljesítmény érdekében fontolja meg az áttelepítés késleltetését az utolsó törlési művelet időpontjától számított legalább tíz napig. Egy Gen1-fiókban a törölt fájlok helyreállíthatóan törölt fájlokká válnak, és a Szemétgyűjtő csak hét napig távolítja el véglegesen őket, és a törlés feldolgozása néhány további napot vesz igénybe. A törléshez szükséges idő a fájlok számától függ. A migrálás során minden fájl feldolgozásra kerül, beleértve a helyreállíthatóan törölt fájlokat is. Ha megvárja, amíg a Szemétgyűjtő véglegesen eltávolítja a törölt fájlokat, a várakozási idő javulhat.
5. lépés: Az áttelepítés végrehajtása
Mielőtt hozzákezdene, tekintse át az alábbi két áttelepítési lehetőséget, és döntse el, hogy csak az 1. generációs verzióból a Gen2-be másolja az adatokat (ajánlott), vagy teljes migrálást hajt végre.
1. lehetőség: Csak az adatok másolása (ajánlott). Ebben a beállításban a rendszer az adatokat az 1. generációsból a Gen2-be másolja. Az adatok másolása közben a Gen1-fiók írásvédetté válik. Az adatok másolása után a Gen1 és Gen2 fiókok is elérhetők lesznek. Az új Gen2-végpont használatához azonban frissítenie kell az alkalmazásokat és a számítási feladatokat.
2. lehetőség: Teljes migrálás végrehajtása. Ebben a beállításban a rendszer az adatokat az 1. generációsból a Gen2-be másolja. Az adatok másolása után a Gen1-fiók összes adatforgalma át lesz irányítva a Gen2-kompatibilis fiókra. Az átirányított kérések a Gen1 kompatibilitási réteggel lefordítják a Gen1 API-hívásokat Gen2-ekvivalensekre. A migrálás során a Gen1-fiók írásvédetté válik. A migrálás befejezése után a Gen1-fiók nem lesz elérhető.
Bármelyik beállítást is választja, miután migrálta és ellenőrizte, hogy az összes számítási feladat a várt módon működik-e, törölheti a Gen1-fiókot.
1. lehetőség: Adatok másolása Gen1-ből Gen2-be
Az első lépésekhez jelentkezzen be az Azure Portalra .
Keresse meg a Data Lake Storage Gen1-fiókját, és jelenítse meg a fiók áttekintését.
Válassza az Adatok áttelepítése gombot.
Válassza az Adatok másolása új Gen2-fiókba lehetőséget.
A jelölőnégyzet bejelölésével adjon hozzájárulást a Microsoftnak az adatmigrálás végrehajtásához. Ezután válassza az Alkalmaz gombot.
Megjelenik egy állapotjelző üzenettel együtt egy folyamatjelző sáv. Ezekkel a jelzőkkel felmérheti a migrálás előrehaladását. Mivel az egyes tevékenységek elvégzéséhez eltérő idő áll rendelkezésére, a folyamatjelző sáv nem fog konzisztens ütemben haladni. Előfordulhat például, hogy a folyamatjelző sáv gyorsan 50%-ra fejlődik, de a fennmaradó 50 százalék elvégzése egy kicsit több időt vesz igénybe.
Fontos
Amíg az adatok migrálása folyamatban van, gen1-fiókja írásvédetté válik, és a Gen2-kompatibilis fiókja le van tiltva. Ha az áttelepítés befejeződött, mindkét fiókba olvashat és írhat.
Az áttelepítést bármikor leállíthatja a Migrálás leállítása gombra kattintva.
2. lehetőség: Teljes migrálás végrehajtása
Az első lépésekhez jelentkezzen be az Azure Portalra .
Keresse meg a Data Lake Storage Gen1-fiókját, és jelenítse meg a fiók áttekintését.
Válassza az Adatok áttelepítése gombot.
Válassza a Teljes migrálás egy új Gen2-fiókba lehetőséget.
A jelölőnégyzet bejelölésével adjon hozzájárulást a Microsoftnak az adatmigrálás végrehajtásához. Ezután válassza az Alkalmaz gombot.
Megjelenik egy állapotjelző üzenettel együtt egy folyamatjelző sáv. Ezekkel a jelzőkkel felmérheti a migrálás előrehaladását. Mivel az egyes tevékenységek elvégzéséhez eltérő idő áll rendelkezésére, a folyamatjelző sáv nem fog konzisztens ütemben haladni. Előfordulhat például, hogy a folyamatjelző sáv gyorsan 50%-ra fejlődik, de a fennmaradó 50 százalék elvégzése egy kicsit több időt vesz igénybe.
Fontos
Az adatok migrálása közben a Gen1-fiók írásvédetté válik, és a Gen2-kompatibilis fiók le van tiltva.
Emellett az 1. generációs URI átirányítása közben mindkét fiók le van tiltva.
Ha az áttelepítés befejeződött, a Gen1-fiók le lesz tiltva. A Gen1-fiók adatai nem lesznek elérhetők, és 30 nap elteltével törlődnek. A Gen2-fiókja olvasásokhoz és írásokhoz lesz elérhető.
Az áttelepítést bármikor leállíthatja az URI átirányítása előtt a Migrálás leállítása gombra kattintva.
6. lépés: Ellenőrizze, hogy az áttelepítés befejeződött-e
Ha a migrálás sikeresen befejeződött, a Gen2-kompatibilis fiókban létrejön egy gen1 nevű tároló, és a Gen1-fiók összes adata ebbe az új gen1-tárolóba lesz másolva. Ahhoz, hogy az adatokat egy Gen1-en létező elérési úton találja meg, hozzá kell adnia a gen1/ előtagot ugyanahhoz az elérési úthoz a Gen2-n való eléréséhez. Az 1. generációs "FolderRoot/FolderChild/FileName.csv" nevű elérési út például a Gen2 gen1/FolderRoot/FolderChild/FileName.csv címen érhető el. A tárolónevek nem nevezhetők át a Gen2-n, ezért a Gen2 gen1-tárolója nem nevezhető át a migrálás után. Az adatok azonban szükség esetén átmásolhatók egy új gen2-tárolóba.
Ha az áttelepítés nem fejeződik be sikeresen, megjelenik egy üzenet, amely azt jelzi, hogy az áttelepítés inkompatibilitások miatt elakadt. Ha segítségre van szüksége a következő lépéshez, forduljon Microsoft ügyfélszolgálata. Ez az üzenet akkor jelenhet meg, ha a Gen2-kompatibilis fiókot korábban használták, vagy ha a Gen1-fiók fájljai és könyvtárai nem kompatibilis elnevezési konvenciók.
Mielőtt kapcsolatba lép az ügyfélszolgálattal, győződjön meg arról, hogy egy friss, újonnan létrehozott tárfiókot használ, amelynek nincs előzménye. Kerülje a korábban használt fiókba vagy olyan fiókba való migrálást, amelyben a tárolókat törölték a fiók üressé tétele érdekében. Gen1-fiókjában győződjön meg arról, hogy átnevezi azokat a fájl- vagy könyvtárneveket, amelyek csak szóközöket vagy tabulátorokat tartalmaznak, .egy , egy :, vagy több perjelet (//) tartalmaznak.
7. lépés: Számítási feladatok és alkalmazások migrálása
Konfigurálja a számítási feladatokban lévő szolgáltatásokat, hogy a Gen2-végpontra mutasson. Az Azure Databricks, a HDInsight és más Azure-szolgáltatások Gen2 használatára való konfigurálását segítő cikkekre mutató hivatkozásokért tekintse meg az Azure Data Lake Storage Gen2-t támogató Azure-szolgáltatásokat.
Az alkalmazások frissítése Gen2 API-k használatára. Tekintse meg az alábbi útmutatókat:
Frissítse a szkripteket a Data Lake Storage Gen2 PowerShell-parancsmagok és az Azure CLI-parancsok használatára.
Keressen olyan URI-hivatkozásokat, amelyek a sztringet
adl://kódfájlokban vagy Databricks-jegyzetfüzetekben, Apache Hive HQL-fájlokban vagy a számítási feladatok részeként használt bármely más fájlban tartalmazzák. Cserélje le ezeket a hivatkozásokat az új tárfiók Gen2 formátumú URI-jára . Például: a Gen1 URI:adl://mydatalakestore.azuredatalakestore.net/mydirectory/myfileválhatabfss://myfilesystem@mydatalakestore.dfs.core.windows.net/mydirectory/myfile.
Gen1 kompatibilitási réteg
Ez a réteg az 1. generációs és a Gen2 közötti alkalmazáskompatibilitást próbálja biztosítani az áttelepítés során, hogy az alkalmazások továbbra is használhatják az 1. generációs API-kat a Gen2-kompatibilis fiók adatainak kezeléséhez. Ez a réteg korlátozott funkcionalitással rendelkezik, és javasoljuk, hogy tesztelt fiókokkal ellenőrizze a számítási feladatokat, ha ezt a megközelítést a migrálás részeként használja. A kompatibilitási réteg a kiszolgálón fut, ezért nincs mit telepíteni.
Fontos
A Microsoft nem javasolja ezt a képességet a számítási feladatok és alkalmazások migrálásához. A Gen1 kompatibilitási réteg támogatása 2024. február 29-én megszűnik, amikor a Gen1 megszűnik.
Ha a kompatibilitási réteggel kapcsolatos legkisebb számú problémát szeretné tapasztalni, győződjön meg arról, hogy a Gen1 SDK-k a következő (vagy újabb) verziókat használják.
| Nyelv | SDK verziója |
|---|---|
| .NET | 2.3.9 |
| Java | 1.1.21 |
| Python | 0.0.51 |
A kompatibilitási réteg nem támogatja az alábbi funkciókat.
A ListStatus API lehetőséggel a ListBefore bejegyzést hozhat létre.
ListStatus API több mint 4000 fájllal folytatási jogkivonat nélkül.
Adattömbkódolás hozzáfűzési műveletekhez.
A Microsoft Entra-jogkivonat célközönségeként használt
https://management.azure.com/API-hívások.Fájl- vagy könyvtárnevek, amelyek csak szóközökkel vagy tabulátorokkal végződnek, és egy
:, egy , vagy több egymást követő perjellel (//) végződnek..
Gyakori kérdések
Mennyi ideig tart a migrálás?
Az adatok és metaadatok párhuzamos migrálása. A migrálás befejezéséhez szükséges teljes idő egyenlő a két folyamat közül az utolsó befejezettekkel.
Az alábbi táblázat az egyes migrálási feldolgozási feladatok hozzávetőleges sebességét mutatja.
Feljegyzés
Ezek az időbecslések hozzávetőlegesek, és változhatnak. A nagy számú kis fájl másolása például lelassíthatja a teljesítményt.
| Feladat feldolgozása | Sebesség |
|---|---|
| Adatok másolása | 9 TB óránként |
| Adatellenőrzés engedélyezése | Óránként 9 millió fájl vagy mappa |
| Metaadatok másolása | Óránként 4 millió fájl vagy mappa |
| Metaadatok feldolgozása | Óránként 25 millió fájl vagy mappa |
| További metaadatok feldolgozása (adatmásolási lehetőség)1 | Óránként 50 millió fájl vagy mappa |
1 A metaadatok további feldolgozási ideje csak akkor érvényes, ha az Adatok másolása új Gen2-fiókba lehetőséget választja. Ez a feldolgozási idő nem érvényes, ha a Teljes migrálás új gen2-fiókra lehetőséget választja.
Példa: Nagy mennyiségű adat és metaadat feldolgozása
Ez a példa 300 TB adatot és 200 millió adatot és metaadatelemet feltételez.
| Task | Becsült idő |
|---|---|
| Adatok másolása | 300 TB / 9 TB = 33,33 óra |
| Az adatok ellenőrzése | 200 millió / 9 millió = 22,22 óra |
| Teljes adatmigrálási idő | 33,33 + 22,2 = 55,55 óra |
| Metaadatok másolása | 200 millió / 4 millió = 50 óra |
| Metaadatok feldolgozása | 200 millió / 25 millió = 8 óra |
| További metaadatok feldolgozása – csak adatmásolási lehetőség | 200 millió / 50 millió = 4 óra |
| Metaadatok áttelepítési ideje összesen | 50 + 8 + 4 = 62 óra |
| A csak adatmigrálás végrehajtásához szükséges teljes idő | 62 óra |
| Teljes migrálás végrehajtásának teljes ideje | 62 – 4 = 58 óra |
Példa: Kis mennyiségű adat és metaadat feldolgozása
Ez a példa feltételezi, hogy 2 TB adat és 56 ezer adat és metaadatelem.
| Task | Becsült idő |
|---|---|
| Adatok másolása | (2 TB / 9 TB) * 60 perc = 13,3 perc |
| Az adatok ellenőrzése | (56 000 / 9 millió) * 3600 másodperc = 22,4 másodperc |
| Teljes adatmigrálási idő | 13,3 perc + 22,4 másodperc = körülbelül 14 perc |
| Metaadatok másolása | (56 000 / 4 millió) * 3600 másodperc = körülbelül 51 másodperc |
| Metaadatok feldolgozása | 56 000/ 25 millió = 8 másodperc |
| További metaadatok feldolgozása – csak adatmásolási lehetőség | (56 000 / 50 millió) * 3600 másodperc = 4 másodperc |
| Metaadatok áttelepítési ideje összesen | 51 + 8 + 4 = 63 másodperc |
| A csak adatmigrálás végrehajtásához szükséges teljes idő | 14 perc |
| Teljes migrálás végrehajtásának teljes ideje | 14 perc – 4 másodperc = 13 perc és 56 másodperc (körülbelül 14 perc) |
Mennyibe kerül az adatmigrálás?
A portálalapú migrálási eszköz használata nem jár költséggel, azonban az Azure Data Lake Gen1 és Gen2 szolgáltatások használatáért díjat kell fizetnie. Az adatmigrálás során a Gen1-fiók adattárolási és tranzakcióiért kell fizetnie.
A migrálás után, ha azt a lehetőséget választotta, amely csak adatokat másol, akkor az Azure Data Lake Gen1- és Gen2-fiókok adattárolási és tranzakcióiért kell fizetnie. A Gen1-fiók számlázásának elkerülése érdekében törölje a Gen1-fiókot, miután frissítette az alkalmazásokat, hogy a Gen2-ra mutasson. Ha a teljes migrálást választotta, a rendszer csak a Gen2-kompatibilis fiók adattárolásáért és tranzakcióiért számláz.
A hozzájárulás megadása közben a migrálás kezdeményezése meghiúsult hibaüzenetet észleltem. Mit tegyek a következő lépésként?
Győződjön meg arról, hogy az összes Azure Data lake Analytics-fiók át lesz migrálva az Azure Synapse Analyticsbe vagy egy másik támogatott számítási platformra. Az Azure Data Lake Analytics-fiókok migrálása után próbálkozzon újra a hozzájárulásával. Ha tovább látja a problémát, és támogatási csomaggal rendelkezik, támogatási kérelmet is be tud nyújtani. A Microsoft Q&A közösségi szakértőitől is kaphat válaszokat.
A migrálás befejezése után visszatérhetek a Gen1-fiókhoz?
Ha az 1. lehetőséget használta : Adatok másolása Gen1-ből Gen2-be a fent említett gen2-be , akkor a Gen1- és Gen2-fiókok is elérhetők a migrálás utáni olvasáshoz és íráshoz. Ha azonban a 2. lehetőséget használta : Végezzen teljes migrálást, akkor a Gen1-fiókra való visszalépés nem támogatott. A 2. lehetőségben a migrálás befejezése után a Gen1-fiók adatai nem lesznek elérhetők, és 30 nap elteltével törlődnek. Az Azure Portalon továbbra is megtekintheti a Gen1-fiókot, és ha elkészült, törölheti a Gen1-fiókot.
Szeretném engedélyezni a georedundáns tárolást (GRS) a Gen2-kompatibilis fiókon. Mit kell tennem ehhez?
Ha az áttelepítés befejeződött, az "Adatok másolása" és a "Teljes migrálás" beállításban is módosíthatja a redundancia beállítását GRS-re, amíg nem tervezi az alkalmazáskompatibilitási réteg használatát. Az alkalmazáskompatibilitás nem működik a GRS-redundanciát használó fiókokon.
Gen1 nem rendelkezik tárolókkal, és Gen2 rendelkezik velük - mire számítsak?
Amikor átmásoljuk az adatokat a Gen2-kompatibilis fiókba, automatikusan létrehozunk egy "Gen1" nevű tárolót. Gen2-ben a tárolónevek nem nevezhetők át, ezért a migrálás utáni adatok szükség szerint átmásolhatók a Gen2 új tárolóiba.
Mit vegyek figyelembe a migrálási teljesítmény szempontjából?
Amikor átmásolja az adatokat a Gen2-kompatibilis fiókba, két tényező befolyásolhatja a teljesítményt: a fájlok száma és a metaadatok mennyisége. Sok kis fájl például befolyásolhatja a migrálás teljesítményét.
Támogatottak lesznek a WebHDFS fájlrendszer API-k a Gen2-fiók áttelepítés utáni használatakor?
Az 1. generációs WebHDFS fájlrendszer API-k támogatottak lesznek a Gen2-ben, de bizonyos eltérésekkel, és a kompatibilitási rétegen keresztül csak korlátozott funkciók támogatottak. Az ügyfeleknek gen2-specifikus API-kat kell használniuk a jobb teljesítmény és funkciók érdekében.
Mi történik a Gen1-fiókommal a nyugdíjazási dátum után?
A fiók elérhetetlenné válik. Nem fogja tudni:
A fiók kezelése
Adatok elérése a fiókban
Szolgáltatásfrissítések fogadása Gen1 vagy Gen1 API-khoz, SDK-khoz vagy ügyféleszközökhöz
Az 1. generációs ügyfélszolgálat elérése online, telefonon vagy e-mailben
Lásd : Szükséges művelet: Váltás az Azure Data Lake Storage Gen2-re 2024. február 29-ig.
Következő lépések
- Általános tudnivalók a migrálásról. További információ: Azure Data Lake Storage migrálása Gen1-ről Gen2-be.