Migrera Azure Data Lake Storage från Gen1 till Gen2 med hjälp av Azure Portal
Den här artikeln visar hur du förenklar migreringen med hjälp av Azure Portal.
Anteckning
Azure Data Lake Storage Gen1 är nu tillbakadragen. Se pensionsmeddelandet här. Data Lake Storage Gen1 resurser är inte längre tillgängliga. Kontakta oss om du behöver särskild hjälp.
Här är en video som berättar mer om den.
Kapitel:
00.37 – Introduktion
01:16 – Förbereder migrering
07:15 – Kopiera migrering
17:40 – Kopiera eller slutföra migrering
19:43 – Fullständig migrering
33:15 – Efter migrering
Innan du börjar bör du läsa den allmänna vägledningen om hur du migrerar från Gen1 till Gen2 i Azure Data Lake Storage riktlinjer och mönster för migrering.
Ditt konto kanske inte är kvalificerat för portalbaserad migrering baserat på vissa begränsningar. Om du har ett supportavtal kan du skicka en supportbegäran när knappen Migrera data inte är aktiverad i Azure Portal för ditt Gen1-konto. Du kan också få svar från communityexperter i Microsoft Q&A.
Anteckning
För enklare läsning använder den här artikeln termen Gen1 för att referera till Azure Data Lake Storage Gen1 och termen Gen2 för att referera till Azure Data Lake Storage Gen2.
Steg 1: Skapa ett lagringskonto med Gen2-funktioner
Azure Data Lake Storage Gen2 är inte ett dedikerat lagringskonto eller tjänsttyp. Det är en uppsättning funktioner som du kan hämta genom att aktivera funktionen Hierarkisk namnrymd för ett Azure Storage-konto. Information om hur du skapar ett konto som har Gen2-funktioner finns i Skapa ett lagringskonto som ska användas med Azure Data Lake Storage Gen2.
När du skapar kontot måste du konfigurera inställningarna med följande värden.
| Inställningen | Värde |
|---|---|
| Namn på lagringskonto | Vilket namn du vill. Det här namnet behöver inte matcha namnet på ditt Gen1-konto och kan finnas i valfri prenumeration. |
| Plats | Samma region som används av Data Lake Storage Gen1-kontot |
| Replikering | LRS eller ZRS |
| Lägsta TLS-version | 1,0 |
| NFS v3 | Inaktiverad |
| Hierarkisk namnrymd | Enabled |
Anteckning
Migreringsverktyget i Azure Portal flyttar inte kontoinställningarna. När du har skapat kontot måste du därför manuellt konfigurera inställningar som kryptering, nätverksbrandväggar och dataskydd.
Viktigt
Se till att du använder ett nytt, nyligen skapat lagringskonto som inte har någon användningshistorik. Migrera inte till ett tidigare använt konto eller använd ett konto där containrar har tagits bort för att göra kontot tomt.
Steg 2: Verifiera rolltilldelningar för rollbaserad åtkomstkontroll i Azure (Azure RBAC)
För Gen2 kontrollerar du att rollen Storage Blob Data-ägare har tilldelats till din Microsoft Entra användaridentitet i omfånget för lagringskontot, den överordnade resursgruppen eller prenumerationen.
För Gen1 kontrollerar du att rollen Ägare har tilldelats till din Microsoft Entra-identitet i omfånget för Gen1-kontot, den överordnade resursgruppen eller prenumerationen.
Steg 3: Migrera Azure Data Lake Analytics arbetsbelastningar
Azure Data Lake Storage Gen2 stöder inte Azure Data Lake Analytics. Azure Data Lake Analytics dras tillbaka den 29 februari 2024. Om du försöker använda Azure Portal för att migrera ett Azure Data Lake Storage Gen1-konto som används för Azure Data Lake Analytics är det möjligt att du bryter dina arbetsbelastningar i Azure Data Lake Analytics. Du måste först migrera dina Azure Data Lake Analytics-arbetsbelastningar till Azure Synapse Analytics eller någon annan beräkningsplattform som stöds innan du försöker migrera ditt Gen1-konto.
Mer information finns i Hantera Azure Data Lake Analytics med hjälp av Azure Portal.
Steg 4: Förbereda Gen1-kontot
Fil- eller katalognamn med endast blanksteg eller flikar, som slutar med ett ., som innehåller ett :eller flera efterföljande snedstreck (//) är inte kompatibla med Gen2. Du måste byta namn på dessa filer eller kataloger innan du migrerar.
För bättre prestanda kan du överväga att fördröja migreringen i minst tio dagar från tidpunkten för den senaste borttagningsåtgärden. I ett Gen1-konto blir borttagna filer mjukt borttagna filer och skräpinsamlaren tar inte bort dem permanent förrän sju dagar och det tar några extra dagar att bearbeta rensningen. Hur länge det tar att rensa beror på antalet filer. Alla filer, inklusive mjukt borttagna filer, bearbetas under migreringen. Om du väntar tills skräpinsamlaren har tagit bort borttagna filer permanent kan väntetiden förbättras.
Steg 5: Utför migreringen
Innan du börjar granskar du de två migreringsalternativen nedan och bestämmer om du bara vill kopiera data från Gen1 till Gen2 (rekommenderas) eller utföra en fullständig migrering.
Alternativ 1: Kopiera endast data (rekommenderas). I det här alternativet kopieras data från Gen1 till Gen2. När data kopieras blir Gen1-kontot skrivskyddat. När data har kopierats är både Gen1- och Gen2-kontona tillgängliga. Du måste dock uppdatera programmen och beräkningsarbetsbelastningarna för att använda den nya Gen2-slutpunkten.
Alternativ 2: Utför en fullständig migrering. I det här alternativet kopieras data från Gen1 till Gen2. När data har kopierats omdirigeras all trafik från Gen1-kontot till det Gen2-aktiverade kontot. Omdirigerade begäranden använder Gen1-kompatibilitetsskiktet för att översätta Gen1 API-anrop till Gen2-motsvarigheter. Under migreringen blir Gen1-kontot skrivskyddat. När migreringen är klar är Gen1-kontot inte tillgängligt.
Oavsett vilket alternativ du väljer kan du ta bort Gen1-kontot när du har migrerat och kontrollerat att alla dina arbetsbelastningar fungerar som förväntat.
Alternativ 1: Kopiera data från Gen1 till Gen2
Kom igång genom att logga in på Azure-portalen.
Leta upp ditt Data Lake Storage Gen1-konto och visa kontoöversikten.
Välj knappen Migrera data .
Välj Kopiera data till ett nytt Gen2-konto.
Ge Microsoft tillstånd att utföra datamigreringen genom att markera kryssrutan. Välj sedan knappen Tillämpa .
En förloppsindikator visas tillsammans med ett understatusmeddelande. Du kan använda dessa indikatorer för att mäta migreringens förlopp. Eftersom tiden för att slutföra varje aktivitet varierar, går förloppsindikatorn inte framåt med en konsekvent hastighet. Förloppsindikatorn kan till exempel snabbt gå vidare till 50 procent, men sedan ta lite mer tid att slutföra de återstående 50 procenten.
Viktigt
Medan dina data migreras blir ditt Gen1-konto skrivskyddat och ditt Gen2-aktiverade konto inaktiveras. När migreringen är klar kan du läsa och skriva till båda kontona.
Du kan stoppa migreringen när som helst genom att välja knappen Stoppa migrering .
Alternativ 2: Utföra en fullständig migrering
Kom igång genom att logga in på Azure-portalen.
Leta upp ditt Data Lake Storage Gen1-konto och visa kontoöversikten.
Välj knappen Migrera data .
Välj Slutför migrering till ett nytt Gen2-konto.
Ge Microsoft tillstånd att utföra datamigreringen genom att markera kryssrutan. Välj sedan knappen Tillämpa .
En förloppsindikator visas tillsammans med ett understatusmeddelande. Du kan använda dessa indikatorer för att mäta migreringens förlopp. Eftersom tiden för att slutföra varje aktivitet varierar, går förloppsindikatorn inte framåt med en konsekvent hastighet. Förloppsindikatorn kan till exempel snabbt gå vidare till 50 procent, men sedan ta lite mer tid att slutföra de återstående 50 procenten.
Viktigt
Medan dina data migreras blir ditt Gen1-konto skrivskyddat och Det Gen2-aktiverade kontot inaktiveras.
Även om Gen1-URI:n omdirigeras inaktiveras båda kontona.
När migreringen är klar inaktiveras ditt Gen1-konto. Data i ditt Gen1-konto är inte tillgängliga och tas bort efter 30 dagar. Ditt Gen2-konto kommer att vara tillgängligt för läsningar och skrivningar.
Du kan avbryta migreringen när som helst innan URI:n omdirigeras genom att välja knappen Stoppa migrering .
Steg 6: Kontrollera att migreringen har slutförts
Om migreringen slutförs skapas en container med namnet gen1 i det Gen2-aktiverade kontot och alla data från Gen1-kontot kopieras till den nya gen1-containern . För att hitta data på en sökväg som fanns på Gen1 måste du lägga till prefixet gen1/ i samma sökväg för att komma åt den på Gen2. Till exempel kommer en sökväg med namnet "FolderRoot/FolderChild/FileName.csv" på Gen1 att vara tillgänglig på "gen1/FolderRoot/FolderChild/FileName.csv" på Gen2. Det går inte att byta namn på containernamn på Gen2, så det går inte att byta namn på gen1-containern på Gen2 efter migreringen. Data kan dock kopieras till en ny container i Gen2 om det behövs.
Om migreringen inte slutförs visas ett meddelande som anger att migreringen har stoppats på grund av inkompatibiliteter. Kontakta Microsoft Support om du vill ha hjälp med nästa steg. Det här meddelandet kan visas om det Gen2-aktiverade kontot tidigare användes eller när filer och kataloger i Gen1-kontot använder inkompatibla namngivningskonventioner.
Innan du kontaktar supporten kontrollerar du att du använder ett nytt, nyligen skapat lagringskonto som inte har någon historik för användning. Undvik att migrera till ett tidigare använt konto eller ett konto där containrar har tagits bort för att göra kontot tomt. I ditt Gen1-konto kontrollerar du att du byter namn på alla fil- eller katalognamn som bara innehåller blanksteg eller flikar, slutar med ett ., innehåller eller :innehåller flera snedstreck (//).
Steg 7: Migrera arbetsbelastningar och program
Konfigurera tjänster i dina arbetsbelastningar så att de pekar på Din Gen2-slutpunkt. Länkar till artiklar som hjälper dig att konfigurera Azure Databricks, HDInsight och andra Azure-tjänster att använda Gen2 finns i Azure-tjänster som stöder Azure Data Lake Storage Gen2.
Uppdatera program för att använda Gen2-API:er. Se dessa guider:
Uppdatera skript för att använda Data Lake Storage Gen2 PowerShell-cmdletar och Azure CLI-kommandon.
Sök efter URI-referenser som innehåller strängen
adl://i kodfiler eller i Databricks Notebooks, Apache Hive HQL-filer eller andra filer som används som en del av dina arbetsbelastningar. Ersätt dessa referenser med Gen2-formaterad URI för ditt nya lagringskonto. Till exempel: Gen1-URI:n:adl://mydatalakestore.azuredatalakestore.net/mydirectory/myfilekan bliabfss://myfilesystem@mydatalakestore.dfs.core.windows.net/mydirectory/myfile.
Gen1-kompatibilitetslager
Det här lagret försöker tillhandahålla programkompatibilitet mellan Gen1 och Gen2 som en bekvämlighet under migreringen, så att program kan fortsätta att använda Gen1-API:er för att interagera med data i det Gen2-aktiverade kontot. Det här lagret har begränsad funktionalitet och vi rekommenderar att du verifierar arbetsbelastningarna med testkonton om du använder den här metoden som en del av migreringen. Kompatibilitetsskiktet körs på servern, så det finns inget att installera.
Viktigt
Microsoft rekommenderar inte den här funktionen som ersättning för migrering av dina arbetsbelastningar och program. Stödet för Gen1-kompatibilitetsskiktet upphör när Gen1 dras tillbaka den 29 februari 2024.
Om du vill stöta på minst antal problem med kompatibilitetsskiktet kontrollerar du att dina Gen1-SDK:er använder följande versioner (eller högre).
| Språk | SDK-version |
|---|---|
| .NET | 2.3.9 |
| Java | 1.1.21 |
| Python | 0.0.51 |
Följande funktioner stöds inte i kompatibilitetsskiktet.
ListStatus API-alternativ till ListFör en post.
ListStatus API med över 4 000 filer utan fortsättningstoken.
Segmentkodning för tilläggsåtgärder.
Alla API-anrop som använder
https://management.azure.com/som Microsoft Entra tokenmålgrupp.Fil- eller katalognamn med endast blanksteg eller flikar, som slutar med ett
., som innehåller ett:eller flera efterföljande snedstreck (//).
Vanliga frågor och svar
Hur lång tid tar migreringen?
Data och metadata migreras parallellt. Den totala tid som krävs för att slutföra en migrering är lika med den av dessa två processer som slutfördes sist.
I följande tabell visas den ungefärliga hastigheten för varje migreringsbearbetningsuppgift.
Anteckning
Dessa tidsuppskattningar är ungefärliga och kan variera. Om du till exempel kopierar ett stort antal små filer kan prestandan försämras.
| Bearbetningsaktivitet | Hastighet |
|---|---|
| Datakopiering | 9 TB per timme |
| Datavalidering | 9 miljoner filer eller mappar per timme |
| Metadatakopiering | 4 miljoner filer eller mappar per timme |
| Bearbetning av metadata | 25 miljoner filer eller mappar per timme |
| Ytterligare metadatabearbetning (datakopieringsalternativ)1 | 50 miljoner filer eller mappar per timme |
1 Den ytterligare bearbetningstiden för metadata gäller endast om du väljer alternativet Kopiera data till ett nytt Gen2-konto . Den här bearbetningstiden gäller inte om du väljer alternativet Slutför migrering till ett nytt Gen2-konto .
Exempel: Bearbeta en stor mängd data och metadata
Det här exemplet förutsätter 300 TB data och 200 miljoner data- och metadataobjekt.
| Uppgift | Uppskattad tid |
|---|---|
| Kopiera data | 300 TB /9 TB = 33,33 timmar |
| Verifiera data | 200 miljoner / 9 miljoner = 22,22 timmar |
| Total datamigreringstid | 33,33 + 22,2 = 55,55 timmar |
| Kopiera metadata | 200 miljoner / 4 miljoner = 50 timmar |
| Bearbetning av metadata | 200 miljoner / 25 miljoner = 8 timmar |
| Ytterligare metadatabearbetning – endast alternativ för datakopiering | 200 miljoner / 50 miljoner = 4 timmar |
| Total tid för metadatamigrering | 50 + 8 + 4 = 62 timmar |
| Total tid för att utföra en datamigrering | 62 timmar |
| Total tid för att utföra en fullständig migrering | 62 - 4 = 58 timmar |
Exempel: Bearbeta en liten mängd data och metadata
Det här exemplet förutsätter att 2 TB data och 56 tusen data och metadataobjekt.
| Uppgift | Uppskattad tid |
|---|---|
| Kopiera data | (2 TB/9 TB) * 60 minuter = 13,3 minuter |
| Verifiera data | (56 000 / 9 miljoner) * 3 600 sekunder = 22,4 sekunder |
| Total datamigreringstid | 13,3 minuter + 22,4 sekunder = cirka 14 minuter |
| Kopiera metadata | (56 000 / 4 miljoner) * 3 600 sekunder = cirka 51 sekunder |
| Bearbetning av metadata | 56 000/ 25 miljoner = 8 sekunder |
| Ytterligare metadatabearbetning – endast alternativ för datakopiering | (56 000 / 50 miljoner) * 3 600 sekunder = 4 sekunder |
| Total tid för metadatamigrering | 51 + 8 + 4 = 63 sekunder |
| Total tid för att utföra en datamigrering | 14 minuter |
| Total tid för att utföra en fullständig migrering | 14 minuter – 4 sekunder = 13 minuter och 56 sekunder (cirka 14 minuter) |
Hur mycket kostar datamigreringen?
Det kostar ingenting att använda det portalbaserade migreringsverktyget, men du debiteras för användning av Azure Data Lake Gen1- och Gen2-tjänster. Under datamigreringen debiteras du för datalagring och transaktioner för Gen1-kontot.
Om du väljer alternativet som endast kopierar data efter migreringen debiteras du för datalagring och transaktioner för både Azure Data Lake Gen1- och Gen2-konton. För att undvika att debiteras för Gen1-kontot tar du bort Gen1-kontot när du har uppdaterat dina program så att de pekar på Gen2. Om du väljer att utföra en fullständig migrering debiteras du endast för datalagring och transaktioner för det Gen2-aktiverade kontot.
När jag gav medgivande påträffade jag felmeddelandet Migreringsinitiering misslyckades. Vad bör jag göra då?
Kontrollera att alla dina Azure Data lake Analytics-konton migreras till Azure Synapse Analytics eller någon annan beräkningsplattform som stöds. När Azure Data Lake Analytics-konton har migrerats gör du ett nytt försök med medgivandet. Om du ser problemet ytterligare och du har en supportplan kan du skicka en supportbegäran. Du kan också få svar från communityexperter i Microsoft Q&A.
Kan jag gå tillbaka till Gen1-kontot när migreringen är klar?
Om du använde alternativ 1: Kopiera data från Gen1 till Gen2 som nämns ovan är både Gen1- och Gen2-kontona tillgängliga för läsningar och skrivningar efter migreringen. Men om du använde alternativ 2: Utför en fullständig migrering stöds inte att gå tillbaka till Gen1-kontot. I alternativ 2, när migreringen är klar, kommer data i ditt Gen1-konto inte att vara tillgängliga och tas bort efter 30 dagar. Du kan fortsätta att visa Gen1-kontot i Azure Portal, och när du är klar kan du ta bort Gen1-kontot.
Jag vill aktivera geo-redundant lagring (GRS) på det Gen2-aktiverade kontot, hur gör jag det?
När migreringen är klar, både i alternativen "Kopiera data" och "Fullständig migrering", kan du gå vidare och ändra redundansalternativet till GRS så länge du inte planerar att använda programkompatibilitetslagret. Programkompatibiliteten fungerar inte på konton som använder GRS-redundans.
Gen1 har inga containrar och Gen2 har dem – vad ska jag förvänta mig?
När vi kopierar data till ditt Gen2-aktiverade konto skapar vi automatiskt en container med namnet Gen1. I Gen2-containernamn kan inte byta namn och därför kan data efter migreringen kopieras till en ny container i Gen2 efter behov.
Vad bör jag tänka på när det gäller migreringsprestanda?
När du kopierar data till ditt Gen2-aktiverade konto är antalet filer och mängden metadata som du har två faktorer som kan påverka prestandan. Många små filer kan till exempel påverka migreringens prestanda.
Kommer WebHDFS File System-API:er att stödjas på Gen2-kontot efter migreringen?
WebHDFS-filsystem-API:er för Gen1 kommer att stödjas på Gen2 men med vissa avvikelser, och endast begränsade funktioner stöds via kompatibilitetsskiktet. Kunder bör planera att utnyttja Gen2-specifika API:er för bättre prestanda och funktioner.
Vad händer med mitt Gen1-konto efter tillbakadragningsdatumet?
Kontot blir otillgängligt. Du kommer inte att kunna:
Hantera kontot
Få åtkomst till data i kontot
Ta emot tjänstuppdateringar till Gen1- eller Gen1-API:er, SDK:er eller klientverktyg
Få åtkomst till Gen1-kundsupport online, per telefon eller via e-post
Se Åtgärd krävs: Växla till Azure Data Lake Storage Gen2 senast den 29 februari 2024.
Nästa steg
- Lär dig mer om migrering i allmänhet. Mer information finns i Migrera Azure Data Lake Storage från Gen1 till Gen2.