Nuta
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować się zalogować lub zmienić katalog.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
W tym artykule pokazano, jak uprościć migrację przy użyciu witryny Azure Portal.
Uwaga
Usługa Azure Data Lake Storage Gen1 została wycofana. Zobacz ogłoszenie o wycofaniu tutaj. Zasoby usługi Data Lake Storage Gen1 nie są już dostępne.
Oto film wideo, który zawiera więcej informacji na ten temat.
Rozdziały:
00.37 — wprowadzenie
01:16 — Przygotowanie do migracji
07:15 — migracja kopii
17:40 — Kopiowanie kontra zakończenie migracji
19:43 — Ukończona migracja
33:15 — Po migracji
Przed rozpoczęciem zapoznaj się z ogólnymi wskazówkami dotyczącymi migracji z usługi Gen1 do 2. generacji w wytycznych i wzorcach migracji usługi Azure Data Lake Storage.
Twoje konto może nie kwalifikować się do migracji opartej na portalu na podstawie pewnych ograniczeń. Jeśli przycisk Migrowanie danych nie jest włączony w witrynie Azure Portal dla konta usługi Gen1, jeśli masz plan pomocy technicznej, możesz zgłosić wniosek o pomoc techniczną. Możesz również uzyskać odpowiedzi od ekspertów społeczności na platformie Microsoft Q&A.
Uwaga
Aby ułatwić czytanie, w tym artykule użyto terminu Gen1 do odwoływania się do usługi Azure Data Lake Storage Gen1 oraz terminu Gen2, aby zapoznać się z usługą Azure Data Lake Storage Gen2.
Krok 1. Tworzenie konta magazynu z możliwościami usługi Gen2
Usługa Azure Data Lake Storage Gen2 nie jest dedykowanym kontem magazynu ani typem usługi. Jest to zestaw funkcji, które można uzyskać, włączając funkcję Hierarchiczna przestrzeń nazw konta usługi Azure Storage. Aby utworzyć konto z możliwościami usługi Gen2, zobacz Tworzenie konta magazynu do użycia z usługą Azure Data Lake Storage Gen2.
Podczas tworzenia konta upewnij się, że skonfigurowałeś ustawienia przy użyciu następujących wartości.
| Ustawienie | Wartość |
|---|---|
| Nazwa konta magazynu | Dowolna nazwa. Ta nazwa nie musi być zgodna z nazwą konta gen1 i może znajdować się w dowolnej wybranej subskrypcji. |
| Lokalizacja | Ten sam region używany przez konto usługi Data Lake Storage Gen1 |
| Replikacja | LRS lub ZRS |
| Minimalna wersja protokołu TLS | 1.0 |
| NFS v3 | Wyłączone |
| Hierarchiczna przestrzeń nazw | Włączona |
Uwaga
Narzędzie do migracji w witrynie Azure Portal nie przenosi ustawień konta. W związku z tym po utworzeniu konta należy ręcznie skonfigurować ustawienia, takie jak szyfrowanie, zapory sieciowe, ochrona danych.
Ważne
Upewnij się, że używasz świeżo utworzonego konta magazynowego, które nie ma historii użycia. Nie należy migrować do wcześniej używanego konta ani używać konta, w którym kontenery zostały usunięte, aby konto było puste.
Krok 2: Weryfikacja przypisań ról w kontroli dostępu opartych na rolach platformy Azure (Azure RBAC)
W przypadku Gen2 upewnij się, że rola Storage Blob Data Owner została przypisana do tożsamości użytkownika Microsoft Entra w ramach konta magazynu, nadrzędnej grupy zasobów lub subskrypcji.
W przypadku Gen1 upewnij się, że rola właściciela została przypisana do tożsamości Microsoft Entra w zakresie konta Gen1, głównej grupy zasobów lub subskrypcji.
Krok 3. Migrowanie obciążeń usługi Azure Data Lake Analytics
Usługa Azure Data Lake Storage Gen2 nie obsługuje usługi Azure Data Lake Analytics. Usługa Azure Data Lake Analytics zostanie wycofana 29 lutego 2024 r. Jeśli spróbujesz użyć witryny Azure Portal do przeprowadzenia migracji konta usługi Azure Data Lake Storage Gen1 używanego na potrzeby usługi Azure Data Lake Analytics, możliwe jest, że przerwisz obciążenia usługi Azure Data Lake Analytics. Przed podjęciem próby przeprowadzenia migracji konta usługi Gen1 należy najpierw przeprowadzić migrację obciążeń usługi Azure Data Lake Analytics do usługi Azure Synapse Analytics lub innej obsługiwanej platformy obliczeniowej.
Aby uzyskać więcej informacji, zobacz Zarządzanie usługą Azure Data Lake Analytics przy użyciu witryny Azure Portal.
Krok 4. Przygotowanie konta gen1
Nazwy plików lub katalogów zawierające tylko spacje lub tabulatory, kończące się na ., zawierające :, lub z wieloma kolejnymi ukośnikami (//) nie są zgodne z Gen2. Przed migracją należy zmienić nazwę tych plików lub katalogów.
Aby uzyskać lepszą wydajność, rozważ opóźnienie migracji przez co najmniej dziesięć dni od czasu ostatniej operacji usuwania. Na koncie Gen1 usunięte pliki stają się tymczasowo usuniętymi plikami, a Zbieracz Śmieci nie usunie ich trwale przed upływem siedmiu dni, po czym proces czyszczenia może zająć kilka dodatkowych dni. Czas potrzebny na oczyszczenie będzie zależeć od liczby plików. Wszystkie pliki, w tym pliki usunięte tymczasowo, są przetwarzane podczas migracji. Jeśli zaczekasz, aż zgarniacz na stałe usunie usunięte pliki, czas oczekiwania może się skrócić.
Krok 5. Przeprowadzanie migracji
Przed rozpoczęciem zapoznaj się z dwiema poniższymi opcjami migracji i zdecyduj, czy skopiować dane tylko z gen1 do generacji 2 (zalecane) lub przeprowadzić pełną migrację.
Opcja 1. Kopiowanie tylko danych (zalecane). W tej opcji dane są kopiowane z gen1 do generacji 2. Podczas kopiowania danych konto Gen1 staje się kontem tylko do odczytu. Po skopiowaniu danych zarówno konta Gen1, jak i Gen2 będą dostępne. Należy jednak zaktualizować aplikacje i obciążenia obliczeniowe, aby używać nowego punktu końcowego gen2.
Opcja 2. Przeprowadzanie pełnej migracji. W tej opcji dane są kopiowane z gen1 do generacji 2. Po skopiowaniu danych cały ruch z konta Gen1 zostanie przekierowany do konta z włączoną obsługą gen2. Przekierowane żądania używają warstwy zgodności Gen1, aby przetłumaczyć wywołania interfejsu API gen1 na odpowiedniki gen2. Podczas migracji konto Gen1 staje się tylko do odczytu. Po zakończeniu migracji konto gen1 nie będzie dostępne.
Niezależnie od wybranej opcji po przeprowadzeniu migracji i sprawdzeniu, czy wszystkie obciążenia działają zgodnie z oczekiwaniami, możesz usunąć konto gen1.
Opcja 1. Kopiowanie danych z gen1 do generacji 2
Zaloguj się w witrynie Azure Portal, aby rozpocząć pracę.
Znajdź konto usługi Data Lake Storage Gen1 i wyświetl omówienie konta.
Wybierz przycisk Migruj dane.
Wybierz pozycję Kopiuj dane do nowego konta Gen2.
Udziel firmie Microsoft zgody na przeprowadzenie migracji danych, zaznaczając pole wyboru. Następnie wybierz przycisk Zastosuj .
Zostanie wyświetlony pasek postępu wraz z komunikatem o stanie podrzędnym. Możesz użyć tych wskaźników, aby ocenić postęp migracji. Ponieważ czas ukończenia każdego zadania jest różny, pasek postępu nie będzie posuwał się w równomiernym tempie. Na przykład pasek postępu może szybko przejść do 50%, ale zajmie nieco więcej czasu, aby ukończyć pozostałe 50%.
Ważne
Podczas migrowania danych twoje konto Gen1 staje się tylko do odczytu, a konto z włączoną obsługą Gen2 jest wyłączone. Po zakończeniu migracji można odczytywać i zapisywać na obu kontach.
Migrację można zatrzymać w dowolnym momencie, wybierając przycisk Zatrzymaj migrację.
Opcja 2. Przeprowadzanie pełnej migracji
Zaloguj się w witrynie Azure Portal, aby rozpocząć pracę.
Znajdź konto usługi Data Lake Storage Gen1 i wyświetl omówienie konta.
Wybierz przycisk Migruj dane.
Wybierz pozycję Ukończ migrację do nowego konta Gen2.
Udziel firmie Microsoft zgody na przeprowadzenie migracji danych, zaznaczając pole wyboru. Następnie wybierz przycisk Zastosuj .
Zostanie wyświetlony pasek postępu wraz z komunikatem o stanie podrzędnym. Możesz użyć tych wskaźników, aby ocenić postęp migracji. Ponieważ czas ukończenia każdego zadania jest różny, pasek postępu nie będzie przesuwać się w równym tempie. Na przykład pasek postępu może szybko dojść do 50 procent, ale potem zająć trochę więcej czasu, aby ukończyć pozostałe 50 procent.
Ważne
Podczas migrowania danych twoje konto Gen1 staje się tylko do odczytu, a konto Gen2 jest wyłączone.
Ponadto podczas przekierowywania identyfikatora URI 1. generacji oba konta są wyłączone.
Po zakończeniu migracji konto usługi Gen1 zostanie wyłączone. Dane na koncie Usługi Gen1 nie będą dostępne i zostaną usunięte po upływie 30 dni. Twoje konto usługi Gen2 będzie dostępne dla operacji odczytu i zapisu.
Migrację można zatrzymać w dowolnym momencie przed przekierowaniem adresu URI, wybierając przycisk Zatrzymaj migrację .
Krok 6. Sprawdzanie, czy migracja została ukończona
Jeśli migracja zakończy się pomyślnie, kontener o nazwie gen1 zostanie utworzony na koncie obsługującym usługę Gen2, a wszystkie dane z konta Gen1 zostaną skopiowane do tego nowego kontenera gen1 . Aby znaleźć dane w ścieżce, która istniała w usłudze Gen1, należy dodać prefiks gen1/ do tej samej ścieżki, aby uzyskać do niej dostęp w usłudze Gen2. Na przykład ścieżka o nazwie "FolderRoot/FolderChild/FileName.csv" w usłudze Gen1 będzie dostępna w folderze "gen1/FolderRoot/FolderChild/FileName.csv" w usłudze Gen2. Nie można zmienić nazw kontenerów w usłudze Gen2, więc nie można zmienić nazwy tego kontenera gen1 w usłudze Gen2 po migracji. Jednak w razie potrzeby dane można skopiować do nowego kontenera w usłudze Gen2.
Jeśli migracja nie zakończy się pomyślnie, zostanie wyświetlony komunikat informujący o tym, że migracja została zatrzymana z powodu niezgodności. Jeśli chcesz uzyskać pomoc dotyczącą następnego kroku, skontaktuj się z pomoc techniczna firmy Microsoft. Ten komunikat może pojawić się, jeśli konto z włączoną obsługą Gen2 zostało wcześniej użyte, lub gdy pliki i katalogi na koncie Gen1 używają niezgodnych konwencji nazewnictwa.
Przed skontaktowaniem się z pomocą techniczną upewnij się, że używasz nowego utworzonego konta pamięci masowej, które nie ma historii użycia. Unikaj migracji do wcześniej używanego konta lub konta, w którym kontenery zostały usunięte, aby konto było puste. Na koncie usługi Gen1 upewnij się, że zmieniono nazwy plików lub katalogów, które zawierają tylko spacje lub tabulatory, kończą się elementem ., zawierają element : lub zawierają wiele ukośników (//).
Krok 7. Migrowanie obciążeń i aplikacji
Skonfiguruj usługi w środowiskach roboczych, aby wskazywały na punkt końcowy Gen2. Aby uzyskać linki do artykułów, które ułatwiają konfigurowanie usługi Azure Databricks, HDInsight i innych usług platformy Azure do korzystania z usługi Gen2, zobacz Usługi platformy Azure, które obsługują usługę Azure Data Lake Storage Gen2.
Zaktualizuj aplikacje, aby korzystały z interfejsów API gen2. Zobacz następujące przewodniki:
Zaktualizuj skrypty, aby używały poleceń cmdlet programu PowerShell usługi Data Lake Storage Gen2 oraz poleceń Azure CLI.
Wyszukaj odwołania URI zawierające ciąg
adl://w plikach kodu lub w notesach usługi Databricks, plikach HQL Apache Hive lub innych plikach, które są używane w ramach twoich obciążeń. Zastąp te odwołania URI w formacie Gen2 nowego konta magazynowego. Na przykład: identyfikator URI 1. generacji:adl://mydatalakestore.azuredatalakestore.net/mydirectory/myfilemoże stać sięabfss://myfilesystem@mydatalakestore.dfs.core.windows.net/mydirectory/myfile.
Warstwa zgodności Gen1
Ta warstwa próbuje zapewnić zgodność aplikacji między gen1 i gen2 jako wygodę podczas migracji, aby aplikacje mogły nadal korzystać z interfejsów API gen1 do interakcji z danymi na koncie obsługującym usługę Gen2. Ta warstwa ma ograniczoną funkcjonalność i zaleca się zweryfikowanie obciążeń przy użyciu kont testowych, jeśli używasz tego podejścia w ramach migracji. Warstwa zgodności działa na serwerze, więc nie ma nic do zainstalowania.
Ważne
Firma Microsoft nie zaleca tej możliwości jako zamiennika migracji obciążeń i aplikacji. Obsługa warstwy zgodności Gen1 zakończy się, gdy Gen1 zostanie wycofany 29 lutego 2024.
Aby napotkać najmniejszą liczbę problemów z warstwą zgodności, upewnij się, że zestawy SDK gen1 korzystają z następujących wersji (lub wyższych).
| Język | Wersja zestawu SDK |
|---|---|
| .NET | 2.3.9 |
| Java | 1.1.21 |
| Python | 0.0.51 |
Poniższa funkcja nie jest obsługiwana w warstwie zgodności.
Opcja interfejsu API ListStatus do użycia funkcji ListBefore dla wpisu.
API ListStatus z ponad 4 000 plikami bez tokenu kontynuacji.
Kodowanie kawałków dla operacji dołączania.
Wszystkie wywołania interfejsu API, które używają
https://management.azure.com/jako odbiorcy tokenu Microsoft Entra.Nazwy plików lub katalogów zawierające tylko spacje lub tabulatory, kończące się na
., zawierające:, lub z wieloma kolejnymi ukośnikami (//).
Często zadawane pytania
Jak długo potrwa migracja?
Dane i metadane są migrowane równolegle. Łączny czas wymagany do ukończenia migracji jest równy ostatniemu zakończeniu tych dwóch procesów.
W poniższej tabeli przedstawiono przybliżoną szybkość każdego zadania przetwarzania migracji.
Uwaga
Te oszacowania czasu są przybliżone i mogą się różnić. Na przykład kopiowanie dużej liczby małych plików może spowolnić wydajność.
| Przetwarzanie zadania | Szybkość |
|---|---|
| Kopiowanie danych | 9 TB na godzinę |
| Sprawdzanie poprawności danych | 9 milionów plików lub folderów na godzinę |
| Kopiowanie metadanych | 4 miliony plików lub folderów na godzinę |
| Przetwarzanie metadanych | 25 milionów plików lub folderów na godzinę |
| Dodatkowe przetwarzanie metadanych (opcja kopiowania danych)1 | 50 milionów plików lub folderów na godzinę |
1 Dodatkowy czas przetwarzania metadanych ma zastosowanie tylko w przypadku wybrania opcji Kopiuj dane do nowego konta gen2. Ten czas przetwarzania nie ma zastosowania, jeśli wybierzesz opcję Zakończ migrację do nowego konta gen2.
Przykład: przetwarzanie dużej ilości danych i metadanych
W tym przykładzie przyjęto założenie 300 TB danych i 200 milionów elementów danych i metadanych.
| Zadanie | Szacowany czas |
|---|---|
| Kopiowanie danych | 300 TB / 9 TB = 33,33 godziny |
| Weryfikacja danych | 200 milionów / 9 milionów = 22,22 godziny |
| Łączny czas migracji danych | 33,33 + 22,2 = 55,55 godz. |
| Kopiowanie metadanych | 200 milionów / 4 miliony = 50 godzin |
| Przetwarzanie metadanych | 200 milionów / 25 milionów = 8 godzin |
| Dodatkowe przetwarzanie metadanych — tylko opcja kopiowania danych | 200 milionów / 50 milionów = 4 godziny |
| Całkowity czas migracji metadanych | 50 + 8 + 4 = 62 godziny |
| Całkowity czas przeprowadzenia migracji danych | 62 godziny |
| Łączny czas przeprowadzania pełnej migracji | 62– 4 = 58 godzin |
Przykład: przetwarzanie niewielkiej ilości danych i metadanych
W tym przykładzie przyjęto założenie, że 2 TB danych i 56 tysięcy danych i elementów metadanych.
| Zadanie | Szacowany czas |
|---|---|
| Kopiowanie danych | (2 TB / 9 TB) * 60 minut = 13,3 minut |
| Weryfikacja danych | (56 000 / 9 milionów) * 3600 sekund = 22,4 sekundy |
| Łączny czas migracji danych | 13,3 minuty + 22,4 sekundy = około 14 minut |
| Kopiowanie metadanych | (56 000 / 4 miliony) * 3600 sekund = około 51 sekund |
| Przetwarzanie metadanych | 56 000/ 25 milionów = 8 sekund |
| Dodatkowe przetwarzanie metadanych — tylko opcja kopiowania danych | (56 000 / 50 milionów) * 3600 sekund = 4 sekundy |
| Całkowity czas migracji metadanych | 51 + 8 + 4 = 63 sekundy |
| Całkowity czas wykonania migracji dotyczącej tylko danych | 14 minut |
| Łączny czas przeprowadzania pełnej migracji | 14 minut — 4 sekundy = 13 minut i 56 sekund (około 14 minut) |
Ile kosztuje migracja danych?
Korzystanie z narzędzia migracji opartego na portalu nie jest kosztowne, jednak opłaty będą naliczane za użycie usług Azure Data Lake Gen1 i Gen2. Podczas migracji danych będą naliczane opłaty za magazyn danych i transakcje konta gen1.
Po migracji, jeśli wybrano opcję, która kopiuje tylko dane, opłaty będą naliczane za magazyn danych i transakcje dla kont usługi Azure Data Lake Gen1 i Gen2. Aby uniknąć naliczania opłat za konto Gen1, usuń konto gen1 po zaktualizowaniu aplikacji, aby wskazywały usługę Gen2. Jeśli zdecydujesz się przeprowadzić pełną migrację, opłaty będą naliczane tylko za magazyn danych i transakcje konta z włączoną obsługą usługi Gen2.
Podczas udzielania zgody napotkano komunikat o błędzie Inicjowanie migracji nie powiodło się. Co należy zrobić dalej?
Upewnij się, że wszystkie konta usługi Azure Data lake Analytics są migrowane do usługi Azure Synapse Analytics lub innej obsługiwanej platformy obliczeniowej. Po przeprowadzeniu migracji kont usługi Azure Data Lake Analytics spróbuj ponownie wyrazić zgodę. Jeśli problem nadal występuje i masz plan pomocy technicznej, możesz złożyć zgłoszenie o pomoc techniczną. Możesz również uzyskać odpowiedzi od ekspertów społeczności na Microsoft Q&A.
Czy po zakończeniu migracji mogę wrócić do korzystania z konta gen1?
Jeśli użyto opcji 1: Skopiuj dane z generacji 1 do generacji2 wymienionej powyżej, zarówno konta Gen1, jak i Gen2 są dostępne dla operacji odczytu i zapisu po migracji. Jeśli jednak użyto opcji 2: przeprowadzenie pełnej migracji, powrót do konta Gen1 nie jest obsługiwany. W opcji 2 po zakończeniu migracji dane na koncie Gen1 nie będą dostępne i zostaną usunięte po upływie 30 dni. Możesz nadal wyświetlać konto Gen1 w portalu Azure, a kiedy będziesz gotowy, możesz je usunąć.
Chciałbym włączyć przechowywanie geograficznie nadmiarowe (GRS) na koncie z obsługą Gen2, jak mogę to zrobić?
Po zakończeniu migracji, zarówno w opcji "Kopiowanie danych", jak i "Zakończenie migracji", możesz śmiało zmienić opcję nadmiarowości na GRS, pod warunkiem że nie planujesz używać warstwy zgodności z aplikacjami. Zgodność aplikacji nie będzie działać na kontach korzystających z nadmiarowości GRS.
Usługa Gen1 nie ma kontenerów, a usługa Gen2 ma je — czego należy się spodziewać?
Gdy skopiujemy dane do konta z włączoną obsługą usługi Gen2, automatycznie utworzymy kontener o nazwie "Gen1". Nie można zmienić nazwy kontenerów w usłudze Gen2 i dlatego w razie potrzeby można skopiować dane po migracji do nowego kontenera w usłudze Gen2.
Co należy wziąć pod uwagę pod względem wydajności migracji?
Podczas kopiowania danych na konto z włączoną obsługą gen2 dwa czynniki, które mogą mieć wpływ na wydajność, to liczba plików i ilość posiadanych metadanych. Na przykład wiele małych plików może mieć wpływ na wydajność migracji.
Czy interfejsy API systemu plików WebHDFS będą obsługiwane po migracji konta Gen2?
Interfejsy API systemu plików WebHDFS Gen1 będą obsługiwane w usłudze Gen2, ale z pewnymi różnicami, a tylko ograniczona funkcjonalność jest dostępna za pośrednictwem warstwy zgodności. Klienci powinni planować wykorzystanie interfejsów API specyficznych dla Gen2 w celu uzyskania lepszej wydajności i funkcjonalności.
Co się stanie z moim kontem Gen1 po dacie wycofania?
Konto staje się niedostępne. Nie będziesz w stanie:
Zarządzanie kontem
Uzyskiwanie dostępu do danych na koncie
Otrzymywanie aktualizacji usługi do interfejsów API Gen1 lub Gen1, zestawów SDK lub narzędzi klienckich
Uzyskiwanie dostępu do działu pomocy technicznej 1. generacji w trybie online, przez telefon lub pocztę e-mail
Zobacz Wymagane działanie: Przełącz się do usługi Azure Data Lake Storage Gen2 do 29 lutego 2024 r.
Następne kroki
- Dowiedz się więcej o migracji ogólnie. Aby uzyskać więcej informacji, zobacz Migrate Azure Data Lake Storage from Gen1 to Gen2 (Migrowanie usługi Azure Data Lake Storage z 1. generacji do 2. generacji).