Uaktualnianie usługi Azure Blob Storage za pomocą funkcji usługi Azure Data Lake Storage Gen2

Artykuł
01/19/2024

Ten artykuł pomaga włączyć hierarchiczną przestrzeń nazw i odblokować funkcje, takie jak zabezpieczenia plików i na poziomie katalogu oraz szybsze operacje. Te możliwości są powszechnie używane przez obciążenia analizy danych big data i są określane zbiorczo jako usługa Azure Data Lake Storage Gen2.

Aby dowiedzieć się więcej o tych możliwościach i ocenić wpływ tego uaktualnienia na obciążenia, aplikacje, koszty, integracje usług, narzędzia, funkcje i dokumentację, zobacz Uaktualnianie usługi Azure Blob Storage przy użyciu funkcji usługi Azure Data Lake Storage Gen2.

Ważne

Uaktualnienie jest jednokierunkowe. Nie ma możliwości przywrócenia konta po wykonaniu uaktualnienia. Zalecamy zweryfikowanie uaktualnienia w środowisku nieprodukcyjnym.

Przygotowanie do uaktualnienia

Aby przygotować się do uaktualnienia konta magazynu do usługi Data Lake Storage Gen2:

Przegląd obsługi funkcji
Upewnij się, że segmenty każdej ścieżki obiektu blob mają nazwę
Zapobieganie aktywności zapisu na koncie magazynu

Przegląd obsługi funkcji

Konto magazynu może być skonfigurowane do używania funkcji, które nie są jeszcze obsługiwane na kontach z obsługą usługi Data Lake Storage Gen2. Jeśli twoje konto korzysta z takich funkcji, uaktualnienie nie przejdzie przez krok weryfikacji. Zapoznaj się z artykułem Obsługa funkcji usługi Blob Storage w ramach kont usługi Azure Storage, aby zidentyfikować nieobsługiwane funkcje. Jeśli używasz takich funkcji na koncie, wyłącz je przed rozpoczęciem uaktualniania.

Następujące funkcje są obsługiwane w przypadku kont usługi Data Lake Storage Gen2, ale nie są obsługiwane przez proces uaktualniania:

Migawki obiektów blob
Zakresy szyfrowania
Niezmienny magazyn
Śledzenie czasu ostatniego dostępu do zarządzania cyklem życia
Usuwanie nietrwałe dla obiektów blob
Usuwanie nietrwałe dla kontenerów

Jeśli konto magazynu ma włączone takie funkcje, należy je wyłączyć przed wykonaniem uaktualnienia. Jeśli chcesz wznowić korzystanie z funkcji po zakończeniu uaktualniania, włącz je ponownie.

W niektórych przypadkach trzeba będzie poczekać na operacje czyszczenia po wyłączeniu funkcji przed uaktualnieniem. Przykładem jest funkcja usuwania nietrwałego obiektu blob. Należy wyłączyć usuwanie nietrwałe obiektów blob, a następnie zezwolić na wygaśnięcie wszystkich obiektów blob usuwania nietrwałego przed uaktualnieniem konta.

Ważne

Nie można uaktualnić konta magazynu do usługi Data Lake Storage Gen2, która kiedykolwiek miała włączoną funkcję zestawienia zmian. Po prostu wyłączenie zestawienia zmian nie umożliwi przeprowadzenia uaktualnienia. Zamiast tego musisz utworzyć konto z włączoną funkcją hierarchicznej przestrzeni nazw, a następnie przenieść dane na to konto.

Upewnij się, że segmenty każdej ścieżki obiektu blob mają nazwę

Proces migracji tworzy katalog dla każdego segmentu ścieżki obiektu blob. Katalogi usługi Data Lake Storage Gen2 muszą mieć nazwę, aby migracja zakończyła się pomyślnie, każdy segment ścieżki w katalogu wirtualnym musi mieć nazwę. To samo wymaganie dotyczy segmentów, które są nazwane tylko z znakiem spacji. Jeśli jakiekolwiek segmenty ścieżki są nienazwane (//) lub nazwane tylko z znakiem spacji (_), przed kontynuowaniem migracji należy skopiować te obiekty blob do nowej ścieżki zgodnej z tymi wymaganiami dotyczącymi nazewnictwa.

Zapobieganie aktywności zapisu na koncie magazynu

Uaktualnienie może zakończyć się niepowodzeniem, jeśli aplikacja zapisuje dane na koncie magazynu podczas uaktualniania. Aby zapobiec takiemu działaniu zapisu:

Spoczynkuj wszystkie aplikacje lub usługi, które mogą wykonywać operacje zapisu.
Zwalnianie lub przerywanie istniejących dzierżaw w kontenerach i obiektach blob na koncie magazynu.

Po zakończeniu uaktualniania przerwij utworzone dzierżawy, aby wznowić zezwalanie na dostęp do zapisu do kontenerów i obiektów blob.

Ostrzeżenie

Przerwanie aktywnej dzierżawy bez bezproblemowego wyłączania aplikacji lub maszyn wirtualnych, które obecnie uzyskują dostęp do tych zasobów, może mieć nieoczekiwane wyniki. Przed przerwaniem bieżących dzierżaw upewnij się, że wszystkie bieżące działania zapisu są w stanie spoczynku.

Wykonaj uaktualnianie

Zaloguj się w witrynie Azure Portal, aby rozpocząć pracę.
Znajdź konto magazynu i wyświetl omówienie konta.
Wybierz pozycję Migracja usługi Data Lake Gen2.

Zostanie wyświetlona strona Konfiguracja uaktualniania do konta usługi Storage przy użyciu usługi Azure Data Lake Gen2.
Rozwiń sekcję Krok 1. Przejrzyj zmiany konta przed uaktualnieniem , a następnie kliknij pozycję Przejrzyj i zaakceptuj zmiany.
Na stronie Przeglądanie zmian konta zaznacz pole wyboru, a następnie kliknij przycisk Zgadzam się na zmiany.
Rozwiń sekcję Krok 2. Zweryfikuj konto przed uaktualnieniem , a następnie kliknij przycisk Rozpocznij walidację.

Jeśli walidacja nie powiedzie się, na stronie pojawi się błąd. W niektórych przypadkach zostanie wyświetlony link Wyświetl błędy . Jeśli pojawi się ten link, wybierz go.

Następnie z menu kontekstowego pliku error.json wybierz pozycję Pobierz.

Otwórz pobrany plik, aby określić, dlaczego konto nie przeszedło kroku weryfikacji. Poniższy kod JSON wskazuje, że na koncie jest włączona niezgodna funkcja. W takim przypadku należy wyłączyć tę funkcję, a następnie ponownie uruchomić proces weryfikacji.
```
{
 "startTime": "2021-08-04T18:40:31.8465320Z",
 "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
 "incompatibleFeatures": [
     "Blob Delete Retention Enabled"
 ],
 "blobValidationErrors": [],
 "scannedBlobCount": 0,
 "invalidBlobCount": 0,
 "endTime": "2021-08-04T18:40:34.9371480Z"
}
```
Po pomyślnym zweryfikowaniu konta rozwiń sekcję Krok 3: Uaktualnianie konta , a następnie kliknij przycisk Rozpocznij uaktualnianie.

Ważne

Operacje zapisu są wyłączone podczas uaktualniania konta. Operacje odczytu nie są wyłączone, ale zdecydowanie zalecamy wstrzymanie operacji odczytu, ponieważ mogą one zdestabilizować proces uaktualniania.

Po pomyślnym zakończeniu migracji zostanie wyświetlony komunikat podobny do poniższego.

Otwórz okno polecenia programu Windows PowerShell.
Upewnij się, że masz najnowszy moduł programu Azure PowerShell. Zobacz Instalowanie modułu programu Azure PowerShell.
Zaloguj się do subskrypcji platformy Azure za pomocą polecenia Connect-AzAccount i postępuj zgodnie z instrukcjami wyświetlanymi na ekranie.
```
Connect-AzAccount
```
Jeśli tożsamość jest skojarzona z więcej niż jedną subskrypcją, ustaw aktywną subskrypcję.
```
$context = Get-AzSubscription -SubscriptionId <subscription-id>
Set-AzContext $context
```
Zastąp wartość symbolu <subscription-id> zastępczego identyfikatorem subskrypcji.
Zweryfikuj konto magazynu przy użyciu następującego polecenia.
```
$result = Invoke-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName "<resource-group-name>" -Name "<storage-account-name>" -RequestType Validation -AsJob
```
- Zastąp wartość symbolu <resource-group-name> zastępczego nazwą grupy zasobów.
- Zastąp wartość symbolu zastępczego <storage-account-name> nazwą konta magazynu.
W zależności od rozmiaru konta ten proces może zająć trochę czasu. Możesz użyć przełącznika asJob , aby uruchomić polecenie w zadaniu w tle, aby klient nie został zablokowany. Polecenie jest uruchamiane zdalnie, ale zadanie istnieje na maszynie lokalnej lub maszynie wirtualnej, z której uruchamiasz polecenie. Wyniki są przesyłane na maszynę lokalną lub maszynę wirtualną.
Aby sprawdzić stan zadania i wyświetlić wszystkie właściwości zadania na liście, należy przekazać zmienną zwracaną do Format-List polecenia cmdlet.
```
$result | Format-List -Property *
```
Jeśli walidacja zakończy się pomyślnie, właściwość State zostanie ustawiona na Ukończono.

Jeśli walidacja nie powiedzie się, właściwość State zostanie ustawiona na Niepowodzenie, a właściwość Error będzie wyświetlać błędy walidacji.

Następujące dane wyjściowe wskazują, że na koncie jest włączona niezgodna funkcja. W takim przypadku należy wyłączyć tę funkcję, a następnie ponownie uruchomić proces weryfikacji.

W niektórych przypadkach właściwość Error udostępnia ścieżkę do pliku o nazwie error.json. Możesz otworzyć ten plik, aby określić, dlaczego konto nie przeszedło kroku weryfikacji.

Poniższy kod JSON wskazuje, że na koncie jest włączona niezgodna funkcja. W takim przypadku należy wyłączyć tę funkcję, a następnie ponownie uruchomić proces weryfikacji.
```
{
 "startTime": "2021-08-04T18:40:31.8465320Z",
 "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
 "incompatibleFeatures": [
     "Blob Delete Retention Enabled"
 ],
 "blobValidationErrors": [],
 "scannedBlobCount": 0,
 "invalidBlobCount": 0,
 "endTime": "2021-08-04T18:40:34.9371480Z"
}
```
Po pomyślnym zweryfikowaniu konta uruchom uaktualnienie, uruchamiając następujące polecenie.
```
$result = Invoke-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName "<resource-group-name>" -Name "<storage-account-name>" -RequestType Upgrade -AsJob -Force
```
Podobnie jak w powyższym przykładzie weryfikacji, w tym przykładzie użyto asJob przełącznika do uruchomienia polecenia w zadaniu w tle. Przełącznik Force zastępuje monity o potwierdzenie uaktualnienia. Jeśli nie używasz przełącznika AsJob , nie musisz używać Force przełącznika, ponieważ możesz po prostu odpowiedzieć na monity.

Ważne

Operacje zapisu są wyłączone podczas uaktualniania konta. Operacje odczytu nie są wyłączone, ale zdecydowanie zalecamy wstrzymanie operacji odczytu, ponieważ mogą one zdestabilizować proces uaktualniania.

Aby sprawdzić stan zadania, użyj tych samych technik, co opisano w poprzednich krokach. Po uruchomieniu procesu właściwość State zostanie ustawiona na Uruchomiono.

Po pomyślnym zakończeniu migracji właściwość State zostanie ustawiona na Ukończono, a właściwość Error nie będzie wyświetlać żadnych błędów.

Ważne

Przybliżone oszacowanie czasu uaktualniania wynosiłoby około 5–10 minut na 2 miliony obiektów blob. Jeśli na przykład konto ma 10 milionów obiektów blob, uaktualnienie potrwa około 25–50 minut. Konta zawierające mniej niż 2 miliony obiektów blob zwykle są uaktualniane w mniej niż 10 minut.

Najpierw otwórz usługę Azure Cloud Shell lub jeśli zainstalowano interfejs wiersza polecenia platformy Azure lokalnie, otwórz aplikację konsolową poleceń, taką jak program Windows PowerShell.
Sprawdź, czy zainstalowana wersja interfejsu wiersza polecenia platformy Azure jest 2.29.0 lub nowsza, używając następującego polecenia.
```
 az --version
```
Jeśli wersja interfejsu wiersza polecenia platformy Azure jest niższa niż 2.29.0, zainstaluj najnowszą wersję. Aby uzyskać więcej informacji, zobacz Instalowanie interfejsu wiersza polecenia platformy Azure.
Jeśli tożsamość jest skojarzona z więcej niż jedną subskrypcją, ustaw aktywną subskrypcję.
```
   az account set --subscription <subscription-id>
```
Zastąp wartość symbolu <subscription-id> zastępczego identyfikatorem subskrypcji.
Zweryfikuj konto magazynu przy użyciu następującego polecenia.
```
az storage account hns-migration start --type validation -n <storage-account-name> -g <resource-group-name>
```
- Zastąp wartość symbolu <resource-group-name> zastępczego nazwą grupy zasobów.
- Zastąp wartość symbolu zastępczego <storage-account-name> nazwą konta magazynu.
Jeśli walidacja zakończy się pomyślnie, proces zakończy się i nie pojawią się żadne błędy.

Jeśli walidacja nie powiedzie się, w konsoli pojawi się błąd weryfikacji. Na przykład błąd (IncompatibleValuesForAccountProperties) Values for account properties are incompatible: Versioning Enabled wskazuje, że na koncie jest włączona niezgodna funkcja (przechowywanie wersji). W takim przypadku należy wyłączyć tę funkcję, a następnie ponownie uruchomić proces weryfikacji.

W niektórych przypadkach ścieżka do pliku o nazwie error.json jest wyświetlana w konsoli programu . Możesz otworzyć ten plik, aby określić, dlaczego konto nie przeszedło kroku weryfikacji.

Poniższy kod JSON wskazuje, że na koncie jest włączona niezgodna funkcja. W takim przypadku należy wyłączyć tę funkcję, a następnie ponownie uruchomić proces weryfikacji.
```
{
 "startTime": "2021-08-04T18:40:31.8465320Z",
 "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
 "incompatibleFeatures": [
     "Blob Delete Retention Enabled"
 ],
 "blobValidationErrors": [],
 "scannedBlobCount": 0,
 "invalidBlobCount": 0,
 "endTime": "2021-08-04T18:40:34.9371480Z"
}
```
Po pomyślnym zweryfikowaniu konta uruchom uaktualnienie, uruchamiając następujące polecenie.
```
az storage account hns-migration start --type upgrade -n storage-account-name -g <resource-group-name>
```
Ważne

Operacje zapisu są wyłączone podczas uaktualniania konta. Operacje odczytu nie są wyłączone, ale zdecydowanie zalecamy wstrzymanie operacji odczytu, ponieważ mogą one zdestabilizować proces uaktualniania.

Jeśli migracja zakończy się pomyślnie, proces zakończy się i nie pojawią się żadne błędy.

Zatrzymaj uaktualnianie

Przed zakończeniem migracji można zatrzymać migrację.

Aby zatrzymać uaktualnienie przed jego zakończeniem, wybierz pozycję Anuluj uaktualnienie , gdy uaktualnienie jest w toku.

Cancel upgrade

Aby zatrzymać uaktualnienie przed jego ukończeniem, użyj Stop-AzStorageAccountHierarchicalNamespaceUpgrade polecenia .

Stop-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName <resource-group-name> -Name <storage-account-name>

Aby zatrzymać uaktualnienie przed jego ukończeniem, użyj az storage account hns-migration stop polecenia .

az storage account hns-migration stop -n <storage-account-name> -g <resource-group-name>

Migrowanie danych, obciążeń i aplikacji

Skonfiguruj usługi w obciążeniach tak, aby wskazywały punkt końcowy usługi Blob Service lub punkt końcowy usługi Data Lake Storage .
W przypadku obciążeń hadoop korzystających ze sterownika obiektów blob usługi Windows Azure Storage lub sterownika WASB należy zmodyfikować je tak, aby korzystały ze sterownika systemu plików obiektów blob platformy Azure (ABFS). W przeciwieństwie do sterownika WASB, który wysyła żądania do punktu końcowego usługi Blob Service , sterownik ABFS wysyła żądania do punktu końcowego usługi Data Lake Storage twojego konta.
Przetestuj aplikacje niestandardowe, aby upewnić się, że działają zgodnie z oczekiwaniami przy użyciu uaktualnionego konta.

Dostęp do wielu protokołów w usłudze Data Lake Storage umożliwia większości aplikacji dalsze korzystanie z interfejsów API obiektów blob bez modyfikacji. Jeśli wystąpią problemy lub chcesz użyć interfejsów API do pracy z operacjami katalogu i listami ACL, rozważ przeniesienie kodu do korzystania z interfejsów API usługi Data Lake Storage Gen2. Zobacz przewodniki dotyczące platform .NET, Java, Python, Node.js i REST.
Przetestuj wszystkie skrypty niestandardowe, aby upewnić się, że działają zgodnie z oczekiwaniami przy użyciu uaktualnionego konta.

Podobnie jak w przypadku interfejsów API obiektów blob, wiele skryptów prawdopodobnie będzie działać bez konieczności ich modyfikowania. Jednak w razie potrzeby można uaktualnić pliki skryptów, aby używać poleceń cmdlet programu PowerShell usługi Data Lake Storage Gen2 i poleceń interfejsu wiersza polecenia platformy Azure.

Zobacz też

Wprowadzenie do usługi Azure Data Lake Storage Gen2