Ein Upgrade von Azure Blob Storage mit Azure Data Lake Storage Gen2-Funktionen

Artikel
01/18/2024

Dieser Artikel hilft Ihnen, einen hierarchischer Namespace zu aktivieren und Funktionen wie Sicherheit auf Datei- und Verzeichnisebene und schnellere Vorgänge zu nutzen. Diese Funktionen werden häufig von großen Datenanalyse-Workloads verwendet und werden als Azure Data Lake Storage Gen2 bezeichnet.

Weitere Informationen zu diesen Funktionen und zur Bewertung der Auswirkungen dieses Upgrades auf die Workloads, Anwendungen, Kosten, Dienstintegrationen, Tools, Funktonen und Dokumentation finden Sie unter Upgraden von Azure Blob Storage mit Azure Data Lake Storage Gen2-Funktionen.

Wichtig

Ein Upgrade ist eine unidirektionale Aktion. Nachdem Sie das Upgrade durchgeführt haben, gibt es keine Möglichkeit, Ihr Konto wiederherzustellen. Wir empfehlen Ihnen, das Upgrade in einer Nichtproduktionsumgebung zu testen.

Vorbereiten des Upgrades

Führen Sie zum Vorbereiten des Upgrade Ihres Speicherkontos auf Data Lake Storage Gen2 folgende Schritte aus:

Überprüfen der Featureunterstützung
Sicherstellen, dass die Segmente jedes Blobpfads benannt sind
Verhindern von Schreibaktivitäten im Speicherkonto

Überprüfen der Featureunterstützung

Ihr Speicherkonto ist möglicherweise für die Verwendung von Features konfiguriert, die in Data Lake Storage Gen2-fähigen Konten noch nicht unterstützt werden. Wenn Ihr Konto solche Features verwendet, besteht das Upgrade den Validierungsschritt nicht. Informationen zum Identifizieren nicht unterstützter Features finden Sie im Artikel Unterstützung von Blob-Storage-Funktionen in Azure Storage-Konten. Wenn Sie solche Features in Ihrem Konto verwenden, deaktivieren Sie sie, bevor Sie mit dem Upgrade beginnen.

Die folgenden Features werden für Data Lake Storage Gen2-Konten, aber nicht vom Upgradeprozess unterstützt:

Blobmomentaufnahmen
Verschlüsselungsbereiche
Unveränderlicher Speicher
Nachverfolgung des Zeitpunkts des letzten Zugriffs für die Lebenszyklusverwaltung
Vorläufiges Löschen für Blobs
Vorläufiges Löschen für Container

Wenn für Ihr Speicherkonto solche Features aktiviert sind, müssen Sie sie vor dem Upgrade deaktivieren. Wenn Sie die Verwendung der Features nach Abschluss des Upgrades fortsetzen möchten, aktivieren Sie sie wieder.

In einigen Fällen müssen Sie Zeit für Bereinigungsvorgänge einplanen, nachdem ein Feature vor dem Upgrade deaktiviert wurde. Ein Beispiel ist das Feature zum vorläufigen Löschen von Blobs. Sie müssen das vorläufige Löschen von Blobs deaktivieren und dann alle vorläufig gelöschten Blobs ablaufen lassen, bevor Sie ein Upgrade für das Konto ausführen.

Wichtig

Für ein Speicherkonto, für das irgendwann schon einmal das Feature für Änderungsfeeds aktiviert war, kann kein Upgrade auf Data Lake Storage Gen2 durchgeführt werden. Die Durchführung eines Upgrades wird nicht einfach durch Deaktivieren des Änderungsfeeds ermöglicht. Stattdessen müssen Sie ein Konto mit aktivierter hierarchischer Namespacefunktion erstellen und dann Ihre Daten in dieses Konto übertragen.

Sicherstellen, dass die Segmente jedes Blobpfads benannt sind

Der Migrationsprozess erstellt ein Verzeichnis für jedes Pfadsegment eines Blobs. Data Lake Storage Gen2-Verzeichnisse müssen einen Namen haben. Somit muss für eine erfolgreiche Migration jedes Pfadsegment in einem virtuellen Verzeichnis einen Namen haben. Die gleiche Anforderung gilt für Segmente, die nur mit einem Leerzeichen benannt werden. Wenn alle Pfadsegmente entweder unnamed (//) oder nur mit einem Leerzeichen (_) benannt sind, müssen Sie diese Blobs vor der Migration in einen neuen Pfad kopieren, der diesen Benennungsanforderungen entspricht.

Verhindern von Schreibaktivitäten im Speicherkonto

Beim Upgrade kann ein Fehler auftreten, wenn eine Anwendung während des Upgrades in das Speicherkonto schreibt. So verhindern Sie eine solche Schreibaktivität

Versetzen Sie alle Anwendungen oder Dienste in einen inaktiven Status, die Schreibvorgänge durchführen könnten.
Geben Sie bestehende Leases für Container und Blobs im Speicherkonto frei oder lösen Sie sie auf.

Nachdem das Upgrade abgeschlossen ist, unterbrechen Sie die von Ihnen erstellten Leases, um den Schreibzugriff auf die Container und Blobs fortzusetzen.

Warnung

Das Unterbrechen einer aktiven Lease ohne ordnungsgemäße Deaktivierung von Anwendungen oder virtuellen Computern, die derzeit auf diese Ressourcen zugreifen, kann zu unerwarteten Ergebnissen führen. Stellen Sie sicher, dass Sie alle aktuellen Schreibaktivitäten in einen inaktiven Status versetzen, bevor Sie aktuelle Leases unterbrechen.

Durchführen des Upgrades

Melden Sie sich zunächst beim Azure-Portal an.
Suchen Sie nach Ihrem Speicherkonto, und zeigen Sie die Kontoübersicht an.
Wählen Sie Data Lake Gen2-Migration aus.

Die Konfigurationsseite Upgrade auf ein Speicherkonto mit Azure Data Lake Gen2-Funktionen wird angezeigt.
Erweitern Sie den Abschnitt Schritt 1: Überprüfen von Kontoänderungen vor dem Upgrade und klicken Sie auf Änderungen überprüfen und zustimmen.
Aktivieren Sie auf der Seite Kontoänderungen überprüfen das Kontrollkästchen, und klicken Sie dann auf Änderungen zustimmen.
Erweitern Sie den Abschnitt Schritt 2: Überprüfen des Kontos vor dem Upgrade und klicken Sie dann auf Überprüfung starten.

Wenn bei der Überprüfung ein Fehler auftritt, wird auf der Seite ein Fehler angezeigt. In einigen Fällen wird ein Link Fehler anzeigen angezeigt. Wenn dieser Link angezeigt wird, wählen Sie ihn aus.

Wählen Sie dann im Kontextmenü der Datei error.json die Option Herunterladenaus.

Öffnen Sie die heruntergeladene Datei, um zu ermitteln, warum der Überprüfungsschritt für das Konto nicht erfolgreich war. Der folgende JSON-Code gibt an, dass eine inkompatibles Funktion für das Konto aktiviert ist. In diesem Fall würden Sie die Funktion deaktivieren und dann den Überprüfungsprozess erneut starten.
```
{
 "startTime": "2021-08-04T18:40:31.8465320Z",
 "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
 "incompatibleFeatures": [
     "Blob Delete Retention Enabled"
 ],
 "blobValidationErrors": [],
 "scannedBlobCount": 0,
 "invalidBlobCount": 0,
 "endTime": "2021-08-04T18:40:34.9371480Z"
}
```
Nachdem Ihr Konto erfolgreich überprüft wurde, erweitern Sie den Abschnitt Schritt 3: Upgradekonto und klicken Sie dann auf Upgrade starten.

Wichtig

Schreibvorgänge sind während des Upgrades Ihres Kontos deaktiviert. Lesevorgänge sind nicht deaktiviert, aber wir empfehlen dringend, dass Sie Lesevorgänge anhalten, da diese den Upgrade-Prozess destabilisieren könnten.

Wenn die Migration erfolgreich abgeschlossen wurde, wird eine Meldung ähnlich der folgenden angezeigt.

Öffnen Sie ein Windows PowerShell-Befehlsfenster.
Stellen Sie sicher, dass das neueste Azure PowerShell-Modul installiert ist. Weitere Informationen finden Sie unter Installieren des Azure PowerShell-Moduls.
Melden Sie sich mit dem Befehl Connect-AzAccount bei Ihrem Azure-Abonnement an, und befolgen Sie die Anweisungen auf dem Bildschirm.
```
Connect-AzAccount
```
Wenn Ihre Identität mehreren Abonnements zugeordnet ist, legen Sie das aktive Abonnement fest.
```
$context = Get-AzSubscription -SubscriptionId <subscription-id>
Set-AzContext $context
```
Ersetzen Sie den Platzhalterwert <subscription-id> durch die ID Ihres Abonnements.
Überprüfen Sie Ihr Speicherkonto mit dem folgenden Befehl.
```
$result = Invoke-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName "<resource-group-name>" -Name "<storage-account-name>" -RequestType Validation -AsJob
```
- Ersetzen Sie den Platzhalterwert <resource-group-name> durch den Namen Ihrer Ressourcengruppe.
- Ersetzen Sie den Platzhalterwert <storage-account-name> durch den Namen Ihres Speicherkontos.
Je nach Größe Ihres Kontos kann dieser Vorgang einige Zeit in Anspruch nehmen. Sie können die Option asJob verwenden, um den Befehl in einem Hintergrundauftrag auszuführen, damit Ihr Client nicht blockiert wird. Der Befehl wird remote ausgeführt, aber der Auftrag befindet sich auf Ihrem lokalen Computer oder auf der VM, von der aus Sie den Befehl ausführen. Die Ergebnisse werden an Ihren lokalen Computer oder die VM übertragen.
Um den Status des Auftrags zu überprüfen und alle Eigenschaften des Auftrags in einer Liste anzuzeigen, geben Sie die Rückgabevariable an das Cmdlet Format-List weiter.
```
$result | Format-List -Property *
```
Wenn die Validierung erfolgreich ist, wird die Eigenschaft State auf Completed festgelegt.

Wenn bei der Validierung ein Fehler auftritt, wird die Eigenschaft State auf Failed festgelegt, und die Eigenschaft Error zeigt Validierungsfehler an.

Die folgende Ausgabe zeigt, dass im Konto eine inkompatibles Funktion aktiviert ist. In diesem Fall würden Sie die Funktion deaktivieren und dann den Überprüfungsprozess erneut starten.

In einigen Fällen gibt die Eigenschaft Error einen Pfad zu einer Datei mit dem Namen error.json an. Sie können diese Datei öffnen, um zu ermitteln, warum der Validierungsschritt für das Konto nicht erfolgreich war.

Der folgende JSON-Code gibt an, dass eine inkompatibles Funktion für das Konto aktiviert ist. In diesem Fall würden Sie die Funktion deaktivieren und dann den Überprüfungsprozess erneut starten.
```
{
 "startTime": "2021-08-04T18:40:31.8465320Z",
 "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
 "incompatibleFeatures": [
     "Blob Delete Retention Enabled"
 ],
 "blobValidationErrors": [],
 "scannedBlobCount": 0,
 "invalidBlobCount": 0,
 "endTime": "2021-08-04T18:40:34.9371480Z"
}
```
Nachdem Ihr Konto erfolgreich validiert wurde, starten Sie das Upgrade, indem Sie den folgenden Befehl ausführen.
```
$result = Invoke-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName "<resource-group-name>" -Name "<storage-account-name>" -RequestType Upgrade -AsJob -Force
```
Wie im obigen Validierungsbeispiel wird in diesem Beispiel die Option asJob verwendet, um den Befehl in einem Hintergrundauftrag auszuführen. Die Option Force überschreibt Eingabeaufforderungen zur Bestätigung des Upgrades. Wenn Sie die Option AsJob nicht verwenden, müssen Sie auch die Option Force nicht verwenden, da Sie einfach auf die Eingabeaufforderungen reagieren können.

Wichtig

Schreibvorgänge sind während des Upgrades Ihres Kontos deaktiviert. Lesevorgänge sind nicht deaktiviert, aber wir empfehlen dringend, dass Sie Lesevorgänge anhalten, da diese den Upgrade-Prozess destabilisieren könnten.

Zum Überprüfen des Auftragsstatus verwenden Sie dieselben Techniken, die in den vorherigen Schritten beschrieben wurden. Während der Prozess ausgeführt wird, wird die Eigenschaft State auf Running festgelegt.

Wenn die Migration erfolgreich abgeschlossen wurde, wird die Eigenschaft State auf Completed festgelegt, und die Eigenschaft Error zeigt keine Fehler an.

Wichtig

Eine grobe Schätzung der Upgradezeit beträgt ungefähr 5 bis 10 Minuten pro 2 Millionen Blobs. Wenn das Konto beispielsweise über 10 Millionen Blobs verfügt, dauert das Upgrade etwa 25 bis 50 Minuten. Bei Konten, die weniger als 2 Millionen Blobs enthalten, dauert das Upgrade in der Regel weniger als 10 Minuten.

Öffnen Sie zunächst Azure Cloud Shell, oder falls Sie die Azure-CLI lokal installiert haben, öffnen Sie eine Befehlskonsolenanwendung wie Windows PowerShell.
Überprüfen Sie mit dem folgenden Befehl, ob die installierte Version der Azure-Befehlszeilenschnittstelle 2.29.0 oder höher ist.
```
 az --version
```
Wenn Ihre Version der Azure-Befehlszeilenschnittstelle niedriger ist als 2.29.0, installieren Sie die neueste Version. Weitere Informationen finden Sie unter Installieren der Azure-Befehlszeilenschnittstelle.
Wenn Ihre Identität mehreren Abonnements zugeordnet ist, legen Sie das aktive Abonnement fest.
```
   az account set --subscription <subscription-id>
```
Ersetzen Sie den Platzhalterwert <subscription-id> durch die ID Ihres Abonnements.
Überprüfen Sie Ihr Speicherkonto mit dem folgenden Befehl.
```
az storage account hns-migration start --type validation -n <storage-account-name> -g <resource-group-name>
```
- Ersetzen Sie den Platzhalterwert <resource-group-name> durch den Namen Ihrer Ressourcengruppe.
- Ersetzen Sie den Platzhalterwert <storage-account-name> durch den Namen Ihres Speicherkontos.
Wenn die Validierung erfolgreich ist, wird der Prozess abgeschlossen, und es werden keine Fehler angezeigt.

Wenn die Validierung nicht erfolgreich ist, wird in der Konsole ein Validierungsfehler angezeigt. Der Fehler (IncompatibleValuesForAccountProperties) Values for account properties are incompatible: Versioning Enabled beispielsweise gibt an, dass ein inkompatibles Feature (Versionsverwaltung) im Konto aktiviert ist. In diesem Fall würden Sie die Funktion deaktivieren und dann den Überprüfungsprozess erneut starten.

In einigen Fällen wird der Pfad zu einer Datei mit dem Namen error.json in der Konsole angezeigt. Sie können diese Datei öffnen, um zu ermitteln, warum der Validierungsschritt für das Konto nicht erfolgreich war.

Der folgende JSON-Code gibt an, dass eine inkompatibles Funktion für das Konto aktiviert ist. In diesem Fall würden Sie die Funktion deaktivieren und dann den Überprüfungsprozess erneut starten.
```
{
 "startTime": "2021-08-04T18:40:31.8465320Z",
 "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
 "incompatibleFeatures": [
     "Blob Delete Retention Enabled"
 ],
 "blobValidationErrors": [],
 "scannedBlobCount": 0,
 "invalidBlobCount": 0,
 "endTime": "2021-08-04T18:40:34.9371480Z"
}
```
Nachdem Ihr Konto erfolgreich validiert wurde, starten Sie das Upgrade, indem Sie den folgenden Befehl ausführen.
```
az storage account hns-migration start --type upgrade -n storage-account-name -g <resource-group-name>
```
Wichtig

Schreibvorgänge sind während des Upgrades Ihres Kontos deaktiviert. Lesevorgänge sind nicht deaktiviert, aber wir empfehlen dringend, dass Sie Lesevorgänge anhalten, da diese den Upgrade-Prozess destabilisieren könnten.

Wenn die Migration erfolgreich ist, wird der Prozess abgeschlossen, und es werden keine Fehler angezeigt.

Abbrechen des Upgrades

Sie können die Migration beenden, bevor sie abgeschlossen ist.

Um das Upgrade zu beenden, bevor es abgeschlossen ist, wählen Sie Upgrade abbrechen aus, während das Upgrade ausgeführt wird.

Cancel upgrade

Um das Upgrade zu beenden, bevor es abgeschlossen ist, verwenden Sie den Befehl Stop-AzStorageAccountHierarchicalNamespaceUpgrade.

Stop-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName <resource-group-name> -Name <storage-account-name>

Um das Upgrade zu beenden, bevor es abgeschlossen ist, verwenden Sie den Befehl az storage account hns-migration stop.

az storage account hns-migration stop -n <storage-account-name> -g <resource-group-name>

Migrieren von Daten, Workloads und Anwendungen

Konfigurieren Sie die Dienste in Ihren Workloads so, dass sie entweder auf den Blob-Dienstendpunkt oder den Data Lake Storage-Endpunkt verweisen.
Stellen Sie sicher, das Hadoop-Workloads, die den Windows Azure Storage Blob-Treiber oder den WASB-Treiber verwenden, so geändert werden, dass sie den Azure Blob File System (ABFS)-Treiber verwenden. Anders als der WASB-Treiber, der Anforderungen an den Endpunkt des Blob-Dienstes stellt, stellt der ABFS-Treiber Anforderungen an den Data Lake Storage-Endpunkt Ihres Kontos.
Testen Sie die benutzerdefinierten Anwendungen, um sicherzustellen, dass sie wie erwartet mit Ihrem aktualisierten Konto funktionieren.

Der Zugriff mit mehreren Protokollen auf Data Lake Storage ermöglicht es den meisten Anwendungen, Blob-APIs weiterhin ohne Änderungen zu verwenden. Wenn Probleme auftreten oder Sie APIs verwenden möchten, um mit Verzeichnisvorgängen und ACLs zu arbeiten, sollten Sie einen Teil Ihres Codes verschieben, um Data Lake Storage Gen2-APIs zu verwenden. Weitere Informationen finden Sie in den Anleitungen für .NET, Java, Python, Node.js und REST.
Testen Sie alle benutzerdefinierten Skripts, um sicherzustellen, dass sie wie erwartet mit Ihrem aktualisierten Konto funktionieren.

Wie bei Blob-APIs funktionieren viele Ihrer Skripts wahrscheinlich, ohne dass Sie sie ändern müssen. Aktualisieren Sie Skripts aber bei Bedarf für die Verwendung der PowerShell-Cmdlets und Azure CLI-Befehle für Data Lake Storage Gen2.

Siehe auch

Einführung in Azure Data Lake Storage Gen2