Exportieren von Daten in Azure Blob Storage

Sie können Daten aus Ihrem Azure Managed Lustre Dateisystem in einen langfristigen Speicher in Azure Blob Storage kopieren. In diesem Artikel werden zwei Methoden zum Exportieren von Daten behandelt:

Manueller Exportauftrag – Exportieren von Daten nach Bedarf mithilfe eines einmaligen Exportauftrags.
Automatischer Export — Synchronisieren Sie ständig neue und geänderte Dateien aus Ihrem Dateisystem automatisch mit Blob Storage.

Hinweis

Exportaufträge sind nur verfügbar, wenn Sie Azure Blob Storage während der Dateisystemerstellung in Ihr Azure Managed Lustre-Dateisystem integrieren. Weitere Informationen finden Sie unter Azure Blob Storage-Integration. Wenn Sie beim Erstellen des Dateisystems keinen BLOB-Container integriert haben, können Sie mithilfe von Clientdateisystembefehlen die Daten kopieren, ohne einen Exportauftrag zu erstellen.

Einschränkungen

Die folgenden Einschränkungen gelten für Exportvorgänge:

Es kann jeweils nur eine Import- oder Export-Aktion ausgeführt werden. Wenn beispielsweise ein Exportauftrag ausgeführt wird und Sie versuchen, einen anderen Exportauftrag zu starten, erhalten Sie eine Fehlermeldung.
Exportaufträge kopieren nur Dateien, die neu oder geändert wurden. Wenn die Datei, die Sie während der Dateisystemerstellung aus dem Blob-Container importiert haben, unverändert ist, exportiert der Einzelvorgang die Datei nicht.
Dateien mit nur Metadatenänderungen werden nicht exportiert. Metadatenänderungen umfassen Besitzer, Berechtigungen, erweiterte Attribute und Namensänderungen (umbenannt). Diese Einschränkung gilt sowohl für den manuellen Export als auch für den automatischen Export.
Dateien, die Sie im Azure Managed Lustre Dateisystem löschen, werden während des Exportauftrags nicht im ursprünglichen BLOB-Container gelöscht. Der Export-Einzelvorgang löscht keine Dateien im Blob-Container.
Blobnamen müssen bestimmten Benennungsregeln entsprechen. Akzeptable BLOB-Namen unterscheiden sich geringfügig von akzeptablen POSIX-Dateinamen. Beim Exportvorgang werden Sonderzeichen in Dateinamen beibehalten, indem sie beim Exportieren in Blobs ordnungsgemäß mit Escapezeichen versehen werden. Ein Dateiname, der gegen eine Blobbenennungsregel verstößt (z. B. die maximale Länge des Blobnamens überschreitet), führt jedoch zu einem Fehler, wenn Sie versuchen, diese Datei zu exportieren.
Für den automatischen Export werden Metadatenänderungen wie Umbenennungen, Besitzeraktualisierungen oder Berechtigungsanpassungen derzeit nicht synchronisiert.
Für den automatischen Export: Wenn Sie Dateien, Verzeichnisse oder symbolische Verknüpfungen im Dateisystem löschen, werden sie nicht aus dem container Blob Storage entfernt.
Azure Blob Storage unterstützt keine hardlinks. Jede feste Verknüpfung wird als eindeutiges BLOB exportiert. Wenn Sie diese Blobs importieren, werden sie zu unabhängigen Dateien.

Manueller Exportauftrag

Ein manueller Exportauftrag kopiert neue oder geänderte Dateien aus dem Dateisystem in den Blobcontainer, den Sie beim Erstellen des Dateisystems angegeben haben.

Erstellen eines Exportauftrags

Führen Sie die folgenden Schritte aus, um einen Exportauftrag im Azure-Portal zu erstellen:

Öffnen Sie im Azure-Portal Ihr Azure Managed Lustre-Dateisystem. Wählen Sie unter "Einstellungen" die Option "BLOB-Integration" aus.
Wählen Sie +Neuen Auftrag erstellen.
Wählen Sie im Dropdownmenü " Auftragstyp " die Option "Exportieren" aus.
Geben Sie im Feld Dateisystempfad eine Zeichenfolge ein, um anzugeben, was Sie exportieren möchten.

Der Exportauftrag exportiert alle neuen oder geänderten Dateien im Dateisystem, deren Dateinamen mit dieser Zeichenfolge beginnen. Der Auftrag schreibt Dateien in den BLOB-Container mit demselben Dateipfad (oder Präfix), den sie im Lustre-Dateisystem haben. Um das Überschreiben vorhandener Dateien im BLOB-Container zu vermeiden, stellen Sie sicher, dass der Pfad der Datei in Ihrem Lustre-Dateisystem den vorhandenen Pfad der Datei im BLOB-Container nicht überlappt.

Der folgende Screenshot zeigt die Konfigurationseinstellungen für einen Exportauftrag im Azure-Portal.

Überwachen oder Abbrechen eines Exportauftrags

Sie können Exportaufträge im Abschnitt "Zuletzt verwendete Aufträge " im Blob-Integrationsbereich überwachen oder abbrechen.

Es wird jeweils nur ein Archivierungsauftrag ausgeführt. Um den aktuell ausgeführten Auftrag abzubrechen, wählen Sie in der Tabelle "Zuletzt verwendete Aufträge" den Link "Abbrechen" für diesen Auftrag aus. Der Link "Abbrechen " ist für abgeschlossene Aufträge nicht verfügbar.

Wiederholen eines Exportauftrags

Wenn ein Exportauftrag nicht erfolgreich abgeschlossen wurde, können Sie den Export wiederholen, indem Sie einen neuen Exportauftrag erstellen. Der neue Auftrag kopiert nur die Dateien, die während des vorherigen Auftrags nicht kopiert wurden.

Wiederholungen können häufig auftreten, wenn Sie versuchen, Daten aus aktiven Dateisystemen zu exportieren, bei denen sich Daten häufig ändern. Weitere Informationen zu diesen Szenarien finden Sie unter Ausführen von Exportaufträgen in aktiven Dateisystemen.

Ausführen von Exportaufträgen in aktiven Dateisystemen

In aktiven Dateisystemen können Änderungen an Dateien während des Exportauftrags dazu führen, dass der Auftrag fehlschlägt. Dieser Fehlerstatus gibt an, dass nicht alle Daten im Dateisystem in Blob Storage exportiert wurden. Wiederholen Sie in dieser Situation den Export, indem Sie einen neuen Exportauftrag erstellen. Der neue Einzelvorgang kopiert nur die Dateien, die im vorherigen Einzelvorgang nicht kopiert wurden.

In Dateisystemen mit vielen Aktivitäten können Wiederholungen mehrmals fehlschlagen, da Dateien häufig geändert werden. Um zu überprüfen, ob eine Datei erfolgreich in Blob Storage exportiert wurde, überprüfen Sie den Zeitstempel auf dem entsprechenden Blob. Nach Abschluss des Auftrags können Sie auch den Protokollierungscontainer anzeigen, den Sie zur Bereitstellungszeit konfiguriert haben, um detaillierte Informationen zum Exportauftrag anzuzeigen. Der Protokollierung Container stellt Diagnose Informationen darüber bereit, welche Dateien fehlerhaft waren und warum sie fehlerhaft waren.

Wenn Sie die Außerbetriebnahme eines Clusters vorbereiten und einen endgültigen Export in Blob Storage durchführen möchten, stellen Sie sicher, dass alle E/A-Aktivitäten angehalten werden, bevor Sie den Exportauftrag initiieren. Dieser Ansatz trägt dazu bei, sicherzustellen, dass alle Daten exportiert werden, da fehler aufgrund von Dateisystemaktivitäten vermieden werden.

Informationen zu Metadaten für exportierte Dateien

Wenn Sie Dateien aus dem Azure Managed Lustre Dateisystem in den BLOB-Container exportieren, speichert der Exportauftrag zusätzliche Metadaten, um die Neuimportierung der Inhalte in ein Dateisystem zu vereinfachen.

In der folgenden Tabelle sind POSIX-Attribute aus dem Lustre-Dateisystem aufgeführt, die der Exportauftrag in den BLOB-Metadaten als Schlüssel-Wert-Paare speichert:

POSIX-Attribut	Typ
`owner`	int
`group`	int
`permissions`	Octalformat oder `rwxrwxrwx`-Format; Sticky Bit wird unterstützt

Der Exportauftrag speichert Verzeichnisattribute in einem leeren BLOB. Dieser Blob hat denselben Namen wie der Verzeichnispfad und enthält das folgende Schlüssel-Wert-Paar in den BLOB-Metadaten: hdi_isfolder : true

Sie können die POSIX-Attribute manuell ändern, bevor Sie den Container verwenden, um einen neuen Lustre-Cluster zu aktivieren. Bearbeiten oder Hinzufügen von BLOB-Metadaten mithilfe der zuvor beschriebenen Schlüssel-Wert-Paare.

Kopieren eines Lustre Blob-Containers mit Azcopy oder Storage-Explorer

Sie können den BLOB-Container, den das Lustre-Dateisystem verwendet, mit azcopy oder dem Speicher-Explorer verschieben oder kopieren.

Für azcopy, können Sie Verzeichnisattribute einschließen, indem Sie das folgende Flag hinzufügen:

--include-directory-stub

Wenn Sie dieses Kennzeichen einschließen, werden die POSIX-Verzeichnisattribute während einer Übertragung beibehalten (z.B. owner, group und permissions). Wenn Sie azcopy auf dem Speichercontainer ohne dieses Kennzeichen oder wenn das Kennzeichen auf false gesetzt ist verwenden, enthält die Übertragung die Daten und Verzeichnisse. Die Verzeichnisse behalten jedoch ihre POSIX-Attribute nicht bei.

Im Speicher-Explorer können Sie dieses Kennzeichen in den Einstellungen aktivieren, indem Sie "Übertragungen" und das Kontrollkästchen für "Verzeichnis-Stubs einschließen" auswählen.

Automatischer Export

Das AutoExport-Feature für Azure Managed Lustre ist eine Funktion, die Änderungen in Ihrem Azure Managed Lustre-Dateisystem automatisch mit einem verknüpften Azure Blob Storage-Container synchronisiert.

Mithilfe dieses Features können Sie sicherstellen, dass neue und geänderte Dateien im Dateisystem ohne manuellen Eingriff im zugehörigen Blob Storage-Container widergespiegelt werden. Dieses Feature optimiert die Datenverwaltung und verbessert die Synchronisierung für die Langzeitspeicherung.

Funktionen für den automatischen Export

Der automatische Export funktioniert durch kontinuierliche Überwachung von Änderungen im Azure Managed Lustre Dateisystem. Basierend auf der von Ihnen konfigurierten Exportrichtlinie wird der Inhalt des zugeordneten Blob Storage-Containers aktualisiert, um diese Änderungen widerzuspiegeln. Dieses Feature bietet einen nahtlosen und automatisierten Prozess zum Replizieren von Daten.

Hier erfahren Sie, wie der automatische Export verschiedene Arten von Änderungen behandelt:

Neue Dateierstellung, neues Verzeichnis und Dateiinhaltsänderungen: Der Blob-Integrationsprozess identifiziert neue Dateien, Verzeichnisse und Daten, die geändert wurden. Er startet automatisch einen Exportauftrag. Der automatische Export stellt sicher, dass die neueste Version der Datei in Blob Storage übertragen wird.

Der automatische Export funktioniert durch fortlaufende Exportiterationen. Wenn eine Iteration abgeschlossen ist, überprüft der Blob-Integrationsprozess das Dateisystem nach neuen Dateien, Verzeichnissen oder Inhaltsänderungen. Es beginnt eine neue Iteration eines Exportauftrags.

Das Exportieren von Auftragsprotokollen in Ihrem konfigurierten Protokollierungscontainer kann Ihnen helfen, Synchronisierungsprobleme zu identifizieren und zu verstehen, warum Vorgänge fehlschlagen.

Automatischen Export konfigurieren

Aktivieren Sie den automatischen Export für ein vorhandenes Azure Managed Lustre-Dateisystem, für das ein zugeordneter Blob Storage-Container konfiguriert ist. Sie können den automatischen Export mithilfe der Blob-Integrationseinstellungen im Azure-Portal konfigurieren.

Führen Sie die folgenden Schritte aus, um einen neuen automatischen Exportauftrag zu erstellen:

Öffnen Sie im Azure-Portal Ihr Azure Managed Lustre-Dateisystem. Wählen Sie unter "Einstellungen" die Option "BLOB-Integration" aus.
Wählen Sie +Neuen Auftrag erstellen.
Wählen Sie im Dropdownmenü " Auftragstyp " die Option "Automatisch exportieren" aus.
Geben Sie im Feld Dateisystempfad einen Verzeichnispfad an, indem Sie eine Zeichenfolge eingeben.

Das System exportiert kontinuierlich alle neuen oder geänderten Dateien im Dateisystem unter diesem Pfad (Präfix). Das System schreibt Dateien in den BLOB-Container mit demselben Dateipfad (oder Präfix), den sie im Lustre-Dateisystem haben. Die einzige Ausnahme ist, wenn Ihre Lustre-Datei aus diesem Pfad im BLOB-Container importiert wurde.

Automatischen Export überwachen und verwalten

Verwenden Sie das Azure-Portal, um AutoExportaktivitäten zu überwachen und Konfigurationen zu verwalten.

Im Blob-Integrationsbereich werden Details zu Exportaktivitäten im Abschnitt "Zuletzt verwendete Aufträge " angezeigt, einschließlich des Status der zuletzt verwendeten Aufträge und Metriken im Zusammenhang mit der automatischen Synchronisierung.

Um einen In-Process-Auftrag abzubrechen, wählen Sie in der Tabelle "Zuletzt verwendete Aufträge" den Link "Abbrechen" für diesen Auftrag aus. Der Link "Abbrechen " ist nur für den aktuellen Auftrag verfügbar.

Um die Metriken eines automatischen Exportauftrags anzuzeigen, wählen Sie den Namenwert des Auftrags aus. Der Bereich "Metriken " wird im Seitenbereich im Portal angezeigt.

Metriken für den automatischen Export

Im Portal werden Metriken in zwei Hauptkategorien gruppiert: "Overall " und "Current Iteration".

Gesamtstatistik

Statistiken nach dem Aktivieren des automatischen Exports

Gesamt exportierte Dateien

Die Anzahl der Dateien, die nach dem Aktivieren des automatischen Exports erfolgreich in den zugeordneten BLOB-Container kopiert wurden.

Gesamt exportierte MiB

Die aggregierte Dateigröße (in MiB) wurde erfolgreich in den zugehörigen BLOB-Container kopiert, nachdem Sie den automatischen Export aktiviert haben.

Iterationen abgeschlossen

Anzahl der Male, mit denen der Blob-Integrationsprozess neue oder geänderte Daten identifiziert und einen neuen Exportauftrag initiiert hat.

Letzte erfolgreiche Iteration

Der Endzeitstempel der letzten Iteration, die alle Daten erfolgreich in den zugeordneten Blobcontainer exportiert hat.

Aktuelle Iterationsstatistiken

Statistiken zur aktuellen Aktivität

Gefundene Dateien

Anzahl der Dateien, die der Exportauftrag zurzeit exportiert, einschließlich dateien, die bereits erfolgreich in den zugeordneten BLOB-Container in dieser Iteration kopiert wurden.*

MiB entdeckt

Aggregierte Dateigröße in MiB, die der Exportauftrag derzeit exportiert, einschließlich Dateien, die bereits erfolgreich in den zugeordneten Blobcontainer in dieser Iteration kopiert wurden.*

Exportierte Dateien

Anzahl der neuen und geänderten Dateien, die erfolgreich in den zugeordneten BLOB-Container kopiert wurden.

MiB exportiert

Die aggregierte Dateigröße in MiB von neuen und geänderten Daten wurde erfolgreich in den zugeordneten BLOB-Container kopiert.

Fehler bei Dateien

Die Gesamtzahl der Dateien, die während der aktuellen Iteration nicht kopiert werden konnten. Wählen Sie diesen Link aus, um zur Seite "Protokollierungscontainer " zu wechseln, um die Protokolle anzuzeigen, die diesem automatischen Exportauftrag zugeordnet sind.

* Die Metriken für die aktuelle fortlaufende Iteration stellen den bisherigen Stand dar. Beispielsweise ist "Gefundene Dateien " die Anzahl der dateien, die zum Zeitpunkt der Berichterstellung zum Exportieren ermittelt wurden. Der nächste Berichterstellungszyklus zeigt möglicherweise, dass weitere Dateien ermittelt werden.

Überlegungen und bewährte Methoden für den automatischen Export

Wenn Sie das Feature für den automatischen Export verwenden, sollten Sie die folgenden bewährten Methoden berücksichtigen, um einen reibungslosen Betrieb sicherzustellen:

Konfliktverwaltung: Wenn eine Datei sowohl im Dateisystem als auch im Blob Storage geändert wird, besteht das Risiko, dass sie überschrieben werden. Verwenden Sie die Koordination auf Anwendungsebene, um widersprüchliche Bearbeitungen zu verhindern.
Deaktivieren Sie den automatischen Export vor dem Löschen: Bevor Sie ein Dateisystem oder dessen BLOB-Integrationsprozess löschen, stellen Sie sicher, dass alle in die Warteschlange eingereihten Updates synchronisiert werden. Stellen Sie sicher, dass die letzte erfolgreiche Iterationszeit kürzlich war und die Metrik Fehler bei Dateien null ist, um Datenverluste zu vermeiden. Deaktivieren Sie dann den automatischen Export.

Feedback

War diese Seite hilfreich?

Zuletzt aktualisiert um 2026-10-17