Importieren von Daten aus Azure Blob Storage

Azure Managed Lustre ist in Azure Blob Storage integriert, um den Import von Daten aus einem BLOB-Container in ein Dateisystem zu vereinfachen. Sie können diese Integration während der Clustererstellung konfigurieren und jederzeit einen Importauftrag erstellen, nachdem der Cluster erstellt wurde.

In diesem Artikel werden zwei Methoden zum Importieren von Daten behandelt:

  • Manueller Importauftrag – Importieren von Daten bei Bedarf mithilfe eines einmaligen Importauftrags.
  • Auto-Import – Synchronisieren Sie Daten aus Blob Storage kontinuierlich mithilfe des Änderungsfeeds mit Ihrem Dateisystem.

Hinweis

Wenn Sie Daten aus einem BLOB-Container in ein Azure Managed Lustre-Dateisystem importieren, werden nur die Dateinamen (Namespace) und Metadaten in den Lustre-Dateisystemnamespace importiert.

Der tatsächliche Inhalt eines Blobs wird importiert, wenn ein Client zum ersten Mal auf die Datei zugreift. Wenn Sie zum ersten Mal auf die Daten zugreifen, gibt es eine leichte Verzögerung, während die Funktion Lustre Hierarchical Storage Management (HSM) den Blob-Inhalt in die entsprechende Datei im Filesystem abruft. Diese Verzögerung tritt nur auf, wenn zum ersten Mal auf eine Datei zugegriffen wird.

Sie können den Inhalt eines Blobcontainers vorab abrufen, indem Sie den Lustre-Befehl lfs hsm_restore über einen eingebundenen Client mit sudo-Funktionen verwenden. Weitere Informationen finden Sie unter "Wiederherstellen von Daten aus Blob Storage".

Einschränkungen

Die folgenden Einschränkungen gelten für Importvorgänge:

  • Es kann jeweils nur ein Blob-Integrationsauftrag ausgeführt werden. Diese Einschränkung umfasst manuelle Import-, manuelle Export-, Autoimport- und Autoexportaufträge.
  • Für den automatischen Import ist der Azure Blob Storage-Änderungsfeed erforderlich. Der Änderungsfeed unterstützt keine Speicherkonten mit aktivierten hierarchischen Namespaces, und der Aufbewahrungszeitraum muss mindestens sieben Tage betragen.
  • Verwenden lfs hsm_* Sie keine Befehle, während der automatische Import ausgeführt wird. Dies kann zu Konsistenzproblemen zwischen dem BLOB-Container und dem Lustre-Dateisystem führen.
  • Löschungen durch den automatischen Import sind unidirektionale Löschungen von Blob Storage zu Lustre und gelten nur für Änderungen, die nach der Aktivierung des automatischen Imports auftreten. Löschungen, die vor der Aktivierung aufgetreten sind, werden während des anfänglichen vollständigen Synchronisierungsscans nicht entfernt.

Prerequisites

Manueller Importauftrag

Mit einem manuellen Importauftrag können Sie Daten aus einem BLOB-Container in ein vorhandenes Azure Managed Lustre Dateisystem importieren, wenn Sie dies auswählen.

Hinweis

Es kann jeweils nur ein Import- oder Exportauftrag ausgeführt werden. Wenn beispielsweise ein Importauftrag ausgeführt wird und Sie versuchen, einen anderen Import- oder Exportauftrag zu starten, wird eine Fehlermeldung angezeigt.

Konfigurieren von Importoptionen und Starten des Auftrags

Führen Sie die folgenden Schritte aus, um die Importoptionen zu konfigurieren und den Auftrag zu starten:

  1. Öffnen Sie im Azure-Portal Ihr Azure Managed Lustre-Dateisystem. Wählen Sie unter "Einstellungen" die Option "BLOB-Integration" aus.

  2. Wählen Sie +Neuen Auftrag erstellen.

  3. Wählen Sie im Dropdownmenü "Auftragstypimportieren" aus.

  4. Geben Sie im Feld "Auftragsname " einen Namen für den Importauftrag ein.

  5. Wählen Sie einen Wert für das Feld " Konfliktauflösungsmodus" aus . Diese Einstellung bestimmt, wie der Importauftrag Konflikte zwischen vorhandenen Dateien im Dateisystem und den neuen Dateien verarbeitet, die Sie importieren. Wählen Sie in diesem Beispiel "Überspringen" aus. Weitere Informationen finden Sie unter Konfigurieren von Importoptionen.

  6. Wählen Sie einen Wert für die Fehlertoleranz aus. Diese Einstellung bestimmt, wie der Importauftrag Fehler verarbeitet, die während des Importvorgangs auftreten. Wählen Sie in diesem Beispiel "Fehler zulassen" aus. Weitere Informationen finden Sie unter Konfigurieren von Importoptionen.

  7. Um die Daten zu filtern, die Sie aus Blob Storage importieren, geben Sie Importpräfixe ein. Im Azure-Portal können Sie bis zu 10 Präfixe eingeben. Geben Sie in diesem Beispiel die Präfixe /data und /logs an. Weitere Informationen finden Sie unter Konfigurieren von Importoptionen.

  8. Nachdem Sie den Job konfiguriert haben, wählen Sie Start aus, um den Importvorgang zu starten.

Der folgende Screenshot zeigt die Konfigurationseinstellungen für importaufträge im Azure-Portal.

Screenshot der Portaleinstellungen zum Erstellen eines Importauftrags.

Importieren des Präfixes

Wenn Sie Daten aus einem BLOB-Container importieren, können Sie optional ein oder mehrere Präfixe angeben, um die in das Azure Managed Lustre-Dateisystem importierten Daten zu filtern. Dateinamen im Blob-Container, die mit einem der Präfixe übereinstimmen, werden einem Metadatensatz im Dateisystem hinzugefügt. Wenn ein Client zum ersten Mal auf eine Datei zugreift, ruft das System ihren Inhalt aus dem BLOB-Container ab und speichert ihn im Dateisystem.

Verwenden Sie im Azure-Portal die Importpräfix-Felder auf der Registerkarte "Erweitert" während der Clustererstellung, um die Daten anzugeben, die aus Ihrem BLOB-Container importiert werden sollen. Diese Felder gelten nur für den anfänglichen Importauftrag. Sie können das Importpräfix nach der Erstellung des Clusters nicht ändern.

Für einen Importvorgang können Sie Importpräfixe angeben, wenn Sie den Vorgang erstellen. Im Azure-Portal können Sie Import-Präfixe in den Importpräfix-Feldern angeben. Sie können auch das Importpräfix angeben, wenn Sie die REST API verwenden, um einen Import-Einzelvorgang zu erstellen.

Beachten Sie beim Angeben von Importpräfixen die folgenden Überlegungen:

  • Das Standardimport-Präfix ist /. Dieses Standardverhalten importiert den Inhalt des gesamten Blob-Containers.
  • Wenn Sie mehrere Präfixe angeben, dürfen sich die Präfixe nicht überlappen. Wenn Sie beispielsweise /data und /data2 angeben, schlägt der Import-Einzelvorgang fehl, weil die Präfixe eine Überlappung aufweisen.
  • Wenn sich der Blob-Container in einem Speicher mit aktiviertem hierarchischen Namespace befindet, können Sie das Präfix als Dateipfad betrachten. Das System enthält Elemente unter dem Pfad im Azure Managed Lustre Dateisystem.
  • Wenn sich der BLOB-Container in einem Speicherkonto mit einem nichthierarchischen (oder flachen) Namespace befindet, können Sie sich das Importpräfix als Suchzeichenfolge vorstellen, die das System mit dem Anfang des Blobnamens vergleicht. Wenn der Name eines Blobs im Container mit der Zeichenfolge beginnt, die Sie als Importpräfix angegeben haben, macht das System diese Datei im Dateisystem zugänglich. Lustre ist ein hierarchisches Dateisystem, und / Zeichen in Blobnamen werden verzeichnistrennzeichen, wenn das System sie in Lustre speichert.

Konfliktlösungsmodus

Wenn Sie Daten aus einem BLOB-Container importieren, können Sie angeben, wie Konflikte zwischen dem BLOB-Container und dem Dateisystem behandelt werden. Diese Option gilt nur für Importaufträge, die für vorhandene Cluster ausgeführt werden. Die folgende Tabelle zeigt die verfügbaren Konfliktauflösungsmodi und deren Beschreibungen:

Modus Description
fail Wenn ein Konflikt erkannt wird, schlägt der Importauftrag sofort mit einem Fehler fehl.
skip Wenn ein Konflikt erkannt wird, überspringt der Importauftrag die Datei.
overwrite-dirty Der Einzelvorgang zum Importieren bewertet einen Konfliktpfad, um festzustellen, ob er gelöscht und erneut importiert werden soll. Weitere Informationen finden Sie im overwrite-dirty Modus.
overwrite-always Der Importauftrag bewertet einen konfliktbehafteten Pfad und löscht oder importiert immer, wenn er geändert wird, oder gibt ihn frei, wenn er sauber ist. Weitere Informationen finden Sie im overwrite-always Modus.

Überschreibmodus-modifizierte Seite

Der overwrite-dirty Modus führt eine Auswertung eines Konfliktpfads durch, um zu sehen, ob er gelöscht und neu importiert werden sollte. Auf hoher Ebene überprüft der overwrite-dirty Modus den HSM-Zustand.

Wenn der HSM-Zustand Clean und Archived ist (das Lustre-Dateisystem erkennt, dass seine Daten mit dem BLOB-Container synchronisiert sind), aktualisiert es bei Bedarf nur die Attribute. Andernfalls löscht sie die Datei und importiert sie erneut aus dem Blobcontainer.

Wenn Sie den HSM-Zustand überprüfen, ist es keine Garantie dafür, dass die Datei im Lustre-Dateisystem mit der Datei im Blob-Container übereinstimmt. Wenn Sie sicherstellen müssen, dass die Datei im Lustre-Dateisystem der Datei im BLOB-Container so genau wie möglich entspricht, verwenden Sie den overwrite-always Modus.

Modus "überschreiben-immer"

Der overwrite-always-Modus bewertet einen konfliktbehafteten Pfad und löscht oder importiert immer, wenn er geändert wird, oder gibt ihn frei, wenn er sauber ist. Dieser Modus ist nützlich, wenn Sie sicherstellen möchten, dass das Dateisystem immer mit dem Blob-Container synchronisiert ist. Dies ist außerdem die teuerste Option, da jede zuvor wiederhergestellte Datei beim ersten Zugriff freigegeben oder gelöscht und erneut importiert wird.

Fehlertoleranz

Wenn Sie Daten aus einem BLOB-Container importieren, können Sie die Fehlertoleranz angeben. Die Fehlertoleranzstufe bestimmt, wie der Importauftrag vorübergehende Fehler verarbeitet, die während des Importvorgangs auftreten (z. B. Betriebssystemfehler oder Netzwerkunterbrechungen). Fehler in diesem Kontext beziehen sich nicht auf Dateikonflikte, um die sich der Konfliktlösungsmodus kümmert.

Die folgenden Fehlertoleranzoptionen sind für Importeinzelvorgänge verfügbar:

  • Fehler nicht zulassen (Standard): Der Einzelvorgang schlägt sofort fehl, wenn während des Importierens ein Fehler auftritt.
  • Fehler zulassen: Der Import-Einzelvorgang wird fortgesetzt, wenn ein Fehler auftritt, und der Fehler wird protokolliert. Nachdem der Import-Einzelvorgang abgeschlossen ist, können Sie Fehler in der Protokollierung im Container einsehen.

Überlegungen für Blob-Importeinzelvorgänge

Die folgenden Elemente sind wichtig zu berücksichtigen, wenn Sie Daten aus einem BLOB-Container importieren:

  • Es kann jeweils nur eine Import- oder Export-Aktion ausgeführt werden. Wenn beispielsweise ein Importauftrag ausgeführt wird und Sie versuchen, einen anderen Importauftrag zu starten, wird eine Fehlermeldung angezeigt.
  • Sie können Importaufträge abbrechen. Sie können einen Import-Einzelvorgang, der auf einem vorhandenen Cluster gestartet wurde, oder einen Import-Einzelvorgang, der während der Clustereerstellung initiiert wurde, Auswahl aufheben.
  • Die Clusterbereitstellung kann erfolgreich zurückgegeben werden, bevor der entsprechende Importeinzelvorgang abgeschlossen ist. Der Import-Einzelvorgang wird im Hintergrund weiter ausgeführt. Sie können den Fortschritt des Importiereneinzelvorgangs auf folgende Weise überwachen:
    • Azure-Portal: Das Azure-Portal zeigt den Status des Import-Einzelvorgangs an. Wechseln Sie zum Dateisystem, und wählen Sie blob-Integration aus, um den Importauftragsstatus anzuzeigen.
    • Lustre-Datei im Stammverzeichnis: Eine Datei mit einem Dateinamen ähnlich wie /lustre/IMPORT_<state>.<timestamp_start> wird während des Importierens im Lustre-Stammverzeichnis erstellt. Der <state> Platzhalter ändert sich, während der Import fortschreitet. Die Datei wird gelöscht, wenn der Importauftrag erfolgreich abgeschlossen wurde.
  • Um Details zu einem abgeschlossenen Importauftrag anzuzeigen, überprüfen Sie den Protokollierungscontainer. Der Protokollierungscontainer enthält Protokolle für den Importeinzelvorgang, einschließlich aller Fehler oder Konflikte, die während des Imports aufgetreten sind.
  • Wenn der Einzelvorgang aus irgendeinem Grund fehlerhaft ist, haben Sie möglicherweise keine vollständige Statistik über den Einzelvorgang, wie die Anzahl der importierten Dateien oder die Anzahl der Konflikte.

Manuellen Importauftrag überwachen

Nachdem Sie den Importauftrag erstellt haben, überwachen Sie den Fortschritt, um sicherzustellen, dass er erfolgreich abgeschlossen wird.

Führen Sie die folgenden Schritte aus, um die Auftragsdetails anzuzeigen:

  1. Öffnen Sie im Azure-Portal Ihr Azure Managed Lustre-Dateisystem. Wählen Sie unter "Einstellungen" die Option "BLOB-Integration" aus.
  2. Wählen Sie in der Liste der letzten Aufträge den Importauftrag aus, den Sie überwachen möchten.
  3. Zeigen Sie den Bereich Auftragsdetails an, um Informationen zum Auftrag anzuzeigen, einschließlich des Auftragsstatus, der Startzeit, importierter Blobs und aller Fehler oder Konflikte, die während des Importvorgangs aufgetreten sind.

Der folgende Screenshot zeigt die Auftragsdetails für einen Importauftrag im Azure-Portal.

Screenshot der Auftragsdetails für einen Importauftrag.

Wenn der Auftrag abgeschlossen ist, zeigen Sie den Protokollcontainer an, um detaillierte Informationen zum Importvorgang anzuzeigen, einschließlich aller aufgetretenen Fehler oder Konflikte. Diese Informationen sind erst nach Abschluss des Auftrags verfügbar.

Automatischer Import

Das Feature für den automatischen Import in Azure Managed Lustre ermöglicht eine nahtlose Synchronisierung von Daten aus einem Azure Blob Storage-Container in einen Azure Managed Lustre-Cluster. Mithilfe dieser Funktionalität können Sie Blob Storage als kalte Ebene behandeln und Azure Managed Lustre als Hochleistungs-Hot-Tier. Diese Methode spiegelt automatisch Änderungen wider, die im Blob Storage im Lustre-Namespace vorgenommen wurden.

Funktionsweise des Features für den automatischen Import

Das Feature für den automatischen Import in Azure Managed Lustre überwacht kontinuierlich Änderungen im zugeordneten Azure Blob Storage Container mithilfe der Azure Blob Storage Änderungsfeedfunktion.

Basierend auf der konfigurierten Importrichtlinie aktualisiert sie den Inhalt des Azure Managed Lustre-Namespaces, um diese Änderungen widerzuspiegeln. Das Feature für den automatischen Import bietet Benutzern einen nahtlosen und automatisierten Datenreplikationsprozess.

Nachdem Sie den Auftrag erstellt haben, besteht der Prozess für den automatischen Import aus zwei Phasen:

  1. Die erste Phase ist der vollständige Synchronisierungsscan . Der vollständige Synchronisierungsscan vergleicht den BLOB-Containernamespace mit dem Azure Managed Lustre-Namespace und importiert alle neuen oder geänderten Dateien in den Azure Managed Lustre-Namespace.

  2. Die zweite Phase ist der Synchronisierungs-Scan für Blobs. Der Blob-Synchronisierungsscan beginnt, nachdem der vollständige Synchronisierungsscan abgeschlossen wurde. Der Blob-Synchronisierungsscan überwacht kontinuierlich den Änderungsfeed auf Updates, das Importieren neuer oder geänderter Dateien und die Verarbeitung von Löschungen in den Azure Managed Lustre-Namespace.

Details zu den Preisen finden Sie in der Dokumentation zum Änderungsfeed.

Voraussetzungen für den automatischen Import

Automatischen Import konfigurieren

Das Feature für den automatischen Import ist in einem vorhandenen Azure Managed Lustre-Dateisystem aktiviert, das einen zugeordneten Blob Storage-Container konfiguriert hat. Konfigurieren Sie den automatischen Import in den Blob-Integrationseinstellungen im Azure-Portal.

Führen Sie die folgenden Schritte aus, um einen neuen automatischen Importauftrag zu erstellen:

  1. Öffnen Sie im Azure-Portal Ihr Azure Managed Lustre-Dateisystem. Wählen Sie unter "Einstellungen" die Option "BLOB-Integration" aus.

  2. Wählen Sie +Neuen Auftrag erstellen.

  3. Wählen Sie im Dropdownmenü " Auftragstyp " die Option "Automatisch importieren" aus.

  4. Geben Sie im Feld "Auftragsname " einen Namen für den Importauftrag ein.

  5. Wählen Sie einen Wert für das Feld " Konfliktauflösungsmodus" aus . Diese Einstellung bestimmt, wie der Importauftrag Konflikte zwischen vorhandenen Dateien im Dateisystem und importierten Dateien verarbeitet. Wählen Sie in diesem Beispiel Überspringen aus. Weitere Informationen finden Sie im Konfliktlösungsmodus.

  6. Um die Daten aus Blob Storage zu filtern, geben Sie Importpräfixe ein. Im Azure-Portal können Sie bis zu 10 Präfixe eingeben. Geben Sie in diesem Beispiel die Präfixe /data und /logs an. Weitere Informationen finden Sie unter "Präfix importieren".

  7. Entscheiden Sie, ob Sie "Löschungen aktivieren" auswählen möchten, wodurch die Weitergabe von Löschungen von Azure Blob Storage an Azure Managed Lustre ermöglicht wird.

  8. Nachdem Sie den Auftrag konfiguriert haben, beginnen Sie den Importvorgang, indem Sie "Start" auswählen.

Automatischen Import überwachen und verwalten

Nachdem Sie den Automatischen Importauftrag erstellt haben, überwachen Sie den Fortschritt im Azure-Portal.

Im Blob-Integrationsbereich werden Details zu Importaktivitäten im Abschnitt "Zuletzt verwendete Aufträge " angezeigt, einschließlich des Status der zuletzt verwendeten Aufträge und Metriken im Zusammenhang mit der automatischen Synchronisierung.

Um den aktuell ausgeführten Auftrag abzubrechen, wählen Sie in der Tabelle "Zuletzt verwendete Aufträge" den Link "Abbrechen" für diesen Auftrag aus. Der Link "Abbrechen " ist nur für den aktuellen Automatischimportauftrag verfügbar.

Um die Metriken eines automatischen Importauftrags anzuzeigen, wählen Sie den Namen des Auftrags aus. Der Bereich "Metriken " wird auf der rechten Seite des Portals angezeigt.

Metriken für den automatischen Import

Metriken werden in zwei Hauptkategorien unterteilt: "Vollständige Synchronisierung " und "Blob-Synchronisierung".

Vollständige Synchronisierungsstatistiken Statistiken für die erste vollständige Synchronisierungsphase des automatischen Imports
Importierte Dateien Die Anzahl der Dateien, die während der ersten vollständigen Synchronisierungsphase erfolgreich aus dem Lustre-Namespace aus dem zugeordneten BLOB-Container importiert wurden.
Importierte Verzeichnisse Die Anzahl der Verzeichnisse, die während der ersten vollständigen Synchronisierungsphase erfolgreich aus dem Lustre-Namespace aus dem zugeordneten BLOB-Container importiert wurden.
Importierte Symlinks Anzahl der symbolischen Verknüpfungen, die während der ersten vollständigen Synchronisierungsphase erfolgreich aus dem zugeordneten BLOB-Container in den Lustre-Namespace importiert wurden.
Bereits vorhandene Dateien Anzahl der Dateien mit demselben Pfad und Namen, die bereits im Lustre-Namespace vorhanden sind. Dateien enthalten bereits dieselben erwarteten Daten und Metadaten wie ihre entsprechenden Blobs.
Bereits vorhandene Verzeichnisse Die Anzahl der Verzeichnisse, die im Lustre-Namensraum während der ersten vollständigen Synchronisierungsphase angetroffen wurden und die bereits erwartete Metadaten in Form des entsprechenden Blobs enthalten.
Bereits vorhandene Symlinks Anzahl der symbolischen Verknüpfungen im Lustre-Namespace, die während der ersten vollständigen Synchronisierungsphase erkannt werden und bereits die erwarteten Metadaten sowie das Ziel als entsprechendes Blob enthalten.
Importierte Blobs insgesamt Anzahl der Blobs, die während der ersten vollständigen Synchronisierungsphase aus dem Blobcontainer in den Lustre-Namespace importiert wurden. Die Zahl ist eine Obermenge importierter Dateien, Verzeichnisse und symbolischer Verknüpfungen.
Blobimportrate Die Anzahl der pro Sekunde während der ersten vollständigen Synchronisierungsphase aus dem Blobspeicher in Lustre importierten Blobs.
Durchlaufene Blobs insgesamt Die Anzahl der Blobs, die während der vollständigen Synchronisierungsphase gescannt wurden.
Blobdurchlaufrate Die Anzahl der pro Sekunde gescannten Blobs während der vollständigen Synchronisierungsphase.
Gesamtkonflikte Anzahl der Begegnungen mit Blobs, die denselben Pfad und Namen eines vorhandenen Objekts im Lustre-Namespace aufweisen, sich jedoch in Bezug auf einen oder mehrere Bereiche unterscheiden, einschließlich Objekttyp, Daten und Metadaten.
Fehler gesamt Die Gesamtzahl der Fehler, bei denen Blobs während der ersten vollständigen Synchronisierungsphase nicht in das Lustre-Dateisystem importiert wurden. Wählen Sie diesen Link aus, um zur Seite "Protokollierungscontainer " zu wechseln, um die Protokolle anzuzeigen, die diesem automatischen Importauftrag zugeordnet sind.
Blob-Synchronisierungsstatistiken Statistiken zu Aktivitäten im Zusammenhang mit der Überwachung des Änderungsfeeds
Importierte Dateien Anzahl der Dateien, die nach der ersten vollständigen Synchronisierungsphase erfolgreich aus dem Lustre-Namespace aus dem zugeordneten BLOB-Container importiert wurden.
Importierte Verzeichnisse Anzahl der Verzeichnisse, die nach der ersten vollständigen Synchronisierungsphase erfolgreich aus dem Lustre-Namespace aus dem zugeordneten BLOB-Container importiert wurden.
Importierte Symlinks Anzahl der symbolischen Verknüpfungen, die nach der ersten vollständigen Synchronisierungsphase erfolgreich aus dem Lustre-Namespace aus dem zugeordneten BLOB-Container importiert wurden.
Bereits vorhandene Dateien Anzahl der Dateien mit demselben Pfad und Namen, die bereits im Lustre-Namespace vorhanden sind, nach der ersten vollständigen Synchronisierungsphase, die bereits erwartete Daten und Metadaten als entsprechendes Blob enthalten.
Bereits vorhandene Verzeichnisse Anzahl der Verzeichnisse im Lustre-Namespace nach der ersten vollständigen Synchronisierungsphase, die bereits erwartete Metadaten als das entsprechende Blob enthalten.
Bereits vorhandene Symlinks Anzahl der symbolischen Verknüpfungen im Lustre-Namespace nach der ersten vollständigen Synchronisierungsphase, die bereits erwartete Metadaten und Ziel als entsprechendes Blob enthalten.
Importierte Blobs insgesamt Anzahl der Blobs, die nach der ersten vollständigen Synchronisierungsphase aus dem Blob-Container in den Lustre-Namespace importiert wurden. Die Zahl ist eine Obermenge importierter Dateien, Verzeichnisse und symbolischer Verknüpfungen.
Blobimportrate Die Anzahl der pro Sekunde importierten Blobs, die nach der ersten vollständigen Synchronisierungsphase aus dem Blob in das Lustre-Dateisystem übertragen wurden.
Löschungen Anzahl der dateien, die während der Blob-Synchronisierungsphase gelöscht wurden.
Gesamtkonflikte Anzahl der Begegnungen mit Blobs, die denselben Pfad und Namen eines vorhandenen Objekts im Lustre-Namespace nach der ersten vollständigen Synchronisierungsphase aufweisen, die sich jedoch in Bezug auf einen oder mehrere Bereiche unterscheiden. Der Typ von Objekten, Daten und Metadaten.
Fehler gesamt Die Gesamtzahl der Importfehler nach der ersten vollständigen Synchronisierungsphase. Wählen Sie diesen Link aus, um zur Seite "Protokollierungscontainer " zu wechseln, um die Protokolle anzuzeigen, die diesem automatischen Importauftrag zugeordnet sind.
Verarbeitungszeitpunkt des letzten Änderungsfeedereignisses Zeitstempel des letzten Änderungsfeedereignisses, das für diesen automatischen Importauftrag verarbeitet wurde.
Zeitpunkt der letzten vollständigen Synchronisierung Der letzte Zeitstempel, zu dem alle Änderungsfeedereignisse für diesen Auftrag für den automatischen Import verarbeitet wurden.

Überlegungen und bewährte Methoden für den automatischen Import

Wenn Sie den automatischen Import verwenden, sollten Sie die folgenden bewährten Methoden berücksichtigen, um einen reibungslosen Betrieb sicherzustellen:

  • Überprüfen Sie das Verhalten des Änderungsfeedfeatures, insbesondere die Spezifikationen.
  • Der automatische Import hängt vom Änderungsfeed ab. Dieser Wert ist auf die Aktualität der im Änderungsfeed veröffentlichten Ereignisse beschränkt. Der Änderungsfeed schlägt derzeit vor, dass Ereignisse "innerhalb von Minuten" veröffentlicht werden.

Hier sind bewährte Methoden für Löschungen:

  • Während der ersten Überprüfung werden Änderungen (einschließlich Löschvorgängen) verzögert. Alle Änderungsfeedereignisse (einschließlich Löschvorgängen), die während der Ausführung der ersten Überprüfung auftreten, werden erst nach Abschluss der Überprüfung angewendet. Erwarten Sie einen temporären Zeitraum, in dem das Lustre-Dateisystem möglicherweise weiterhin Dateien anzeigt, die Sie während der Überprüfung im BLOB-Container gelöscht haben.

  • Das Löschverhalten ist explizit an den ausgewählten Konfliktmodus gebunden. In der folgenden Tabelle wird das Verhalten für jeden Modus veranschaulicht, wenn " Löschen aktivieren " aktiviert ist:

    Wurde die Datei zuvor in Lustre geändert? Konfliktauflösungsmodus Löschvorgang durchführen?
    Yes Überschreiben, wenn schmutzig Yes.
    Yes Überspringen No. Die Datei bleibt in Lustre.
    No Überschreiben, wenn schmutzig Yes.
    No Überspringen Yes.

Verwandte Inhalte

  • Zuletzt aktualisiert um