Share via

Was ist Azure Managed Lustre?

  • Artikel

Der Azure Managed Lustre-Dienst bietet Ihnen die Möglichkeit, schnell ein Azure-basiertes Lustre-Dateisystem für cloudbasierte Hochleistungscomputingaufträge zu erstellen.

Lustre ist ein paralleles Open-Source-Dateisystem, das auf umfangreiche Speichergrößen skaliert werden kann und gleichzeitig einen hohen Durchsatz bietet. Lustre wird von den schnellsten Supercomputern der Welt und in datenzentrierten Workflows für viele Branchen verwendet. Weitere Informationen finden Sie unter https://www.lustre.org.

Azure Managed Lustre erspart Ihnen die Bereitstellung, Konfiguration und Verwaltung Ihres eigenen Lustre-Dateisystems. Mithilfe eines Create-Befehls im Azure-Portal können Sie schnell ein Lustre-Dateisystem in der benötigten Größe bereitstellen, Ihre Clients verbinden und bereit sein, das System zu verwenden.

Microsoft Azure Blob Storage ist in Azure Managed Lustre integriert, sodass Sie Dateien angeben können, die aus einem Blobcontainer für die Verwendung des Dateisystems importiert werden sollen. Wenn die Hochleistungscomputingaufträge abgeschlossen sind, können Sie geänderte Daten in Azure Blob Storage exportieren und das Azure Managed Lustre-System löschen. Weitere Informationen finden Sie unter Azure Blob Storage Integration weiter unten in diesem Artikel.

Sie können Ihr Azure Managed Lustre-Dateisystem auch mit Ihren AKS-Containern (Azure Kubernetes Service) verwenden. Weitere Informationen finden Sie unter Verwenden von Azure Managed Lustre mit Kubernetes.

Datensicherheit in Azure Managed Lustre

Alle in Azure gespeicherten Daten werden standardmäßig mit verwalteten Azure-Schlüsseln im Ruhezustand verschlüsselt. Wenn Sie die Schlüssel verwalten möchten, die zum Verschlüsseln der in Ihrem Azure Managed Lustre-Cluster gespeicherten Daten verwendet werden, befolgen Sie die Anweisungen unter Serverseitige Verschlüsselung von Azure Disk Storage.

Alle Informationen in einem Azure Managed Lustre-Dateisystem sind auch durch VM-Hostverschlüsselung auf den verwalteten Datenträgern geschützt, die Ihre Daten enthalten, auch wenn Sie einen kundenseitig verwalteten Schlüssel für die Lustre-Datenträger hinzufügen. Das Hinzufügen eines kundenseitig verwalteten Schlüssels bietet ein zusätzliches Maß an Sicherheit für Kunden mit hohen Sicherheitsanforderungen. Weitere Informationen finden Sie unter Serverseitige Verschlüsselung des Azure-Datenträgerspeichers.

Hinweis

Azure Managed Lustre speichert keine Kundendaten außerhalb der Region, in der Sie den Dienst instance bereitstellen.

Datenresilienz in Azure Managed Lustre

Ihr Azure Managed Lustre-Dateisystem verwendet verwaltete Azure-Datenträger als OST-Datenträger (Object Storage Target).

Alle Azure Managed Lustre-Dateisysteme, die als "dauerhafter" Dateisystemtyp erstellt werden, verwenden Azure SSD Premium-Datenträger (Solid State Drive), die als lokal redundanter Speicher (LRS) konfiguriert sind. LRS-Datenträgerinhalte werden dreimal innerhalb des lokalen Rechenzentrums repliziert, um vor Laufwerks- und Serverrackausfällen zu schützen.

Das Azure Managed Lustre-Dateisystem selbst trägt auch zur Datenresilienz durch die Objektspeicherprozesse bei, die zum Speichern von Daten auf diesen Datenträgern verwendet werden.

Wenn Sie regionale oder globale Datenredundanz benötigen, können Sie Ihr Dateisystem in Azure Blob Storage integrieren. Nach der Integration können Sie einen Exportauftrag initiieren, um Dateien in einen Azure Blob Storage Container mit einer anderen Redundanzrichtlinie für die langfristige Speicherung zu exportieren. Konfigurieren Sie Azure Blob Storage Redundanz für das Speicherkonto. Beim Erstellen des Speicherkontos können Sie ZRS (Zonendatenredundanz) oder globale Datenredundanz (GRS) auswählen. Weitere Informationen zu Datenredundanzoptionen für Ihre Azure Managed Lustre-Dateien finden Sie unter Unterstützte Speicherkontotypen.

Azure Blob Storage Integration

Microsoft Azure Blob Storage ist in Azure Managed Lustre integriert, sodass Sie Dateien angeben können, die aus einem Blobcontainer für die Verwendung des Dateisystems importiert werden sollen. Azure Blob Storage Integration ist eine Anwendung der hierarchischen Speicherverwaltung (HSM) von Lustre. Es ist nicht erforderlich, ihr gesamtes Dataset für jeden Auftrag zu importieren. Stattdessen können Sie ein anderes Dateisystem für verschiedene Aufträge erstellen und Daten zwischen den Verwendungen in kostengünstigeren Azure-Blobcontainern speichern. Wenn die Hochleistungscomputingaufträge abgeschlossen sind, können Sie geänderte Daten in Azure Blob Storage exportieren und das Azure Managed Lustre-System löschen.

Azure Managed Lustre ist so angepasst, dass es nahtlos mit Azure Blob Storage funktioniert. Sie können einen vorhandenen Blobcontainer angeben, um auf seine vorhandenen Daten über Ihr Azure Managed Lustre-Dateisystem zugreifen zu können, oder einen leeren Container angeben, den Sie mit Daten auffüllen oder zum Speichern Ihrer Ausgabe verwenden. Setup und Wartung werden für Sie durchgeführt. Sie geben einfach an, welcher Blobcontainer verwendet werden soll.

Wenn Sie beim Erstellen eines Lustre-Dateisystems Azure Blob Storage integrieren, können Sie Die Features von Lustre HSM verwenden. Wenn Sie die Vorteile von Lustre HSM nicht möchten, können Sie Daten für das Azure Managed Lustre-Dateisystem importieren und exportieren, indem Sie Clientbefehle direkt verwenden.

Verwenden von Azure Managed Lustre mit Kubernetes

Wenn Sie ein Azure Managed Lustre-Speichersystem mit Ihren Kubernetes-Containern verwenden möchten, können Sie den Azure Lustre-CSI-Treiber (Container Support Interface) für Kubernetes verwenden, der mit Azure Kubernetes Service (AKS) kompatibel ist. Andere Arten der Kubernetes-Installation werden derzeit nicht unterstützt.

Kubernetes kann das Konfigurieren und Bereitstellen virtueller Clientendpunkte für Ihre Azure Managed Lustre-Workload vereinfachen und Setupaufgaben automatisieren, z. B.:

  • Das Erstellen von Azure Virtual Machine Scale Sets von Azure Kubernetes Service (AKS) zum Ausführen der Pods verwendet.
  • Laden der richtigen Lustre-Clientsoftware auf VM-Instanzen.
  • Angeben des Azure Managed Lustre-Bereitstellungspunkts und Weitergabe dieser Informationen an die Clientpods.

Der Azure Lustre CSI-Treiber für Kubernetes kann die Installation der Clientsoftware und der Einbindungslaufwerke automatisieren. Der Treiber stellt ein CSI-Controller-Plug-In als Bereitstellung mit standardmäßig zwei Replikaten und ein CSI-Knoten-Plug-In als DaemonSet bereit. Sie können die Anzahl der Replikate ändern.

Informationen dazu, welche Treiberversionen verwendet werden sollen, finden Sie unter Kompatible Kubernetes-Versionen.

Nächste Schritte