Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Slurm ist einer der beliebtesten und am häufigsten verwendeten Open-Source-Workload-Manager für KI, HPC und Cloud Computing. Mit Slurm können Sie parallele und verteilte Anwendungen über eine Reihe von Computeknoten hinweg ausführen. Es bietet Features wie Auftragsplanung, Ressourcenverwaltung, Fehlertoleranz und Energieverwaltung. Viele der weltweit führenden Supercomputer, Forschungsinstitute, Universitäten und Unternehmen nutzen Slurm.
Das Einrichten und Verwalten von Slurm-Clustern in der Cloud kann jedoch schwierig und zeitaufwändig sein, insbesondere, wenn Sie nicht mit der Cloudumgebung oder der Slurm-Konfiguration vertraut sind. Sie müssen Aufgaben wie Die Bereitstellung und Skalierung von Computeknoten, die Installation und Aktualisierung von Slurm-Software, das Konfigurieren von Netzwerk und Speicher, die Überwachung der Clusterintegrität und -leistung sowie die Problembehandlung behandeln. Diese Aufgaben können Sie von Ihren Kernforschungs- oder Geschäftszielen ablenken und die Produktivität und Effizienz Ihrer KI- und HPC-Workloads reduzieren.
Azure CycleCloud Workspace für Slurm ist eine Azure Marketplace-Lösungsvorlage, mit der Sie vordefinierte Slurm-Cluster mit CycleCloud in Azure erstellen, konfigurieren und bereitstellen können. Man braucht keine vorherige Azure- oder Slurm-Kenntnisse, um die Vorlage bereitzustellen, aber das Bedienen und Anpassen der Umgebung erfordert diese Fähigkeiten. Die Lösung konfiguriert die Slurm-Cluster mit PMix v4, Pyxis und enroot vor, um containerisierte AI/HPC-Slurm-Jobs zu unterstützen. Du kannst auf den bereitgestellten Anmeldeknoten zugreifen, indem du SSH oder Visual Studio Code nutzt, um gängige Aufgaben wie das Einreichen und Verwalten von Slurm-Jobs auszuführen.
Obwohl Azure CycleCloud ihnen bereits ermöglicht, einige dieser Aufgaben auszuführen, wird die KI/HPC-Infrastruktur nicht für Sie bereitgestellt. Sie müssen sich mit Aufgaben befassen, z. B. das Installieren und Konfigurieren von CycleCloud, das Konfigurieren von Netzwerk und Speicher sowie das Erstellen und Konfigurieren des Slurm-Clusters. Azure CycleCloud Workspace für Slurm führt diese Aufgaben für Sie in einer Marketplace-Lösungsvorlage aus, die Sie direkt über das Azure-Portal oder über die Azure CLI bereitstellen können. Sie sind in Minuten statt in Tagen oder Wochen bereit.
Wähle eine Azure-Orchestrationsoption
Wählen Sie eine Option basierend auf der Erfahrung des Planers und dem Niveau der Infrastrukturkontrolle, die Ihr Team benötigt:
| Auswahl | Beste Passform | Betriebsmodell |
|---|---|---|
| Azure CycleCloud Workspace für Slurm | Teams, die eine einsatzbereite Slurm-Umgebung für HPC- oder KI-Workloads benötigen | Eine Marketplace-Lösung bereitet CycleCloud, Slurm, Netzwerk-, Speicher- und Zugriffskomponenten in Ihrem Azure-Abonnement bereit. |
| Azure CycleCloud | HPC-Umgebungen, die einen anderen Scheduler als Slurm, eine benutzerdefinierte Cluster-Topologie oder eine enge Ausrichtung auf bestehende On-Premises-Workflows erfordern | Du installierst CycleCloud und konfigurierst den Scheduler, Cluster, Netzwerk und Speicher. CycleCloud stellt die Azure-Infrastruktur bereit und skaliert sie automatisch. |
| Azure Batch | Parallele und hochdurchsatzfähige Workloads, bei denen du keine Scheduler-Software bedienen musst | Azure bietet Planung als Service an. Du baust mit Batch-APIs und Tools, während Batch Pools, Knoten, Jobs und Aufgaben verwaltet. |
Nutzen Sie Ihr aktuelles Umfeld als entscheidenden Faktor:
| Startpunkt | Vorziehen | Warum? |
|---|---|---|
| Du willst Slurm und die vordefinierte Netzwerk-, Speicher-, Zugriffs- und Clusterarchitektur erfüllt deine Anforderungen. | Azure CycleCloud Arbeitsbereich für Slurm | Die Marketplace-Lösung verkürzt den Weg zu einer funktionierenden Slurm-Umgebung, während die Ressourcen in Ihrem Abo erhalten bleiben. |
| Sie benötigen einen anderen Scheduler als Slurm oder müssen die Topologie, Scheduler-Richtlinien oder Infrastruktur über das Lösungsdesign hinaus anpassen. | Azure CycleCloud | CycleCloud bietet die Kontrolle über den Scheduler und die Clusterkonfiguration. |
| Deine Anwendung kann Pools, Jobs und Aufgaben verwenden und benötigt keine Scheduler-Kompatibilität. | Azure Batch | Batch bietet Planung als Service und beseitigt die Notwendigkeit, Slurm zu betreiben. |
Wähle Workspace nicht für Slurm, wenn du einen Managed Platform Service erwartest. Ihr Team besitzt weiterhin die bereitgestellten Azure-Ressourcen, die Slurm-Konfiguration, die Sicherheit, das Monitoring, die Upgrades und die Workload-Operationen. Wählen Sie benutzerdefiniertes CycleCloud, wenn die vordefinierte Architektur nicht die erforderliche Topologie oder Integration erfüllt.
Vor der Produktionsimplementierung notieren Sie, warum Workspace for Slurm passt, welche Alternativen Sie abgelehnt haben, ob die Bereitstellung ein Greenfield ist oder bestehende Ressourcen wiederverwendet, das Netzwerk- und Identitätsdesign, den Speicher-Benchmark, regionale VM-Quote und -Kapazität, den Wiederherstellungsansatz, den Betriebsverantwortlichen sowie Zeit und Kosten pro repräsentativen Auftrag. Beginnen Sie mit der Einsatzplanung. Für einen benutzerdefinierten CycleCloud-Cluster siehe HPC-Cluster planen und dimensionieren.
Vorteile von Azure CycleCloud Workspace für Slurm
Azure CycleCloud ist eine großartige Lösung, wenn Sie eine KI/HPC-Umgebung in Azure erstellen möchten, entweder um einige Ihrer lokalen AI/HPC-Workload zu heben und zu verschieben oder eine neue zu erstellen. Das Erstellen einer vollständigen End-to-End-KI/HPC-Umgebung ist jedoch keine einfache Aufgabe. Sie müssen entscheiden, wie Sie Ihr Netzwerk entwerfen, welche Speicherkomponente als freigegebenes Dateisystem verwendet werden soll, welcher VM-Typ für die Ausführung Ihrer Workload verwendet werden soll, und viele kleine Dinge, mit denen Ihr Projekt komplex zu liefern ist.
Azure CycleCloud Workspace für Slurm bietet mehrere Vorteile für Benutzer, die Slurm-Workloads in Azure ausführen möchten, z. B.:
Einfache und schnelle Clustererstellung: Sie können Slurm-Cluster in Azure in Wenigen Minuten erstellen, indem Sie einige einfache Schritte in der GUI ausführen. Dieser Vorgang ist schneller als dies in der Vergangenheit der Fall war, als man Tage oder Wochen an Arbeit ohne Azure CycleCloud Workspace für Slurm benötigte. Sie können aus verschiedenen Größen und Typen von virtuellen Azure-Computern (VM) wählen. Sie können die Clustereinstellungen wie die Anzahl der Knoten, die Netzwerkkonfiguration, die Speicheroptionen von Azure NetApp Files auf das Azure Managed Lustre Filesystem und die Slurm-Parameter anpassen.
Flexible und dynamische Clusterverwaltung: Azure CycleCloud skaliert slurm-Cluster nach oben oder unten. Sie können den Clusterstatus, die Leistung und die Auslastung überwachen. Sie können die Clusterprotokolle und Metriken in der GUI anzeigen. Sie können Ihre Slurm-Cluster auch löschen, wenn sie nicht mehr benötigt werden und nur für die von Ihnen verwendeten Ressourcen bezahlen.
Wie erstelle ich einen Azure CycleCloud Workspace für Slurm?
Sie können einen Azure CycleCloud-Arbeitsbereich für Slurm über Azure Marketplace oder mithilfe der Azure CLI bereitstellen. Um sie über den Marketplace bereitzustellen, suchen Sie nach Slurm, und wählen Sie dann "Erstellen" aus. Um die Bereitstellung mithilfe der Azure CLI durchzuführen, müssen Sie zuerst eine Eingabeparameterdatei erstellen und dann mithilfe des az deployment sub create Befehls bereitstellen. Ausführliche Anweisungen finden Sie unter Bereitstellen einer CycleCloud Slurm Workspace-Umgebung mit der CLI.
Was Azure CycleCloud Workspace für Slurm Nicht ist?
Azure CycleCloud Workspace für Slurm ist kein PaaS-Dienst. Die gesamte Infrastruktur wird in Ihrem Mandanten bereitgestellt, sodass Sie alles (Greenfield-Bereitstellung) bereitstellen oder vorhandene Ressourcen angeben können, die wiederverwendet werden sollen (Brownfield-Bereitstellung), z. B. die Zielressourcengruppe, virtuelles Netzwerk, Azure NetApp-Dateien und vieles mehr.
Wie ein Azure CycleCloud-Arbeitsbereich für eine Slurm-bereitgestellte Umgebung aussieht
Hier ist die typische Architektur, die von Azure CycleCloud Workspace für Slurm bereitgestellt wird. Die Architektur umfasst obligatorische Ressourcen wie eine virtuelle Maschine zum Ausführen von CycleCloud, ein freigegebenes Dateisystem für Benutzer-Home-Verzeichnisse und ein Speicherkonto für die Speicherung von CycleCloud-Projekten.
Azure CycleCloud Workspace für Slurm kann das virtuelle Netzwerk bereitstellen, oder Sie können ein vorhandenes virtuelles Netzwerk für die Ressourcenerstellung verwenden. Optional können Sie ein Azure Managed Lustre Filesystem in einem eigenen Subnetz erstellen.
Wenn Ihre Unternehmenssicherheitsregeln keine öffentlichen IP-Adressen zulassen (und viele nicht), können Sie ein virtuelles Netzwerk-Peering zu einem vorhandenen virtuellen Netzwerk in einem Hub- und Speichenmuster erstellen. Der Hub enthält alle Konnektivitätsdienste, z. B. ein virtuelles Netzwerkgateway oder ein Azure Bastion.
Schließlich benötigen Sie in einer Umgebung ohne öffentliche IP und kein VPN eine Bastion. Die Bastion bietet Ihnen sicheren Zugriff auf das CycleCloud-Webportal und ermöglicht Es Ihnen, SSH zum Herstellen einer Verbindung mit den Authentifizierungsknoten zu verwenden.