Freigeben über

Zielzone für HPC

Die Ready-Methodik des Cloud Adoption Framework für Azure kann Sie durch die Vorbereitung Ihrer Umgebung für die Cloudakzeptanz führen. Während der Bereitschaftsphase können Sie eine Azure-Landezone verwenden. Eine Zielzone ist ein technischer Beschleuniger, der den grundlegenden Baustein für jede Cloud-Einführungsumgebung bereitstellt. Eine Zielzone kann die Konfiguration Ihrer Azure-Umgebung automatisieren und sich an bewährte Methoden aus dem Cloud Adoption Framework orientieren. Während Sie sich auf hochleistungsbasiertes Computing (HPC) vorbereiten, treten möglicherweise Umgebungskonfigurationen auf, die von Ihrem Branchenanwendungsfall und den Anforderungen abhängen.

Konzeptionelle Architektur der Azure-Zielzone

Während Sie Ihre Umgebung auf eine nachhaltige Cloudakzeptanz vorbereiten, können Sie eine konzeptionelle Azure-Zielzonenarchitektur verwenden, die einen Ziel-Endzustand darstellt. Für HPC gibt es mehrere konzeptionelle Architekturverweise, die auf den drei Branchen basieren, die das Cloud Adoption Framework derzeit adressiert:

Berücksichtigen Sie diese Architekturverweise, während Sie eine langfristige Vision für Ihre Zielzone entwickeln. Diese Verweise stellen einen Ausgangspunkt dar. Basierend auf den geschäftlichen Anforderungen Ihrer Organisation und den Anforderungen Ihrer Endbenutzer müssen Sie sie möglicherweise ändern.

Auswertung für HPC

Die Entscheidungen, die Sie während der strategischen Folgenabschätzung und der technischen Planung treffen, beeinflussen die Konfiguration der Zielzone, die Sie für Ihre HPC-Bereitstellungen in Azure auswählen. Es wird empfohlen, die folgenden Fragen zu berücksichtigen:

  • Wie reife ist Ihre Umgebung in Azure? Befindet es sich in der Machbarkeitsnachweisphase? Oder ist es bereits eine ausgereifte Anwendung, die Benutzern dient? Je nach Phase können Sie Governance, Sicherheit oder Ressourcenorganisation einschließen oder weglassen.
  • Ist die Anwendung, die Sie auf Azure entwickeln, kurzlebig oder ein langjähriges Projekt? Die Antwort auf diese Frage kann Ihnen helfen, Ihre Berechnungs- und Speicheroptionen auszuwählen.
  • Erfordert Ihre Organisation, dass Personen auf verschiedenen Ebenen auf Azure-Ressourcen zugreifen?

Wie Sie aus diesen Fragen sehen können, variiert das Bereitstellungsmodell je nach Geschäfts-, Branchen- und Anwendungsnutzung.

Beschleunigung der Azure-Zielzone für HPC

Azure Batch und Azure CycleCloud sind beide von Azure bereitgestellte Dienste. Azure CycleCloud Workspace für Slurm ist eine Azure Marketplace-Lösungsvorlage, die es Benutzern ermöglicht, vordefinierte Slurm-Cluster mit Azure CycleCloud einfach zu erstellen, zu konfigurieren und bereitzustellen, ohne dass sie zuvor über Azure oder Slurm verfügen müssen.

Azure Batch

  • Batch ist so konzipiert, dass parallele und HPC-Batchaufträge in großem Umfang effizient in Azure ausgeführt werden.
  • Batch erstellt und verwaltet einen Pool von Computeknoten oder virtuellen Computern (VMs). Sie können auch Batch verwenden, um die Anwendungen zu installieren, die Sie ausführen möchten, und um Aufträge für die Ausführung auf den Knoten zu planen.
  • Es gibt keine Cluster- oder Auftragsplanungssoftware zum Installieren, Verwalten oder Skalieren.
  • Batch funktioniert gut mit systemintern parallelen Workloads. Diese Workloads verfügen über Anwendungen, die unabhängig ausgeführt werden können, wobei jede Instanz einen Teil der Arbeit abgeschlossen hat.
  • Sie können auch Batch verwenden, um eng gekoppelte Workloads auszuführen, bei denen die ausgeführten Anwendungen miteinander kommunizieren müssen, anstatt unabhängig ausgeführt zu werden.
  • Batchaufgaben können direkt auf virtuellen Computern oder Knoten in einem Batchpool ausgeführt werden. Sie können aber auch einen Batchpool einrichten, um Aufgaben in Docker-kompatiblen Containern auf den Nodes auszuführen.

Azure CycleCloud

  • Es unterstützt verschiedene HPC-Scheduler, z. B. SLURM, OpenPBS, PBSPro, LSF und Grid Engine.
  • Es ermöglicht Ihnen die Bereitstellung der Infrastruktur für HPC-Systeme, z. B. virtuelle Computer, Skalierungssätze, Netzwerkschnittstellen und Datenträger.
  • Sie skaliert die Infrastruktur automatisch so, dass Aufträge in jeder Skalierung basierend auf Auftragslast, Verfügbarkeit und Zeitanforderungen effizient ausgeführt werden.
  • Es bietet ein umfangreiches, deklaratives Vorlagenformat zum Erstellen vollständiger HPC-Umgebungen in Azure.
  • Es ist in Azure-Dienste wie Azure Monitor und Microsoft Cost Management-Tools integriert.

Azure CycleCloud-Arbeitsbereich für Slurm

  • Azure CycleCloud Workspace für Slurm bietet einen End-to-End-Bereitstellungsmechanismus für die HPC-Basisinfrastruktur in Azure. Es verwendet Azure CycleCloud, um Aufträge in slurm-Clustern effizient zu koordinieren.
  • Es bietet eine vollständige HPC-Clusterlösung, die für Benutzer bereit ist, Anwendungen auszuführen, und dies ist für HPC-Administratoren einfach bereitzustellen und zu verwalten.
  • Sie enthält eine Integration in Open OnDemand für den einheitlichen Benutzerzugriff, Remoteshellzugriff, Auftragsübermittlung und Dateizugriff.
  • Es verwendet simple Linux Utility for Resource Management (SLURM) als Auftragsplaner.
  • Dynamische Ressourcenbereitstellung und automatische Skalierung werden durch vorkonfigurierte Auftragswarteschlangen von CycleCloud und integrierten Integritätsprüfungen durchgeführt, um nicht optimierte Knoten schnell zu vermeiden.
  • Sie kann eine vorhandene Azure NetApp Files-Instanz als freigegebenes Dateisystem für das Startverzeichnis und die Anwendungen bereitstellen oder verwenden.
  • Sie können ein vorhandenes Azure Managed Lustre für ein gemeinsames Dateisystem für die Anwendungsdaten bereitstellen oder verwenden.
  • Der bereitgestellte Cluster ist mit PMIx v4, Pyxis und Enroot vorkonfiguriert, um containerisierte KI- und HPC-Slurm-Aufträge zu unterstützen.

Vergleichsdiagramm

Merkmal Azure Batch Azure CycleCloud
Scheduler Batch-APIs und -Tools sind verfügbar. Sie können auch cloudeigene Befehlszeilenskripts im Azure-Portal verwenden. Sie können Standard-HPC-Scheduler wie SLURM, OpenPBS, PBSPro, LSF und Grid Engine verwenden. Alternativ können Sie Azure CycleCloud-Autoskalierungs-Plugins erweitern, um mit Ihrem eigenen Scheduler zu arbeiten.
Computeressourcen SaaS-Knoten (Software as a Service) – Plattform als Dienst (PaaS). PaaS-Software – PaaS.
Anpassung Sie können benutzerdefinierte Bildpools, Bilder von Drittanbietern oder Batch-API-Zugriff verwenden. Sie können die umfassende RESTful-API verwenden, um Funktionen anzupassen und zu erweitern, Ihren eigenen Zeitplan bereitzustellen und vorhandene Workload-Manager zu unterstützen.
Einbindung Azure Synapse Analytics-Pipelines, Azure Data Factory und die Azure CLI. Eine integrierte CLI für Windows und Linux.
Benutzertyp Entwickler. Klassische HPC-Administratoren und -Benutzer.
Arbeitstyp Batches und Workflows. Eng gekoppelte Workflows, die Message Passing Interface (MPI) verwenden.
Windows-Unterstützung Bereitgestellt. Hängt von der Auswahl des Schedulers ab.

Azure CycleCloud und Azure Batch sind leistungsstarke Tools für HPC-Aufgaben in Azure, sind jedoch für unterschiedliche Anwendungsfälle ausgelegt.

Azure CycleCloud ist ein unternehmensfreundliches Tool zum Orchestrieren und Verwalten von HPC-Umgebungen in Azure. Sie richtet sich an HPC-Administratoren und Benutzer, die eine HPC-Umgebung mit einem bestimmten Zeitplan bereitstellen möchten. Azure CycleCloud bietet leistungsstarke Tools zum Erstellen vollständiger HPC-Umgebungen auf Azure, einschließlich NFS-Servern (Network File Sharing), parallelen Dateisystemen, Anmeldehosts, Lizenzservern und Verzeichnisdiensten. Es ist nützlich für Organisationen, die HPC-Umgebungen für eine Weile betrieben haben und langjährige Erfahrung und interne Tools rund um einen bestimmten Zeitplan gesammelt haben.

Im Gegensatz dazu richtet sich Batch hauptsächlich an Entwickler und Teams, die eine Funktion in ihr eigenes Produkt oder ihren eigenen Dienst integrieren. Batch enthält einen eigenen Zeitplan und ist so konzipiert, dass umfangreiche parallele Aufträge effizient ohne Cluster- oder Auftragsplanungssoftware ausgeführt werden können. Batch ist nützlich, wenn Sie keinen Workload-Scheduler verwalten müssen.

Zusammenfassend können Sie Azure CycleCloud verwenden, wenn Sie eine HPC-Umgebung mit einem bestimmten Zeitplan bereitstellen möchten und eine vollständige HPC-Umgebung benötigen. Verwenden Sie Batch, wenn Sie ein Produkt oder einen Dienst entwickeln, das eine umfangreiche parallele Verarbeitung erfordert, und Sie möchten keinen Workload-Scheduler verwalten.

Nächste Schritte