Übung: Erstellen eines HPC-Clusters aus integrierten Vorlagen

Abgeschlossen

Sie können neue Cluster direkt über die grafische Benutzeroberfläche der Azure CycleCloud-Webanwendung erstellen. CycleCloud bietet viele vordefinierte, planerspezifische Vorlagen, die die Clusterbereitstellung für die entsprechenden Planer vereinfachen.

Nachdem Sie nun eine Azure-VM bereitgestellt haben, die die CycleCloud-Webanwendungen hostet, können Sie deren Verwendung für die Bereitstellung eines Slurm-basierten HPC-Clusters in Azure bewerten. Zunächst müssen Sie sicherstellen, dass Ihr Azure-Abonnement die Ressourcenanforderungen des Clusters erfüllt. Sie sollten auch überlegen, ob Ihr Verwaltungsteam die Kosten für den Cluster im Projektbudget halten möchte. Daher planen Sie die Einrichtung von CycleCloud-Budgetwarnungen und das Entfernen der Labumgebung nach Abschluss der Auswertung.

In dieser Übung werden Sie schrittweise durch die Bereitstellung eines Slurm-basierten HPC-Clusters in Azure mithilfe von Azure CycleCloud geführt. Die Übung umfasst die folgenden Aufgaben:

  • Aufgabe 1: Vorbereiten der Bereitstellung eines HPC-Clusters
  • Aufgabe 2: Erstellen eines HPC-Clusters mit Azure CycleCloud
  • Aufgabe 3: Konfigurieren und Starten eines HPC-Clusters mithilfe von Azure CycleCloud
  • Aufgabe 4: Bereinigen der Labumgebung

Aufgabe 1: Vorbereiten der Bereitstellung eines HPC-Clusters

Bevor Sie einen HPC-Cluster bereitstellen, sollten Sie zunächst sicherstellen, dass Sie über ausreichende Netzwerk- und Computeressourcen verfügen, um die Nutzung unterstützen zu können.

Hinweis

Für diese Übung müssen Sie keine Kontingentanforderungen erfüllen, um die Bereitstellung der Serverknoten zu erfüllen, da Sie keine Aufträge in dem von Ihnen erstellten Cluster ausführen. Wenn dies der Fall ist, werden Sie möglicherweise feststellen, dass sich die Screenshots in dieser Übung und die CycleCloud-Weboberfläche unterscheiden, da CycleCloud vorab keine Platzhalterserverknoten erstellt, wenn Sie nicht über die ausreichende Anzahl verfügbarer Kerne verfügen.

  1. Wechseln Sie auf Ihrem Computer zum Webbrowserfenster, in dem das Azure-Portal angezeigt wird.

  2. Verwenden Sie im Azure-Portal das Suchfeld oben auf der Portaloberfläche für die Suche nach der Ressourcengruppe cyclecloud-rg.

  3. Wählen Sie im Azure-Portal auf der Seite cyclecloud-rg in der Liste der Ressourcen den Eintrag cyclecloud-rg-vnet aus, der das virtuelle Netzwerk darstellt, das Sie in der vorherigen Übung dieses Moduls bereitgestellt haben.

  4. Klicken Sie auf der Seite cyclecloud-rg-vnet im vertikalen Menü auf der linken Seite auf Subnetze.

  5. Klicken Sie auf dem Bereich cyclecloud-rg-vnet | Subnetze auf + Subnetz.

  6. Geben Sie auf dem Bereich Subnetz hinzufügen im Textfeld Namecontoso-slurm-lab-cluster-subnet ein, übernehmen Sie den Standardsubnetzbereich, und klicken Sie auf Speichern.

    Hinweis

    Es wird empfohlen, das Subnetz, in dem die CycleCloud-Azure-VM gehostet wird, von den Subnetzen zu trennen, die Clustercomputeressourcen hosten. Bei größeren Clustern sollten Sie IP-Adressbereiche mit ausreichender Größe zuordnen.

  7. Verwenden Sie im Azure-Portal das Suchfeld, um nach Abonnements zu suchen.

  8. Wählen Sie auf der Seite Abonnements das Azure-Abonnement aus, das Sie für Übungen in diesem Modul verwenden.

  9. Klicken Sie auf der Seite, auf der das Azure-Abonnement angezeigt wird, im vertikalen Menü auf der linken Seite im Abschnitt Einstellungen auf Nutzung + Kontingente.

  10. Konfigurieren Sie auf dem Bereich Nutzung + Kontingente die folgenden Filtereinstellungen (Standardwerte für andere Einstellungen übernehmen):

    Einstellung Wert
    Dienst auswählen Wählen Sie die Einträge Standard Dv3 Family vCPUs (vCPUs der Dv3 Standard-Familie), Standard FSv2 Family vCPUs (vCPUs der FSv2 Standard-Familie) und Total Regional vCPUs (Regionale vCPUs gesamt) aus.
    Auswählen eines Anbieters Wählen Sie den Eintrag Microsoft.Compute aus.
    Auswählen eines Standorts Wählen Sie den Namen der Azure-Region aus, in der Sie den Cluster in dieser Übung bereitstellen möchten.
  11. Überprüfen Sie die Ausgabe, und ermitteln Sie die Anzahl der verfügbaren vCPUs in jeder Gruppe.

    Screenshot des Bereichs

Aufgabe 2: Erstellen eines HPC-Clusters mit Azure CycleCloud

Nun haben Sie die CycleCloud-Webanwendung auf einem virtuellen Azure-Computer installiert, genügend vCPU-Kerne in Ihrem Azure-Abonnement und ein bestimmtes Netzwerksubnetz, das die automatische Skalierung von Clusterknoten unterstützt. Sie können mit der Bereitstellung eines Slurm-basierten Clusters fortfahren.

  1. Klicken Sie auf Ihrem Computer im Webbrowserfenster, in dem die Seite Abonnements der Azure CycleCloud-Webanwendung angezeigt wird, in der Ecke oben links auf den Link Back to clusters (Zurück zu Clustern).

  2. Überprüfen Sie auf der Seite Create a New Cluster (Neuen Cluster erstellen) die verfügbaren Optionen, und klicken Sie im Abschnitt Planer auf Slurm.

    Der Screenshot zeigt die Seite „Neuen Cluster erstellen“ der Azure CycleCloud-Webanwendung.

  3. Geben Sie auf der Registerkarte Info der Seite New Slurm Cluster (Neuer Slurm-Cluster) im Textfeld Clusternamecontoso-slurm-lab-cluster ein.

    Der Screenshot zeigt die Registerkarte „Info“ der Seite „Neuer Slurm-Cluster“ in der Azure CycleCloud-Webanwendung.

  4. Konfigurieren Sie auf der Registerkarte Erforderliche Einstellungen der Seite New Slurm Cluster (Neuer Slurm-Cluster) im Textfeld Clustername die folgenden Einstellungen (Standardwerte für andere Einstellungen übernehmen):

    Einstellung Wert
    Region Wählen Sie den Namen der Azure-Region aus, in der Sie den Cluster in dieser Übung bereitstellen möchten.
    VM-Typ für den Planer Klicken Sie auf Auswählen, und geben Sie dann im Popupfenster Computertyp auswählen im Textfeld SKU-Suche „D2ds_v5“ ein. Aktivieren Sie in der Liste der Ergebnisse das Kontrollkästchen neben dem Eintrag D2ds_v5, und klicken Sie dann auf Anwenden.

    Screenshot: Popupfensterregisterkarte Computertyp auswählen der Seite Neuer Slurm-Cluster der Azure CycleCloud-Webanwendung.

    Einstellung Wert
    Max. HPC-Kerne Geben Sie 100 ein
    Max. HTC-Kerne Geben Sie 100 ein
    Max. VMs pro Skalierungsgruppe Geben Sie 40 ein
    Subnetz-ID Wählen Sie cyclecloud-rg: cyclecloud-rg-vnet-contoso-slurm-lab-cluster-subnet aus

    Screenshot: Registerkarte „Erforderliche Einstellungen“ der Seite Neuer Slurm-Cluster der Azure CycleCloud-Webanwendung.

    Hinweis

    Die Einstellung Max VMs per Scaleset (Maximale Anzahl von VMs pro Skalierungsgruppe) begrenzt die maximale Größe eines MPI-Auftrags (Message Passing Interface), der im Cluster ausgeführt werden kann, da die Skalierungsgruppe derzeit die InfiniBand-Fabricgrenze ist.

  5. Überprüfen Sie auf der Registerkarte Network Attached Storage auf der Seite Neuer Slurm-Cluster, ob der NFS-Typ auf Builtin festgelegt ist. Übernehmen Sie den Standardwert für Größe (GB), der auf 100 festgelegt ist, und wählen Sie Weiter aus.

    Screenshot, der die Registerkarte „Network Attached Storage“ der Seite „Neuer Slurm-Cluster“ in der Azure CycleCloud-Webanwendung anzeigt.

  6. Überprüfen Sie auf der Registerkarte Erweiterte Einstellungen der Seite New Slurm Cluster (Neuer Slurm-Cluster) die verfügbaren Optionen, ohne dabei Änderungen vorzunehmen, und klicken Sie dann auf Weiter.

    Screenshot, der die Registerkarte „Erweiterte Einstellungen“ der Seite „Neuer Slurm-Cluster“ in der Azure CycleCloud-Webanwendung anzeigt.

  7. Überprüfen Sie auf der Registerkarte Cloud-init der Seite New Slurm Cluster (Neuer Slurm-Cluster) die verfügbaren Optionen, ohne dabei Änderungen vorzunehmen, und klicken Sie dann auf Speichern.

Aufgabe 3: Konfigurieren und Starten eines HPC-Clusters mithilfe von Azure CycleCloud

Richten Sie zur Vorbereitung des Betriebs Ihres Clusters Warnungen ein, um benachrichtigt zu werden, wenn die Clusternutzungskosten die Budgetgrenze erreichen, die für Azure-Ressourcen eingerichtet wurde. Sie können Ihre Bereitstellung auch überprüfen, indem Sie den Cluster über die grafische Benutzeroberfläche der CycleCloud-Webanwendung starten.

  1. Überprüfen Sie auf Ihrem Computer im Webbrowser, in dem die grafische Benutzeroberfläche der Azure CycleCloud-Webanwendung angezeigt wird, die Eigenschaften des neu bereitgestellten Clusters.

    Screenshot: Seite „contoso-slurm-lab-cluster“ in deaktiviertem Zustand in der Azure CycleCloud-Webanwendung.

  2. Klicken Sie auf der Seite contoso-slurm-lab-cluster auf den Link Create new alert (Neue Warnung erstellen).

  3. Legen Sie im Popupfenster Cluster usage alert for contoso-slurm-lab-cluster (Clusternutzungswarnung für contoso-slurm-lab-cluster) die folgenden Einstellungen fest, und klicken Sie dann auf Speichern:

    Einstellung Wert
    Budget $100.00
    Pro Month (Monat)
    Benachrichtigung senden Enabled
    Empfänger cc-admin@contoso.com

    Screenshot: Popupfenster „Clusternutzungswarnung für contoso-slurm-lab-cluster“ in der Azure CycleCloud-Webanwendung.

  4. Klicken Sie auf der Seite contoso-slurm-lab-cluster auf den Link Start und auf OK, wenn Sie zur Bestätigung aufgefordert werden.

  5. Überwachen Sie den Startvorgang.

    Hinweis

    Der Vorgang umfasst die Bereitstellung der Azure-VM, die die Rolle des Clusterhauptknotens übernimmt, sowie die Installation und Konfiguration des Slurm-Planers. Dies kann etwa fünf Minuten dauern.

    Screenshot: Registerkartenseite „Knoten“ für „contoso-slurm-lab-cluster“ in gestartetem Zustand in der Azure CycleCloud-Webanwendung.

Aufgabe 4: Bereinigen der Labumgebung

Sie haben das Testen des Clusterbereitstellungsprozesses mithilfe der Azure CycleCloud-Anwendung abgeschlossen. Beenden Sie jetzt den Cluster, und entfernen Sie alle Ressourcen, die Sie während der Übungen dieses Kurses bereitgestellt haben, um unnötige Kosten im Zusammenhang mit der Verwendung von Azure-Ressourcen zu vermeiden.

  1. Klicken Sie auf Ihrem Computer im Webbrowser, in dem die grafische Benutzeroberfläche der Azure CycleCloud-Webanwendung angezeigt wird, auf der Seite contoso-slurm-lab-cluster auf den Link Beenden, und klicken Sie auf OK, wenn Sie zur Bestätigung aufgefordert werden.

  2. Überwachen Sie den Beendigungsvorgang.

    Hinweis

    Der Vorgang umfasst das Aufheben der Bereitstellung des virtuellen Azure-Computers, der die Rolle des Clusterhauptknotens übernommen hat. Dies kann etwa fünf Minuten dauern.

    Hinweis

    Sie sollten wie in dieser Aufgabe beschrieben die Ressourcen löschen, die Sie im Rahmen dieser Übung bereitgestellt haben. Wenn Sie die Ressourcen nicht löschen, fallen möglicherweise zusätzliche Gebühren für Ihr Abonnement an.

    Hinweis

    Löschen Sie die Ressourcengruppe cyclecloud-rg, um alle anderen Ressourcen zu löschen, die Sie in diesem Lab bereitgestellt haben.

  3. Wechseln Sie auf Ihrem Computer zum Browserfenster, in dem das Azure-Portal angezeigt wird.

  4. Navigieren Sie im Azure-Portal zum Blatt cyclecloud-rg. Klicken Sie auf den Eintrag Ressourcengruppe löschen auf der Symbolleiste, geben Sie in das Textfeld TYPE THE RESOURCE GROUP NAME (RESSOURCENGRUPPENNAME EINGEBEN) cyclecloud-rg ein, und klicken Sie dann auf Löschen.

  5. Wiederholen Sie den vorherigen Schritt, um die Ressourcengruppe mit dem Namen zu löschen, der mit contoso-slurm-lab-cluster- beginnt und die vom Cluster verwendete Datenträgerressource enthält.

Glückwunsch! Sie haben die zweite Übung dieses Moduls erfolgreich abgeschlossen. Sie haben die Verfügbarkeit von Compute- und Netzwerkressourcen sichergestellt, die für die Bereitstellung eines neuen Clusters erforderlich sind. Anschließend haben Sie den Cluster mithilfe von Azure CycleCloud bereitgestellt, Budgetwarnungen konfiguriert und den Cluster gestartet, um seine Funktionalität zu überprüfen. Schließlich haben Sie den Cluster beendet und alle Ressourcen gelöscht, die Sie in diesem Modul bereitgestellt haben, um unnötige Kosten zu vermeiden.