High-Performance Computing (HPC): VM-Größen

  • Artikel

Achtung

Dieser Artikel bezieht sich auf CentOS, eine Linux-Distribution, die sich dem End-of-Life-Status (EOL) nähert. Sie sollten Ihre Nutzung entsprechend planen. Weitere Informationen finden Sie im CentOS End-of-Life-Leitfaden.

Gilt für: ✔️ Linux-VMs ✔️ Windows-VMs ✔️ Flexible Skalierungsgruppen ✔️ Einheitliche Skalierungsgruppen

Tipp

Probieren Sie das Auswahltool für virtuelle Computer aus, um andere Größen zu ermitteln, die für Ihre Workload optimal sind.

VMs der HBv4-Serie sind für verschiedene HPC-Workloads optimiert, z. B. numerische Strömungsmechanik, Analyse finiter Elemente, Front-End-EDA, Rendering, Molekulardynamik, numerische Geowissenschaften, Wettersimulation und finanzielle Risikoanalyse. HBv4 VMs verfügen über bis zu 176 AMD EPYC™ 9V33X (GenoaX)-CPU-Kerne mit dem 3D-V-Cache von AMD, 768 GB RAM und ohne gleichzeitiges Multithreading. VMs der HBv4-Serie bieten außerdem 780 GB/s DDR5-Speicherbandbreite und 2304 MB L3-Cache pro VM, bis zu 12 GB/s (Lesevorgänge) und 7 GB/s (Schreibvorgänge) Blockgerät-SSD-Leistung sowie Taktfrequenzen von bis zu 3,7 GHz.

Alle VMs der HBv4-Serie bieten 400 GB/s NDR InfiniBand aus dem NVIDIA-Netzwerk für MPI-Workloads wie bei Supercomputern. Diese VMs sind für eine optimierte und konsistente RDMA-Leistung in einer FAT-Struktur ohne Blocks verbunden. NDR unterstützt weiterhin Features wie adaptives Routing und DCT (Dynamically Connected Transport, dynamisch verbundenen Transport). Diese neueste Generation von InfiniBand bietet auch größere Unterstützung für die Auslagerung von MPI-Kollektiven, optimierte reale Latenzen aufgrund von Überlastungssteuerungsintelligenz und erweiterte adaptive Routingfunktionen. Diese Features verbessern die Anwendungsleistung, Skalierbarkeit und Konsistenz, und ihre Verwendung wird empfohlen.

VMs der HBv3-Serie sind für HPC-Anwendungen optimiert, wie z. B. Strömungssimulationen, explizite und implizite Finite-Elemente-Analysen, Wettermodellierung, seismische Erkundung, Lagerstätten- und RTL-Simulationen. HBv3-VMs verfügen über bis zu 120 CPU-Kerne der AMD EPYC™ 7003-Serie (MilanX), 448 GB RAM und kein Hyperthreading. Außerdem bieten VMs der HBv3-Serie eine Arbeitsspeicherbandbreite von 350 GB/s, bis zu 32 MB L3-Cache pro Kern, bis zu 7 GB/s der Blockgerät-SSD-Leistung und Taktfrequenzen von bis zu 3,5 GHz.

Alle VMs der HBv3-Serie bieten 200 GBit/s HDR InfiniBand aus dem NVIDIA-Netzwerk für MPI-Workloads wie bei Supercomputern. Diese VMs sind für eine optimierte und konsistente RDMA-Leistung in einer FAT-Struktur ohne Blocks verbunden. Das HDR InfiniBand-Fabric unterstützt auch adaptives Routing und DCT (Dynamic Connected Transport, zusätzlich zum standardmäßigen RC- und UD-Transport). Diese Features verbessern die Anwendungsleistung, Skalierbarkeit und Konsistenz, und ihre Verwendung wird dringend empfohlen.

VMs der HBv2-Serie sind für Anwendungen mit hohen Anforderungen an die Speicherbandbreite optimiert, z. B. Strömungssimulationen, Finite-Element-Analysen oder Lagerstättensimulationen. HBv2-VMs bieten 120 AMD-Prozessorkerne des Modells EPYC 7742, 4 GB RAM pro CPU-Kern und kein gleichzeitiges Multithreading. Jede HBv2-VM bietet eine Speicherbandbreite von bis zu 340 Gbit/s und eine FP64-Computeleistung von bis zu 4 TeraFLOP.

HBv2-VMs unterstützen Mellanox HDR InfiniBand mit 200 GBit/s, und VMs der Serien HB und HC unterstützen Mellanox EDR InfiniBand mit 100 GBit/s. Jeder dieser VM-Typen ist für eine optimierte und konsistente RDMA-Leistung in einer FAT-Struktur ohne Blocks verbunden. HBv2-VMs unterstützen adaptives Routing und DCT (Dynamic Connected Transport, zusätzlich zum standardmäßigen RC- und UD-Transport). Diese Features verbessern die Anwendungsleistung, Skalierbarkeit und Konsistenz, und ihre Verwendung wird dringend empfohlen.

VMs der HB-Serie sind für Anwendungen mit hohen Anforderungen an die Speicherbandbreite optimiert, z. B. Strömungssimulationen, explizite Finite-Elemente-Analysen oder Wettermodelle. HB-VMs bieten 60 AMD-Prozessorkerne des Modells EPYC 7551, 4 GB RAM pro CPU-Kern und kein Hyperthreading. Die AMD EPYC-Plattform bietet eine Speicherbandbreite von mehr als 260 GB/Sekunde.

VMs der HC-Serie sind für Anwendungen mit hohen Anforderungen an die Rechenleistung optimiert, z. B. implizite Finite-Elemente-Analysen, Molekulardynamik oder Chemoinformatik. HC-VMs bieten 44 Intel-Prozessorkerne des Modells Xeon Platinum 8168, 8 GB RAM pro CPU-Kern und kein Hyperthreading. Die Intel Xeon Platinum-Plattform unterstützt Intels umfangreiches Ökosystem von Softwaretools, etwa die Intel Math Kernel Library.

VMs der HX-Serie sind für Workloads optimiert, die eine erhebliche Arbeitsspeicherkapazität mit doppelt so großer Arbeitsspeicherkapazität wie HBv4 erfordern. Beispielsweise können Workloads wie das Halbleiterdesign VMs der HX-Serie nutzen, um EDA-Kunden, die auf die fortschrittlichsten Herstellungsprozesse abzielen, die Ausführung ihrer speicherintensivsten Workloads zu ermöglichen. HD-VMs verfügen über bis zu 176 CPU-Kerne der AMD EPYC™ 9V33X-Serie (GenoaX), 1408 GB RAM und kein gleichzeitiges Multithreading. VMs der HX-Serie bieten außerdem 780 GB/s DDR5-Speicherbandbreite und 2304 MB L3-Cache pro VM, bis zu 12 GB/s (Lesevorgänge) und 7 GB/s (Schreibvorgänge) Blockgerät-SSD-Leistung sowie Taktfrequenzen von bis zu 3,7 GHz.

Hinweis

Alle VMs der HBv4-, HBv3-, HBv2-, HB-, HC- und HX-Serien haben exklusiven Zugriff auf die physischen Server. Es ist nur ein virtueller Computer pro physischem Server vorhanden, und für diese VM-Größen gibt es keine freigegebene Mehrinstanzenfähigkeit mit anderen VMs.

RDMA-fähige Instanzen

Die meisten HPC-VM-Größen verfügen über eine Netzwerkschnittstelle für RDMA-Verbindungen (Remote Direct Memory Access). Ausgewählte Größen der N-Serie mit dem Zusatz „r“ sind ebenfalls RDMA-fähig. Diese Schnittstelle steht zusätzlich zur standardmäßigen Azure-Ethernet-Netzwerkschnittstelle in anderen VM-Größen zur Verfügung.

Mithilfe dieser zweiten Schnittstelle können die RDMA-fähigen Instanzen über ein InfiniBand-Netzwerk (IB) kommunizieren, das mit HDR-Raten für virtuelle Computer der Größen HBv3, HBv2, EDR-Raten für virtuelle Computer der Größen HB, HC, NDv2 sowie mit FDR-Raten für virtuelle Computer der Größen H16r und H16mr sowie andere für RDMA-fähige virtuelle Computer der N-Serie betrieben wird. Durch diese RDMA-Funktionen können Skalierbarkeit und Leistung von MPI-basierten Anwendungen (Message Passing Interface) gesteigert werden.

Hinweis

SR-IOV-Unterstützung: In Azure HPC gibt es derzeit zwei Klassen von virtuellen Computern, je nachdem, ob sie SR-IOV-fähig für InfiniBand sind. Derzeit sind fast alle für RDMA oder InfiniBand geeigneten VMs der neueren Generation in Azure SR-IOV-fähig – mit Ausnahme von H16r, H16mr und NC24r. RDMA kann nur über das IB-Netzwerk (InfiniBand) verwendet werden und wird für alle RDMA-fähigen virtuellen Computer unterstützt. „IP over IB“ wird nur auf den SR-IOV-fähigen virtuellen Computern unterstützt. RDMA kann nicht über das Ethernet-Netzwerk verwendet werden.

  • Betriebssystem: Häufig werden Linux-Distributionen wie CentOS, RHEL, Ubuntu und SUSE verwendet. Windows Server 2016 oder höher wird auf allen virtuellen Computern der HPC-Serie unterstützt. Beachten Sie, dass Windows Server 2012 R2 ab HBv2 als VM-Größe mit mehr als 64 (virtuellen oder physischen) Kernen nicht unterstützt wird. Unter Optimierung für Linux finden Sie eine Liste der unterstützten VM-Images im Marketplace und Informationen dazu, wie diese entsprechend konfiguriert werden. Auf den jeweiligen Seiten zur VM-Größe ist auch die Unterstützung des Softwarestapels aufgeführt.

  • InfiniBand und Treiber: Auf InfiniBand-fähigen virtuellen Computern sind die entsprechenden Treiber erforderlich, um RDMA zu aktivieren. Unter Optimierung für Linux finden Sie eine Liste der unterstützten VM-Images im Marketplace und Informationen dazu, wie diese entsprechend konfiguriert werden. Weitere Informationen zu VM-Erweiterungen oder zur manuellen Installation von InfiniBand-Treibern finden Sie auch unter Aktivieren von InfiniBand.

  • MPI: Die SR-IOV-fähigen VM-Größen in Azure gestatten die Verwendung nahezu jeder Variante von MPI mit Mellanox OFED. Details zum Einrichten von MPI (Message Passing Interface) auf HPC-VMs in Azure finden Sie unter Einrichten von Message Passing Interface für HPC.

    Hinweis

    RDMA-Netzwerkadressbereich: Das RDMA-Netzwerk in Azure reserviert sich den Adressbereich 172.16.0.0/16. Wenn Sie MPI-Anwendungen auf Instanzen ausführen möchten, die in einem virtuellen Azure-Netzwerk bereitgestellt wurden, vergewissern Sie sich, dass der Adressraum des virtuellen Netzwerks sich nicht mit dem RDMA-Netzwerk überschneidet.

Konfigurationsoptionen für Cluster

Azure bietet mehrere Optionen zum Erstellen von Clustern von HPC-VMs, die über das RDMA-Netzwerk kommunizieren können, darunter Folgende:

  • Virtuelle Computer: Stellen Sie die RDMA-fähigen HPC-VMs in derselben Skalierungsgruppe oder Verfügbarkeitsgruppe bereit (wenn Sie das Azure Resource Manager-Bereitstellungsmodell verwenden). Stellen Sie die VMs bei Verwendung des klassischen Bereitstellungsmodells im gleichen Clouddienst bereit.

  • VM-Skalierungsgruppen: Stellen Sie bei Verwendung einer VM-Skalierungsgruppe sicher, dass Sie die Bereitstellung auf eine einzelne Platzierungsgruppe für InfiniBand-Kommunikation in der Skalierungsgruppe beschränken. Legen Sie z. B. in einer Resource Manager-Vorlage die Eigenschaft singlePlacementGroup auf true fest. Beachten Sie, dass die maximale Skalierungsgruppengröße, die mit singlePlacementGroup=true hochgefahren werden kann, standardmäßig auf 100 VMs begrenzt ist. Wenn Ihre Anforderung hinsichtlich der HPC-Aufträge mehr als 100 virtuelle Computer in einem einzelnen Mandanten umfasst, können Sie eine Erhöhung anfordern und eine kostenlose Anfrage für den Onlinekundensupport öffnen. Der Grenzwert für die Anzahl der virtuellen Computer in einer einzelnen Skalierungsgruppe kann auf 300 erhöht werden. Beachten Sie, dass bei der Bereitstellung von VMs mit Verfügbarkeitsgruppen der Höchstwert bei 200 VMs pro Verfügbarkeitsgruppe liegt.

    Hinweis

    MPI zwischen virtuellen Computern: Wenn RDMA (z. B. mithilfe der MPI-Kommunikation) zwischen virtuellen Computern (VMs) erforderlich ist, sollten Sie sicherstellen, dass sich die VMs in derselben VM-Skalierungsgruppe oder Verfügbarkeitsgruppe befinden.

  • Azure CycleCloud: Erstellen Sie in Azure CycleCloud einen HPC-Cluster zum Ausführen von MPI-Aufträgen.

  • Azure Batch: Erstellen Sie einen Azure Batch-Pool, um MPI-Workloads auszuführen. Informationen zur Verwendung rechenintensiver Instanzen zum Ausführen von MPI-Anwendungen mit Azure Batch finden Sie unter Verwendung von Tasks mit mehreren Instanzen zum Ausführen von MPI-Anwendungen (Message Passing Interface) in Azure Batch.

  • Microsoft HPC Pack - HPC Pack enthält eine Laufzeitumgebung für MS-MPI, die das Azure-RDMA-Netzwerk bei der Bereitstellung auf RDMA-fähigen Linux-VMs verwendet. Beispielbereitstellungen finden Sie unter Einrichten eines Linux-RDMA-Clusters mit HPC Pack zum Ausführen von MPI-Anwendungen.

Überlegungen zur Bereitstellung

  • Azure-Abonnement: Um eine größere Anzahl von rechenintensiven Instanzen bereitzustellen, sollten Sie ein Abonnement mit nutzungsbasierter Bezahlung oder andere Kaufoptionen in Erwägung ziehen. Bei Verwendung eines kostenlosen Azure-Kontoskönnen Sie nur eine begrenzte Anzahl von Azure-Compute-Kernen nutzen.

  • Preise und Verfügbarkeit: Informationen nach Azure-Regionen finden Sie unter VM-Preise und Verfügbarkeit.

  • Kontingent Speicherkerne: Es kann sein, dass Sie das Kontingent für die Speicherkerne in Ihrem Azure-Abonnement anpassen müssen, indem Sie den Standardwert erhöhen. Möglicherweise ist bei Ihrem Abonnement auch die Anzahl von Kernen beschränkt, die in bestimmten VM-Größenkategorien bereitgestellt werden können. In diesem Fall können Sie kostenlos eine Anfrage an den Onlinekundensupport richten und eine Erhöhung des Kontingents anfordern. (Standardgrenzwerte variieren unter Umständen je nach Abonnementkategorie.)

    Hinweis

    Wenn Sie einen umfangreichen Kapazitätsbedarf haben, wenden Sie sich an den Azure-Support. Azure-Kontingente sind Angebotsbeschränkungen, keine Kapazitätsgarantien. Unabhängig von Ihrem Kontingent werden nur die tatsächlich verwendeten Kerne in Rechnung gestellt.

  • Virtuelles Netzwerk: Ein virtuelles Azure-Netzwerk ist nicht erforderlich, um die rechenintensiven Instanzen zu verwenden. Für viele Bereitstellungen benötigen Sie jedoch mindestens ein cloudbasiertes virtuelles Azure-Netzwerk oder auch eine Site-to-Site-Verbindung für den Zugriff auf lokale Ressourcen. Erstellen Sie ggf. ein neues virtuelles Netzwerk zum Bereitstellen der Instanzen. Das Hinzufügen rechenintensiver virtueller Computer zu einem virtuellen Netzwerk in einer Affinitätsgruppe wird nicht unterstützt.

  • Größenanpassung: Aufgrund der speziellen Hardware können Sie die Größe rechenintensiver Instanzen nur innerhalb der gleichen Größenfamilie (H-Serie oder N-Serie) anpassen. So können Sie beispielsweise die Größe eines virtuellen Computers der H-Serie nur auf eine andere Größe der H-Serie festlegen. Für bestimmte virtuelle Computer müssen möglicherweise zusätzliche Überlegungen zur Unterstützung von InfiniBand-Treibern und NVMe-Datenträgern in Betracht gezogen werden.

Andere Größen

Nächste Schritte