Freigeben über

Übersicht über virtuelle Computer der HBv2-Serie

  • Artikel

Gilt für: ✔️ Virtuelle Linux-Computer ✔️ Virtuelle Windows-Computer ✔️ Flexible Skalierungsgruppen ✔️ Einheitliche Skalierungsgruppen

Die Maximierung der Leistung von HPC-Anwendungen (High Performance Computing) für AMD EPYC erfordert ein durchdachtes Konzept für die Lokalität des Arbeitsspeichers und die Prozessplatzierung. Im Anschluss finden Sie einen Überblick über die AMD EPYC-Architektur sowie über unsere Implementierung in Azure für HPC-Anwendungen. Wir verwenden den Begriff pNUMA, um eine physische NUMA-Domäne zu bezeichnen, und vNUMA, um eine virtualisierte NUMA-Domäne zu bezeichnen.

Physisch handelt es sich bei einem Server der HBv2-Serie um zwei EPYC 7V12-CPUs mit jeweils 64 Kernen, wodurch sich eine Gesamtanzahl von 128 physischen Kernen ergibt. Das simultane Multithreading (SMT) ist bei HBv2 deaktiviert. Diese 128 Kerne sind in 16 Abschnitte (8 pro Socket) unterteilt, wobei jeder Abschnitt 8 Prozessorkerne enthält. Außerdem gelten für Azure-Server der HBv2-Serie die folgenden AMD-BIOS-Einstellungen:

Nodes per Socket (NPS) = 2
L3 as NUMA = Disabled
NUMA domains within VM OS = 4
C-states = Enabled

Folglich startet der Server mit vier NUMA-Domänen (2 pro Socket). Jede Domäne hat eine Größe von 32 Kernen. Jede NUMA-Domäne verfügt über direkten Zugriff auf vier Kanäle mit physischem DRAM und einer Geschwindigkeit von 3.200 MT/s.

Damit der Azure-Hypervisor über genügend Platz verfügt, um ohne Beeinträchtigung des virtuellen Computers agieren zu können, werden 8 physische Kerne pro Server reserviert.

Topologie des virtuellen Computers

Wir halten diese 8 Hypervisor-Host Kerne symmetrisch über beide CPU-Sockets hinweg frei, wobei die ersten 2 Kerne aus bestimmten Core Complex-Matrizen (CCDs) für jede NUMA-Domäne mit den verbleibenden Kernen für den virtuellen Computer der HBv2-Serie genommen werden. Beachten Sie, dass die CCD-Grenze nicht mit einer NUMA-Grenze übereinstimmt. Auf HBv2 wird eine Gruppe von vier (4) aufeinander folgenden CCDs als NUMA-Domäne konfiguriert, sowohl auf der Hostserverebene als auch innerhalb einer Gast-VM. Daher machen alle HBv2-VM-Größen 4 NUMA-Domänen verfügbar, die einem Betriebssystem und einer Anwendung angezeigt werden. 4 einheitliche NUMA-Domänen, jede mit einer unterschiedlichen Anzahl von Kernen, abhängig von der angegebenen HBv2-VM-Größe.

Die Prozessanheftung funktioniert bei VMs der HBv2-Serie, da der zugrunde liegende Chip unverändert für die Gast-VM verfügbar gemacht wird. Aus Leistungs- und Konsistenzgründen wird dringend empfohlen, Prozesse fest zuzuordnen.

Hardwarespezifikationen

Hardwarespezifikationen VM der HBv2-Serie
Kerne 120 (SMT deaktiviert)
CPU AMD EPYC 7V12
CPU-Frequenz (ohne AVX) ~3.1 GHz (einzeln + alle Kerne)
Arbeitsspeicher 4 GB/Kern (480 GB insgesamt)
Lokaler Datenträger 960 GiB NVMe (Block), 480 GB SSD (Auslagerungsdatei)
InfiniBand 200 GBit/s HDR Mellanox ConnectX-6
Network 50 GBit/s Ethernet (davon 40 GBit/s nutzbar); Azure-SmartNIC der zweiten Generation

Softwarespezifikationen

Softwarespezifikationen VM der HBv2-Serie
Maximale MPI-Auftragsgröße 36000 Kerne (300 VMs in einer einzelnen VM-Skalierungsgruppe mit singlePlacementGroup=true)
MPI-Unterstützung HPC-X, Intel MPI, OpenMPI, MVAPICH2, MPICH, Platform MPI
Zusätzliche Frameworks UCX, libfabric und PGAS
Azure Storage-Unterstützung Standard- und Premium-Datenträger (maximal 8 Datenträger)
Betriebssystemunterstützung für SR-IOV/RDMA RHEL 7.9+, Ubuntu 18.04+, SLES 12 SP5+, WinServer 2016+
Orchestratorunterstützung CycleCloud, Batch und AKS (Clusterkonfigurationsoptionen)

Hinweis

Windows Server 2012 R2 wird auf HBv2 und anderen VMs mit mehr als 64 (virtuellen oder physischen) Kernen nicht unterstützt. Weitere Informationen finden Sie unter Unterstützte Windows-Gastbetriebssysteme für Hyper-V in Windows Server.

Nächste Schritte