Dela via

Översikt över virtuella datorer i HBv2-serien

  • Artikel

Varning

Den här artikeln refererar till CentOS, en Linux-distribution som har statusen End Of Life (EOL). Överväg att använda och planera i enlighet med detta. Mer information finns i CentOS End Of Life-vägledningen.

Gäller för: ✔️ Virtuella Linux-datorer med virtuella Windows-datorer ✔️ ✔️ – flexibla skalningsuppsättningar ✔️ Enhetliga skalningsuppsättningar.

För att maximera prestanda för databehandling med höga prestanda (HPC) på AMD EPYC krävs en genomtänkt metod för minneslokalitet och processplacering. Nedan beskriver vi AMD EPYC-arkitekturen och vår implementering av den i Azure för HPC-program. Vi använder termen pNUMA för att referera till en fysisk NUMA-domän och vNUMA för att referera till en virtualiserad NUMA-domän.

Fysiskt är en HBv2-serieserver 2 * 64-kärniga EPYC 7V12-processorer för totalt 128 fysiska kärnor. Samtidig multitrådning (SMT) är inaktiverat på HBv2. Dessa 128 kärnor är indelade i 16 sektioner (8 per socket), varje avsnitt som innehåller 8 processorskärnor. Azure HBv2-servrar kör också följande AMD BIOS-inställningar:

Nodes per Socket (NPS) = 2
L3 as NUMA = Disabled
NUMA domains within VM OS = 4
C-states = Enabled

Därför startar servern med 4 NUMA-domäner (2 per socket) var 32 kärnor i storlek. Varje NUMA har direkt åtkomst till 4 kanaler med fysisk DRAM som körs på 3200 MT/s.

För att ge utrymme för Azure-hypervisor-programmet att fungera utan att störa den virtuella datorn reserverar vi 8 fysiska kärnor per server.

Topologi för virtuell dator

Vi reserverar dessa 8 hypervisor-värdkärnor symmetriskt över båda CPU-socketarna och tar de första 2 kärnorna från specifika Core Complex Dies (CCD) på varje NUMA-domän, med de återstående kärnorna för den virtuella datorn i HBv2-serien. CCD-gränsen motsvarar inte en NUMA-gräns. På HBv2 konfigureras en grupp med fyra på varandra följande (4) CCD:er som en NUMA-domän, både på värdservernivå och på en virtuell gästdator. Därför exponerar alla HBv2 VM-storlekar 4 NUMA-domäner som visas för ett operativsystem och ett program. 4 enhetliga NUMA-domäner, var och en med olika antal kärnor beroende på den specifika storleken på den virtuella HBv2-datorn.

Processfästning fungerar på virtuella datorer i HBv2-serien eftersom vi exponerar det underliggande kiselet som det är för den virtuella gästdatorn. Vi rekommenderar starkt att du fäster processen för optimal prestanda och konsekvens.

Maskinvaruspecifikationer

Maskinvaruspecifikationer Virtuell dator i HBv2-serien
Kärnor 120 (SMT inaktiverad)
Processor AMD EPYC 7V12
CPU-frekvens (icke-AVX) ~3,1 GHz (enkel + alla kärnor)
Minne 4 GB/kärna (totalt 480 GB)
Lokal disk 960 GiB NVMe (block), 480 GB SSD (sidfil)
Infiniband 200 Gb/s HDR Mellanox ConnectX-6
Nätverk 50 Gb/s Ethernet (40 Gb/s kan användas) Azure second Gen SmartNIC

Programvaruspecifikationer

Programvaruspecifikationer Virtuell dator i HBv2-serien
Maximal MPI-jobbstorlek 36 000 kärnor (300 virtuella datorer i en enda VM-skalningsuppsättning med singlePlacementGroup=true)
MPI-support HPC-X, Intel MPI, OpenMPI, MVAPICH2, MPICH, Platform MPI
Ytterligare ramverk UCX, libfabric, PGAS
Stöd för Azure Storage Standard- och Premium-diskar (högst 8 diskar)
OS-stöd för SRIOV RDMA CentOS/RHEL 7.9+, Ubuntu 18.04+, SLES 12 SP5+, WinServer 2016+
Stöd för Orchestrator CycleCloud, Batch, AKS; konfigurationsalternativ för kluster

Kommentar

Windows Server 2012 R2 stöds inte på HBv2 och andra virtuella datorer med fler än 64 (virtuella eller fysiska) kärnor. Mer information finns i Windows-gästoperativsystem som stöds för Hyper-V på Windows Server.

Nästa steg