Översikt över virtuella datorer i HBv2-serien
Gäller för: ✔️ Virtuella Linux-datorer med virtuella Windows-datorer ✔️ ✔️ – flexibla skalningsuppsättningar ✔️ Enhetliga skalningsuppsättningar.
För att maximera prestanda för databehandling med höga prestanda (HPC) på AMD EPYC krävs en genomtänkt metod för minneslokalitet och processplacering. Nedan beskriver vi AMD EPYC-arkitekturen och vår implementering av den i Azure för HPC-program. Vi använder termen pNUMA för att referera till en fysisk NUMA-domän och vNUMA för att referera till en virtualiserad NUMA-domän.
Fysiskt är en HBv2-serieserver 2 * 64-kärniga EPYC 7V12-processorer för totalt 128 fysiska kärnor. Samtidig multitrådning (SMT) är inaktiverat på HBv2. Dessa 128 kärnor är indelade i 16 sektioner (8 per socket), varje avsnitt som innehåller 8 processorskärnor. Azure HBv2-servrar kör också följande AMD BIOS-inställningar:
Nodes per Socket (NPS) = 2
L3 as NUMA = Disabled
NUMA domains within VM OS = 4
C-states = Enabled
Därför startar servern med 4 NUMA-domäner (2 per socket). Varje domän är 32 kärnor i storlek. Varje NUMA har direkt åtkomst till 4 kanaler med fysisk DRAM som körs på 3 200 MT/s.
För att ge utrymme för Azure-hypervisor-programmet att fungera utan att störa den virtuella datorn reserverar vi 8 fysiska kärnor per server.
Topologi för virtuell dator
Vi reserverar dessa 8 hypervisor-värdkärnor symmetriskt över båda CPU-socketarna och tar de första 2 kärnorna från specifika Core Complex Dies (CCD) på varje NUMA-domän, med de återstående kärnorna för den virtuella datorn i HBv2-serien. CCD-gränsen motsvarar inte en NUMA-gräns. På HBv2 konfigureras en grupp med fyra på varandra följande (4) CCD:er som en NUMA-domän, både på värdservernivå och på en virtuell gästdator. Därför exponerar alla HBv2 VM-storlekar 4 NUMA-domäner som visas för ett operativsystem och ett program. 4 enhetliga NUMA-domäner, var och en med olika antal kärnor beroende på den specifika storleken på den virtuella HBv2-datorn.
Processfästning fungerar på virtuella datorer i HBv2-serien eftersom vi exponerar det underliggande kiselet som det är för den virtuella gästdatorn. Vi rekommenderar starkt att du fäster processen för optimal prestanda och konsekvens.
Maskinvaruspecifikationer
Maskinvaruspecifikationer | Virtuell dator i HBv2-serien |
---|---|
Kärnor | 120 (SMT inaktiverad) |
Processor | AMD EPYC 7V12 |
CPU-frekvens (icke-AVX) | ~3,1 GHz (enkel + alla kärnor) |
Minne | 4 GB/kärna (totalt 480 GB) |
Lokal disk | 960 GiB NVMe (block), 480 GB SSD (sidfil) |
Infiniband | 200 Gb/s HDR Mellanox ConnectX-6 |
Nätverk | 50 Gb/s Ethernet (40 Gb/s kan användas) Azure second Gen SmartNIC |
Programvaruspecifikationer
Programvaruspecifikationer | Virtuell dator i HBv2-serien |
---|---|
Maximal MPI-jobbstorlek | 36 000 kärnor (300 virtuella datorer i en enda VM-skalningsuppsättning med singlePlacementGroup=true) |
MPI-support | HPC-X, Intel MPI, OpenMPI, MVAPICH2, MPICH, Platform MPI |
Ytterligare ramverk | UCX, libfabric, PGAS |
Stöd för Azure Storage | Standard- och Premium-diskar (högst 8 diskar) |
OS-stöd för SRIOV RDMA | RHEL 7.9+, Ubuntu 18.04+, SLES 12 SP5+, WinServer 2016+ |
Stöd för Orchestrator | CycleCloud, Batch, AKS; konfigurationsalternativ för kluster |
Kommentar
Windows Server 2012 R2 stöds inte på HBv2 och andra virtuella datorer med fler än 64 (virtuella eller fysiska) kärnor. Mer information finns i Windows-gästoperativsystem som stöds för Hyper-V på Windows Server.
Nästa steg
- Mer information om AMD EPYC-arkitektur och arkitekturer med flera chip finns i HPC Tuning Guide for AMD EPYC Processors (HPC Tuning Guide for AMD EPYC Processors).
- De senaste meddelandena om HPC-arbetsbelastningsexempel och prestandaresultat finns i Azure Compute Tech Community-bloggar.
- En arkitekturvy på högre nivå för att köra HPC-arbetsbelastningar finns i HPC (High Performance Computing) på Azure.