Översikt över virtuella datorer i HBv3-serien

  • Artikel

Varning

Den här artikeln refererar till CentOS, en Linux-distribution som närmar sig EOL-status (End Of Life). Överväg att använda och planera i enlighet med detta. Mer information finns i CentOS End Of Life-vägledningen.

Gäller för: ✔️ Virtuella Linux-datorer ✔️ med virtuella Windows-datorer ✔️ – flexibla skalningsuppsättningar ✔️ Enhetliga skalningsuppsättningar

En HBv3-serieserver har 2 * 64-kärniga EPYC 7V73X-processorer för totalt 128 fysiska "Zen3"-kärnor med AMD 3D V-Cache. Samtidig multitrådning (SMT) är inaktiverat på HBv3. Dessa 128 kärnor är indelade i 16 sektioner (8 per socket), varje avsnitt som innehåller 8 processorskärnor med enhetlig åtkomst till en 96 MB L3-cache. Azure HBv3-servrar kör också följande AMD BIOS-inställningar:

Nodes per Socket (NPS) = 2
L3 as NUMA = Disabled
NUMA domains within VM OS = 4
C-states = Enabled

Därför startar servern med 4 NUMA-domäner (2 per socket) var 32 kärnor i storlek. Varje NUMA har direkt åtkomst till 4 kanaler med fysisk DRAM som körs på 3200 MT/s.

För att ge utrymme för Azure-hypervisor-programmet att fungera utan att störa den virtuella datorn reserverar vi 8 fysiska kärnor per server.

Topologi för virtuell dator

Följande diagram visar serverns topologi. Vi reserverar dessa 8 hypervisor-värdkärnor (gula) symmetriskt över båda CPU-socketarna och tar de första 2 kärnorna från specifika Core Complex Dies (CCD) på varje NUMA-domän, med de återstående kärnorna för den virtuella datorn i HBv3-serien (grön).

Topologi för HBv3-seriens server

CCD-gränsen motsvarar inte en NUMA-gräns. På HBv3 konfigureras en grupp med fyra på varandra följande (4) CCD:er som en NUMA-domän, både på värdservernivå och på en virtuell gästdator. Därför exponerar alla HBv3 VM-storlekar 4 NUMA-domäner som visas för ett operativsystem och ett program som visas. 4 enhetliga NUMA-domäner, var och en med olika antal kärnor beroende på den specifika storleken på den virtuella HBv3-datorn.

Topologi för den virtuella datorn i HBv3-serien

Varje HBv3 VM-storlek liknar den fysiska layouten, funktionerna och prestandan för en annan PROCESSOR än AMD EPYC 7003-serien enligt följande:

Storlek på virtuella datorer i HBv3-serien NUMA-domäner Kärnor per NUMA-domän Likhet med AMD EPYC
Standard_HB120rs_v3 4 30 EPYC 7773X med dubbla socketar
Standard_HB120-96rs_v3 4 24 EPYC 7643 med dubbla socketar
Standard_HB120-64rs_v3 4 16 EPYC 7573X med dubbla socketar
Standard_HB120-32rs_v3 4 8 EPYC 7373X med dubbla socketar
Standard_HB120-16rs_v3 4 4 EPYC 72F3 med dubbla socketar

Kommentar

Vm-storlekarna med begränsade kärnor minskar bara antalet fysiska kärnor som exponeras för den virtuella datorn. Alla globala delade tillgångar (RAM, minnesbandbredd, L3-cache, GMI- och xGMI-anslutning, InfiniBand, Azure Ethernet-nätverk och lokal SSD) förblir konstanta. På så sätt kan en kund välja en VM-storlek som är bäst anpassad efter en viss uppsättning arbetsbelastnings- eller programvarulicensieringsbehov.

Den virtuella NUMA-mappningen för varje HBv3 VM-storlek mappas till den underliggande fysiska NUMA-topologin. Det finns ingen potentiellt missvisande abstraktion av maskinvarutopologin.

Den exakta topologin för de olika HBv3 VM-storlekarna visas på följande sätt med hjälp av utdata från lstopo:

lstopo-no-graphics --no-io --no-legend --of txt

Klicka om du vill visa lstopoutdata för Standard_HB120rs_v3

lstopoutdata för en virtuell HBv3-120-dator

Klicka om du vill visa lstopoutdata för Standard_HB120rs-96_v3

lstopoutdata för en virtuell HBv3-96-dator

Klicka om du vill visa lstopoutdata för Standard_HB120rs-64_v3

lstopoutdata för en virtuell HBv3-64-dator

Klicka här om du vill visa lstopoutdata för Standard_HB120rs-32_v3

lstopoutdata för en virtuell HBv3-32-dator

Klicka om du vill visa lstopoutdata för Standard_HB120rs-16_v3

lstopoutdata för en virtuell HBv3-16-dator

InfiniBand-nätverk

Virtuella HBv3-datorer har även Nvidia Mellanox HDR InfiniBand-nätverkskort (Anslut X-6) som körs i upp till 200 Gigabits per sekund. Nätverkskortet skickas till den virtuella datorn via SRIOV, vilket gör att nätverkstrafiken kan kringgå hypervisor-programmet. Därför läser kunderna in Mellanox OFED-standarddrivrutiner på virtuella HBv3-datorer på samma sätt som i en bare metal-miljö.

Virtuella HBv3-datorer har stöd för adaptiv routning, DCT (Dynamic Anslut ed Transport, tillsammans med standard rc- och UD-transporter) och maskinvarubaserad avlastning av MPI-kollektiv till den registrerade processorn för Anslut X-6-adaptern. Dessa funktioner förbättrar programmets prestanda, skalbarhet och konsekvens och användning av dem rekommenderas.

Tillfällig lagring

Virtuella HBv3-datorer har 3 fysiskt lokala SSD-enheter. En enhet är förformaterad för att fungera som en sidfil och den visades i den virtuella datorn som en allmän "SSD"-enhet.

Två andra, större SSD:er tillhandahålls som oformaterade block-NVMe-enheter via NVMeDirect. När block-NVMe-enheten kringgår hypervisor-programmet har den högre bandbredd, högre IOPS och lägre svarstid per IOP.

När NVMe SSD är parkopplat i en randig matris ger det upp till 7 GB/s läsningar och 3 GB/s skrivningar, och upp till 186 000 IOPS (läsningar) och 201 000 IOPS (skrivningar) för djupködjup.

Maskinvaruspecifikationer

Maskinvaruspecifikationer Virtuella datorer i HBv3-serien
Kärnor 120, 96, 64, 32 eller 16 (SMT inaktiverat)
Processor AMD EPYC 7V73X
CPU-frekvens (icke-AVX) 3,0 GHz (alla kärnor), 3,5 GHz (upp till 10 kärnor)
Minne 448 GB (RAM per kärna beror på VM-storlek)
Lokal disk 2 * 960 GB NVMe (block), 480 GB SSD (sidfil)
Infiniband 200 Gb/s Mellanox Anslut X-6 HDR InfiniBand
Nätverk 50 Gb/s Ethernet (40 Gb/s kan användas) Azure second Gen SmartNIC

Programvaruspecifikationer

Programvaruspecifikationer Virtuella datorer i HBv3-serien
Maximal MPI-jobbstorlek 36 000 kärnor (300 virtuella datorer i en enda vm-skalningsuppsättning med singlePlacementGroup=true)
MPI-support HPC-X, Intel MPI, OpenMPI, MVAPICH2, MPICH
Ytterligare ramverk UCX, libfabric, PGAS
Stöd för Azure Storage Standard- och Premium-diskar (högst 32 diskar)
OS-stöd för SRIOV RDMA CentOS/RHEL 7.9+, Ubuntu 18.04+, SLES 15.4, WinServer 2016+
Rekommenderat operativsystem för prestanda CentOS 8.1, Windows Server 2019+
Stöd för Orchestrator Azure CycleCloud, Azure Batch, AKS; konfigurationsalternativ för kluster

Kommentar

Windows Server 2012 R2 stöds inte på HBv3 och andra virtuella datorer med fler än 64 (virtuella eller fysiska) kärnor. Mer information finns i Windows-gästoperativsystem som stöds för Hyper-V på Windows Server.

Viktigt!

Det här dokumentet refererar till en versionsversion av Linux som närmar sig eller vid End of Life (EOL). Överväg att uppdatera till en mer aktuell version.

Nästa steg