Overzicht van virtuele machines uit de HBv2-serie
Van toepassing op: ✔️ Virtuele Linux-machines windows-VM's ✔️ ✔️ Flexibele schaalsets ✔️ Uniform schaalsets.
Voor het maximaliseren van de prestaties van HPC-toepassingen (High Performance Compute) op AMD EPYC is een doordachte benadering van geheugenlocatie en procesplaatsing vereist. Hieronder vindt u een overzicht van de AMD EPYC-architectuur en de implementatie ervan in Azure voor HPC-toepassingen. We gebruiken de term pNUMA om te verwijzen naar een fysiek NUMA-domein en vNUMA om te verwijzen naar een gevirtualiseerd NUMA-domein.
Fysiek is een HBv2-serie server 2 * 64-core EPYC 7V12 CPU's voor in totaal 128 fysieke kernen. Gelijktijdige Multithreading (SMT) is uitgeschakeld op HBv2. Deze 128 kernen zijn onderverdeeld in 16 secties (8 per socket), elke sectie met 8 processorkernen. Azure HBv2-servers voeren ook de volgende AMD BIOS-instellingen uit:
Nodes per Socket (NPS) = 2
L3 as NUMA = Disabled
NUMA domains within VM OS = 4
C-states = Enabled
Als gevolg hiervan wordt de server opgestart met 4 NUMA-domeinen (2 per socket). Elk domein heeft een grootte van 32 kernen. Elke NUMA heeft directe toegang tot 4 kanalen van fysieke DRAM op 3.200 MT/s.
Om de Azure-hypervisor ruimte te bieden om te werken zonder de VM te verstoren, reserveren we 8 fysieke kernen per server.
VM-topologie
We reserveren deze 8 hypervisorhostkernen symmetrisch op beide CPU-sockets, waarbij de eerste 2 kernen van specifieke Core Complex Dies (CCD's) op elk NUMA-domein worden gebruikt, met de resterende kernen voor de VM uit de HBv2-serie. De CCD-grens is niet gelijk aan een NUMA-grens. Op HBv2 wordt een groep van vier opeenvolgende (4) CCD's geconfigureerd als een NUMA-domein, zowel op hostserverniveau als binnen een gast-VM. Alle HBv2 VM-grootten maken dus 4 NUMA-domeinen beschikbaar die lijken op een besturingssysteem en toepassing. 4 uniforme NUMA-domeinen, elk met een verschillend aantal kernen, afhankelijk van de specifieke HBv2-VM-grootte.
Procespinning werkt op VM's uit de HBv2-serie, omdat we het onderliggende silicium als zodanig beschikbaar maken voor de gast-VM. We raden het vastmaken van processen ten zeerste aan voor optimale prestaties en consistentie.
Hardwarespecificaties
| Hardwarespecificaties | VM uit de HBv2-serie |
|---|---|
| Kernen | 120 (SMT uitgeschakeld) |
| CPU | AMD EPYC 7V12 |
| CPU-frequentie (niet-AVX) | ~3,1 GHz (enkel + alle kernen) |
| Geheugen | 4 GB/kern (totaal 480 GB) |
| Lokale schijf | 960 GiB NVMe (blok), 480 GB SSD (paginabestand) |
| Infiniband | 200 Gb/s HDR Mellanox ConnectX-6 |
| Netwerk | 50 Gb/s Ethernet (40 Gb/s bruikbaar) Azure second Gen SmartNIC |
Softwarespecificaties
| Softwarespecificaties | VM uit de HBv2-serie |
|---|---|
| Maximale MPI-taakgrootte | 36000 kernen (300 VM's in één virtuele-machineschaalset met singlePlacementGroup=true) |
| MPI-ondersteuning | HPC-X, Intel MPI, OpenMPI, MVAPICH2, MPICH, Platform MPI |
| Aanvullende frameworks | UCX, libfabric, PGAS |
| Ondersteuning voor Azure Storage | Standard- en Premium-schijven (maximaal 8 schijven) |
| Besturingssysteemondersteuning voor SRIOV RDMA | RHEL 7.9+, Ubuntu 18.04+, SLES 12 SP5+, WinServer 2016+ |
| Orchestrator-ondersteuning | CycleCloud, Batch, AKS; opties voor clusterconfiguratie |
Notitie
Windows Server 2012 R2 wordt niet ondersteund op HBv2 en andere VM's met meer dan 64 (virtuele of fysieke) kernen. Zie Ondersteunde Windows-gastbesturingssystemen voor Hyper-V op Windows Server voor meer informatie.
Volgende stappen
- Zie de HPC Tuning Guide voor AMD EPYC-processors voor meer informatie over AMD EPYC-architectuur en architecturen met meerdere chips.
- Zie Azure Compute Tech Community Blogs voor de nieuwste aankondigingen over HPC-workloadvoorbeelden en prestatieresultaten.
- Zie High Performance Computing (HPC) op Azure voor een gedetailleerdere architectuurweergave van HPC-workloads die worden uitgevoerd.