Overzicht van virtuele machines uit de HC-serie
Van toepassing op: ✔️ Virtuele Linux-machines voor Windows-VM's ✔️ ✔️ Flexibele schaalsets Uniform-schaalsets ✔️
Het maximaliseren van hpc-toepassingsprestaties op Intel Xeon Scalable Processors vereist een doordachte benadering voor het verwerken van plaatsing op deze nieuwe architectuur. Hier wordt een overzicht gegeven van onze implementatie op VM's uit de Azure HC-serie voor HPC-toepassingen. We gebruiken de term 'pNUMA' om te verwijzen naar een fysiek NUMA-domein en 'vNUMA' om te verwijzen naar een gevirtualiseerd NUMA-domein. Op dezelfde manier gebruiken we de term 'pCore' om te verwijzen naar fysieke CPU-kernen en 'vCore' om te verwijzen naar gevirtualiseerde CPU-kernen.
Fysiek is een HC-serie server 2 * 24 core Intel Xeon Platinum 8168 CPU's voor in totaal 48 fysieke kernen. Elke CPU is één pNUMA-domein en heeft geïntegreerde toegang tot zes kanalen van DRAM. Intel Xeon Platinum-CPU's hebben een 4x grotere L2-cache dan in eerdere generaties (256 KB/core -> 1 MB/core), terwijl ook de L3-cache wordt verminderd ten opzichte van eerdere Intel-CPU's (2,5 MB/kern -> 1,375 MB/core).
De bovenstaande topologie gaat ook over naar de hypervisorconfiguratie van de HC-serie. Om de Azure-hypervisor ruimte te bieden om te werken zonder de VM te verstoren, reserveren we pCores 0-1 en 24-25 (de eerste 2 pCores op elke socket). Vervolgens wijzen we pNUMA-domeinen toe aan alle resterende kernen aan de VIRTUELE machine. De VIRTUELE machine ziet er dus het volgende:
(2 vNUMA domains) * (22 cores/vNUMA) = 44 kernen per VM
De VM weet niet dat pCores 0-1 en 24-25 er niet aan zijn gegeven. Het toont dus elke vNUMA alsof het systeem systeemeigen 22 kernen had.
Intel Xeon Platinum, Gold en Silver CPU's introduceren ook een on-die 2D mesh-netwerk voor communicatie binnen en buiten de CPU-socket. We raden het vastmaken van processen ten zeerste aan voor optimale prestaties en consistentie. Procespinning werkt op VM's uit de HC-serie, omdat het onderliggende silicium wordt blootgesteld aan de gast-VM.
In het volgende diagram ziet u de scheiding van kernen die zijn gereserveerd voor Azure Hypervisor en de VM uit de HC-serie.
Hardwarespecificaties
| Hardwarespecificaties | VM uit de HC-serie |
|---|---|
| Kernen | 44 (HT uitgeschakeld) |
| CPU | Intel Xeon Platinum 8168 |
| CPU-frequentie (niet-AVX) | 3,7 GHz (enkele kern), 2,7-3,4 GHz (alle kernen) |
| Geheugen | 8 GB/kern (totaal 352) |
| Lokale schijf | 700 GB SSD |
| Infiniband | 100 Gb EDR Mellanox ConnectX-5 |
| Netwerk | 50 Gb Ethernet (40 Gb bruikbaar) Azure second Gen SmartNIC |
Softwarespecificaties
| Softwarespecificaties | VM uit de HC-serie |
|---|---|
| Maximale MPI-taakgrootte | 13200 kernen (300 VM's in één virtuele-machineschaalset met singlePlacementGroup=true) |
| MPI-ondersteuning | HPC-X, Intel MPI, OpenMPI, MVAPICH2, MPICH, Platform MPI |
| Aanvullende frameworks | UCX, libfabric, PGAS |
| Ondersteuning voor Azure Storage | Standard- en Premium-schijven (maximaal 4 schijven) |
| Besturingssysteemondersteuning voor SRIOV RDMA | RHEL 7.6+, Ubuntu 20.04+, SLES 15.4, WinServer 2016+ |
| Orchestrator-ondersteuning | CycleCloud, Batch, AKS; opties voor clusterconfiguratie |
Notitie
Officiële ondersteuning op kernelniveau van AMD begint met RHEL 8.6 en AlmaLinux 8.6, een afgeleide van RHEL.
Volgende stappen
- Meer informatie over Intel Xeon SP-architectuur.
- Lees meer over de nieuwste aankondigingen, voorbeelden van HPC-werkbelastingen en prestatieresultaten in de Blogs van de Azure Compute Tech Community.
- Zie High Performance Computing (HPC) op Azure voor een gedetailleerdere architectuurweergave van HPC-workloads die worden uitgevoerd.