Panoramica delle macchine virtuali serie HBv3
Attenzione
Questo articolo fa riferimento a CentOS, una distribuzione Linux prossima allo stato EOL (End of Life, fine del ciclo di vita). Prendere in considerazione l'uso e il piano di conseguenza. Per altre informazioni, vedere le linee guida per la fine della vita di CentOS.
Si applica a: ✔️ macchine virtuali Linux ✔️ macchine virtuali Windows ✔️ set di scalabilità flessibili ✔️ set di scalabilità uniformi
Un server serie HBv3 include 2 * 64 core EPYC 7V73X CPU per un totale di 128 core fisici "Zen3" con AMD 3D V-Cache. Il multithreading simultaneo (SMT) è disabilitato in HBv3. Questi 128 core sono suddivisi in 16 sezioni (8 per socket), ogni sezione contenente 8 core del processore con accesso uniforme a una cache L3 da 96 MB. I server Azure HBv3 eseguono anche le impostazioni DEL BIOS AMD seguenti:
Nodes per Socket (NPS) = 2
L3 as NUMA = Disabled
NUMA domains within VM OS = 4
C-states = Enabled
Di conseguenza, il server viene avviato con 4 domini NUMA (2 per socket) ogni 32 core di dimensioni. Ogni NUMA ha accesso diretto a 4 canali di DRAM fisici che operano a 3200 MT/s.
Per consentire all'hypervisor di Azure di funzionare senza interferire con la macchina virtuale, si riservano 8 core fisici per server.
Topologia di macchina virtuale
Il diagramma seguente illustra la topologia del server. Questi 8 core host hypervisor (giallo) vengono riservati in modo simmetrico su entrambi i socket CPU, prendendo i primi 2 core da unità DIE complesse (CCD) specifiche in ogni dominio NUMA, con i core rimanenti per la macchina virtuale serie HBv3 (verde).
Il limite CCD non è equivalente a un limite NUMA. In HBv3, un gruppo di quattro CCD consecutivi (4) è configurato come dominio NUMA, sia a livello di server host che all'interno di una macchina virtuale guest. Di conseguenza, tutte le dimensioni delle macchine virtuali HBv3 espongono 4 domini NUMA visualizzati in un sistema operativo e in un'applicazione, come illustrato. 4 domini NUMA uniformi, ognuno con un numero diverso di core a seconda delle dimensioni specifiche della macchina virtuale HBv3.
Ogni dimensione della macchina virtuale HBv3 è simile nel layout fisico, nelle funzionalità e nelle prestazioni di una CPU diversa rispetto alla serie AMD EPYC 7003, come indicato di seguito:
| Dimensioni della macchina virtuale serie HBv3 | Domini NUMA | Core per dominio NUMA | Somiglianza con AMD EPYC |
|---|---|---|---|
| Standard_HB120rs_v3 | 4 | 30 | EPYC dual socket 7773X |
| Standard_HB120-96rs_v3 | 4 | 24 | EPYC dual socket 7643 |
| Standard_HB120-64rs_v3 | 4 | 16 | EPYC dual socket 7573X |
| Standard_HB120-32rs_v3 | 4 | 8 | EPYC dual socket 7373X |
| Standard_HB120-16rs_v3 | 4 | 4 | Dual Socket EPYC 72F3 |
Nota
Le dimensioni delle macchine virtuali con core vincolati riducono solo il numero di core fisici esposti alla macchina virtuale. Tutti gli asset condivisi globali (RAM, larghezza di banda di memoria, cache L3, connettività GMI e xGMI, InfiniBand, rete Ethernet di Azure, unità SSD locale) rimangono costanti. In questo modo un cliente può scegliere le dimensioni di una macchina virtuale più adatta a un determinato set di esigenze di gestione delle licenze software o del carico di lavoro.
Il mapping NUMA virtuale di ogni dimensione di vm HBv3 viene mappato alla topologia NUMA fisica sottostante. Non esiste un'astrazione potenzialmente fuorviante della topologia hardware.
La topologia esatta per le varie dimensioni della macchina virtuale HBv3 viene visualizzata come segue usando l'output di lstopo:
lstopo-no-graphics --no-io --no-legend --of txt
Fare clic per visualizzare l'output lstopo per Standard_HB120rs_v3
Fare clic per visualizzare l'output lstopo per Standard_HB120rs-96_v3
Fare clic per visualizzare l'output lstopo per Standard_HB120rs-64_v3
Fare clic per visualizzare l'output lstopo per Standard_HB120rs-32_v3
Fare clic per visualizzare l'output lstopo per Standard_HB120rs-16_v3
Rete InfiniBand
Le macchine virtuali HBv3 includono anche schede di rete Nvidia Mellanox HDR InfiniBand (Connessione X-6) che operano fino a 200 Gigabit/sec. La scheda di interfaccia di rete viene passata alla macchina virtuale tramite SRIOV, consentendo al traffico di rete di ignorare l'hypervisor. Di conseguenza, i clienti caricano driver Mellanox OFED standard in macchine virtuali HBv3 come un ambiente bare metal.
Le macchine virtuali HBv3 supportano il routing adattivo, il trasporto Connessione dinamico (DCT, insieme ai trasporti RC e UD standard) e l'offload basato su hardware dei collettivi MPI nel processore di onboarding della scheda Connessione X-6. Queste funzionalità migliorano le prestazioni dell'applicazione, la scalabilità e la coerenza e l'utilizzo di essi è consigliato.
Archiviazione temporanea
Le macchine virtuali HBv3 presentano 3 dispositivi SSD fisicamente locali. Un dispositivo è preformattato per fungere da file di pagina e viene visualizzato all'interno della macchina virtuale come dispositivo generico "SSD".
Altre due unità SSD di dimensioni maggiori vengono fornite come dispositivi NVMe bloccati non formattati tramite NVMeDirect. Poiché il dispositivo NVMe blocca ignora l'hypervisor, ha una larghezza di banda superiore, operazioni di I/O al secondo superiori e una latenza inferiore per IOP.
Se abbinato in una matrice con striping, l'unità SSD NVMe fornisce fino a 7 GB/s di letture e 3 GB/s di scrittura e fino a 186.000 operazioni di I/O al secondo (letture) e 201.000 operazioni di I/O al secondo (scritture) per profondità delle code.
Specifiche hardware
| Specifiche hardware | Macchine virtuali serie HBv3 |
|---|---|
| Core | 120, 96, 64, 32 o 16 (SMT disabilitato) |
| CPU | AMD EPYC 7V73X |
| Frequenza CPU (non AVX) | 3,0 GHz (tutti i core), 3,5 GHz (fino a 10 core) |
| Memoria | 448 GB (RAM per core dipende dalle dimensioni della macchina virtuale) |
| Disco locale | 2 * 960 GB NVMe (blocco), UNITÀ SSD da 480 GB (file di pagina) |
| Infiniband | 200 Gb/s Mellanox Connessione X-6 HDR InfiniBand |
| Rete | 50 Gb/s Ethernet (40 Gb/s utilizzabile) SmartNIC di seconda generazione di Azure |
Specifiche software
| Specifiche software | Macchine virtuali serie HBv3 |
|---|---|
| Dimensioni massime processo MPI | 36.000 core (300 macchine virtuali in un singolo set di scalabilità di macchine virtuali con singlePlacementGroup=true) |
| Supporto MPI | HPC-X, Intel MPI, OpenMPI, MVAPICH2, MPICH |
| Framework aggiuntivi | UCX, libfabric, PGAS |
| supporto Archiviazione di Azure | Dischi Standard e Premium (massimo 32 dischi) |
| Supporto del sistema operativo per SRIOV RDMA | CentOS/RHEL 7.9+, Ubuntu 18.04+, SLES 15.4, WinServer 2016+ |
| Sistema operativo consigliato per le prestazioni | CentOS 8.1, Windows Server 2019+ |
| Supporto di Orchestrator | Azure CycleCloud, Azure Batch, servizio Azure Kubernetes; Opzioni di configurazione del cluster |
Nota
Windows Server 2012 R2 non è supportato in HBv3 e in altre macchine virtuali con più di 64 core (virtuali o fisici). Per altre informazioni, vedere Sistemi operativi guest Windows supportati per Hyper-V in Windows Server.
Importante
Questo documento fa riferimento a una versione di Rilascio di Linux vicina o alla fine della vita (EOL). Prendere in considerazione l'aggiornamento a una versione più recente.
Passaggi successivi
- Per informazioni sugli annunci più recenti, sugli esempi di carico di lavoro HPC e sui risultati delle prestazioni, vedere i blog della community tecnica di calcolo di Azure.
- Per un quadro generale sull'architettura per l'esecuzione di carichi di lavoro HPC, vedere HPC (High Performance Computing) in Azure.