La macchina virtuale della serie ND H100 v5 è il nuovo fiore all'occhiello della famiglia di GPU di Azure. Questa serie è progettata per il training di Deep Learning di fascia alta e per i carichi di lavoro HPC e di AI generativa con scale-up e scale-out.
La serie ND H100 v5 inizia con una singola macchina virtuale e otto GPU NVIDIA H100 Tensor Core. Le distribuzioni basate su ND H100 v5 possono aumentare fino a migliaia di GPU con 3,2 Tbps di larghezza di banda di interconnessione per macchina virtuale. Ogni GPU all'interno della macchina virtuale viene fornita con una propria connessione InfiniBand dedicata e indipendente dalla topologia 400 Gb/s NVIDIA Quantum-2 CX7. Queste connessioni vengono configurate automaticamente tra le macchine virtuali che occupano lo stesso set di scalabilità di macchine virtuali e supportano GPU Direct RDMA.
Ogni GPU offre connettività NVLINK 4.0 per la comunicazione all'interno della macchina virtuale e l'istanza dispone di 96 core fisici del processore scalabile Intel Xeon di quarta generazione.
Queste istanze offrono prestazioni eccellenti per molti strumenti di intelligenza artificiale, Machine Learning e analisi che supportano l'accelerazione GPU predefinita, ad esempio TensorFlow, Pytorch, Caffe, RAPIDS e altri framework. Inoltre, l'interconnessione InfiniBand scale-out supporta un ampio set di strumenti di intelligenza artificiale e HPC esistenti, basati sulle librerie di comunicazione NCCL di NVIDIA per un clustering semplice della GPU.
Specifiche dell'host
In parte
Quantità Conteggio delle unità
Specifiche ID SKU, unità delle prestazioni e così via.
Per iniziare a usare macchine virtuali ND H100 v5, vedere Configurazione e ottimizzazione del carico di lavoro HPC per i passaggi, tra cui driver e configurazione di rete.
A causa dell'aumento del footprint di I/O della memoria GPU, ND H100 v5 richiede l'uso di macchine virtuali di seconda generazione e immagini del marketplace.
supporto tecnico di Azure Ubuntu 20.04/22.04, RHEL 7.9/8.7/9.3, AlmaLinux 8.8/9.2 e SLES 15 per macchine virtuali ND H100 v5. Attualmente sono supportate immagini di macchine virtuali Ubuntu-HPC 20.4/22.04 e AlmaLinux-HPC 8.6/8.7.
Sono disponibili offerte di immagini di macchine virtuali Linux ottimizzate e preconfigurate per carichi di lavoro HPC/INTELLIGENZa artificiale con un'ampia gamma di strumenti e librerie HPC installati e pertanto sono altamente consigliati.
1La velocità del disco temporaneo differisce spesso tra le operazioni RR (Random Read) e RW (Random Write). Le operazioni RR sono in genere più veloci rispetto a quelle RW. La velocità RW è in genere più lenta rispetto a quella RR nelle serie in cui è elencato solo il valore di velocità RR.
La capacità di archiviazione viene visualizzata in unità di GiB o 1.024^3 byte. Quando si confrontano dischi misurati in GB (1000^3 byte) con dischi misurati in GiB (1024^3), tenere presente che i valori di capacità specificati in GiB potrebbero apparire inferiori. Ad esempio, 1.023 GiB = 1.098,4 GB.
La velocità effettiva del disco viene misurata in operazioni di input/output al secondo (IOPS) e MBps, dove il valore di MBps corrisponde a 10^6 byte al secondo.
1Alcune dimensioni supportano il bursting per migliorare temporaneamente le prestazioni del disco. La velocità di burst può essere mantenuta per un massimo di 30 minuti alla volta.
La capacità di archiviazione viene visualizzata in unità di GiB o 1.024^3 byte. Quando si confrontano dischi misurati in GB (1000^3 byte) con dischi misurati in GiB (1024^3), tenere presente che i valori di capacità specificati in GiB potrebbero apparire inferiori. Ad esempio, 1.023 GiB = 1.098,4 GB.
La velocità effettiva del disco viene misurata in operazioni di input/output al secondo (IOPS) e MBps, dove il valore di MBps corrisponde a 10^6 byte al secondo.
I dischi dati possono operare in modalità memorizzata nella cache o non memorizzata nella cache. Per il funzionamento dei dischi dati memorizzati nella cache, la modalità di cache host è impostata su ReadOnly o su ReadWrite. Per il funzionamento dei dischi dati non memorizzati nella cache, la modalità di cache host è impostata su None.
La larghezza di banda della rete prevista è la larghezza di banda aggregata massima allocata per ogni tipo di macchina virtuale in tutte le schede di interfaccia di rete, per tutte le destinazioni. Per altre informazioni, vedere Larghezza di banda di rete delle macchine virtuali
I limiti superiori non sono garantiti. I limiti offrono indicazioni per la selezione del tipo di macchina virtuale appropriato per l'applicazione desiderata. Le prestazioni di rete effettive dipenderanno da svariati fattori, tra cui congestione della rete, carichi dell'applicazione e impostazioni di rete. Per informazioni sull'ottimizzazione della velocità effettiva della rete, vedere Ottimizzare la velocità effettiva di rete per macchine virtuali di Azure.
Per realizzare le prestazioni di rete previste in Linux o Windows, potrebbe essere necessario selezionare una versione specifica o ottimizzare la macchina virtuale. Per altre informazioni, vedere Test di larghezza di banda/velocità effettiva (NTTTCP).
Informazioni sull'acceleratore (GPU, FPGA e così via) per ogni dimensione
Nome dimensione
Acceleratori (Qtà)
Memoria dell'acceleratore (GB)
Standard_ND96isr_H100_v5
8
640
Altre informazioni sulle dimensioni
Elenco di tutte le dimensioni disponibili: Dimensioni