Guida alla migrazione per carichi di lavoro di calcolo GPU in Azure

Man mano che le GPU diventano disponibili nel marketplace e nei data center di Microsoft Azure, è consigliabile rivalutare le prestazioni dei carichi di lavoro e prendere in considerazione la migrazione a GPU più recenti.

Per lo stesso motivo, nonché per mantenere un'offerta di servizio affidabile e di alta qualità, Azure ritira periodicamente l'hardware che supporta le dimensioni precedenti delle macchine virtuali. Il primo gruppo di prodotti GPU da ritirare in Azure è costituito rispettivamente dagli acceleratori GPU NC, NC v2 e ND, basati rispettivamente su NVIDIA Tesla K80, P100 e P40 datacenter GPU acceleratori. Questi prodotti verranno ritirati il 31 agosto 2023 e le macchine virtuali meno recenti di questa serie lanciate nel 2016.

Da allora, le GPU hanno fatto progressi incredibili insieme all'intero settore dell'apprendimento avanzato e HPC, in genere superando un raddoppio delle prestazioni tra generazioni. Dall'avvio di GPU NVIDIA K80, P40 e P100, Azure ha fornito più generazioni e categorie di prodotti di macchine virtuali con accelerazione GPU e intelligenza artificiale, basati sulle GPU T4, V100 e A100 e differenziate da funzionalità facoltative come le infrastrutture di interconnessione basate su InfiniBand. Queste sono tutte le opzioni che invitiamo i clienti a esplorare come percorsi di migrazione.

Nella maggior parte dei casi, l'aumento significativo delle prestazioni offerte dalle nuove generazioni di GPU riduce il costo totale di proprietà riducendo la durata del processo, per i processi con burst o riducendo la quantità di macchine virtuali abilitate per GPU complessive necessarie per coprire una richiesta di risorse di calcolo di dimensioni fisse, anche se i costi per ora gpu possono variare. Oltre a questi vantaggi, i clienti possono migliorare la soluzione time-to-solution tramite macchine virtuali con prestazioni più elevate e migliorare l'integrità e il supporto della propria soluzione adottando versioni più recenti di software, runtime CUDA e driver.

Migrazione e ottimizzazione

Azure riconosce che i clienti hanno una vasta gamma di requisiti che possono determinare la selezione di un prodotto di macchina virtuale GPU specifico, tra cui considerazioni sull'architettura della GPU, interconnessioni, TCO, tempo alla soluzione e disponibilità a livello di area in base ai requisiti di conformità o latenza, e alcuni di questi cambiano anche nel tempo.

Allo stesso tempo, l'accelerazione GPU è un'area nuova e in rapida evoluzione.

Di conseguenza, non esiste una vera guida adatta a tutte le dimensioni per questa area di prodotto e una migrazione è un momento perfetto per rivalutare le modifiche potenzialmente drammatiche a un carico di lavoro, ad esempio passando da un modello di distribuzione cluster a una singola macchina virtuale a 8 GPU di grandi dimensioni o viceversa, sfruttando tipi di dati di precisione ridotti, adottando funzionalità come GPU a istanze multipla e molto altro ancora.

Questi tipi di considerazioni, quando si rende conto del contesto di prestazioni GPU già drammatiche per generazione, in cui una funzionalità come l'aggiunta di TensorCore può aumentare le prestazioni di un ordine di grandezza, sono estremamente specifiche del carico di lavoro.

La combinazione della migrazione con la ri-architettura delle applicazioni può produrre un valore e un miglioramento immenso in termini di costi e tempi di soluzione.

Tuttavia, questi tipi di miglioramenti esulano dall'ambito di questo documento, che mira a concentrarsi sulle classi equivalenti dirette per i carichi di lavoro generalizzati che possono essere eseguiti oggi dai clienti, per identificare le opzioni di macchine virtuali più simili in termini di prezzo e prestazioni per GPU a famiglie di macchine virtuali esistenti in fase di ritiro.

Di conseguenza, questo documento presuppone che l'utente non abbia informazioni dettagliate o controlli sulle proprietà specifiche del carico di lavoro, ad esempio il numero di istanze di vm necessarie, GPU, interconnessioni e altro ancora.

NC-Series macchine virtuali con GPU NVIDIA K80

Le macchine virtuali serie NC (v1)-Series sono il tipo di macchina virtuale con accelerazione GPU meno recente di Azure, alimentato da 1 a 4 acceleratori GPU NVIDIA Tesla K80 abbinati ai processori Intel Xeon E5-2690 v3 (Haswell). Una volta che un tipo di MACCHINA virtuale di punta per le applicazioni di intelligenza artificiale, MACHINE Learning e HPC è rimasta una scelta popolare in ritardo nel ciclo di vita del prodotto (in particolare tramite i prezzi promozionali della serie NC) per gli utenti che hanno apprezzato un costo assoluto molto basso per gpu su GPU con una velocità effettiva maggiore per dollaro.

Oggi, dato che le prestazioni di calcolo relativamente basse della piattaforma GPU NVIDIA K80 obsoleta, rispetto alla serie di macchine virtuali con GPU più recenti, un caso d'uso comune per la serie NC è l'inferenza in tempo reale e i carichi di lavoro di analisi, in cui una macchina virtuale accelerata deve essere disponibile in uno stato stabile per gestire le richieste dalle applicazioni non appena arrivano. In questi casi il volume o le dimensioni batch delle richieste potrebbero non essere sufficienti per trarre vantaggio da GPU più efficienti. Le macchine virtuali NC sono anche popolari per sviluppatori e studenti che imparano, sviluppano o sperimentano l'accelerazione GPU, che necessitano di una destinazione di distribuzione CUDA basata sul cloud poco conveniente su cui eseguire l'iterazione che non deve eseguire ai livelli di produzione.

In generale, NC-Series i clienti devono prendere in considerazione lo spostamento direttamente dalle dimensioni NC alle dimensioni NC T4 v3 , la nuova piattaforma con accelerazione GPU di Azure per carichi di lavoro leggeri basati su GPU NVIDIA Tesla T4, anche se altri SKU di VM devono essere considerati per i carichi di lavoro in esecuzione nelle dimensioni NDm A100 v4 abilitate per InfiniBand.

Dimensioni correnti della macchina virtuale Dimensioni macchina virtuale di destinazione Differenza nella specifica
Standard_NC6
Standard_NC6_Promo
Standard_NC4as_T4_v3
oppure
Standard_NC8as_T4
CPU: Intel Haswell e AMD Rome
Conteggio GPU: 1 (stesso)
Generazione GPU: NVIDIA Keppler e Turing (+2 generazioni, ~2x FP32 FLOP)
Memoria GPU (GiB per GPU): 16 (+4)
vCPU: 4 (-2) o 8 (+2)
GiB memoria: 16 (-40) o 56 (stesso)
Archiviazione temporanea (SSD) GiB: 180 (-160) o 360 (+20)
Numero massimo di dischi dati: 8 (-4) o 16 (+4)
Rete accelerata: Sì (+)
Archiviazione Premium: Sì (+)
Standard_NC12
Standard_NC12_Promo
Standard_NC16as_T4_v3 CPU: Intel Haswell e AMD Rome
Conteggio GPU: 1 (-1)
Generazione GPU: NVIDIA Keppler e Turing (+2 generazioni, ~2x FP32 FLOP)
Memoria GPU (GiB per GPU): 16 (+4)
vCPU: 16 (+4)
GiB memoria: 110 (-2)
GiB di archiviazione temporanea (SSD): 360 (-320)
Numero massimo di dischi dati: 48 (+16)
Rete accelerata: Sì (+)
Archiviazione Premium: Sì (+)
Standard_NC24
Standard_NC24_Promo
Standard_NC64as_T4_v3* CPU: Intel Haswell e AMD Rome
Conteggio GPU: 4 (stesso)
Generazione GPU: NVIDIA Keppler e Turing (+2 generazioni, ~2x FP32 FLOP)
Memoria GPU (GiB per GPU): 16 (+4)
vCPU: 64 (+40)
GiB memoria: 440 (+216)
Archiviazione temporanea (SSD) GiB: 2880 (+1440)
Numero massimo di dischi dati: 32 (-32)
Rete accelerata: Sì (+)
Archiviazione Premium: Sì (+)
Standard_NC24r
Standard_NC24r_Promo

(Dimensioni abilitate per clustering InfiniBand)
Standard_ND96amsr_A100_v4 CPU: Intel Haswell e AMD Rome
Numero GPU: 8 (+4)
Generazione GPU: NVIDIA Keppler e Ampere (+3 generazioni)
Memoria GPU (GiB per GPU): 80 (+72)
vCPU: 96 (+72)
GiB:1900 memoria (+1676)
Archiviazione temporanea (SSD) GiB: 6400 (+4960)
Numero massimo di dischi dati: 32 (stesso)
Rete accelerata: Sì (+)
Archiviazione Premium: Sì (+)
Interconnessione InfiniBand: Sì

ND-Series macchine virtuali con GPU NVIDIA Tesla P40

Le macchine virtuali serie ND sono una piattaforma midrange originariamente progettata per i carichi di lavoro di intelligenza artificiale e Deep Learning. Offrono prestazioni eccellenti per l'inferenza batch tramite operazioni a virgola mobile a precisione singola migliorate rispetto ai predecessori e sono basate su GPU NVIDIA Tesla P40 e Intel Xeon E5-2690 v4 (Broadwell). Analogamente alla serie NC e NC v2, il ND-Series offre una configurazione con una rete secondaria a bassa latenza, velocità effettiva elevata tramite RDMA e connettività InfiniBand in modo da poter eseguire processi di training su larga scala che si estendono su più GPU.

Dimensioni correnti della macchina virtuale Dimensioni macchina virtuale di destinazione Differenza nella specifica
Standard_ND6 Standard_NC4as_T4_v3
oppure
Standard_NC8as_T4_v3
CPU: Intel Broadwell e AMD Rome
Conteggio GPU: 1 (stesso)
Generazione della GPU: NVIDIA Pascal e Turing (+1 generazione)
Memoria GPU (GiB per GPU): 16 (-8)
vCPU: 4 (-2) o 8 (+2)
GiB memoria: 16 (-40) o 56 (-56)
Archiviazione temporanea (SSD) GiB: 180 (-552) o 360 (-372)
Numero massimo di dischi dati: 8 (-4) o 16 (+4)
Rete accelerata: Sì (+)
Archiviazione Premium: Sì (+)
Standard_ND12 Standard_NC16as_T4_v3 CPU: Intel Broadwell e AMD Rome
Numero GPU: 1 (-1)
Generazione della GPU: NVIDIA Pascal e Turing (+1 generazioni)
Memoria GPU (GiB per GPU): 16 (-8)
vCPU: 16 (+4)
GiB memoria: 110 (-114)
Archiviazione temporanea (SSD) GiB: 360 (-1.114)
Numero massimo di dischi dati: 48 (+16)
Rete accelerata: Sì (+)
Archiviazione Premium: Sì (+)
Standard_ND24 Standard_NC64as_T4_v3* CPU: Intel Broadwell e AMD Rome
Numero GPU: 4 (stesso)
Generazione della GPU: NVIDIA Pascal e Turing (+1 generazioni)
Memoria GPU (GiB per GPU): 16 (-8)
vCPU: 64 (+40)
GiB memoria: 440 (stesso)
GiB di Archiviazione temporanea (SSD): 2880 (stesso)
Numero massimo di dischi dati: 32 (stesso)
Rete accelerata: Sì (+)
Archiviazione Premium: Sì (+)
Standard_ND24r Standard_ND96amsr_A100_v4 CPU: Intel Broadwell e AMD Rome
Numero GPU: 8 (+4)
Generazione gpu: NVIDIA Pascal vs. Ampere (+2 generazione)
Memoria GPU (GiB per GPU): 80 (+56)
vCPU: 96 (+72)
GiB memoria: 1900 (+1452)
Archiviazione temporanea (SSD) GiB: 6400 (+3452)
Numero massimo di dischi dati: 32 (stesso)
Rete accelerata: Sì (+)
Archiviazione Premium: Sì (+)
Interconnessione InfiniBand: Sì (Stesso)

Macchine virtuali nc v2 serie con GPU NVIDIA Tesla P100

Le macchine virtuali della serie NC v2 sono una piattaforma di punta progettata originariamente per i carichi di lavoro di intelligenza artificiale e Deep Learning. Hanno offerto prestazioni eccellenti per il training di Deep Learning, con prestazioni per GPU approssimativamente 2x che della NC-Series originale e sono basate su GPU NVIDIA Tesla P100 e Intel Xeon E5-2690 v4 (Broadwell). Come la serie NC e ND, la serie NC v2 offre una configurazione con una rete secondaria a bassa latenza, velocità effettiva elevata tramite RDMA e connettività InfiniBand in modo da poter eseguire processi di training su larga scala che si estendono su molte GPU.

In generale, NCv2-Series i clienti devono prendere in considerazione lo spostamento direttamente tra le dimensioni di NC A100 v4 , la nuova piattaforma con accelerazione GPU di Azure basata su GPU NVIDIA Ampere A100 PCIe, anche se è necessario considerare altri SKU di VM in esecuzione in NDm A100 v4 abilitati per infiniBand.

Dimensioni della macchina virtuale correnti Dimensioni della macchina virtuale di destinazione Differenza nella specifica
Standard_NC6s_v2 Standard_NC24ads_A100_v4 CPU: Intel Broadwell e AMD Milano
Numero GPU: 1 (stesso)
Generazione gpu: NVIDIA Pascal vs. Ampere (+2 generazione)
Memoria GPU (GiB per GPU): 80 (+64)
vCPU: 24 (+18)
GiB memoria: 220 (+108)
Archiviazione temporanea (SSD) GiB: 1123 (+387)
Numero massimo di dischi dati: 12 (stesso)
Rete accelerata: Sì (+)
Archiviazione Premium: Sì (+)
Standard_NC12s_v2 Standard_NC48ads_A100_v4 CPU: Intel Broadwell e AMD Milano
Numero GPU: 2 (stesso)
Generazione gpu: NVIDIA Pascal vs. Ampere (+2 generazioni)
Memoria GPU (GiB per GPU): 80 (+64)
vCPU: 48 (+36)
GiB memoria: 440 (+216)
Archiviazione temporanea (SSD) GiB: 2246 (+772)
Numero massimo di dischi dati: 24 (stesso)
Rete accelerata: Sì (+)
Archiviazione Premium: Sì (+)
Standard_NC24s_v2 Standard_NC96ads_A100_v4 CPU: Intel Broadwell e AMD Milano
Numero GPU: 4 (stesso)
Generazione gpu: NVIDIA Pascal vs. Ampere (+2 generazioni)
Memoria GPU (GiB per GPU): 80 (+64)
vCPU: 96 (+72)
GiB memoria: 880 (+432)
Archiviazione temporanea (SSD) GiB: 4492 (+1544)
Numero massimo di dischi dati: 32 (stesso)
Rete accelerata: Sì (+)
Archiviazione Premium: Sì (+)
Standard_NC24rs_v2 Standard_ND96amsr_A100_v4 CPU: Intel Broadwell e AMD Rome
Numero GPU: 8 (+4)
Generazione gpu: NVIDIA Pascal vs. Ampere (+2 generazioni)
Memoria GPU (GiB per GPU): 80 (+64)
vCPU: 96 (+72)
GiB memoria: 1900 (stesso)
Archiviazione temporanea (SSD) GiB: 6400 (+3452)
Numero massimo di dischi dati: 32 (stesso)
Rete accelerata: Sì (+)
Archiviazione Premium: Sì (+)
Interconnessione InfiniBand: Sì (stesso)

Passaggi della migrazione

Modifiche generali

  1. Scegliere una serie e le dimensioni per la migrazione. Sfruttare il calcolatore dei prezzi per altre informazioni dettagliate.

  2. Ottenere la quota per la serie di macchine virtuali di destinazione

  3. Ridimensionare le dimensioni correnti della macchina virtuale serie N* alle dimensioni di destinazione. Questo può anche essere un buon momento per aggiornare il sistema operativo usato dall'immagine della macchina virtuale o adottare una delle immagini HPC con driver preinstallati come punto di partenza.

    Importante

    È possibile che l'immagine della macchina virtuale sia stata prodotta con una versione precedente del runtime CUDA, del driver NVIDIA e (se applicabile, solo per le dimensioni abilitate per RDMA) driver MEllanox OFED rispetto alle nuove serie di MACCHINE virtuali GPU necessarie, che possono essere aggiornate seguendo le istruzioni riportate nella documentazione di Azure.

Modifiche di rilievo

Selezionare le dimensioni di destinazione per la migrazione

Dopo aver valutato l'utilizzo corrente, decidere il tipo di macchina virtuale GPU necessaria. A seconda dei requisiti del carico di lavoro, sono disponibili alcune opzioni diverse.

Nota

Una procedura consigliata consiste nel selezionare le dimensioni di una macchina virtuale in base ai costi e alle prestazioni. Le raccomandazioni contenute in questa guida si basano su un confronto uno-a-uno per utilizzo generico delle metriche delle prestazioni e la corrispondenza più vicina in un'altra serie di macchine virtuali. Prima di decidere le dimensioni corrette, ottenere un confronto dei costi usando il Calcolatore prezzi di Azure.

Importante

Tutte le dimensioni legacy nc, NC v2 e ND-Series sono disponibili in dimensioni multi-GPU, incluse le dimensioni a 4 GPU con e senza interconnessione InfiniBand per carichi di lavoro con scalabilità orizzontale e strettamente accoppiati che richiedono una potenza di calcolo maggiore rispetto a una singola macchina virtuale a 4 GPU o una singola GPU K80, P40 o P100 possono fornire rispettivamente. Anche se le raccomandazioni precedenti offrono un percorso semplice, gli utenti di queste dimensioni dovrebbero prendere in considerazione il raggiungimento dei propri obiettivi di prestazioni con una serie di MACCHINE virtuali basate su GPU NVIDIA V100 più potente, come la serie NC v3 e la serie ND v2, che in genere consentono lo stesso livello di prestazioni del carico di lavoro a costi inferiori e con una maggiore gestibilità fornendo prestazioni notevolmente maggiori per GPU e per macchina virtuale prima che siano necessarie configurazioni multi-GPU e multinodo, Rispettivamente.

Ottenere la quota per la famiglia di macchine virtuali di destinazione

Seguire la guida per richiedere un aumento della quota di vCPU per famiglia di macchine virtuali. Selezionare le dimensioni della macchina virtuale di destinazione selezionate per la migrazione.

Ridimensionare la macchina virtuale corrente

È possibile ridimensionare la macchina virtuale.

Passaggi successivi

Per un elenco completo delle dimensioni delle macchine virtuali abilitate per GPU, vedere GPU - Panoramica del calcolo accelerato