Come funziona Azure HPC
- 10 minuti
Esistono quattro componenti principali per il sistema HPC: calcolo, archiviazione, rete e visualizzazione.
Calcolo
Le risorse HPC (High-performance computing) sono offerte su scala quasi illimitata in Azure. È possibile usare le diverse serie H, serie N e Cray per le applicazioni di memoria, grafica e gestita.
- Macchine virtuali serie H: Per le applicazioni associate alla memoria. HBv5 è ottimizzato in modo specifico per applicazioni HPC a elevato utilizzo di larghezza di banda della memoria, ad esempio fluidità computazionale, simulazione automobilistica e aerospaziale, modellazione meteo, ricerca energetica, dinamica molecolare, ingegneria assistita da computer e altro ancora. Le funzionalità includono un numero elevato di core, una memoria abbondante, una larghezza di banda avanzata e una connettività all'avanguardia.
- Macchine virtuali serie N: Per applicazioni basate su CUDA/OpenCL con utilizzo intensivo di elementi grafici.
- Cray: Per un supercomputer completamente dedicato e personalizzato fornito come servizio gestito.
Archiviazione
L'archiviazione cloud altamente sicura è disponibile per i clienti su larga scala. Consente alle applicazioni HPC di usarlo in modo efficiente, personalizzandolo con Lustre gestito di Azure, Azure NetApp Files o Cray ClusterStor.
- Lustre gestito di Azure: Ideale per carichi di lavoro HPC che richiedono velocità effettiva elevata e bassa latenza, rendendola adatta alle applicazioni che elaborano rapidamente set di dati di grandi dimensioni.
- Azure NetApp Files: Accedere a grandi quantità di I/O con una latenza submilliseconda distribuita come servizio di Azure in modo nativo all'interno di un data center di Azure.
- Cray ClusterStor: soluzione di archiviazione HPC bare metal basata su Lustre completamente integrata con Azure per un'archiviazione ad alto throughput.
Rete
Azure consente di creare reti virtuali private nel cloud, semplificando l'architettura di rete e proteggendo la connessione tra gli endpoint disabilitando l'esposizione dei dati alla rete Internet pubblica.
- Stabilire tunnel privati e sicuri per la connettività cloud ibrida con Azure ExpressRoute.
- Sfruttare i vantaggi dell'accesso diretto a memoria remota (RDMA) Linux con InfiniBand per i carichi di lavoro MPI (Message Passing Interface) all'interno del data center. Le macchine virtuali serie HB e serie N abilitate per InfiniBand sono progettate per offrire le migliori prestazioni in termini di HPC, scalabilità MPI (Message Passing Interface) ed economicità per i carichi di lavoro HPC. Le macchine virtuali serie HB e serie N compatibili con RDMA comunicano tramite la rete InfiniBand a bassa latenza e larghezza di banda elevata.
Visualizzazione
Eseguire carichi di lavoro di visualizzazione con HPC e macchine virtuali di Azure che migliorano la produttività, riducono i costi e offrono distribuzioni flessibili.
- Macchine virtuali serie NV di Azure: Basato su GPU, visualizzare i dati di simulazione ed eseguire scenari di streaming, giochi, codifica e VDI.
- Macchine virtuali serie NVv3: Per le applicazioni grafiche con accelerazione GPU più estreme, ad esempio la modellazione CAD 3D, il rendering 3D e la visualizzazione scientifica. Le macchine virtuali NVv3 supportano l'archiviazione Premium e offrono una quantità di memoria di sistema (RAM) pari al doppio delle macchine virtuali NV precedenti.
Mappatura dei prodotti Azure di macchine virtuali e di archiviazione ai componenti di un sistema HPC
Macchine virtuali con bassa latenza (SKU HPC)
Le macchine virtuali serie H e serie N seguenti supportano l'accesso diretto a memoria remota (RDMA) e possono comunicare tramite la rete InfiniBand a bassa latenza e larghezza di banda elevata. La funzionalità RDMA su un'interconnessione di questo tipo è fondamentale per migliorare la scalabilità e le prestazioni dei carichi di lavoro HPC e di intelligenza artificiale su nodi distribuiti.
Macchine virtuali con acceleratori
| CPU | GP-GPU | VISUALIZZAZIONE |
|---|---|---|
| Le macchine virtuali della serie HB sono ottimizzate per applicazioni a utilizzo elevato di memoria, ad esempio per fluidodinamica, analisi esplicita degli elementi finiti e modellazione meteorologica. Le macchine virtuali della serie HC sono ottimizzate per applicazioni a elevato utilizzo di calcolo, come dinamica molecolare, analisi implicita degli elementi finiti e chimica computazionale. |
Le macchine virtuali della serie NC sono basate sulla scheda NVIDIA Tesla K80 e sul processore Intel Xeon E5-2690 v3 (Haswell). Gli utenti possono elaborare i dati più velocemente sfruttando i core CUDA per applicazioni di esplorazione energetica, simulazioni di impatto, rendering con ray tracing, apprendimento approfondito e altro ancora. Serie ND Le macchine virtuali sono una nuova aggiunta alla famiglia GPU progettata per i carichi di lavoro di intelligenza artificiale e deep learning. Questa serie offre una configurazione con latenza bassa secondaria, rete con velocità effettiva elevata tramite RDMA e connettività InfiniBand, che consente di eseguire processi di training su vasta scala per molte GPU. |
Le macchine virtuali della serie NV sono progettate per applicazioni desktop accelerate e desktop virtuali in cui i clienti possono visualizzare dati o simulazioni. Questa serie consente agli utenti di visualizzare i flussi di lavoro a elevato utilizzo di grafica nelle istanze NV per ottenere una funzionalità grafica di livello superiore ed eseguire anche singoli carichi di lavoro di precisione, come la codifica e il rendering. |
Soluzioni di archiviazione di Azure
Blob Storage di Azure
Offre uno spazio di archiviazione per oggetti altamente scalabile e sicuro per carichi di lavoro cloud-native, archivi, data lake, calcolo ad alte prestazioni e apprendimento automatico. È scalabile e ottimizzato per data lake con gestione completa dei dati.
Le funzionalità di progettazione chiave includono quanto segue:
- Invio di immagini o documenti direttamente in un browser.
- Archiviazione di file per l'accesso distribuito.
- Streaming di audio e video.
- Scrittura nei file di log.
- Archiviazione di dati per backup e ripristino, ripristino di emergenza e archiviazione.
- Archiviazione di dati a scopo di analisi da parte di un servizio locale o ospitato in Azure.
Azure NetApp Files
Consente ai professionisti dei sistemi di archiviazione e line-of-business aziendali di semplificare la migrazione e l'esecuzione di applicazioni basate su file complesse senza modifiche al codice. Viene usato come servizio di archiviazione file condiviso sottostante in diversi scenari, ad esempio la migrazione in modalità lift-and-shift delle applicazioni Linux e Windows conformi a POSIX, applicazioni SAP HANA, database e applicazioni Web aziendali.
I vantaggi principali includono:
- Disponibilità del 99,99%, prestazioni elevate, sicurezza.
- Servizio PaaS: facile da usare e gestire.
- Aumento/riduzione delle dimensioni online e/o dei livelli di servizio online.
- Protezione dei dati tramite la replica tra aree.
- Funzionalità avanzate di gestione dei dati aziendali.
File di Azure
File di Azure offre condivisioni file completamente gestite nel cloud, accessibili tramite il protocollo SMB (Server Message Block) o il protocollo NFS (Network File System) standard di settore.
Le funzionalità di progettazione chiave includono quanto segue:
- Possono essere montate simultaneamente in distribuzioni cloud o locali.
- Le condivisioni file SMB di File di Azure sono accessibili da client Windows, Linux e macOS.
- Le condivisioni file NFS di File di Azure sono accessibili da client Linux o macOS.
- Le condivisioni file SMB di File di Azure possono anche essere memorizzate nella cache in Windows Server con Sincronizzazione file di Azure per l'accesso rapido in prossimità della posizione in cui vengono usati i dati.
Utile per:
- Sostituzione o integrazione di file server locali.
- Applicazioni "lift-and-shift".
- Semplificazione dello sviluppo per il cloud.
- Containerizzazione.
I vantaggi principali includono:
- Accesso condiviso
- Completamente gestita
- Script e strumenti
- Resilienza
- Programmabilità nota
Lustre gestito di Azure
Il servizio Lustre gestito di Azure offre la possibilità di creare rapidamente un file system Lustre basato su Azure per processi di elaborazione ad alte prestazioni basati sul cloud. Si tratta di un file system parallelo completamente gestito più adatto per carichi di lavoro HPC di medie e grandi dimensioni. Consente l'esecuzione delle applicazioni HPC nel cloud senza interrompere la compatibilità delle applicazioni, fornendo funzionalità familiari del file system parallelo Lustre, conservando i comportamenti e le prestazioni, e proteggendo gli investimenti nelle applicazioni a lungo termine.
Ideale da usare per carichi di lavoro HPC che richiedono velocità effettiva elevata e bassa latenza, rendendolo adatto alle applicazioni che elaborano rapidamente set di dati di grandi dimensioni.
I vantaggi principali includono:
- Capacità di archiviazione elevata fino a 12.5 PiB su richiesta.
- Latenza bassa (~2 ms).
- Fino a 1 milione di operazioni di I/O al secondo e fino a 500 GiB/s di velocità effettiva.
- Avviare nuovi cluster in pochi minuti.
- Supporta i carichi di lavoro containerizzati con Azure Kubernetes Service (AKS).
- Si integra con Archiviazione BLOB di Azure come origine per l'importazione e l'esportazione dei dati per l'archiviazione a lungo termine.
File system basati su macchine virtuali
NAS con VM singola
L'archiviazione NAS (Network Attached Storage) basata sul cloud consente di soddisfare le esigenze di archiviazione nel cloud usando gli stessi costrutti di un sistema NAS locale. Offre alle organizzazioni risorse di archiviazione con prestazioni elevate rispetto al nas locale, con la possibilità di ridimensionare nel cloud e tutto senza dover apportare modifiche importanti alle interfacce e ai processi dell'applicazione esistenti.
La soluzione NAS è un'appliance di archiviazione centralizzata che consente alle applicazioni e ai servizi di accedere ai dati da una posizione centralizzata nella rete. La soluzione NAS virtuale è la versione virtuale dell'appliance dei sistemi NAS che può essere eseguita su piattaforme di virtualizzazione come VMware, Hyper-V e così via.
I vantaggi principali includono:
- I dispositivi di rete che accedono all'archiviazione NAS virtuale possono continuare a farlo usando gli stessi protocolli senza alcuna riconfigurazione.
- La gestione della capacità risulta inoltre semplificata perché qualsiasi risorsa di archiviazione necessaria può essere allocata dal livello di virtualizzazione sottostante.
File system paralleli a più nodi
I file system paralleli distribuiscono l'archiviazione a livello di blocco tra più nodi di archiviazione in rete. I dati dei file vengono distribuiti tra questi nodi, ovvero tra più dispositivi di archiviazione. Raggruppa le richieste singole di I/O di archiviazione tra più nodi di archiviazione accessibili tramite uno spazio dei nomi comune.
Vengono usati più dispositivi di archiviazione e più percorsi per i dati per fornire un elevato grado di parallelismo, al fine di ridurre i colli di bottiglia imposti dall'accesso solo a un singolo nodo alla volta. I file system paralleli sono suddivisi in due parti principali:
- Servizi di metadati: Archiviare i metadati dello spazio dei nomi, ad esempio nomi file, directory, autorizzazioni di accesso e layout di file. In base al file system parallelo, i servizi di metadati vengono forniti come parte integrata di una distribuzione complessiva dei nodi di archiviazione o tramite un cluster di server separato.
- Archiviazione oggetti: L'archiviazione oggetti contiene dati di file effettivi. I client estraggono il percorso dei file e delle directory dai servizi di metadati, quindi accedono direttamente all'archiviazione file.
I vantaggi dell'archiviazione distribuita e delle prestazioni di I/O superiori rendono i file system paralleli preferibili a NFS nella maggior parte degli scenari HPC, in particolare quando si tratta di spazio di archiviazione di lavoro condiviso.
Cray ClusterStor
Cray ClusterStor nel sistema di archiviazione di Azure è una soluzione di archiviazione a capacità e velocità effettiva elevate per accelerare le simulazioni HPC. Si tratta di un'appliance bare metal completamente integrata nell'infrastruttura di Azure e accessibile da una vasta selezione di altri servizi di Azure. Cray ClusterStor in Azure offre un ambiente HPC basato su Lustre, a singolo tenant, bare metal e completamente gestito in Microsoft Azure.
I vantaggi principali includono:
- Può essere usato con i supercomputer della serie Cray XC e CS e ora supporta anche l'elaborazione dei dati dei processi HPC eseguiti in macchine virtuali serie H da Azure.
- È possibile spostare i dati all'interno di Azure dall'area a prestazioni elevate all'archiviazione BLOB di Azure ad accesso frequente e all'archiviazione di livello archivio ad accesso sporadico.
- Accedi a prestazioni e capacità elevate durante la simulazione. Spostare i dati post-simulazione in una soluzione di archiviazione cloud ridondante e meno costosa, per essere facilmente distribuita o resa disponibile per la simulazione successiva.
- Offre velocità effettiva in GB/sec triplicata per server di archiviazione oggetti (OSS) Lustre rispetto all'offerta Lustre attualmente disponibile.