Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Slurm è uno dei gestori di carichi di lavoro open source più diffusi e ampiamente usati per intelligenza artificiale, HPC e cloud computing. Con Slurm è possibile eseguire applicazioni parallele e distribuite su larga scala in un set di nodi di calcolo. Offre funzionalità come la pianificazione dei processi, la gestione delle risorse, la tolleranza di errore e il risparmio energia. Molti dei migliori supercomputer al mondo, istituti di ricerca, università e aziende usano Slurm.
Tuttavia, la configurazione e la gestione dei cluster Slurm nel cloud possono richiedere molto tempo, soprattutto se non si ha familiarità con l'ambiente cloud o la configurazione Slurm. È necessario gestire attività come il provisioning e il ridimensionamento dei nodi di calcolo, l'installazione e l'aggiornamento del software Slurm, la configurazione di rete e archiviazione, il monitoraggio dell'integrità e delle prestazioni del cluster e la risoluzione dei problemi. Queste attività possono distrarre l'utente dalla ricerca principale o dagli obiettivi aziendali e ridurre la produttività e l'efficienza dei carichi di lavoro di intelligenza artificiale e HPC.
L'area di lavoro azure CycleCloud per Slurm è un modello di soluzione di Azure Marketplace che è possibile usare per creare, configurare e distribuire cluster Slurm predefiniti con CycleCloud in Azure. Non serve una conoscenza pregressa di Azure o Slurm per distribuire il template, ma gestire e personalizzare l'ambiente richiede queste competenze. La soluzione preconfigura i cluster Slurm con PMix v4, Pyxis e enroot per supportare lavori Slurm di intelligenza artificiale/HPC containerizzati. Puoi accedere al nodo di accesso provisionato usando SSH o Visual Studio Code per svolgere compiti comuni come l'invio e la gestione di job Slurm.
Anche se Azure CycleCloud consente già di eseguire alcune di queste attività, non distribuisce automaticamente l'infrastruttura di intelligenza artificiale/HPC. È necessario gestire attività come l'installazione e la configurazione di CycleCloud, la configurazione della rete e dell'archiviazione e la creazione e la configurazione del cluster Slurm. L'area di lavoro Azure CycleCloud per Slurm esegue queste attività in un modello di soluzione Marketplace che è possibile distribuire direttamente dal portale di Azure o tramite l'interfaccia della riga di comando di Azure. Sei pronto in pochi minuti e non giorni o settimane.
Scegli un'opzione di orchestrazione Azure
Scegli un'opzione basata sull'esperienza del scheduler e sul livello di controllo infrastrutturale di cui il tuo team ha bisogno:
| Option | Soluzione ottimale | Modello operativo |
|---|---|---|
| Area di lavoro azure CycleCloud per Slurm | Team che desiderano un ambiente Slurm pronto a implementare per carichi di lavoro HPC o AI | Una soluzione Marketplace implementa componenti CycleCloud, Slurm, networking, storage e access nel tuo abbonamento Azure. |
| Azure CycleCloud | Ambienti HPC che richiedono uno scheduler diverso da Slurm, una topologia di cluster personalizzata o un allineamento stretto con i flussi di lavoro on-premises esistenti | Installi CycleCloud e configuri lo scheduler, il cluster, la rete e lo storage. CycleCloud fornisce e scala automaticamente l'infrastruttura Azure. |
| Azure Batch | Carichi di lavoro paralleli e ad alta velocità che non richiedono di utilizzare software di pianificazione | Azure fornisce la programmazione come servizio. Costruisci con API e strumenti Batch mentre Batch gestisce pool, nodi, job e task. |
Usa il tuo ambiente attuale come fattore decisivo:
| Punto di partenza | Preferire | Perché |
|---|---|---|
| Vuoi Slurm e l'architettura predefinita di rete, storage, accesso e cluster soddisfa le tue esigenze. | area di lavoro Azure CycleCloud per Slurm | La soluzione Marketplace accorcia il percorso verso un ambiente Slurm funzionante mantenendo le risorse nel tuo abbonamento. |
| Serve uno scheduler diverso da Slurm oppure devi personalizzare topologia, policy scheduler o infrastruttura oltre la progettazione della soluzione. | Azure CycleCloud | CycleCloud fornisce il controllo sulla configurazione dello scheduler e del cluster. |
| La tua applicazione può utilizzare pool, job e task e non richiede compatibilità con scheduler. | Azure Batch | Batch fornisce la programmazione come servizio ed elimina la necessità di utilizzare Slurm. |
Non scegliere Workspace per Slurm se ti aspetti un servizio di piattaforma gestita. Il tuo team possiede ancora le risorse Azure distribuite, la configurazione di Slurm, la sicurezza, il monitoraggio, gli aggiornamenti e le operazioni di carico di lavoro. Scegli un CycleCloud personalizzato quando l'architettura predefinita non soddisfa una topologia o integrazione richiesta.
Prima dell'implementazione in produzione, annota perché Workspace for Slurm si adatta, quali alternative hai rifiutato, se il deployment è greenfield o riutilizza risorse esistenti, il design di rete e identità, il benchmark di storage, la quota e capacità regionale delle VM, l'approccio di recupero, il responsabile delle operazioni e il tempo e costo per ogni lavoro rappresentativo. Inizia con la pianificazione delle missioni. Per un cluster personalizzato di CycleCloud, consulta Pianifica e dimensiona cluster HPC.
Vantaggi dell'area di lavoro Azure CycleCloud per Slurm
Azure CycleCloud è una soluzione ideale quando si vuole creare un ambiente di intelligenza artificiale/HPC in Azure, per trasferire in modalità lift-and-shift alcuni dei carichi di lavoro di intelligenza artificiale/HPC locali o per crearne uno nuovo. Tuttavia, la creazione di un ambiente di intelligenza artificiale/HPC end-to-end completo non è un'attività semplice. È necessario decidere come progettare la rete, quale componente di archiviazione usare come file system condiviso, quale tipo di macchina virtuale usare per l'esecuzione del carico di lavoro e molte piccole operazioni che possono rendere il progetto complesso da distribuire.
L'area di lavoro Azure CycleCloud per Slurm offre diversi vantaggi per gli utenti che vogliono eseguire carichi di lavoro Slurm in Azure, ad esempio:
Creazione di cluster semplice e veloce: è possibile creare cluster Slurm in Azure in pochi minuti seguendo alcuni semplici passaggi nell'interfaccia utente grafica. Questo processo è più veloce di giorni o settimane di lavoro in passato senza l'area di lavoro Azure CycleCloud per Slurm. È possibile scegliere tra diverse dimensioni e tipi di macchine virtuali di Azure. È possibile personalizzare le impostazioni del cluster, ad esempio il numero di nodi, la configurazione di rete, le opzioni di archiviazione da Azure NetApp Files al file system lustre gestito di Azure e i parametri Slurm.
Gestione flessibile e dinamica dei cluster: Azure CycleCloud aumenta o riduce i cluster Slurm. È possibile monitorare lo stato, le prestazioni e l'utilizzo del cluster. È possibile visualizzare i log e le metriche del cluster nell'interfaccia utente grafica. È anche possibile eliminare i cluster Slurm quando non sono più necessari e pagare solo le risorse usate.
Come si crea un'area di lavoro di Azure CycleCloud per Slurm?
È possibile distribuire un'area di lavoro di Azure CycleCloud per Slurm da Azure Marketplace o usando l'interfaccia della riga di comando di Azure. Per eseguire la distribuzione dal Marketplace, cercare Slurm e quindi selezionare Crea. Per eseguire la distribuzione usando l'interfaccia della riga di comando di Azure, è prima necessario creare un file di parametri di input e quindi distribuirlo usando il az deployment sub create comando . Per istruzioni dettagliate, vedere Come distribuire un ambiente dell'area di lavoro CycleCloud Slurm usando l'interfaccia della riga di comando.
Quale area di lavoro Azure CycleCloud per Slurm non lo è?
L'area di lavoro di Azure CycleCloud per Slurm non è un servizio PaaS. L'intera infrastruttura viene distribuita nel tenant, che consente di distribuire tutti gli elementi (distribuzione greenfield) o specificare risorse esistenti da riutilizzare (distribuzione brownfield), ad esempio il gruppo di risorse di destinazione, la rete virtuale, Azure NetApp Files e altro ancora.
Come appare uno spazio di lavoro di Azure CycleCloud per un ambiente distribuito Slurm
Ecco l'architettura tipica delle distribuzioni dell'area di lavoro Azure CycleCloud per Slurm. L'architettura include risorse obbligatorie come una macchina virtuale per l'esecuzione di CycleCloud, un file system condiviso per le home directory degli utenti e un account di archiviazione per l'archiviazione dei progetti CycleCloud.
L'area di lavoro Azure CycleCloud per Slurm può distribuire la rete virtuale oppure è possibile usare una rete virtuale esistente per la creazione di risorse. Facoltativamente, è possibile creare un File System Lustre gestito di Azure all'interno della propria subnet.
Se le regole di sicurezza aziendali non consentono indirizzi IP pubblici (e molti no), è possibile creare un peering di rete virtuale a una rete virtuale esistente in un modello hub-spoke. L'hub contiene tutti i servizi di connettività, ad esempio un gateway di rete virtuale o Azure Bastion.
Infine, in un ambiente senza ip pubblico e senza VPN, è necessario un bastion. Bastion consente di accedere in modo sicuro al portale Web CycleCloud e di usare SSH per connettersi ai nodi di autenticazione.