Overview

AI Runtime è un servizio di calcolo serverless con GPU su Azure Databricks per carichi di lavoro di deep learning. Questa pagina spiega come funziona, esempi di casi d'uso, hardware, caratteristiche chiave e limitazioni.

Come funziona il runtime AI

AI Runtime ti permette di addestrare e affinare modelli su Azure Databricks senza gestire l'infrastruttura GPU. Porti il tuo codice e Azure Databricks gestisce la capacità GPU, l'approvvigionamento e la gestione.

Ad esempio, il seguente comando invia un workload dal tuo terminale:

databricks air run --file workload.yaml --watch

Quando esegui databricks air run, AI Runtime impacchetta il codice che invii e ne orchestra l'esecuzione su calcolo GPU serverless gestito da Azure Databricks. Per provarlo, vedi AI Runtime quickstart.

Casi d'uso di esempio

Puoi usare AI Runtime per addestrare o ottimizzare molti tipi di modelli di IA. Per esempio:

• Fine-tuning degli LLM (LoRA, QLoRA, full fine-tuning). Vedi grandi modelli di linguaggio (GML).
• Visione artificiale (rilevamento oggetti, classificazione delle immagini). Vedi Visione artificiale.
• Sistemi di raccomandazione basati sul deep learning. Vedi Sistemi di raccomandazione basati su deep learning.
• ML classico accelerato con GPU e previsione di serie temporali basata sul deep learning. Vedi apprendimento automatico classico.
• Inferenza batch su larga scala. Vedi inferenza batch.
• Addestramento distribuito multi-GPU. Vedi addestramento distribuito Multi-GPU.
• Apprendimento per rinforzo. Vedi grandi modelli di linguaggio (GML).

Per tutti i tutorial su notebook e ricette della CLI Databricks, vedi esempi di runtime AI.

Hardware

Tutti gli acceleratori di runtime di intelligenza artificiale effettuano il provisioning di un singolo nodo. Il numero di GPU in tale nodo dipende dal tipo di acceleratore:

Acceleratore	GPU per nodo	Memoria GPU	Ideale per	Training distribuito
1xA10	1	24 GB	Attività ML di piccole e medie dimensioni, ad esempio modelli ML classici o il perfezionamento di modelli linguistici più piccoli	Non supportato (gpu singola)
1xH100	1	80 GB	Carichi di lavoro che richiedono più memoria GPU di quella offerta da 1xA10, ma non richiedono l'addestramento distribuito multi-GPU, come il fine-tuning di modelli linguistici di medie dimensioni	Non supportato (gpu singola)
8xH100	8	80 GB per GPU	Carichi di lavoro di intelligenza artificiale su larga scala, inclusi il training o l'ottimizzazione di modelli di grandi dimensioni o l'esecuzione di attività avanzate di Deep Learning	Supportato tramite il @distributed decorator, che utilizza tutte e otto le GPU di default

Tip

Solo 8xH100 supporta l'addestramento distribuito multi-GPU. Per carichi di lavoro con una singola GPU, scegli 1xA10 o 1xH100 in base alla memoria GPU di cui il modello ha bisogno.

Funzionalità principali

Categoria	Funzionalità
Collegati alle GPU	Databricks CLI: Invia e gestisci i carichi di lavoro GPU dal tuo terminale con configurazioni YAML. Notebook: collega un notebook a una GPU e sviluppa in modo interattivo. Addestramento distribuito nei notebook: esegui PyTorch DDP, FSDP o DeepSpeed su tutte le GPU di un nodo con il decoratore @distributed. Processi: Programmare un carico di lavoro GPU come lavoro ricorrente. IDE su SSH: Collegati dal tuo IDE o terminale a un nodo GPU. Ray: Esegui Ray Core, Ray Data, Ray Train e Ray Tune.
Sviluppo dei carichi di lavoro	Ambienti precostruiti: scegli l'ambiente Standard minimale oppure l'ambiente AI Databricks con PyTorch e Transformers preinstallati. Immagini Docker personalizzate: porta la tua immagine e caricala nel registro degli artefatti. Carica e salva dati: Esegui lo streaming dei dati dai volumi e dalle tabelle di Unity Catalog. Agenti di programmazione: Usa Genie Code e skill degli agenti per scrivere, inviare e debugare i carichi di lavoro della GPU.
Monitora e distribuisci	Tieni traccia delle esecuzioni, dei log e delle metriche: monitora esperimenti con MLflow, visualizza i log e monitora l'uso della GPU. Programma i carichi di lavoro GPU: distribuisci con Declarative Automation Bundles e crea job con più attività per GPU e CPU. Converti un workload in un bundle: trasforma un workload YAML in un job Declarative Automation Bundles. Configura le attività del bundle: Crea il pacchetto del codice, seleziona il calcolo GPU e passa la configurazione alle attività.

Requisiti

Prima di iniziare, verifica che il tuo spazio di lavoro soddisfi questi requisiti:

• Controlla la disponibilità di AI Runtime per Geo per i Geo supportati e i requisiti di elaborazione cross-Geo. La disponibilità della GPU varia a seconda dello spazio di lavoro.
• Se il tuo workspace ha abilitato il profilo di sicurezza di conformità, un amministratore dello spazio deve abilitare le anteprime AI Runtime e AI Runtime multi-node H100. Vedi Gestire le anteprime di Databricks. Per dettagli sull'abilitazione predefinita di questi spazi di lavoro, consulta il preavviso.

Limitations

Tieni a mente le seguenti limitazioni quando pianifichi un carico di lavoro AI Runtime:

• Il runtime di intelligenza artificiale supporta solo acceleratori A10 e H100.

• Il runtime di intelligenza artificiale non supporta il profilo di sicurezza della conformità per gli standard FedRAMP High o DoD IL5.
• L'aggiunta di dipendenze tramite il pannello Ambienti non è supportata per i processi pianificati del runtime di intelligenza artificiale. Installare le dipendenze tramite codice usando %pip install invece nel notebook.
• Per i processi pianificati in runtime di intelligenza artificiale, il comportamento di ripristino automatico per le versioni di pacchetti incompatibili associate al notebook non è supportato.
• I tentativi di connessione ad AI Runtime vengono interrotti dopo 15 minuti per i notebook interattivi e dopo 24 ore per i job dei notebook o i job CLI. Le sessioni di notebook connessi e i job di notebook possono durare fino a due giorni, mentre i job CLI possono durare fino a 14 giorni. Per i processi di addestramento dei modelli di lunga durata, implementa il checkpointing e riavvia il processo quando viene raggiunto il tempo di esecuzione massimo. Vedi Checkpoint con Checkpoint Distribuito (DCP).
• L'esecuzione di un lavoro programmato che utilizza un ambiente di base del workspace, incluso l'ambiente di Databricks AI, è in fase Beta. Un amministratore di workspace deve attivare il supporto per l'ambiente di base serverless in Jobs . Vedere Gestire le anteprime di Azure Databricks.
• Il runtime di intelligenza artificiale fornisce l'accesso su richiesta alle risorse GPU. Anche se ciò comporta un accesso semplice e flessibile alle GPU, potrebbero verificarsi periodi in cui la capacità è vincolata o non disponibile nell'area.
• Il runtime di intelligenza artificiale sfrutta le GPU tra aree in determinati casi durante i momenti di elevata domanda. Potrebbero esserci costi in uscita associati a tale utilizzo e la connettività di rete tra aree potrebbe essere limitata in determinati momenti.

Guides

• Perché usare AI Runtime invece del compute classico: confrontare AI Runtime con il compute classico e Databricks Runtime ML.
• Guide per AI Runtime: monitorare l'uso e i costi e risolvere gli errori comuni.
• Migra i carichi di lavoro classici delle GPU al serverless: sposta un carico di lavoro di deep learning da un cluster classico a AI Runtime.
• Migliora le prestazioni e resilienza dell'addestramento su AI Runtime: Accelera l'addestramento e rendi i lavori di lunga durata resilienti ai guasti.