Usa la CLI Databricks con AI Runtime

Importante

I comandi della CLI Databricks per AI Runtime sono in Anteprima Pubblica. Un amministratore di workspace deve abilitare l'anteprima AI Runtime prima di poter inviare i carichi di lavoro. Vedi requisiti.

La databricks air CLI esegue carichi di lavoro GPU a singolo nodo e multi-nodo su AI Runtime, la piattaforma di calcolo serverless per GPU on-demand. Definisci le risorse di calcolo, l'ambiente e il comando di un carico di lavoro in YAML, poi invialo con databricks air run.

AI Runtime gestisce il provisioning della GPU e la configurazione dell'ambiente e fornisce lo stato delle esecuzioni, i log, le metriche di sistema e il tracciamento MLflow. Il flusso di lavoro YAML e CLI funziona naturalmente con gli agenti di codifica, che possono definire, inviare e monitorare i carichi di lavoro.

Usa la CLI per:

  • Sviluppa e itera applicazioni Python dal tuo ambiente locale.
  • Definisci carichi di lavoro ripetibili a nodo singolo o multinodo nei file YAML che puoi controllare con il controllo della versione.
  • Invia e gestisci i carichi di lavoro da un terminale o da un flusso di lavoro di sviluppo automatizzato.

I carichi di lavoro tipici includono fine-tuning e post-addestramento LLM, addestramento distribuito, inferenza batch, applicazioni Ray e ricerca iperparametri.

Per inviare un carico di lavoro, segui il quickstart.

I comandi CLI di Databricks per AI Runtime rispettano gli stessi standard di conformità dei carichi di lavoro di AI Runtime. Per gli standard e le eccezioni supportati, vedere Profilo di sicurezza della conformità.

Note

I databricks air comandi e la configurazione del carico di lavoro differiscono dalla CLI legacy basata su air Python del pacchetto databricks-air. Vedi migrazione della CLI di Python.

Come viene eseguito un carico di lavoro

Fornisci un file YAML del workload, il codice dell'applicazione quando necessario e il comando che avvia la tua applicazione. Quando invii un carico di lavoro:

  1. La definizione del carico di lavoro viene validata rispetto ai vincoli di schema e configurazione supportati.
  2. Se code_source è configurato, il codice selezionato viene confezionato come snapshot e caricato.
  3. Le risorse di calcolo GPU e l'ambiente richiesti sono preparati su ciascun nodo.
  4. Il comando fornito nel carico di lavoro YAML viene eseguito su ogni nodo.

L'invio restituisce un ID di esecuzione del job che identifica il carico di lavoro. Usalo per controllare lo stato, controllare log e configurazioni, oppure cancellare il carico di lavoro. Puoi anche consultare la pagina Job run e l'esperimento MLflow per dettagli di esecuzione, metriche di sistema, log e artefatti.

Questo flusso di lavoro offre un provisioning GPU gestito, l'installazione di un ambiente riproducibile e l'osservabilità integrata senza richiedere di configurare o mantenere l'infrastruttura GPU.

Configurazione del carico di lavoro

Un file YAML del carico di lavoro descrive i seguenti componenti:

  • Esperimento: l'esperimento MLflow e l'esecuzione che tengono traccia del carico di lavoro.
  • Ambiente: L'ambiente gestito, le dipendenze o l'immagine Docker personalizzata da utilizzare.
  • Compute: Il tipo di acceleratore e il numero di acceleratori da fornire.
  • Sorgente del codice: Un'istantanea opzionale del codice applicativo da rendere disponibile al carico di lavoro.
  • Comando: Il comando shell che avvia la tua applicazione.
  • Impostazioni di runtime: Opzioni come tentativi, timeout, variabili ambientali, segreti e permessi.

Per campi di configurazione ed esempi, vedi Workload YAML reference.

Carica codice applicativo

Usa code_source per caricare i file dell'applicazione con un carico di lavoro. AI Runtime rende disponibile la directory caricata su ogni nodo e imposta $CODE_SOURCE_PATH sulla sua posizione. Ad esempio, il seguente comando esegue train.py dalla directory caricata:

command: python "$CODE_SOURCE_PATH/train.py"

Puoi caricare l'albero di lavoro attuale oppure selezionare un ramo Git o un commit. Per un esempio completo, vedi il quickstart.

Sviluppare e gestire i carichi di lavoro

Lo sviluppo segue tipicamente questo processo:

  1. Sviluppa localmente il codice applicativo e il file YAML del workload.
  2. Valida localmente il YAML con databricks air run --file <file> --dry-run.
  3. Invia il workload con databricks air run --file <file>. Aggiungi --watch ai log di streaming fino al termine dell'esecuzione.
  4. Usa databricks air get, databricks air list, e databricks air logs per ispezionare i carichi di lavoro e i log.
  5. Opzionalmente, ferma un carico di lavoro in esecuzione con databricks air cancel.

Per tutti i comandi e i flag, vedi air gruppo di comandi.

Per esecuzioni programmate, flussi di lavoro multi-task o promozioni tra ambienti, puoi usare databricks air convert-to-dabs come punto di partenza per un bundle. Pianificare i carichi di lavoro della GPU e comporre attività.

Traccia i carichi di lavoro con MLflow

Ogni carico di lavoro inviato è rappresentato da un’esecuzione di un job Databricks e tracciato tramite un esperimento MLflow:

  • Esecuzione del lavoro Databricks: Mostra lo stato del carico di lavoro, i tentativi di esecuzione e l'output nella pagina Esecuzione dei lavori.
  • Esperimento MLflow: Contiene le esecuzioni MLflow con metriche di sistema catturate automaticamente, configurazione del carico di lavoro e log. La tua applicazione può anche utilizzare le API MLflow per registrare parametri personalizzati, metriche e artefatti.

Usa l'ID esecuzione processo con comandi come databricks air get, databricks air logs e databricks air cancel. Per maggiori dettagli su tracciamento e osservabilità, consulta Monitora le esecuzioni con MLflow e la pagina delle esecuzioni dei lavori.

Eseguire carichi di lavoro a nodo singolo e distribuiti

AI Runtime esegue il comando configurato una volta su ogni nodo provisionato. Per un carico di lavoro distribuito, fornisce variabili di coordinamento come NUM_NODES, NODE_RANK, LOCAL_WORLD_SIZE, MASTER_ADDR, e MASTER_PORT.

Questo modello di esecuzione è indipendente dal framework. Il tuo comando deve avviare e configurare il framework distribuito, ad esempio invocando torchrun, uno script di bootstrap Ray o un altro launcher di framework. Per esempi, vedi gli esempi di CLI di Databricks per AI Runtime.

Usa un agente AI

La competenzadatabricks-ai-runtime dell'agente fornisce istruzioni che aiutano agenti IA, come Claude Code, Cursor e Codex, a lavorare con AI Runtime tramite la CLI Databricks. Usalo per creare YAML di carichi di lavoro, inviare lavori di addestramento GPU, controllare lo stato delle esecuzioni, trasmettere log e cancellare le esecuzioni. Comprende anche indicazioni per immagini Docker personalizzate.

Dopo aver installato la CLI Databricks e configurato l'autenticazione, esegui il seguente comando:

databricks aitools install --skills-only --skills databricks-ai-runtime --experimental

Segui le indicazioni per scegliere il tuo agente AI e l'ambito di installazione. Per le opzioni di installazione, vedi aitools gruppo di comandi.

Risorse aggiuntive

  • Ultimo aggiornamento: