Esempi dell'interfaccia della riga di comando di Ai Runtime

Importante

Questa funzionalità è in versione beta. Gli amministratori dell'area di lavoro possono controllare l'accesso a questa funzionalità dalla pagina Anteprime . Vedere Gestire le anteprime di Azure Databricks.

Gli esempi seguenti sono carichi di lavoro completi, end-to-end, che si inviano dalla CLI air con air run -f train.yaml. Ciascuno mostra un reale schema multi-GPU su GPU H100, inclusi il file YAML del carico di lavoro, i comandi di bootstrap e il codice. Inizia con il quickstart se non hai mai inviato un'esecuzione prima.

Example	Description
Ottimizzazione LLM a più nodi con FSDP	Ottimizzazione supervisionata di Llama-3.1-8B in 16 GPU H100 (2 nodi) usando torchrun e PyTorch Fully Sharded Data Parallel (FSDP). Registra i log in MLflow e i checkpoint in un volume di Unity Catalog.
Training distribuito con Ray Train	Ottimizzazione parallela dei dati distribuita con Ray Train TorchTrainer tra 8 GPU H100 in un singolo nodo, con un ruolo di lavoro per GPU.
Inferenza batch con Ray Data e vLLM	Inferenza batch offline di LLM con Ray Data e vLLM su un singolo nodo con 8 GPU H100, eseguendo una replica vLLM per GPU e scrivendo i risultati in un volume di Unity Catalog in formato Parquet.