Příklady rozhraní příkazového řádku AI Runtime

Important

Tato funkce je v beta verzi. Správci pracovního prostoru můžou řídit přístup k této funkci ze stránky Previews . Viz Manage Azure Databricks preview.

Následující příklady jsou kompletní ucelené úlohy, které odesíláte z air CLI pomocí air run -f train.yaml. Každý z nich ukazuje reálný multi-GPU vzor na GPU H100, včetně YAML souboru úlohy, zaváděcích příkazů a kódu. Začněte s rychlým úvodem, pokud jste ještě nikdy neodeslali žádný běh.

Example	Description
Doladění LLM na více uzlech pomocí FSDP	Doladění modelu Llama-3.1-8B metodou učení s učitelem na 16 GPU H100 (2 uzly) s využitím torchrun a PyTorch Fully Sharded Data Parallel (FSDP). Záznamy se ukládají do MLflow a kontrolní body do svazku katalogu Unity.
Distribuované trénování pomocí Ray Trainu	Distribuované jemné doladění s datovým paralelismem pomocí TorchTrainer nástroje Ray Train na 8 GPU H100 v rámci jednoho uzlu, s jedním workerem na každou GPU.
Dávkové odvozování s Ray Data a vLLM	Offline dávkové odvozování LLM s Ray Data a vLLM v rámci 8 H100 GPU na jednom uzlu, spuštění jedné repliky vLLM na GPU a zápis výsledků do svazku katalogu Unity jako Parquet.