Przykłady interfejsu wiersza polecenia środowiska uruchomieniowego AI

Important

Ta funkcja jest dostępna w wersji beta. Administratorzy obszaru roboczego mogą kontrolować dostęp do tej funkcji ze strony Podglądy . Zobacz Zarządzanie wersjami zapoznawczami usługi Azure Databricks.

Poniższe przykłady to kompletne zadania wykonywane od początku do końca, które przesyłasz z poziomu interfejsu CLI air za pomocą polecenia air run -f train.yaml. Każdy z nich przedstawia rzeczywisty wzorzec z wieloma procesorami GPU na procesorach GPU H100, w tym obciążenia YAML, polecenia bootstrap i kod. Zacznij od Szybki start, jeśli wcześniej nie przesłano żadnego uruchomienia.

Example	Description
Dostrajanie modułu LLM z wieloma węzłami za pomocą protokołu FSDP	Nadzorowane dostrajanie modelu Llama-3.1-8B na 16 procesorach graficznych H100 (w 2 węzłach) przy użyciu torchrun i PyTorch Fully Sharded Data Parallel (FSDP). Zapisuje logi do MLflow i punkty kontrolne do woluminu Unity Catalog.
Trenowanie rozproszone za pomocą programu Ray Train	Rozproszone dostrajanie równoległe danych za pomocą 8 procesorów GPU H100 Ray Train TorchTrainer w jednym węźle z jednym procesem roboczym na procesor GPU.
Wnioskowanie wsadowe z użyciem Ray Data i vLLM	Wsadowe wnioskowanie offline z użyciem Ray Data i vLLM na 8 układach GPU H100 w jednym węźle, przy uruchomieniu jednej repliki vLLM na każdym GPU i zapisie wyników do woluminu Unity Catalog w formacie Parquet.