Przykłady interfejsu wiersza polecenia środowiska uruchomieniowego AI

Important

Ta funkcja jest dostępna w publicznej wersji testowej.

Poniższe przykłady to kompletne zadania wykonywane od początku do końca, które przesyłasz z poziomu interfejsu CLI air za pomocą polecenia air run -f <config>.yaml. Każdy z nich zawiera YAML obciążenia, skrypty bootstrap oraz pełny kod. Zacznij od Szybki start, jeśli wcześniej nie przesłano żadnego uruchomienia.

Example	Description
Dostrajanie modułu LLM z wieloma węzłami za pomocą protokołu FSDP	Nadzorowane dostrajanie modelu Llama-3.1-8B na 16 procesorach graficznych H100 (w 2 węzłach) przy użyciu torchrun i PyTorch Fully Sharded Data Parallel (FSDP). Zapisuje logi do MLflow i punkty kontrolne do woluminu Unity Catalog.
Ray hello world	Minimalne przykłady robocze dla Ray Core, Ray Train, Ray Data i Ray Tune, w tym wspólny wzór bootstrap do uruchamiania klastrów Ray na AI Runtime.
Trenowanie rozproszone za pomocą programu Ray Train	Rozproszone dostrajanie równoległe danych za pomocą 8 procesorów GPU H100 Ray Train TorchTrainer w jednym węźle z jednym procesem roboczym na procesor GPU.
Wnioskowanie wsadowe z użyciem Ray Data i vLLM	Wsadowe wnioskowanie offline z użyciem Ray Data i vLLM na 8 układach GPU H100 w jednym węźle, przy uruchomieniu jednej repliki vLLM na każdym GPU i zapisie wyników do woluminu Unity Catalog w formacie Parquet.
Wyszukiwanie hiperparametrów za pomocą Ray Tune	Przeszukiwanie hiperparametrów LoRA dla modelu Qwen2.5-0.5B za pomocą Ray Tune na 4 węzłach, każdy z 1xA10, z jedną próbą na GPU i wczesnym zatrzymywaniem słabiej rokujących prób za pomocą harmonogramu ASHA.