AI-futtatókörnyezeti parancssori felület – példák

Important

Ez a funkció nyilvános előzetes verzióban van.

Az alábbi példák teljes, végpontok közötti munkaterhelések, amelyeket a air CLI-ből a(z) air run -f <config>.yaml használatával küldhet be. Mindegyik tartalmazza a munkaterhelést, a YAML-t, a bootstrap szkripteket és a teljes kódot. Kezdje a rövid útmutatóval , ha még nem küldött be futtatási kérelmet.

Example	Description
Többcsomópontos LLM finomhangolása FSDP-vel	A Llama-3.1-8B felügyelt finomhangolása 16 H100 GPU-n (2 csomóponton) a torchrun és a PyTorch Fully Sharded Data Parallel (FSDP) használatával. Naplózás az MLflow-ba, az ellenőrzőpontok mentése pedig egy Unity Catalog-kötetbe.
Ray Hello World	Minimális működő példák a Ray Core, a Ray Train, a Ray Data és a Ray Tune szolgáltatáshoz, valamint a Ray-klaszterek AI Runtime-on való futtatásához használt közös bootstrapolási mintára.
Elosztott betanítás a Ray Train használatával	Elosztott adatok párhuzamos finomhangolása TorchTrainer a Ray Train 8 H100 GPU-jával egyetlen csomóponton, GPU-nként egy feldolgozóval.
Kötegelt következtetés Ray Data és vLLM használatával	Offline LLM-következtetés kötegelt módban Ray Data és vLLM használatával 8 H100 GPU-n egyetlen csomóponton, GPU-nként egy-egy vLLM-példányt futtatva, az eredményeket pedig Parquet-formátumban egy Unity Catalog-kötetbe írva.
Hiperparaméterkeresés Ray Tune-szel	LoRA hiperparaméter-keresés a Qwen2.5-0.5B-hez Ray Tune-nal, 4 darab 1xA10 csomóponton, GPU-nként egy kísérletet futtatva, és az ASHA ütemezővel korán leállítva a gyengébben teljesítő kísérleteket.