AI Runtime CLI örnekleri

Important

Bu özellik Genel Önizleme aşamasındadır.

Aşağıdaki örnekler, air ile air run -f <config>.yaml CLI’sinden gönderdiğiniz eksiksiz, uçtan uca iş yükleridir. Her biri iş yükü YAML'sini, herhangi bir önyükleme betiklerini ve tam kodu içerir. Daha önce bir çalıştırma göndermediyseniz hızlı başlangıç ile başlayın.

Example	Description
FSDP ile çok düğümlü LLM ince ayarı	torchrun ve PyTorch Tam Parçalı Veri Paralelliği (FSDP) kullanılarak 16 H100 GPU’da (2 düğüm üzerinde) Llama-3.1-8B’nin denetimli ince ayarlaması. Günlükleri MLflow'a, kontrol noktalarını ise bir Unity Catalog birimine kaydeder.
Ray, merhaba dünya.	Ray Core, Ray Train, Ray Data ve Ray Tune için minimum çalışma örnekleri; AI Runtime'da Ray kümelerini çalıştırmak için paylaşılan önyükleme desenini de içerir.
Ray Train ile dağıtılmış eğitim	Ray Train'in TorchTrainer ile, tek bir düğüm üzerindeki 8 H100 GPU'da, GPU başına bir çalışanla dağıtık veri paralelliğiyle ince ayar.
Ray Data ve vLLM ile toplu çıkarım	Ray Data ve vLLM ile, tek bir düğüm üzerindeki 8 H100 GPU’da GPU başına bir vLLM kopyası çalıştırarak çevrimdışı LLM toplu çıkarım işlemi gerçekleştirme ve sonuçları bir Unity Catalog volume’üne Parquet biçiminde yazma.
Ray Tune ile hiperparametre arama	Qwen2.5-0.5B için LoRA hiperparametre araması: Ray Tune kullanılarak, her biri 1xA10 GPU’lu 4 düğümde GPU başına bir deneme çalıştırılır ve yetersiz performans gösteren denemeler ASHA zamanlayıcısıyla erken durdurulur.