Voorbeelden van AI Runtime CLI

Important

Deze functie bevindt zich in openbare preview-versie.

De volgende voorbeelden zijn volledige end-to-end workloads die u via de air-CLI indient met air run -f <config>.yaml. Elke opdracht bevat de workload-YAML, eventuele bootstrap-scripts en de volledige code. Begin met de snelstartgids als u niet eerder een run hebt ingediend.

Example	Description
LLM met meerdere knooppunten afstemmen met FSDP	Gesuperviseerde finetuning van Llama-3.1-8B op 16 H100-GPU’s (2 nodes) met torchrun en PyTorch Fully Sharded Data Parallel (FSDP). Logboeken naar MLflow en controlepunten naar een Unity Catalog-volume.
Ray hallo wereld	Minimale werkende voorbeelden voor Ray Core, Ray Train, Ray Data en Ray Tune, inclusief het gedeelde bootstrap-patroon voor het draaien van Ray-clusters op AI Runtime.
Gedistribueerde training met Ray Train	Gedistribueerd dataparallel finetunen met de TorchTrainer van Ray Train op 8 H100-GPU’s op één knooppunt, met één worker per GPU.
Batchinferentie met Ray Data en vLLM	Offline LLM-batchdeductie met Ray Data en vLLM over 8 H100 GPU's op één knooppunt, waarbij één vLLM-replica per GPU wordt uitgevoerd en resultaten worden geschreven naar een Unity Catalog-volume als Parquet.
Hyperparameterzoektocht met Ray Tune	LoRA-hyperparameterzoektocht voor Qwen2.5-0.5B met Ray Tune over 4 1xA10-knooppunten, waarbij één proef per GPU wordt uitgevoerd en onderpresterende proeven vroegtijdig wordt gestopt met de ASHA-planner.