Ray pro běhové prostředí AI

Important

Tato funkce je ve verzi Public Preview.

Poznámka:

Tato stránka se věnuje nástroji Ray v prostředí AI Runtime. Pokud používáte Ray v prostředí Databricks classic compute s Databricks Runtime ML, viz Ray on Databricks.

Ray je open source framework pro škálování Python zátěží. Můžete vytvářet Ray clustery a spouštět Ray aplikace na AI Runtime pomocí serverless GPU výpočtů, které automaticky zajišťují provisioning infrastruktury.

Používejte Ray v poznámkových blocích

Když je váš notebook připojen k výpočetnímu prostředku AI Runtime GPU, použijte ray_init() z balíčku serverless_gpu ke spuštění Raye na připojeném výpočetním prostředku:

from serverless_gpu import ray_init

ray_init()

ray_init() konfiguruje Ray dashboard pro přístup přes proxy ovladače Databricks a vytiskne URL dashboardu ve výstupu notebooku. Používejte dashboard k prohlížení Ray úloh, úloh a využití zdrojů, zatímco váš kód běží.

Poznámka:

ray_init() vyžaduje prostředí verze 5 nebo novější. Databricks AI v6 obsahuje Ray. Pokud používáte standardní verzi 6, nainstalujte Ray před voláním ray_init().

Příklady poznámkových bloků

Example	Description
Ray Core, ahoj světe	Odesílejte asynchronní úlohy GPU na připojené výpočetní prostředky, sledujte plánování v dashboardu Ray a získejte výsledky.
Dávková inference modelu Qwen2.5-32B pomocí Ray Data a vLLM	Spusť vícejazyčné dávkové inferování s osmi persistentními replikami vLLM na 8 H100 GPU a ulož výsledky jako Parquet v Unity Catalog.

Používejte Ray s AI Runtime CLI

AI Runtime CLI podporuje Ray v konfiguracích s jedním uzlem i více uzly. Zahrňte bootstrap skript pod command úlohy, který při spuštění úlohy spustí cluster Ray a koordinuje hlavní a pracovní uzly. Příklady Ray Hello World procházejí tímto vzorem.

AI Runtime podporuje základní knihovny Ray, včetně Ray Core, Ray Data, Ray Train a Ray Tune. Ve Standardním prostředí přidejte ray nebo příslušné doplňky (ray[data], ray[train], nebo ray[tune]) do vašich závislostí na zátěži. Prostředí Data Bricks AI zahrnuje Ray.

Příklady CLI

Example	Description
Ukázky hello world pro Ray	Minimální jednuzlové a víceuzlové příklady pro Ray Core, Ray Train, Ray Data a Ray Tune, včetně vzoru inicializace clusteru.
Distribuované trénování pomocí Ray Trainu	Jemně dolaďte velký jazykový model napříč více uzly pomocí Ray Train a PyTorch.
Dávkové odvozování s Ray Data a vLLM	Spusť rozsáhlou dávkovou inferenci pomocí Ray Data pro distribuované načítání dat a vLLM pro efektivní servisní podávání modelů.
Vyhledávání hyperparametrů pomocí Ray Tune	Vyhledávejte hyperparametry jemného ladění LoRA pro Qwen2.5 pomocí Ray Tune, se spuštěním jednoho pokusu na každém GPU a s předčasným zastavováním neúspěšných pokusů pomocí plánovače ASHA.