Ray pro běhové prostředí AI

Important

Tato funkce je ve verzi Public Preview.

Poznámka:

Tato stránka se věnuje nástroji Ray v prostředí AI Runtime. Pokud používáte Ray v prostředí Databricks classic compute s Databricks Runtime ML, viz Ray on Databricks.

Ray je open source framework pro škálování Python zátěží. Můžete vytvářet Ray clustery a spouštět Ray aplikace na AI Runtime pomocí serverless GPU výpočtů, které automaticky zajišťují provisioning infrastruktury.

AI Runtime CLI podporuje Ray v konfiguracích s jedním uzlem i více uzly. Zahrňte bootstrap skript pod command úlohy, který při spuštění úlohy spustí cluster Ray a koordinuje hlavní a pracovní uzly. Příklady Ray Hello World procházejí tímto vzorem.

AI Runtime podporuje základní knihovny Ray, včetně Ray Core, Ray Data, Ray Train a Ray Tune. Nainstalujte knihovnu ray nebo příslušné rozšíření Ray (ray[data], ray[train], ray[tune]) jako závislost pro vaši úlohu ve standardním prostředí Databricks. Pokud používáš prostředí Databricks AI, je předinstalované, ray ale doplňky musí být instalovány zvlášť.

Examples

Example	Description
Příklady hello world pro Ray (CLI)	Minimální jednuzlové a víceuzlové příklady pro Ray Core, Ray Train, Ray Data a Ray Tune, včetně vzoru inicializace clusteru.
Distribuované školení s Ray Train (CLI)	Jemně dolaďte velký jazykový model napříč více uzly pomocí Ray Train a PyTorch.
Dávkové inferování s Ray Data a vLLM (CLI)	Spusť rozsáhlou dávkovou inferenci pomocí Ray Data pro distribuované načítání dat a vLLM pro efektivní servisní podávání modelů.
Vyhledávání hyperparametrů pomocí Ray Tune (CLI)	Vyhledávejte hyperparametry jemného ladění LoRA pro Qwen2.5 pomocí Ray Tune, se spuštěním jednoho pokusu na každém GPU a s předčasným zastavováním neúspěšných pokusů pomocí plánovače ASHA.