Ray MI-futtatókörnyezetben

Important

Ez a funkció nyilvános előzetes verzióban van.

Megjegyzés:

Ez az oldal Ray-t az AI Runtime-on mutatja be. Ha a Rayt a Databricks klasszikus számítási környezetében, a Databricks Runtime ML használatával használod, lásd: Ray on Databricks.

A Ray egy nyílt forráskód keretrendszer a Python munkaterhelések skálázására. Ray klasztereket hozhatsz létre és futtathatsz Ray alkalmazásokat AI Runtime-on, szerver nélküli GPU számítással, amely automatikusan kezeli az infrastruktúra provisionálását.

Használd a Ray-t jegyzetfüzetekben

Amikor a notebookod csatlakozik AI Runtime GPU számításhoz, a ray_init()serverless_gpu csomagból indítsd el a Ray-t a csatolt számításon:

from serverless_gpu import ray_init

ray_init()

ray_init() beállítja a Ray irányítópultot a Databricks driver proxyn keresztüli hozzáférésre, és kinyomtatja a dashboard URL-jét a notebook kimenetében. Használja a dashboardot a Ray munkái, feladatok és erőforrás-használatának ellenőrzésére, amíg a kódod fut.

Megjegyzés:

ray_init() az 5-ös vagy újabb környezeti verziót igényli. A Databricks AI v6 tartalmazza a Ray-t. Ha Standard v6-ot használsz, telepítsd a Ray-t, mielőtt hívod ray_init().

Laptop példák

Example	Description
Ray Core Hello World	Küldd be aszinkron GPU feladatokat csatolt számításra, ellenőrizd az ütemezést a Ray irányítópulton, és kérd le az eredményeket.
Qwen2.5-32B batch következtetés Ray Data és vLLM segítségével	Többnyelvű batch inference-t futtatj nyolc tartós vLLM replikával 8 H100 GPU-n, és mentsd el az eredményeket Parquet néven a Unity Catalogban.

Használd a Ray-t az AI Runtime CLI-val

Az AI Runtime CLI támogatja a Ray-t egycsomópontos és többcsomópontos konfigurációkban. Tegyél be egy bootstrap szkriptet a munkaterhelés commandalá, amely elindítja a Ray klasztert, és koordinálja a fej- és munkacsomópontokat a munkaterhelés elindításakor. A Ray hello world példák bemutatják ezt a mintát.

Az AI Runtime támogatja a Ray magkönyvtárait, beleértve a Ray Core-t, Ray Data-t, Ray Train-t és Ray Tune-ot. A Standard környezet használatakor add hozzá a(z) ray elemet vagy a megfelelő extra csomagot (ray[data], ray[train] vagy ray[tune]) a workload függőségeihez. A Databricks AI környezete magában foglalja a Ray-t.

CLI példák

Example	Description
Ray „hello world” példák	Minimális, egyetlen csomóponton futó és több csomóponton futó példák a Ray Core-hoz, a Ray Trainhez, a Ray Datahoz és a Ray Tune-hoz, beleértve a klaszter bootstrap mintát is.
Elosztott betanítás a Ray Train használatával	Finomhangolj egy nagy nyelvi modellt több csomóponton keresztül Ray Train és PyTorch segítségével.
Kötegelt következtetés Ray Data és vLLM használatával	Nagy léptékű tételi következtetéseket futtatni Ray Data segítségével elosztott adatbetöltéshez, vLLM-et pedig hatékony modellszolgáltatáshoz.
Hiperparaméterkeresés Ray Tune-szel	Keresse meg a Qwen2.5-höz tartozó LoRA finomhangolási hiperparamétereket a Ray Tune segítségével, GPU-nként egy kísérletet futtatva, és az ASHA ütemező segítségével korán leállítva a gyengén teljesítő kísérleteket.