Ray pada AI Runtime

Important

Fitur ini ada di Pratinjau Umum.

Nota

Halaman ini membahas Ray di AI Runtime. Jika Anda menggunakan Ray pada komputasi klasik Databricks dengan Databricks Runtime ML, lihat Ray pada Databricks.

Ray adalah kerangka kerja sumber terbuka untuk menskalakan beban kerja Python. Anda dapat membuat klaster Ray dan menjalankan aplikasi Ray di AI Runtime, menggunakan komputasi GPU serverless yang secara otomatis menangani penyediaan infrastruktur.

AI Runtime CLI mendukung Ray dalam konfigurasi satu node dan multi-node. Sertakan skrip bootstrap di bawah command milik beban kerja, yang akan memulai klaster Ray dan mengoordinasikan node utama serta node pekerja saat beban kerja diluncurkan. Contoh Ray hello world mengikuti pola ini.

AI Runtime mendukung pustaka inti Ray, termasuk Ray Core, Ray Data, Ray Train, danRay Tune. Instal pustaka ray atau ekstra Ray yang relevan (ray[data], ray[train], ray[tune]) sebagai dependensi untuk beban kerja Anda di lingkungan Databricks standar. Jika Anda menggunakan lingkungan Databricks AI, ray sudah terpasang sebelumnya tetapi ekstra harus diinstal secara terpisah.

Examples

Example	Deskripsi
Contoh Ray hello world (CLI)	Contoh minimal single-node dan multi-node untuk Ray Core, Ray Train, Ray Data, dan Ray Tune, termasuk pola cluster bootstrap.
Pelatihan terdistribusi dengan Ray Train (CLI)	Tuning model bahasa besar di beberapa node menggunakan Ray Train dan PyTorch.
Inferensi batch dengan Ray Data dan vLLM (CLI)	Jalankan inferensi batch skala besar menggunakan Ray Data untuk pemuatan data terdistribusi dan vLLM untuk pelayanan model yang efisien.
Pencarian hiperparameter dengan Ray Tune (CLI)	Cari hyperparameter penyempurnaan LoRA untuk Qwen2.5 dengan Ray Tune, menjalankan satu uji coba per GPU dan menghentikan uji coba yang kurang berkinerja lebih awal dengan penjadwal ASHA.