Important
這項功能目前處於 公開預覽版。
備註
本頁介紹了 Ray 在 AI 執行環境上的應用。 如果你在 Databricks classic 運算中使用 Ray,搭配 Databricks 執行時機器學習,請參考 Ray 在 Databricks 上的應用。
Ray 是一個用於擴展 Python 工作負載的開放原始碼框架。 你可以建立 Ray 叢集並在 AI 執行環境上執行 Ray 應用程式,使用無伺服器的 GPU 運算,自動處理基礎設施配置。
AI 執行時 CLI 支援 Ray 的單節點與多節點配置。 在工作負載 command的 下加入一個 bootstrap 腳本,啟動 Ray 叢集並在工作負載啟動時協調 head 和 worker 節點。
Ray hello 世界的例子就遵循了這個模式。
AI 執行時支援 Ray 的核心函式庫,包括 Ray Core、 Ray Data、 Ray Train 與 Ray Tune。 將函式庫或相關的 Ray extraray[data](, ray[train], ray[tune])作為ray你工作負載的相依,安裝在標準 Databricks 環境上。 如果你使用 Databricks 的 AI 環境,它是 ray 預裝的,但額外的必須另外安裝。
Examples
| 範例 | Description |
|---|---|
| Ray hello world 範例 (CLI) | 以下是 Ray Core、Ray Train、Ray Data 及 Ray Tune 的最小單節點與多節點範例,包括叢集引導模式。 |
| 與 Ray Train (CLI) 的分散式訓練 | 利用 Ray Train 和 PyTorch 微調跨多個節點的大型語言模型。 |
| 利用 Ray Data 與 vLLM(CLI)進行批次推論 | 使用雷線資料進行大規模批次推論,進行分散式資料載入,並以 vLLM 進行高效模型服務。 |