AI Runtime 是一款完全託管、無伺服器的 GPU 運算方案,搭載於 Azure Databricks 上,用於訓練、微調及其他深度學習工作負載。 它是為想要無需配置叢集即可使用 GPU 的機器學習工程師和資料科學家所設計的。 關於經典的 Databricks Runtime ML 運算,請參見 Databricks Runtime for 機器學習。
- 無伺服器 GPU:按需提供的 A10 和 H100,可透過 Databricks CLI、筆記本、工作和 Ray 存取。
- 管理環境:預先建置的環境與資料載入器,準備用於訓練與微調,或自備 Docker 容器。
- 內建可觀測性:透過 MLflow 進行實驗追蹤、日誌記錄與除錯代理程式。
- 編排:排程你的 GPU 工作負載,並在 CI/CD 管線中使用這些工作負載。
開始
了解 AI Runtime 並執行你的第一個工作負載。
| 開始 | 描述 |
|---|---|
| 🚀 快速入門 | 從終端機在 AI Runtime 上執行你的第一個工作負載。 |
| 🧭 概述 | 了解 AI Runtime 的關鍵:有哪些 GPU 可用、其運作方式及限制。 |
| 💡 範例 | 瀏覽筆記本教學和可執行的 Databricks CLI 配方,依任務分類。 |
連接到 GPU
可透過 Databricks CLI、筆記本、作業或 Ray 存取 GPU。
| Feature | 描述 |
|---|---|
| Databricks CLI | 從筆電提交並管理分散式 GPU 訓練工作,使用 YAML 工作設定。 |
| Notebooks | 將筆記本連接到 AI Runtime,互動式開發,無需叢集設置。 |
| 工作 | 將 AI Runtime 上的 Notebook 排程為定期作業。 |
| Ray | 在 AI Runtime 上執行 Ray Core、Ray Data、Ray Train 和 Ray Tune。 |
管理環境
可以在受管理環境或自己的 Docker 映像中執行工作負載。
| Feature | 描述 |
|---|---|
| 預建環境 | 從最簡的標準環境或預先載入機器學習框架的 Databricks AI 環境開始。 |
| 自訂 Docker 映像檔 | 當你的工作負載需要自訂系統函式庫或相依性時,請自備 Docker 映像檔。 |
建立工作負載
有效率地載入資料,並用編碼代理開發工作負載。
| Feature | 描述 |
|---|---|
| 將資料載入 GPU | 從 Unity Catalog 磁碟區串流處理資料,使用專為高 GPU 使用率打造的容錯載入器。 |
| 程式設計代理 | 使用 Genie Code 和 databricks-ai-runtime agent 技能來建立、提交和管理 GPU 工作負載。 |
監控、除錯與部署
追蹤實驗、檢查日誌、診斷故障並排程生產工作負載。
| Feature | 描述 |
|---|---|
| 除錯用的 MLflow | 用 MLflow 追蹤實驗、指標和運行。 |
| 檢視記錄 | 查看訓練輸出、在程式碼執行時監控 GPU 資源使用,並用 Genie Code 除錯。 |
| 排程工作負載 | 部署使用宣告式自動化套件的訓練程式碼、排程執行,並建立多工 GPU 與 CPU 工作流程。 |
| 部署訓練好的模型 | 記錄、註冊並部署在 AI 執行環境訓練的模型,以 CPU 或 GPU 運算方式建模服務端點。 |
Guides
探索 AI 執行環境的遷移指南、教學與技術資源。
| Resource | 描述 |
|---|---|
| 為什麼要使用 AI 執行環境 | 比較 AI Runtime、傳統運算資源及 Databricks Runtime ML 的成本、開發者體驗與規模。 |
| 遷移經典 GPU 工作負載 | 將現有的深度學習工作負載從經典的 Azure Databricks 叢集遷移到 AI 執行環境。 |
| 優化你的工作負載效能 | 提升訓練產出,並讓長期執行的工作更具韌性,抵抗失敗。 |