AI 運行環境

AI Runtime 是一款完全託管、無伺服器的 GPU 運算方案,搭載於 Azure Databricks 上,用於訓練、微調及其他深度學習工作負載。 它是為想要無需配置叢集即可使用 GPU 的機器學習工程師和資料科學家所設計的。 關於經典的 Databricks Runtime ML 運算,請參見 Databricks Runtime for 機器學習。

  • 無伺服器 GPU:按需提供的 A10 和 H100,可透過 Databricks CLI、筆記本、工作和 Ray 存取。
  • 管理環境:預先建置的環境與資料載入器,準備用於訓練與微調,或自備 Docker 容器。
  • 內建可觀測性:透過 MLflow 進行實驗追蹤、日誌記錄與除錯代理程式。
  • 編排:排程你的 GPU 工作負載,並在 CI/CD 管線中使用這些工作負載。

開始

了解 AI Runtime 並執行你的第一個工作負載。

開始 描述
🚀 快速入門 從終端機在 AI Runtime 上執行你的第一個工作負載。
🧭 概述 了解 AI Runtime 的關鍵:有哪些 GPU 可用、其運作方式及限制。
💡 範例 瀏覽筆記本教學和可執行的 Databricks CLI 配方,依任務分類。

連接到 GPU

可透過 Databricks CLI、筆記本、作業或 Ray 存取 GPU。

Feature 描述
Databricks CLI 從筆電提交並管理分散式 GPU 訓練工作,使用 YAML 工作設定。
Notebooks 將筆記本連接到 AI Runtime,互動式開發,無需叢集設置。
工作 將 AI Runtime 上的 Notebook 排程為定期作業。
Ray 在 AI Runtime 上執行 Ray Core、Ray Data、Ray Train 和 Ray Tune。

管理環境

可以在受管理環境或自己的 Docker 映像中執行工作負載。

Feature 描述
預建環境 從最簡的標準環境或預先載入機器學習框架的 Databricks AI 環境開始。
自訂 Docker 映像檔 當你的工作負載需要自訂系統函式庫或相依性時,請自備 Docker 映像檔。

建立工作負載

有效率地載入資料,並用編碼代理開發工作負載。

Feature 描述
將資料載入 GPU 從 Unity Catalog 磁碟區串流處理資料,使用專為高 GPU 使用率打造的容錯載入器。
程式設計代理 使用 Genie Code 和 databricks-ai-runtime agent 技能來建立、提交和管理 GPU 工作負載。

監控、除錯與部署

追蹤實驗、檢查日誌、診斷故障並排程生產工作負載。

Feature 描述
除錯用的 MLflow 用 MLflow 追蹤實驗、指標和運行。
檢視記錄 查看訓練輸出、在程式碼執行時監控 GPU 資源使用,並用 Genie Code 除錯。
排程工作負載 部署使用宣告式自動化套件的訓練程式碼、排程執行,並建立多工 GPU 與 CPU 工作流程。
部署訓練好的模型 記錄、註冊並部署在 AI 執行環境訓練的模型,以 CPU 或 GPU 運算方式建模服務端點。

Guides

探索 AI 執行環境的遷移指南、教學與技術資源。

Resource 描述
為什麼要使用 AI 執行環境 比較 AI Runtime、傳統運算資源及 Databricks Runtime ML 的成本、開發者體驗與規模。
遷移經典 GPU 工作負載 將現有的深度學習工作負載從經典的 Azure Databricks 叢集遷移到 AI 執行環境。
優化你的工作負載效能 提升訓練產出,並讓長期執行的工作更具韌性,抵抗失敗。