共用方式為


設定您的環境

這很重要

針對單節點任務的 AI 執行時正在 公開預覽中。 多GPU工作負載的分散式訓練API仍處於 測試階段

本頁說明如何選擇與設定 AI 執行時的 Python 環境,包括環境快取行為、自訂模組匯入及已知限制。

該使用什麼環境

AI 執行環境提供兩個受管理的 Python 環境,分別是預設的基礎環境與 Databricks 的 AI 環境。

環境 主要特性 使用時機
預設基地環境 最小,僅包含 torchcudatorchvision 你想要完全掌控你的相依性堆疊,並且偏好只安裝你需要安裝的設備
Databricks AI 環境 預載了熱門的機器學習框架(PyTorch、Transformers 等) 你需要一個完整的環境,用於訓練、微調和實驗,且不需要手動管理依賴性

備註

AI 執行環境不支援工作區基礎環境。 請改用預設或 AI 環境,並直接在「環境」側邊面板pip install或其中指定其他相依性。

預設基礎環境(最小環境)

一個極簡且穩定的環境,僅包含 AI 執行時運作所需的套件。 環境包含torchcudatorchvision,為相容性優化。 針對特定套件版本,請依需求使用 pip install 或釘選必要的版本。

最佳使用者:希望完全掌控依賴堆疊,且只安裝所需內容的使用者。

這是你透過 AI Runtime 連接到無伺服器 GPU 時的預設環境。

關於不同版本中安裝的套件版本,請參閱發布說明:

Databricks AI 環境

可在環境4及更高版本中取得。 AI 環境建立在預設基礎環境之上,包含常見的執行時套件以及專為 GPU 機器學習設計的套件。 預裝套件包括:

  • PyTorch(支援 CUDA)
  • Transformers(Hugging Face)
  • 以及額外的機器學習/深度學習相依

最適合:想要完整環境來訓練工作負載、微調與實驗,且不需手動依賴管理的機器學習從業者。

選擇方式:在 環境 側邊欄,選擇 AI v4 作為你的基礎環境。

關於不同版本中安裝的套件版本,請參閱發布說明:

工作空間基層環境

AI 執行環境不支援工作區基礎環境。 你無法使用自訂的工作區層級環境設定。

要為專案配置深度學習環境,請使用提供的兩個基礎環境之一(預設或 Databricks AI),並透過筆記本內或訓練腳本頂端以程式方式 %pip install 安裝額外套件:

%pip install datasets accelerate peft bitsandbytes

你可以在 AI 執行環境安裝額外的函式庫。 請參閱 將相依性新增至筆記本

行為

環境何時被快取?

為了加快開機時間,環境會在不同會話間進行快取。 當你以相同的環境配置重新連接 AI Runtime 時,先前安裝的套件可能會從快取中取得,從而縮短設定時間。

然而,快取行為並非保證——務必確保你的筆記本包含必要的 %pip install 指令以促進重現性。

我該如何匯入自訂模組?

你可以透過將自訂模組放入 /Workspace/Shared 並將路徑新增至 sys.path

import sys
sys.path.append("/Workspace/Shared/my-project/src")
from my_module import my_function

你也可以把模組檔案上傳成 Workspace 檔案,然後直接匯入。 多使用者協作時,應將共享程式碼儲存在 /Workspace/Shared 非使用者專屬資料夾中。 在主動開發時,使用使用者專屬資料夾,並推送至遠端 Git 儲存庫以進行版本控制。

局限性

以下功能在 AI 執行環境中無法提供:

  • Spark 函式 — 你無法直接匯入或使用 PySpark 函式。 AI 運行環境僅支援 Python,Spark 不提供本地運行環境。 不過,Spark Connect 也可用於資料載入。 請參見 AI 執行時的載入資料
  • Databricks 執行時機器學習函式庫 — 預裝套件不能取代 Databricks 執行時機器學習。 Databricks Runtime ML 中部分機器學習函式庫可能未預先安裝於 AI 執行環境。
  • 工作區基礎環境 — 不支援自訂的工作區層級環境設定。
  • 私有產物 — AI 執行時在某些情況下確實支援私有產物。 請聯絡您的帳戶團隊以獲取更多詳情。