設定無伺服器環境

本頁說明如何利用無伺服器筆記本的 環境 側面板來設定相依、無伺服器使用政策、記憶體及基礎環境。 此面板提供單一位置來管理筆記本的無伺服器設定。 此面板中設定的設定僅適用於筆記本連線到無伺服器計算時。

若要展開 [環境] 側邊面板，請按下筆記本右側的 [環境] 按鈕。

無伺服器環境面板

使用 AI 執行環境（無伺服器 GPU）

Important

AI 執行時間目前處於公共預覽階段。

請依照以下步驟在你的 Databricks 筆記本上配置由無伺服器 GPU 運算驅動的 AI 執行環境：

  1. 從筆記型電腦中點選頂部的計算下拉選單，選擇 無伺服器 GPU。
  2. 按一下 「環境」圖示。 以開啟 「環境」 側邊面板。
  3. 從 [加速器] 欄位選取 [A10]。
  4. 在 基礎環境中，選擇 標準 作為預設環境，或選擇具備預裝機器學習函式庫的 AI 優化環境 AI 。
  5. 點 選「套用 」，然後 確認 你想將 AI 執行環境套用到你的筆記本環境。

更多細節請參見 AI 執行時。

使用高記憶體無伺服器計算

Important

這項功能目前處於 公開預覽版。

如果您在筆記本中遇到記憶體不足的錯誤，您可以將筆記本設定為使用較高的記憶體大小。 此設定會增加在筆記本中執行程序代碼時所使用的 REPL 記憶體大小。 它不會影響 Spark 工作階段的記憶體大小。 具有高記憶體的無伺服器使用量具有比標準記憶體更高的 DBU 排放率。

可用的記憶體選項包括：

  • 標準配置：總記憶體 16 GB。
  • 最高：總記憶體 32 GB。

要設定筆記本的記憶體設定：

  1. 在筆記本介面中，點選 環境 側面板 環境。
  2. 在 [記憶體] 下，選取 [高記憶體]。
  3. 按一下 套用。

此設定也適用於使用筆記本記憶體喜好設定執行的筆記本作業工作。 更新筆記本中的記憶體喜好設定會影響下一個作業執行。

選擇無伺服器使用政策

Important

這項功能目前處於 公開預覽版。

無伺服器使用政策 允許您的組織在無伺服器使用時套用自訂標籤，以實現細緻的帳單歸屬。

如果你的工作區使用無伺服器使用政策來歸屬性無伺服器使用，你可以選擇想套用到筆記本上的無伺服器使用政策。 如果使用者只被指派一個無伺服器使用政策，該政策預設會被選擇。

你可以在筆記型電腦連接到無伺服器運算後，透過 環境 側面板選擇無伺服器使用政策：

  1. 在筆記本介面中，點選 環境 側面板 環境。
  2. 在 無伺服器使用政策 中，選擇你想套用到筆記本的無伺服器使用政策。
  3. 按一下 套用。

完成此設定後，所有筆記本使用都會繼承無伺服器使用政策的自訂標籤。

Note

如果你的筆記本來自 Git 倉庫，或沒有指定的 無伺服器使用政策，下一次連接到無伺服器運算時，它會預設使用你最後選擇的無伺服器使用政策。

選擇基地環境

基礎環境決定了你的無伺服器筆記本預先安裝的函式庫和環境版本。 環境側面板的基礎環境選擇器提供統一的環境選擇介面。 若要查看每個環境版本的詳細數據，請參閱 無伺服器環境版本。 Databricks 建議使用最新版本，以獲得最新的筆記本功能。

基礎環境選擇器包含以下選項：

  • 標準：預設基礎環境，包含 Databricks 提供的函式庫。
  • AI：一個 AI 優化的基礎環境，內建機器學習函式庫。 此選項僅在選擇加速器（GPU）時出現。
  • 更多：展開以顯示其他選項。
    • Standard 與 AI 環境的先前版本。
    • 自訂：允許你使用 YAML 檔案來指定自訂環境。
  • 工作空間環境：列出管理員為你的工作空間設定的所有相容基礎環境。

選擇基地環境：

  1. 在筆記本介面中，點選 環境 側面板 環境。
  2. 在 「基礎環境」中，從下拉選單選擇一個環境。
  3. 按一下 套用。

將相依性新增至筆記本

由於無伺服器不支援計算原則或 init 腳本，因此您必須使用 [環境] 側邊面板新增自定義相依性。 您可以個別新增相依性，或使用可共用的基底環境來安裝多個相依性。

若要個別新增相依性：

  1. 在筆記本介面中，點選 環境 側面板 環境。

  2. 在 [ 相依性] 區段中，按兩下 [新增相依性 ]，然後在欄位中輸入相依性的路徑。 您可以在任何格式中指定相依性，只要該格式在requirements.txt檔案中有效。 Python輪子檔案或Python專案（例如包含 pyproject.toml 或 setup.py 的目錄）可以位於工作區檔案或 Unity 目錄卷中。

    • 如果使用工作區檔案，路徑應該是絕對路徑，並以 /Workspace/開頭。
    • 如果在 Unity 目錄磁碟區中使用檔案，路徑的格式應如下： /Volumes/<catalog>/<schema>/<volume>/<path>.whl。

  3. 按一下 套用。 這會將相依性安裝到筆記本虛擬環境中，並重新啟動 Python 程序。

Important

請勿在無伺服器筆記本上安裝 PySpark 或任何將 PySpark 作為相依性安裝的函式庫。 這樣做會停止您的連線並產生錯誤訊息。 如果發生這種情況，請移除程式庫，並 重設您的環境。

若要檢視已安裝的相依性，請按一下 環境 側面板中的 [已安裝] 標籤。 您也可以按面板底部的 pip 記錄，來取得筆記本環境的 pip 安裝記錄。

建立自訂環境規格

您可以建立及重複使用自訂環境規格。

  1. 在無伺服器筆記本中，選擇一個基礎環境，並加入你想安裝的相依關係。
  2. 按一下 kebab 功能表圖示 Kebab 功能表圖示。，然後按一下 匯出環境。
  3. 將規格儲存為工作區檔案或 Unity 目錄磁碟區中。

要在筆記本中使用自訂環境規格，請從基礎環境下拉選單選擇自訂，然後使用資料夾圖示 資料夾圖示來選擇你的 YAML 檔案。

建立可在工作區中共用的通用公用程式

下列範例示範如何在工作區檔案中儲存通用公用程式，並將它新增為無伺服器筆記本中的相依性：

  1. 使用下列結構建立資料夾。 確認項目的取用者具有檔案路徑的適當存取權：

    helper_utils/
├── helpers/
│   └── __init__.py   # your common functions live here
├── pyproject.toml

  2. 將 pyproject.toml 填入如下：

    [project]
name = "common_utils"
version = "0.1.0"

  3. 將函式新增至 init.py 檔案。 例如：

    def greet(name: str) -> str:
    return f"Hello, {name}!"

  4. 在筆記本 UI 中，按兩下 [ 環境 ] 側邊面板 [ 環境] 圖示。。

  5. 在 [ 相依性] 區段中，按兩下 [ 新增相依性 ]，然後輸入 util 檔案的路徑。 例如： /Workspace/helper_utils 。

  6. 按一下 套用。

您現已可以在筆記本中使用函數：

from helpers import greet
print(greet('world'))

這會輸出為：

Hello, world!

重設環境相依性

如果您的筆記本連線到無伺服器計算，Databricks 會自動快取筆記本虛擬環境的內容。 這表示當你打開現有的筆記本時，通常不需要重新安裝Environment側面板中指定的Python相依性，即使它因未活動而斷線。

Python 虛擬環境快取也適用於工作。 當作業執行時，該作業中任何與已完成任務共用相同依賴集的任務會更快，因為所需的依賴已經可用。

Note

如果你更改了在無伺服器作業中使用的自訂 Python 套件實作，也必須更新其版本號，讓工作能取得最新的實作。

若要清除環境快取，並執行附加至無伺服器計算之筆記本的 [ 環境 ] 側邊面板中所指定的相依性全新安裝，請按兩下 [ 套用 ] 旁的箭號，然後按兩下 [ 重設為預設值]。

如果您安裝了中斷或變更核心筆記本或 Apache Spark 環境的套件，請移除有問題的套件，然後重新設置環境。 啟動新工作階段不會清除整個環境快取。

設定預設的 Python 套件倉庫

工作區管理員可以在工作區內將私人或已驗證的套件存放庫設定為無伺服器筆記本和無伺服器作業的預設 pip 組態。 這讓使用者能從內部Python倉庫安裝套件，而無需明確定義 index-url 或 extra-index-url。

工作區管理員可以參考指導文件配置預設 Python 套件倉庫。

設定工作工作的環境

對於工作類型，如筆記本、Python 腳本、Python 輪盤、JAR或 dbt 任務，函式庫相依性繼承自無伺服器環境版本。 欲查看已安裝函式庫清單，請參閱您所使用的 environment 版本的 Installed Python libraries 或 Installed Java 和 Scala 函式庫區塊。 如果工作需要未安裝的程式庫，您可以從 工作區檔案、Unity 目錄 磁碟區或公用套件存放庫安裝程式庫。

對於具有現有筆記本環境的筆記本，您可以使用筆記本的環境來執行工作，或改為選取作業層級環境來覆寫它。

Important

使用無伺服器運算進行 JAR 任務的版本目前已公開預覽。

若要在建立或編輯任務時新增資料庫：

  1. 在環境與函式庫下拉選單中，點選Edit IconEdit Icon預設環境旁的，或點選 + 新增環境。

    編輯預設環境

  2. 從 環境版本 下拉式清單中選取環境版本。 請參閱 無伺服器環境版本。 Databricks 建議挑選最新版本，這樣可以獲得最新的功能。

  3. 在 [設定 環境] 對話框中，按兩下 [ + 新增連結庫]。

  4. 從 連結庫下的下拉功能表中選取相依性類型。

  5. 在 [ 檔案路徑] 文本框中，輸入連結庫的路徑。

    • 對於工作空間檔案中的Python輪，路徑應該是絕對的，且以 /Workspace/ 開頭。
    • 對於 Unity 目錄卷中的 Python輪，路徑應該是 /Volumes/<catalog>/<schema>/<volume>/<path>.whl。
    • 針對 requirements.txt 檔案，選取 [PyPi]，然後輸入 -r /path/to/requirements.txt。

    新增工作連結庫

  6. 按兩下 [確認] 或 [+ 新增連結庫] 以新增另一個連結庫。

  7. 如果您要新增工作，請按兩下 [建立工作]。 如果您要編輯工作，請按兩下 [ 儲存工作]。

工作任務的基礎環境

無伺服器工作支援以 YAML 檔案定義的自訂基底環境，適用於 Python、Python 輪盤及筆記本任務。 對於筆記本任務，你可以在工作設定中選擇自訂基地環境，或使用筆記本本身的環境設定，這些設定同時支援工作空間環境和自訂基地環境。 在所有情況下，執行時只會安裝任務所需的相依性。 你可以直接在工作環境設定中選擇自訂基地環境。 要建立自訂基礎環境，請參閱 建立自訂環境規範。

工作中的管理基礎環境

Important

這項功能位於 測試版 (Beta) 中。 工作區管理員可以從 「預覽 」頁面控制對此功能的存取。 請參見 管理Azure Databricks預覽。

你可以直接在工作環境設定中選擇受管理基地環境。 這包括由工作區管理員設定的工作空間基礎環境，以及由Azure Databricks提供的基礎環境，例如 Standard 和 AI。 這些都是筆記本環境選擇器中相同的基礎環境。 關於建立和管理工作空間基礎環境的資訊，請參見 管理工作空間基礎環境。

支援管理式基礎環境用於筆記本、Python 腳本及 Python 輪式任務。 它們不支援 JAR 任務。

環境與運算相容性

你選擇的基礎環境必須與任務的計算類型相容。 例如，為 GPU 運算打造的環境與 CPU 運算不相容。 在工作介面中，不相容環境在基礎環境下拉選單中會被灰色遮蔽。

當你設定筆記本任務時，計算類型（CPU 或 GPU）和基礎環境都可以來自工作設定或筆記本設定。

  • 如果你在工作層級設定硬體加速器（GPU），你也必須在工作層級選擇一個基礎環境。 你無法在工作層級加速器的環境中使用筆記本電腦。
  • 如果你在建立參考該任務後更改筆記本的計算類型（例如從 CPU 改為 GPU），現有任務可能會與其設定環境不相容。 更改筆記本的運算設定後，請檢查你的工作環境設定。
  • 對 API 使用者而言，若基礎環境設定於工作層級，但計算類型繼承自筆記本，相容性會在執行時驗證，而非工作建立時。 若配置不相容，執行即以錯誤失敗。
  • Last updated on