分享方式:


工作區物件簡介

本文章提供 Azure Databricks 工作區物件的高階簡介。 您可以在工作區瀏覽器中跨角色建立、檢視及整理工作區物件。

命名工作區資產的記事

工作區資產的全名是由其主檔名與其副檔名所組成。 例如,筆記本的副檔名可以是 .py.sql.scala.r.ipynb,視筆記本的語言和格式而定。

當您建立筆記本資產時,其主檔名和全名 (主檔名串連副檔名) 在任何工作區資料夾中都必須是唯一的。 當您為資產命名時,Databricks 會檢查其是否符合此準則,方法是將副檔名新增至該資產,如果全名符合資料夾中的現有檔案,則不允許使用名稱,而您必須為筆記本選擇新的名稱。 例如,如果您嘗試在與名為 test.py 的 Python 檔案相同的資料夾中建立名為 test 的 Python 筆記本 (使用 Python 來源格式),則不允許使用。

叢集

Azure Databricks 資料科學與工程和 Databricks Mosaic AI 叢集為各種使用案例提供統一的平台,例如執行生產 ETL 管線、串流分析、臨機操作分析和機器學習。 叢集是一種 Azure Databricks 計算資源類型。 其他計算資源類型包括 Azure Databricks SQL 倉儲

如需管理及使用叢集的詳細資訊,請參閱計算

Notebooks

筆記本是一個網頁型介面,其中包含一系列可執行的資料格 (命令),可在檔案和資料表視覺效果和敘述文字上操作。 命令可依序執行,指的是一或多個先前執行命令的輸出。

Notebook 是一種在 Azure Databricks 中執行程式碼的機制。 另一個機制是工作

如需管理及使用筆記本的詳細資訊,請參閱 Databricks 筆記本簡介

工作

工作是一種在 Azure Databricks 中執行程式碼的機制。 另一個機制是筆記本。

如需管理及使用工作的詳細資訊,請參閱排程及協調工作流程

程式庫

程式庫能讓協力廠商或本機建置的程式碼可供您叢集上執行的筆記本和工作使用。

如需管理及使用程式庫的詳細資訊,請參閱連結庫

資料

您可以將資料匯入掛接至 Azure Databricks 工作區的分散式檔案系統,並在 Azure Databricks 筆記本和叢集中使用資料。 您也可以使用各種不同的 Apache Spark 資料來源來存取資料。

如需載入資料的詳細資訊,請參閱將資料內嵌至 Databricks Lakehouse

檔案

重要

這項功能處於公開預覽狀態

在 Databricks Runtime 11.3 LTS 和更新版本中,您可以在 Databricks 工作區中建立及使用任意檔案。 檔案可為任何檔案類型。 常見的範例包括:

  • 自訂模組中使用的 .py 檔案。
  • .md 檔案,例如 README.md
  • .csv 或其他小型資料檔案。
  • .txt 檔案。
  • 記錄檔。

如需使用檔案的詳細資訊,請參閱使用 Azure Databricks 上的檔案。 如需如何使用檔案在您利用 Databricks 筆記本進行開發時將程式碼模組化的資訊,請參閱在 Databricks 筆記本之間共用程式碼

Git 資料夾

Git 資料夾為 Azure Databricks 資料夾,其內容會透過同步至遠端 Git 存放庫來共同建立版本。 您可以使用 Databricks Git 資料夾,在 Azure Databricks 中開發筆記本,並使用遠端 Git 存放庫進行共同作業和版本控制。

如需使用存放庫的詳細資訊,請參閱 Databricks Git 資料夾的 Git 整合

模型

模型是指在 MLflow 模型登錄中註冊的模型。 模型登錄是集中式模型存放區,可讓您管理 MLflow 模型的完整生命週期。 其提供時間模型譜系、模型版本設定、階段轉換,以及模型和模型版本註釋和描述。

如需管理及使用模型的詳細資訊,請參閱在 Unity 目錄中管理模型生命週期

實驗

MLflow 實驗是 MLflow 機器學習模型訓練執行的組織主要單位和存取控制單位;所有 MLflow 執行都屬於一個實驗。 每個實驗都可讓您視覺化、搜尋及比較執行,以及下載執行成品或中繼資料,以便在其他工具中分析。

如需管理及使用實驗的詳細資訊,請參閱使用 MLflow 實驗組織訓練執行

查詢

查詢是可讓您與資料互動的 SQL 陳述式。 如需詳細資訊,請參閱存取及管理儲存的查詢

儀表板​​

儀表板是查詢視覺效果和評論的呈現。 請參閱<儀表板>或<舊版儀表板>。

警示

警示是查詢所傳回的欄位已達到閾值的通知。 如需詳細資訊,請參閱什麼是 Databricks SQL 警示?

工作區物件的參考

在過去,使用者必須包含某些 Databricks API (/Workspace),但不必包含其他 API (%sh、REST API 輸入) 的 %run 路徑前置詞。

使用者可以在任何位置使用具有 /Workspace 前置詞的工作區路徑。 沒有 /Workspace 前置詞的路徑舊版參考會重新導向,並繼續運作。 我們建議所有工作區路徑都具有 /Workspace 前置詞,以區分其與磁碟區和 DBFS 路徑。

一致的 /Workspace 路徑前置詞行為的必要條件如下:工作區根層級不能有 /Workspace 資料夾。 如果您在根層級有 /Workspace 資料夾,且想要啟用此 UX 改進功能,請刪除或重新命名您建立的 /Workspace 資料夾,並連絡您的 Azure Databricks 帳戶小組。

共用檔案、資料夾或筆記本 URL

在您的 Azure Databricks 工作區中,工作區檔案、筆記本和資料夾的 URL 格式如下:

工作區檔案 URL

  https://<databricks-instance>/?o=<16-digit-workspace-ID>#files/<16-digit-object-ID>

筆記本 URL

  https://<databricks-instance>/?o=<16-digit-workspace-ID>#notebook/<16-digit-object-ID>/command/<16-digit-command-ID>

資料夾 (工作區和 Git) URL

  https://<databricks-instance>/browse/folders/<16-digit-ID>?o=<16-digit-workspace-ID>

如果目前路徑中的任何資料夾、檔案或筆記本都以 Git 提取命令進行更新,或是刪除後以相同名稱重新建立,則這些連結可能會中斷。 不過,您可以根據工作區路徑建構連結,透過將該連結變更為下列格式的連結,以與其他具有適當存取層級的 Databricks 使用者共用:

  https://<databricks-instance>/?o=<16-digit-workspace-ID>#workspace/<full-workspace-path-to-file-or-folder>

您可以使用工作區根目錄中的檔案、資料夾或筆記本路徑來取代 URL 中 ?o=<16-digit-workspace-ID> 之後的所有內容,以共用資料夾、筆記本和檔案的連結。 如果您要共用資料夾的 URL,則也要從原始 URL 移除 /browse/folders/<16-digit-ID>

若要取得檔案路徑,請以滑鼠右鍵按一下您所要共用工作區中的資料夾、筆記本或檔案,然後選取 [複製URL/路徑]>[完整路徑] 來開啟操作功能表。 在您剛才複製的檔案路徑前面附加 #workspace,並在 ?o=<16-digit-workspace-ID> 之後附加產生的字串,使其符合上述 URL 格式。

從工作區資料夾的操作功能表中選取 [複製 URL 路徑],後接 [完整路徑]。

URL 公式範例 #1:資料夾 URL

若要共用工作區資料夾 URL https://<databricks-instance>/browse/folders/1111111111111111?o=2222222222222222,請從 URL 中移除 browse/folders/1111111111111111 子字串。 新增 #workspace,後接您要共用的資料夾或工作區物件路徑。

在此案例中,工作區路徑為 /Workspace/Users/user@example.com/team-git/notebooks 資料夾的路徑。 從工作區複製完整路徑之後,您現在即可建構可共用連結:

  https://<databricks-instance>/?o=2222222222222222#workspace/Workspace/Users/user@example.com/team-git/notebooks

URL 公式範例 2:筆記本 URL

若要共用筆記本 URL https://<databricks-instance>/?o=1111111111111111#notebook/2222222222222222/command/3333333333333333,請移除 #notebook/2222222222222222/command/3333333333333333。 新增 #workspace,後接資料夾或工作區物件的路徑。

在此案例中,工作區路徑會指向筆記本 /Workspace/Users/user@example.com/team-git/notebooks/v1.0/test-notebook。 從工作區複製完整路徑之後,您現在即可建構可共用連結:

  https://<databricks-instance>/?o=1111111111111111#workspace/Workspace/Users/user@example.com/team-git/notebooks/v1.0/test-notebook

現在針對要共用的檔案、資料夾或筆記本路徑,您有穩定的 URL! 如需 URL 和識別碼的詳細資訊,請參閱取得工作區物件的識別碼