共用方式為


用筆記本開發與除錯管線(舊有系統)

這很重要

這項功能目前處於 公開預覽版

本文說明如何使用 Lakeflow Spark 宣告式管線中的筆記本來開發和偵錯 ETL 管線。

備註

本頁說明舊版筆記本編輯體驗。 預設的建議體驗是 Lakeflow 管線編輯器。 您可以使用 Lakeflow 管線編輯器來編輯筆記本,或管線的 Python 或 SQL 程式碼檔案。 如需詳細資訊,請參閱 使用 Lakeflow 管線編輯器開發和偵錯 ETL 管線

若要設定本頁所述的筆記本體驗,您必須關閉 Lakeflow 管線編輯器。 請參閱 啟用 Lakeflow 管線編輯器和更新的監控

Lakeflow Spark 宣告式管線中的筆記本概觀

當您使用已設定為現有管線原始程式碼的 Python 或 SQL 筆記本時,可以直接將筆記本連線到管線。 當筆記本連線到管線時,可以使用下列功能:

  • 從筆記本啟動並驗證管線。
  • 檢視管線的數據流圖表和事件記錄檔,以取得筆記本中的最新更新。
  • 在筆記本編輯器中檢視管線診斷。
  • 在筆記本中檢視管線叢集的狀態。
  • 從筆記本存取 Lakeflow Spark 的宣告式管線介面 UI。

先決條件

  • 您必須具備現有的管線,且已將 Python 或 SQL 筆記本配置為原始程式碼。
  • 您必須是管線的擁有者,或具有 CAN_MANAGE 許可權。

局限性

  • 本文所涵蓋的功能僅適用於 Azure Databricks 筆記本。 不支援工作區檔案。
  • 連結至管線時,無法使用 Web 終端機。 因此,它不會顯示為底部面板中的索引標籤。

將筆記本連線至管線

在筆記本內,按一下用於選擇計算資源的下拉功能表。 下拉選單會顯示所有以此筆記本作為原始程式碼的 Lakeflow Spark 宣告式管線。 若要將筆記本連線到管線,請從清單中選取它。

檢視管線的叢集狀態

若要輕鬆瞭解管線叢集的狀態,其狀態會顯示在計算下拉功能表中,其綠色表示叢集正在執行。

驗證流程程序代碼

您可以 驗證管線 來檢查原始程式碼中的語法錯誤,而不需要處理任何數據。

若要驗證管線,請執行下列其中一項:

  • 在筆記本右上角,按兩下 [ 驗證]。
  • 在任何筆記本儲存格中按下 Shift+Enter
  • 在儲存格的下拉選單中,按一下 驗證管線

備註

如果您嘗試在現有更新正在執行時驗證管線,則會顯示對話框,詢問您是否要終止現有的更新。 如果您按兩下 [ ],現有的更新就會停止,且 驗證 更新會自動啟動。

啟動管線更新

若要開始更新管線,請按下筆記本右上角的 [ 開始 ] 按鈕。 請參閱 執行管線更新

檢視更新的狀態

筆記本中的頂端面板會顯示管線更新是否為:

  • 啟動中
  • 驗證中
  • 停止中

檢視錯誤和診斷

當您啟動管線更新或驗證後,任何錯誤將會以紅色底線標示出來。 將滑鼠停留在錯誤上方以查看詳細資訊。

檢視管線事件

連結至管線時,筆記本底部會有 Lakeflow Spark 宣告式管線事件記錄檔索引標籤。

事件記錄檔

檢視管線數據流圖形

若要檢視管線的資料流程圖表,請使用筆記本底部的 [Lakeflow Spark 宣告式管線圖表] 索引標籤。 選取圖形中的節點會在右側面板中顯示其架構。

數據流圖形

如何從筆記型電腦存取 Lakeflow Spark 宣告式管線 UI

若要輕鬆進入 Lakeflow Spark 宣告性管線 UI,請使用筆記本右上角的選單。

從筆記本在LDP UI 中開啟

從筆記本存取驅動程序記錄和 Spark UI

您可以從筆記本的 [ 檢視 ] 功能表輕鬆存取與開發管線相關聯的驅動程序記錄和 Spark UI。

存取驅動程序記錄和Spark UI