這很重要
這項功能目前處於 公開預覽版。
本文說明如何使用 Lakeflow Spark 宣告式管線中的筆記本來開發和偵錯 ETL 管線。
備註
本頁說明舊版筆記本編輯體驗。 預設的建議體驗是 Lakeflow 管線編輯器。 您可以使用 Lakeflow 管線編輯器來編輯筆記本,或管線的 Python 或 SQL 程式碼檔案。 如需詳細資訊,請參閱 使用 Lakeflow 管線編輯器開發和偵錯 ETL 管線。
若要設定本頁所述的筆記本體驗,您必須關閉 Lakeflow 管線編輯器。 請參閱 啟用 Lakeflow 管線編輯器和更新的監控。
Lakeflow Spark 宣告式管線中的筆記本概觀
當您使用已設定為現有管線原始程式碼的 Python 或 SQL 筆記本時,可以直接將筆記本連線到管線。 當筆記本連線到管線時,可以使用下列功能:
- 從筆記本啟動並驗證管線。
- 檢視管線的數據流圖表和事件記錄檔,以取得筆記本中的最新更新。
- 在筆記本編輯器中檢視管線診斷。
- 在筆記本中檢視管線叢集的狀態。
- 從筆記本存取 Lakeflow Spark 的宣告式管線介面 UI。
先決條件
- 您必須具備現有的管線,且已將 Python 或 SQL 筆記本配置為原始程式碼。
- 您必須是管線的擁有者,或具有
CAN_MANAGE許可權。
局限性
- 本文所涵蓋的功能僅適用於 Azure Databricks 筆記本。 不支援工作區檔案。
- 連結至管線時,無法使用 Web 終端機。 因此,它不會顯示為底部面板中的索引標籤。
將筆記本連線至管線
在筆記本內,按一下用於選擇計算資源的下拉功能表。 下拉選單會顯示所有以此筆記本作為原始程式碼的 Lakeflow Spark 宣告式管線。 若要將筆記本連線到管線,請從清單中選取它。
檢視管線的叢集狀態
若要輕鬆瞭解管線叢集的狀態,其狀態會顯示在計算下拉功能表中,其綠色表示叢集正在執行。
驗證流程程序代碼
您可以 驗證管線 來檢查原始程式碼中的語法錯誤,而不需要處理任何數據。
若要驗證管線,請執行下列其中一項:
- 在筆記本右上角,按兩下 [ 驗證]。
- 在任何筆記本儲存格中按下
Shift+Enter。 - 在儲存格的下拉選單中,按一下 驗證管線。
備註
如果您嘗試在現有更新正在執行時驗證管線,則會顯示對話框,詢問您是否要終止現有的更新。 如果您按兩下 [ 是],現有的更新就會停止,且 驗證 更新會自動啟動。
啟動管線更新
若要開始更新管線,請按下筆記本右上角的 [ 開始 ] 按鈕。 請參閱 執行管線更新。
檢視更新的狀態
筆記本中的頂端面板會顯示管線更新是否為:
- 啟動中
- 驗證中
- 停止中
檢視錯誤和診斷
當您啟動管線更新或驗證後,任何錯誤將會以紅色底線標示出來。 將滑鼠停留在錯誤上方以查看詳細資訊。
檢視管線事件
連結至管線時,筆記本底部會有 Lakeflow Spark 宣告式管線事件記錄檔索引標籤。
檢視管線數據流圖形
若要檢視管線的資料流程圖表,請使用筆記本底部的 [Lakeflow Spark 宣告式管線圖表] 索引標籤。 選取圖形中的節點會在右側面板中顯示其架構。
如何從筆記型電腦存取 Lakeflow Spark 宣告式管線 UI
若要輕鬆進入 Lakeflow Spark 宣告性管線 UI,請使用筆記本右上角的選單。
從筆記本存取驅動程序記錄和 Spark UI
您可以從筆記本的 [ 檢視 ] 功能表輕鬆存取與開發管線相關聯的驅動程序記錄和 Spark UI。