在 UI 中監視管線

在 Azure Databricks 使用者介面中監控 Lakeflow 管線，以追蹤更新進度、管線事件警示，並查看串流來源指標。 這些內建功能支援以下任務：

• 觀察管線更新的進度和狀態。 請參閱 監控頁面中可用的管線詳細資料。
• 針對管線事件發出警示，例如管線更新成功或失敗。 請參閱 ，新增有關管線事件的電子郵件通知。
• 查看串流來源的指標，例如 Apache Kafka 和 Auto Loader（公開預覽版）。 請參閱 查看串流指標。

新增管線事件的電子郵件通知

您可以設定一或多個電子郵件地址，以在發生下列情況時接收通知：

• 管線更新成功完成。
• 管線更新失敗，發生可重試或無法重試的錯誤。 選取此選項可接收所有管線失敗的通知。
• 管線更新失敗，並出現無法重試（嚴重）錯誤。 選取此選項，只有在發生無法重試的錯誤時，才會收到通知。
• 單一資料流失敗。

若要設定電子郵件通知，請編輯管線的設定。 請參閱 通知。

備註

使用 Python 事件攔截建立事件的自定義回應，包括通知或自定義處理。

在使用者介面中檢視管線

從 尋找您的管線。工作區側邊欄中的 Jobs &; Pipelines 選項。 這會開啟 [作業和管線] 頁面，您可以在其中檢視您有權存取的每個作業和管線的相關信息。 按一下管線的名稱以開啟管線監控頁面。 若要編輯任務或管線，請按一下 選單，然後選擇 Edit （編輯）。

備註

任務和不同的管線類型有不同的編輯器。 編輯選項會開啟你選擇物件的正確編輯器。

使用「工作與管道」清單

若要檢視您可以存取的管線清單，請按兩下 提要欄位中的作業和管線。 [ 作業和管線 ] 索引標籤會列出所有可用作業和管線的相關信息，例如建立者、觸發條件（如果有的話），以及最後五次執行的結果。

按一下管線或作業的名稱會帶您前往該管線或作業的監視頁面。 若要編輯管線或工作，請按一下 然後選取 編輯。

若要變更清單中顯示的數據行，請按下 [資料行 ，然後選取或取消選取數據行。 例如，若要將 新增 Pipeline Type 為欄，請選取該欄以檢視。

您可以在 作業和管線 列表中篩選作業，如下列螢幕快照所示。

1. 文字搜尋：支援 [名稱 ] 和 [ 標識符 ] 欄位的關鍵詞搜尋。 若要搜尋以索引鍵和值建立的標籤，您可以依索引鍵、值或索引鍵和值來搜尋。 例如，針對具有索引鍵 department 和值 finance 的標籤，您可以搜尋 department 或 finance 以尋找相符的工作。 若要依索引鍵和值搜尋，請輸入以冒號分隔的索引鍵和值（例如，department:finance）。
2. 類型：依 作業、 管線或 全部篩選。 如果您選取 [ 管線] ，您也可以依 管線類型進行篩選，其中包括 ETL 和擷取管線。
3. 擁有者：只顯示您擁有的工作。
4. 收藏：顯示您標示為收藏的工作。
5. 標籤：使用 標籤。 若要依標記搜尋，您可以使用標籤單來篩選最多五個標籤，或直接使用關鍵詞搜尋。
6. 以...身份執行：依最多兩個 run as 值進行篩選。

若要啟動作業或管線，請按一下 [ ]。 若要停止作業或管線，請按兩下 [ 停止] 按鈕。 若要存取其他動作，請單擊 。 例如，您可以編輯或刪除工作或管線，或從該功能表存取管線的設定。

監控頁面中可用的管線詳細資料

備註

統一執行清單預覽會將管道執行新增至工作執行清單。 關於啟用該預覽後的變更細節及啟用方法，請參閱 「統一跑數清單預覽中的變更」。

按一下 [工作與管線 ] 頁面中的管線名稱，會顯示該管線的監視頁面。 您可以從這裡開始管線執行，並檢視先前的執行詳細資料。

管線圖，也稱為有向無環圖（DAG），會在管線更新成功開始時立即出現。 箭頭代表管線中資料集之間的相依性。 根據預設，管線監控頁面會顯示資料表的最新更新，但您可以從下拉式功能表中選取較舊的更新。

右側窗格頂部顯示管線詳細資料，包括管線 ID、運算成本、產品版本和通道。 更新詳細資料顯示於管線詳細資料下方。 要存取管線原始碼，請點擊頁面頂端的 「編輯管線 」。 若要前往特定資料表的程式碼，請將滑鼠游標移至管線圖中的該資料表上，然後按一下 前往程式碼。

若要查看資料集的表格式檢視，請按一下 清單 索引標籤。 清單 檢視可讓您查看管線中的所有資料集，這些資料集以表格中的資料列表示，而且當您的管線圖表太大而無法在 「圖表」 檢視中視覺化時，它很有用。 您可以使用多個篩選器 （例如資料集名稱、類型和狀態） 來控制表格中顯示的資料集。 要切回管線圖，請點擊圖。

“以 指定使用者身分 執行的人是管線擁有者，所有管線更新均使用該使用者的許可權執行。” 若要變更 run as 使用者，請按下 [權限] 並變更管線擁有者。

備註

更新執行行為：由排程、管線 API 或連續管線觸發的更新會使用自動重試與重啟行為。 這包括從監控介面或管線編輯器開始的持續管線更新。 從監控介面或管線編輯器開始的非連續管線更新會採用快速啟動、以除錯為中心的行為。 若要覆蓋特定非連續管線執行的行為，請在下拉選單中使用「 立即執行並不同設定 」選項。 欲了解更多資訊，請參閱 更新執行行為。

事件日誌：當管線更新出現錯誤時，錯誤會顯示在底部窗格，並有 檢視日誌 按鈕，可存取該執行的事件日誌。 事件日誌也可透過選擇在右側窗格的跑動詳情中查看事件日誌。 在 Lakeflow Pipelines Editor 執行更新時，請前往編輯器底部的 問題 窗格，然後按一下 查看記錄，或按一下任何錯誤旁邊的 在記錄中開啟 按鈕。 更多細節請參閱 Lakeflow Pipelines Editor 及 Pipeline 設定中的事件日誌。

Unified Runs List 預覽版的變更

如果您已啟用[統一執行清單]預覽，您可以在[作業 & 管線]頁面中查看管線執行更新。

這很重要

統一執行列表目前處於公開預覽階段。 工作區預設是選擇進入預覽的。

要停用 統一執行清單，工作區管理員必須選擇退出預覽。 關於如何選擇加入或退出預覽的詳細資訊，請參閱 管理帳戶層級預覽。

若要存取統一執行清單，可以從工作區側邊欄中選取 或按一下 ，然後選擇 任務與管線，接著選擇 [執行] 索引標籤。

標籤顯示過去 60 天內的最近執行清單。 在下列情況下，會先顯示顯示過去 48 小時內執行成功與失敗的圖表：

• 系統只會將您篩選至作業或管線。
• 您是管理員，或篩選為僅執行 Run as: Me
• 在圖表上顯示結果可能需要最多一小時。

您可以依下列方式篩選清單和圖表：

• 工作或管線的名稱。
• 全部、作業或 流程。
• 管線型別 （ETL、擷取、MV/ST 或資料庫資料表同步）。
• 以 使用者身分執行 。
• 執行 開始時間 （過去 48 小時內）。
• 執行 狀態。
• 失敗執行的 錯誤碼 。

除了上述內容之外，您還可以在列表中查看以下欄位：

• 結束時間
• 執行標識碼
• 執行是手動 啟動 還是依排程啟動。
• 執行 Duration。
• 執行參數。

若要變更執行清單中顯示的欄，請按一下 ，然後選取或取消選取欄。

按一下管線執行的 [開始時間]、[結束時間] 或 [名稱] 會帶您前往管線的監視頁面。

當管線正在執行時，您可以按一下 來停止執行。 您可以隨時按一下運行列上的 按鈕，然後選擇 編輯管線 以在編輯器中查看管線。

查看資料集詳情

點擊管線圖或資料集清單中的資料集，會在底部窗格顯示該資料集的資訊。 右側窗格會持續顯示管線和更新的詳細資料。

• Schema：在底部窗格的 「表格」 標籤中選擇表格，然後選擇 欄位。
• 資料品質指標：選取表格時可在底部窗格查看。
• 原始碼：要找到特定資料表的程式碼，請將滑鼠移到管線圖中該表並點擊 請前往代碼 按鈕。
• 查詢歷史：在底部窗格選擇 「效能 」。
• 表格註解：表格註解無法從管線細節頁面取得。 要查看表格註解，請在目錄檔案總管中開啟該表格。 要直接前往該表格，請在管線圖中將游標移至該表格上，點選 ，然後點選 在目錄中檢視。 若要從底部窗格的表格清單存取目錄檔案總管，請點擊 圖示。

檢視更新歷程記錄

若要檢視管線更新的歷程記錄和狀態，請單擊頂端列中的 [更新歷程記錄] 下拉功能表。

在下拉功能表中選取更新，以檢視更新的圖形、詳細數據和事件。 若要返回最新的更新，請按 顯示最新的更新。

備註

管線會保留 60 天內的先前更新。 保留期間之前的更新不再顯示在這裡，而是留在 事件日誌中。

除錯失敗的管線更新

當更新失敗時，請從 Lakeflow 管線編輯器的 「問題 」面板或監控頁面的底部面板開始。 失敗的更新會在該處顯示錯誤，並提供一個可直接跳至相關事件日誌條目的 「檢視日誌」 按鈕，因此你幾乎不需要手動搜尋原始日誌。

接著，逐步排查故障：

• 找出失敗的地方。 在 圖 視圖中，失敗的資料表和流程會直接在 DAG 上標示。 選擇一個可以查看錯誤訊息，並檢查故障是否僅限於單一資料表，或已串接到其下游相依資料表。
• 查詢事件日誌以查完整錯誤。 使用者介面可以截斷訊息。 事件日誌 error 和 details 欄位承載全堆疊追蹤與結構化上下文。 請參閱 查詢事件記錄檔。
• 只重播失敗的部分。 使用 Refresh 失敗的資料表 ，只重試失敗的表及其下游的運算，而不是重新處理已經成功的表。 請參閱 啟動管線更新以修正失敗的表格。
• 在完整更新前先驗證。 如果失敗看起來像是程式碼或設定問題，而非資料問題，請先執行 Validate 。 它會重新檢查管線圖和原始碼，而不需將資料實體化，因此你可以在投入運算資源之前，快速得知你的修正是否已解決該錯誤。 請參閱 檢查管線是否有錯誤，而不需要等候數據表更新。
• 將重試行為納入考量。 從編輯器手動觸發的更新會停用自動重試，讓你立即看到錯誤；而由排程或 API 觸發的更新，則會自動重試可恢復的失敗。 生產失敗警報可能在重試時自行解決，但同一失敗在互動式開發中則不會。 請參見 更新執行行為。

備註

如果失敗是因為串流檢查點無效或不相容（常見於更改有狀態操作 dropDuplicates() 如 或 聚合後，或更換來源後），僅靠重試無法解決問題。 恢復作業需要重新處理資料，方式可以是完整重新整理，也可以是選擇性地重設檢查點，亦即從所選位置重新播放，並保留現有的資料表資料。 由於重置會重新處理來源資料，因此下游寫入必須具備冪等性。 請參閱 從串流檢查點失敗中復原管線。

檢視串流指標

這很重要

管線的串流可觀察性處於 公開預覽狀態。

您可以檢視 Spark 結構化串流支援的資料來源 （例如 Apache Kafka、Amazon Kinesis、Auto Loader 和 Delta 資料表） 的串流指標，適用於管道中的每個串流流程。 度量會在管線 UI 的右窗格中顯示為圖表，並包含延遲秒數、延遲位元組、延遲記錄和延遲檔案。 圖表會顯示依分鐘匯總的最大值，工具提示會在您將滑鼠停留在圖表上時顯示最大值。 數據限制在目前時間的過去 48 小時內。

在你的管線中，提供串流指標的資料表在 UI LDP Chart Icon圖表檢視中查看管線圖時，會顯示 圖示。 若要檢視串流度量，請按一下 ，以在右窗格的 [流程 ] 索引標籤中顯示串流度量圖表。 您也可以套用篩選條件，只檢視具備串流計量的數據表，方法是按一下 [List]，然後按一下 [具有串流計量]。

每個串流來源只支援特定的計量。 串流來源不支援的計量無法在UI中檢視。 下表顯示支援的串流來源可用的計量：

來源	待處理位元組	待辦項目記錄	待辦專案秒數	待辦項目檔案
Kafka	✓	✓
Kinesis	✓		✓
Delta	✓			✓
自動加載器	✓			✓
Google Pub/Sub 服務	✓	✓