監視 Azure Data Factory 管線
在 Azure Data Factory 中建立和發布管線之後,您可以將它與觸發程式產生關聯,或手動啟動隨選執行。 您可以在 Azure Data Factory 使用者體驗中以原生方式監視所有管線回合。 若要開啟監視體驗,請在 Azure 入口網站的數據處理站刀鋒視窗中,選取 [監視 & 管理] 圖格。 如果您已經在 Azure Data Factory UX 中,請按下左側提要欄位上的 監視器 圖示。
監視管線執行
預設的監視檢視是所選取時段中的已觸發的管線執行清單。 您可以變更時間範圍,並依狀態、管線名稱或註釋進行篩選。 將滑鼠停留在特定的管線執行上,以特定執行動作,例如重新執行和使用量報表。
監視管線執行
管線執行網格包含下列資料行:
數據行名稱 | 說明 |
---|---|
管線名稱 | 管線名稱 |
執行開始 | 管線回合的開始日期和時間 (MM/DD/YYYY,HH:MM:SS AM/PM) |
執行結束 | 管線執行的結束日期和時間 (月/日/年,小時:分鐘:秒鐘 AM/PM) |
持續時間 | 回合持續時間 (HH:MM:SS) |
觸發者 | 啟動管線的觸發程序名稱 |
地位 | 失敗、成功、進行中、已取消或已排入佇列 |
附註 | 與管線相關聯的可篩選標籤 |
參數 | 管線回合的參數 (名稱/值組) |
錯誤 | 如果管線失敗,則回合錯誤 |
執行識別碼 | 管線執行的識別碼 |
您必須手動選取 [重新整理] 按鈕,才能重新整理管線和活動回合的清單。 目前不支援自動重新整理。
若要檢視偵錯執行的結果,請選取 [偵錯] 索引標籤。
監視活動回合
若要深入瞭解特定管線執行的個別活動執行,請按一下 [管線名稱]。
清單檢視會顯示對應至每個管線回合的活動回合。 將滑鼠停留在特定活動執行上,以取得特定執行的資訊,例如 JSON 輸入、JSON 輸出和詳細的特定活動監視體驗。 數據流、複製和 Azure Databricks 等活動都有一個專用的檢視,可按兩下眼鏡圖示來查看。
數據行名稱 | 說明 |
---|---|
活動名稱 | 管線內的活動名稱 |
活動類型 | 活動的類型,例如 Copy、ExecuteDataFlow 或 AzureMLExecutePipeline |
行動 | 圖示,可讓您查看 JSON 輸入資訊、JSON 輸出資訊,或詳細的活動特定監視體驗 |
執行開始 | 活動回合的開始日期和時間 (MM/DD/YYYY,HH:MM:SS AM/PM) |
持續時間 | 回合持續時間 (HH:MM:SS) |
地位 | 失敗、成功、進行中或已取消 |
整合執行階段 | 活動是在哪個 Integration Runtime 上執行 |
用戶屬性 | 活動的使用者定義屬性 |
錯誤 | 如果活動失敗,則回合錯誤 |
執行識別碼 | 活動執行的識別碼 |
如果活動失敗,您可以按一下錯誤資料行中的圖示,以查看詳細的錯誤訊息。
甘特圖檢視
甘特圖檢視可讓您查看一段時間範圍內的執行歷程記錄。 藉由切換至甘特圖檢視,您將會看到依名稱分組的所有管線執行,它們會以橫條的方式,顯示相應執行所花的時間。 您也可以依據您在管線上建立的註釋/標籤進行分組。 甘特圖檢視也可以在活動執行層級上使用。
甘特圖
橫條的長度會告知管線的持續時間。 您也可以選取橫條以查看更多詳細資料。
監視數據流偵錯會話
對應資料流可讓您建立可大規模執行的無程式碼資料轉換邏輯。 建立您的邏輯時,您可以開啟偵錯工作階段,以互動方式使用即時 Spark 叢集來處理您的資料。
您可以在 監視器 體驗中監視處理站中的作用中數據流偵錯會話。
監視儀表板
若要檢視管線、活動和觸發程式執行的高階視覺效果顯示,請移至 [儀錶板] 窗格。 您可以在這裡查看指定時段內的成功次數和失敗次數。
使用 Azure 監視器進行監視
Azure 監視器可針對 Azure 中的大多數服務提供基本等級的基礎結構計量與記錄。 Azure 診斷記錄是由資源發出,並提供關於該資源作業的豐富、經常性資料。 Azure Data Factory (ADF) 可以在 Azure 監視器中寫入診斷記錄。
Data Factory 只會儲存管線執行的數據 45 天。 如果您想要保留該數據較長的時間,請使用 Azure 監視器。 透過監視,您可以將診斷記錄路由傳送至多個不同的目標。
- 記憶體帳戶:將您的診斷記錄儲存至記憶體帳戶以進行稽核或手動檢查。 您可以使用診斷設定來指定天數的保留時間。
- 事件中樞:將記錄串流至 Azure 事件中樞。 記錄會成為合作夥伴服務/自定義分析解決方案的輸入,例如 Power BI。
-
Log Analytics:使用 Log Analytics 分析記錄。 Data Factory 與 Azure 監視器的整合在下列案例中很有用:
- 您想要在 Data Factory 發佈至監視的一組豐富計量上撰寫複雜的查詢。 您可以透過監視在這些查詢上建立自定義警示。
- 您想要監視跨數據處理站。 您可以將資料從多個數據處理站路由傳送至單一監視器工作區。
您也可以使用記憶體帳戶或事件中樞命名空間,該命名空間不在發出記錄之資源的訂用帳戶中。 設定此設定的使用者,必須具有針對這兩種訂閱的適當 Azure 角色型存取控制 (Azure RBAC) 存取權。
設定診斷設定和工作區
為您的資料處理站建立或新增診斷設定。
在入口網站中,移至 [監視]。 選擇 [設定]>[診斷設定]。
選取您要設定診斷設定的數據處理站。
如果選取的數據處理站上沒有設定,系統會提示您建立設定。 選取 [開啟診斷]。
如果數據處理站上有現有的設定,您會看到數據處理站上已設定的設定清單。 選擇 新增診斷設定。
提供您的設定名稱,選取 [傳送至 Log Analytics],然後從 log Analytics 工作區 選取工作區。
在 Azure 診斷模式中,診斷記錄會流入AzureDiagnostics 資料表。
在特定資源模式中,Azure Data Factory 的診斷紀錄會流入下列資料表中:
- ADFActivityRun
- ADFPipelineRun
- ADFTriggerRun
- ADFSSIS整合運行時日誌
- ADFSSIS封包事件消息上下文
- ADFSSIS套件事件消息
- ADFSSIS套件執行統計
- ADFSSIS套件執行元件階段
- ADFSSIS套件執行數據統計
您可以選取與工作負載相關的各種記錄,以傳送至 Log Analytics 資料表。 例如,如果您完全不使用 SQL Server Integration Services (SSIS),就不需要選取任何 SSIS 記錄。 如果您想要記錄 SSIS Integration Runtime (IR) 啟動/停止/維護作業,您可以選取 [SSIS IR 記錄]。 如果您在 SQL Server Management Studio (SSMS)、SQL Server Agent 或其他指定的工具上透過 T-SQL 叫用 SSIS 套件執行,您可以選取 SSIS 套件記錄。 如果您透過ADF管線中的執行SSIS封裝活動叫用SSIS套件執行,您可以選取所有記錄。
如果您選取 [AllMetrics,則各種 Azure Data Factory 計量將可供您監視或引發警示,包括 Azure Data Factory 活動、管線和觸發程式的計量,以及 SSIS IR 作業和 SSIS 套件執行。
> [!NOTE]
> Because an Azure log table can't have more than 500 columns, Select _Resource-Specific mode_.
- 選取 [儲存]。
數個月後,此資料處理站中的新設定會出現您的設定清單中。 一旦有新的事件資料產生,診斷記錄就會被串流至該工作區。 從事件發出到顯示於 Log Analytics,最多可能相隔 15 分鐘。