監視 Azure Data Factory 管線

已完成

在 Azure Data Factory 中建立和發布管線之後,您可以將它與觸發程式產生關聯,或手動啟動隨選執行。 您可以在 Azure Data Factory 使用者體驗中以原生方式監視所有管線回合。 若要開啟監視體驗,請在 Azure 入口網站的數據處理站刀鋒視窗中,選取 [監視 & 管理] 圖格。 如果您已經在 Azure Data Factory UX 中,請按下左側提要欄位上的 監視器 圖示。

監視管線執行

預設的監視檢視是所選取時段中的已觸發的管線執行清單。 您可以變更時間範圍,並依狀態、管線名稱或註釋進行篩選。 將滑鼠停留在特定的管線執行上,以特定執行動作,例如重新執行和使用量報表。

監視管線執行 清單檢視

管線執行網格包含下列資料行:

數據行名稱 說明
管線名稱 管線名稱
執行開始 管線回合的開始日期和時間 (MM/DD/YYYY,HH:MM:SS AM/PM)
執行結束 管線執行的結束日期和時間 (月/日/年,小時:分鐘:秒鐘 AM/PM)
持續時間 回合持續時間 (HH:MM:SS)
觸發者 啟動管線的觸發程序名稱
地位 失敗成功進行中已取消已排入佇列
附註 與管線相關聯的可篩選標籤
參數 管線回合的參數 (名稱/值組)
錯誤 如果管線失敗,則回合錯誤
執行識別碼 管線執行的識別碼

您必須手動選取 [重新整理] 按鈕,才能重新整理管線和活動回合的清單。 目前不支援自動重新整理。

[重新整理] 按鈕

若要檢視偵錯執行的結果,請選取 [偵錯] 索引標籤。

選取 [檢視作用中的偵錯執行] 圖示

監視活動回合

若要深入瞭解特定管線執行的個別活動執行,請按一下 [管線名稱]。

檢視活動執行

清單檢視會顯示對應至每個管線回合的活動回合。 將滑鼠停留在特定活動執行上,以取得特定執行的資訊,例如 JSON 輸入、JSON 輸出和詳細的特定活動監視體驗。 數據流、複製和 Azure Databricks 等活動都有一個專用的檢視,可按兩下眼鏡圖示來查看。

在監視工具中檢視活動執行

數據行名稱 說明
活動名稱 管線內的活動名稱
活動類型 活動的類型,例如 CopyExecuteDataFlowAzureMLExecutePipeline
行動 圖示,可讓您查看 JSON 輸入資訊、JSON 輸出資訊,或詳細的活動特定監視體驗
執行開始 活動回合的開始日期和時間 (MM/DD/YYYY,HH:MM:SS AM/PM)
持續時間 回合持續時間 (HH:MM:SS)
地位 失敗成功進行中已取消
整合執行階段 活動是在哪個 Integration Runtime 上執行
用戶屬性 活動的使用者定義屬性
錯誤 如果活動失敗,則回合錯誤
執行識別碼 活動執行的識別碼

如果活動失敗,您可以按一下錯誤資料行中的圖示,以查看詳細的錯誤訊息。

檢視活動執行錯誤

甘特圖檢視

甘特圖檢視可讓您查看一段時間範圍內的執行歷程記錄。 藉由切換至甘特圖檢視,您將會看到依名稱分組的所有管線執行,它們會以橫條的方式,顯示相應執行所花的時間。 您也可以依據您在管線上建立的註釋/標籤進行分組。 甘特圖檢視也可以在活動執行層級上使用。

甘特圖 範例

橫條的長度會告知管線的持續時間。 您也可以選取橫條以查看更多詳細資料。

甘特圖持續時間

監視數據流偵錯會話

對應資料流可讓您建立可大規模執行的無程式碼資料轉換邏輯。 建立您的邏輯時,您可以開啟偵錯工作階段,以互動方式使用即時 Spark 叢集來處理您的資料。

您可以在 監視器 體驗中監視處理站中的作用中數據流偵錯會話。

檢視數據流偵錯會話

監視儀表板

若要檢視管線、活動和觸發程式執行的高階視覺效果顯示,請移至 [儀錶板] 窗格。 您可以在這裡查看指定時段內的成功次數和失敗次數。

讀取監視儀錶板

使用 Azure 監視器進行監視

Azure 監視器可針對 Azure 中的大多數服務提供基本等級的基礎結構計量與記錄。 Azure 診斷記錄是由資源發出,並提供關於該資源作業的豐富、經常性資料。 Azure Data Factory (ADF) 可以在 Azure 監視器中寫入診斷記錄。

Data Factory 只會儲存管線執行的數據 45 天。 如果您想要保留該數據較長的時間,請使用 Azure 監視器。 透過監視,您可以將診斷記錄路由傳送至多個不同的目標。

  • 記憶體帳戶:將您的診斷記錄儲存至記憶體帳戶以進行稽核或手動檢查。 您可以使用診斷設定來指定天數的保留時間。
  • 事件中樞:將記錄串流至 Azure 事件中樞。 記錄會成為合作夥伴服務/自定義分析解決方案的輸入,例如 Power BI。
  • Log Analytics:使用 Log Analytics 分析記錄。 Data Factory 與 Azure 監視器的整合在下列案例中很有用:
    • 您想要在 Data Factory 發佈至監視的一組豐富計量上撰寫複雜的查詢。 您可以透過監視在這些查詢上建立自定義警示。
    • 您想要監視跨數據處理站。 您可以將資料從多個數據處理站路由傳送至單一監視器工作區。

您也可以使用記憶體帳戶或事件中樞命名空間,該命名空間不在發出記錄之資源的訂用帳戶中。 設定此設定的使用者,必須具有針對這兩種訂閱的適當 Azure 角色型存取控制 (Azure RBAC) 存取權。

設定診斷設定和工作區

為您的資料處理站建立或新增診斷設定。

  1. 在入口網站中,移至 [監視]。 選擇 [設定]>[診斷設定]

  2. 選取您要設定診斷設定的數據處理站。

  3. 如果選取的數據處理站上沒有設定,系統會提示您建立設定。 選取 [開啟診斷]。

如果沒有任何設定存在,請建立診斷設定

如果數據處理站上有現有的設定,您會看到數據處理站上已設定的設定清單。 選擇 新增診斷設定

如果設定存在,請新增診斷設定

  1. 提供您的設定名稱,選取 [傳送至 Log Analytics],然後從 log Analytics 工作區 選取工作區

    • Azure 診斷模式中,診斷記錄會流入AzureDiagnostics 資料表。

    • 特定資源模式中,Azure Data Factory 的診斷紀錄會流入下列資料表中:

      • ADFActivityRun
      • ADFPipelineRun
      • ADFTriggerRun
      • ADFSSIS整合運行時日誌
      • ADFSSIS封包事件消息上下文
      • ADFSSIS套件事件消息
      • ADFSSIS套件執行統計
      • ADFSSIS套件執行元件階段
      • ADFSSIS套件執行數據統計

      您可以選取與工作負載相關的各種記錄,以傳送至 Log Analytics 資料表。 例如,如果您完全不使用 SQL Server Integration Services (SSIS),就不需要選取任何 SSIS 記錄。 如果您想要記錄 SSIS Integration Runtime (IR) 啟動/停止/維護作業,您可以選取 [SSIS IR 記錄]。 如果您在 SQL Server Management Studio (SSMS)、SQL Server Agent 或其他指定的工具上透過 T-SQL 叫用 SSIS 套件執行,您可以選取 SSIS 套件記錄。 如果您透過ADF管線中的執行SSIS封裝活動叫用SSIS套件執行,您可以選取所有記錄。

    • 如果您選取 [AllMetrics,則各種 Azure Data Factory 計量將可供您監視或引發警示,包括 Azure Data Factory 活動、管線和觸發程式的計量,以及 SSIS IR 作業和 SSIS 套件執行。

為您的設定命名,然後選取log-analytics工作區

> [!NOTE]
> Because an Azure log table can't have more than 500 columns, Select _Resource-Specific mode_.
  1. 選取 [儲存]。

數個月後,此資料處理站中的新設定會出現您的設定清單中。 一旦有新的事件資料產生,診斷記錄就會被串流至該工作區。 從事件發出到顯示於 Log Analytics,最多可能相隔 15 分鐘。