監視 Azure Data Factory 管線

  • 7 分鐘

一旦在 Azure Data Factory 中建立並發佈管線後，您就可以將其與觸發程序建立關聯，或手動啟動隨選執行。 您可以在 Azure Data Factory 使用者體驗中以原生方式監視所有管線回合。 若要開啟監視體驗，請在 Azure 入口網站的資料處理站窗格中，選取 [監視與管理] 圖格。 如果您已經在 Azure Data Factory UX 窗格中，請按一下左側邊欄中的 [監視] 圖示。

監視管線執行

預設的監視檢視是所選取時段中的已觸發的管線執行清單。 您可以變更時間範圍，並依狀態、管線名稱或註釋進行篩選。 將滑鼠停留在特定的管線執行上，以特定執行動作，例如重新執行和使用量報表。

List view for monitoring pipeline runs

管線執行網格包含下列資料行：

資料行名稱 說明
管線名稱 管線名稱
執行開始 管線回合的開始日期和時間 (MM/DD/YYYY，HH:MM:SS AM/PM)
執行結束 管線執行的結束日期和時間 (月/日/年，小時:分鐘:秒鐘 AM/PM)
期間 回合持續時間 (HH:MM:SS)
觸發者 啟動管線的觸發程序名稱
狀態 失敗、成功、進行中、已取消或已排入佇列
註釋 與管線相關聯的可篩選標籤
參數 管線回合的參數 (名稱/值組)
錯誤 如果管線失敗，則回合錯誤
回合識別碼 管線執行的識別碼

您必須手動選取 [重新整理] 按鈕，才能重新整理管線和活動回合的清單。 目前不支援自動重新整理。

Refresh button

若要檢視偵錯執行的結果，請選取 [偵錯] 索引標籤。

Select the View active debug runs icon

監視活動回合

若要深入瞭解特定管線執行的個別活動執行，請按一下 [管線名稱]。

View activity runs

清單檢視會顯示對應至每個管線回合的活動回合。 將滑鼠停留在特定活動執行上，以取得特定執行的資訊，例如 JSON 輸入、JSON 輸出和詳細的特定活動監視體驗。 資料流程、複製和 Azure Databricks 等活動都有一個專用的檢閱視窗，只要按一下眼鏡圖示就可以看到。

View the activity runs in the monitoring tool

資料行名稱 說明
活動名稱 管線內的活動名稱
活動類型 活動的類型，例如 Copy、ExecuteDataFlow 或 AzureMLExecutePipeline
動作 圖示，可讓您查看 JSON 輸入資訊、JSON 輸出資訊，或詳細的活動特定監視體驗
執行開始 活動回合的開始日期和時間 (MM/DD/YYYY，HH:MM:SS AM/PM)
期間 回合持續時間 (HH:MM:SS)
狀態 失敗、成功、進行中或已取消
整合執行階段 活動是在哪個 Integration Runtime 上執行
使用者內容 活動的使用者定義屬性
錯誤 如果活動失敗，則回合錯誤
回合識別碼 活動執行的識別碼

如果活動失敗，您可以按一下錯誤資料行中的圖示，以查看詳細的錯誤訊息。

Viewing activity run errors

甘特圖檢視

甘特圖檢視可讓您查看一段時間範圍內的執行歷程記錄。 藉由切換至甘特圖檢視，您將會看到依名稱分組的所有管線執行，它們會以橫條的方式，顯示相應執行所花的時間。 您也可以依據您在管線上建立的註釋/標籤進行分組。 甘特圖檢視也可以在活動執行層級上使用。

Example of a Gantt chart

橫條的長度會告知管線的持續時間。 您也可以選取橫條以查看更多詳細資料。

Gantt chart duration

監視資料流程偵錯工作階段

對應資料流可讓您建立可大規模執行的無程式碼資料轉換邏輯。 建立您的邏輯時，您可以開啟偵錯工作階段，以互動方式使用即時 Spark 叢集來處理您的資料。

您可以在 [監視器] 體驗中，監視處理站之間的作用中資料流程偵錯工作階段。

View data flow debug sessions

監視儀表板

若要檢視管線、活動和觸發程式執行的高階視覺顯示，請前往 [儀表板] 窗格。 您可以在此查看一段指定期間內成功和失敗的數目。

reading the monitor dashboard

使用 Azure 監視器監視

Azure 監視器可針對 Azure 中的大多數服務提供基本等級的基礎結構計量與記錄。 Azure 診斷記錄是由資源發出，並提供關於該資源作業的豐富、經常性資料。 Azure Data Factory (ADF) 可以在 Azure 監視器中寫入診斷記錄。

Data Factory 只會儲存 45 天內的管線執行資料。 如果您希望將資料保留較長的時間，請使用 Azure 監視器。 藉由使用監視器，您可以將分析的診斷記錄依路徑傳送至多個不同的目標。

  • 儲存體帳戶：將診斷記錄儲存至儲存體帳戶，以供您稽核或手動檢查。 您可以使用診斷設定來指定保留時間 (以天為單位)。
  • 事件中樞：將記錄串流至 Azure 事件中樞。 記錄會變成夥伴服務/自訂分析解決方案 (例如 Power BI) 的輸入。
  • Log Analytics：以 Log Analytics 分析記錄。 Data Factory 與 Azure 監視器的整合適用於下列案例：
    • 您希望在 Data Factory 發佈至監視器的一組豐富計量，寫入複雜的查詢。 您也可以透過監視器建立這些查詢的自訂警示。
    • 您想要監視所有資料處理站。 您可以從多個資料處理站依路徑將資料傳送至單一監視器工作區。

您也可以使用儲存體帳戶或事件中樞命名空間 (不在資源訂閱中且會發出紀錄)。 設定此設定的使用者，必須具有針對這兩種訂閱的適當 Azure 角色型存取控制 (Azure RBAC) 存取權。

設定診斷設定和工作區

為您的資料處理站建立或新增診斷設定。

  1. 請前往入口網站中的 [監視器]。 選取 [設定]>[診斷設定]。

  2. 選取您要設定診斷設定的資料處理站。

  3. 如果您選取的資料處理站中沒有任何設定，系統會提示您建立設定。 選取 [開啟診斷]。

Create a diagnostic setting if no settings exist

如果資料處理站中已有設定，您會看到此資料處理站中已設定的設定清單。 選取 [新增診斷設定]。

Add a diagnostic setting if settings exist

  1. 為您的設定命名，選取 [傳送至 Log Analytics]，然後從 [Log Analytics 工作區] 選取工作區。

    • 在 Azure 診斷模式中，診斷記錄會流入AzureDiagnostics 資料表。

    • 在特定資源模式中，Azure Data Factory 的診斷紀錄會流入下列資料表中：

      • ADFActivityRun
      • ADFPipelineRun
      • ADFTriggerRun
      • ADFSSISIntegrationRuntimeLogs
      • ADFSSISPackageEventMessageContext
      • ADFSSISPackageEventMessages
      • ADFSSISPackageExecutableStatistics
      • ADFSSISPackageExecutionComponentPhases
      • ADFSSISPackageExecutionDataStatistics

      您可以選取與工作負載相關的各種記錄，以傳送至 Log Analytics 資料表。 例如，如果您無需使用 SQL Server Integration Services (SSIS)，則不需要選取任何 SSIS 記錄。 如果您希望記錄 SSIS Integration Runtime (IR) 啟動/停止/維護作業，您可以選取 [SSIS IR 記錄]。 如果您透過 T-SQL 在 SQL Server Management Studio (SSMS)、SQL Server Agent 或其他指定的工具中叫用 SSIS 套件執行，您可以選取 [SSIS 套件記錄]。 如果您透過 ADF 管線中的 Execute SSIS 套件活動來叫用 SSIS 套件執行，您可以選取 [所有記錄]。

    • 如果您選取 [AllMetrics]，系統會提供各種 Azure Data Factory 計量供您監視或引發警示，包括 Azure Data Factory 活動、管線和觸發程式執行的計量，以及 SSIS IR 作業和 SSIS 套件執行。

Name your settings and select a log-analytics workspace

> [!NOTE]
> Because an Azure log table can't have more than 500 columns, Select _Resource-Specific mode_.
  1. 選取 [儲存]。

數個月後，此資料處理站中的新設定會出現您的設定清單中。 一旦有新的事件資料產生，診斷記錄就會被串流至該工作區。 從事件發出到顯示於 Log Analytics，最多可能相隔 15 分鐘。