監視 Azure Data Factory 管線

已完成

在 Azure Data Factory 中建立和發布管線之後，您可以將它與觸發程式產生關聯，或手動啟動隨選執行。 您可以在 Azure Data Factory 使用者體驗中以原生方式監視所有管線回合。 若要開啟監視體驗，請在 Azure 入口網站的數據處理站刀鋒視窗中，選取 [監視 & 管理] 圖格。 如果您已經在 Azure Data Factory UX 中，請按下左側提要欄位上的 監視器 圖示。

監視管線執行

預設的監視檢視是所選取時段中的已觸發的管線執行清單。 您可以變更時間範圍，並依狀態、管線名稱或註釋進行篩選。 將滑鼠停留在特定的管線執行上，以特定執行動作，例如重新執行和使用量報表。

監視管線執行

管線執行網格包含下列資料行：

數據行名稱	說明
管線名稱	管線名稱
執行開始	管線回合的開始日期和時間 (MM/DD/YYYY，HH:MM:SS AM/PM)
執行結束	管線執行的結束日期和時間 (月/日/年，小時:分鐘:秒鐘 AM/PM)
持續時間	回合持續時間 (HH:MM:SS)
觸發者	啟動管線的觸發程序名稱
地位	失敗、成功、進行中、已取消或已排入佇列
附註	與管線相關聯的可篩選標籤
參數	管線回合的參數 (名稱/值組)
錯誤	如果管線失敗，則回合錯誤
執行識別碼	管線執行的識別碼

您必須手動選取 [重新整理] 按鈕，才能重新整理管線和活動回合的清單。 目前不支援自動重新整理。

若要檢視偵錯執行的結果，請選取 [偵錯] 索引標籤。

監視活動回合

若要深入瞭解特定管線執行的個別活動執行，請按一下 [管線名稱]。

清單檢視會顯示對應至每個管線回合的活動回合。 將滑鼠停留在特定活動執行上，以取得特定執行的資訊，例如 JSON 輸入、JSON 輸出和詳細的特定活動監視體驗。 數據流、複製和 Azure Databricks 等活動都有一個專用的檢視，可按兩下眼鏡圖示來查看。

數據行名稱	說明
活動名稱	管線內的活動名稱
活動類型	活動的類型，例如 Copy、ExecuteDataFlow 或 AzureMLExecutePipeline
行動	圖示，可讓您查看 JSON 輸入資訊、JSON 輸出資訊，或詳細的活動特定監視體驗
執行開始	活動回合的開始日期和時間 (MM/DD/YYYY，HH:MM:SS AM/PM)
持續時間	回合持續時間 (HH:MM:SS)
地位	失敗、成功、進行中或已取消
整合執行階段	活動是在哪個 Integration Runtime 上執行
用戶屬性	活動的使用者定義屬性
錯誤	如果活動失敗，則回合錯誤
執行識別碼	活動執行的識別碼

如果活動失敗，您可以按一下錯誤資料行中的圖示，以查看詳細的錯誤訊息。

甘特圖檢視

甘特圖檢視可讓您查看一段時間範圍內的執行歷程記錄。 藉由切換至甘特圖檢視，您將會看到依名稱分組的所有管線執行，它們會以橫條的方式，顯示相應執行所花的時間。 您也可以依據您在管線上建立的註釋/標籤進行分組。 甘特圖檢視也可以在活動執行層級上使用。

甘特圖

橫條的長度會告知管線的持續時間。 您也可以選取橫條以查看更多詳細資料。

監視數據流偵錯會話

對應資料流可讓您建立可大規模執行的無程式碼資料轉換邏輯。 建立您的邏輯時，您可以開啟偵錯工作階段，以互動方式使用即時 Spark 叢集來處理您的資料。

您可以在 監視器 體驗中監視處理站中的作用中數據流偵錯會話。

監視儀表板

若要檢視管線、活動和觸發程式執行的高階視覺效果顯示，請移至 [儀錶板] 窗格。 您可以在這裡查看指定時段內的成功次數和失敗次數。

使用 Azure 監視器進行監視

Azure 監視器可針對 Azure 中的大多數服務提供基本等級的基礎結構計量與記錄。 Azure 診斷記錄是由資源發出，並提供關於該資源作業的豐富、經常性資料。 Azure Data Factory （ADF） 可以在 Azure 監視器中寫入診斷記錄。

Data Factory 只會儲存管線執行的數據 45 天。 如果您想要保留該數據較長的時間，請使用 Azure 監視器。 透過監視，您可以將診斷記錄路由傳送至多個不同的目標。

• 記憶體帳戶：將您的診斷記錄儲存至記憶體帳戶以進行稽核或手動檢查。 您可以使用診斷設定來指定天數的保留時間。
• 事件中樞：將記錄串流至 Azure 事件中樞。 記錄會成為合作夥伴服務/自定義分析解決方案的輸入，例如 Power BI。
• Log Analytics：使用 Log Analytics 分析記錄。 Data Factory 與 Azure 監視器的整合在下列案例中很有用：
  • 您想要在 Data Factory 發佈至監視的一組豐富計量上撰寫複雜的查詢。 您可以透過監視在這些查詢上建立自定義警示。
  • 您想要監視跨數據處理站。 您可以將資料從多個數據處理站路由傳送至單一監視器工作區。

您也可以使用記憶體帳戶或事件中樞命名空間，該命名空間不在發出記錄之資源的訂用帳戶中。 設定此設定的使用者，必須具有針對這兩種訂閱的適當 Azure 角色型存取控制 (Azure RBAC) 存取權。

設定診斷設定和工作區

為您的資料處理站建立或新增診斷設定。

1. 在入口網站中，移至 [監視]。 選擇 [設定]>[診斷設定]。

2. 選取您要設定診斷設定的數據處理站。

3. 如果選取的數據處理站上沒有設定，系統會提示您建立設定。 選取 [開啟診斷]。

如果數據處理站上有現有的設定，您會看到數據處理站上已設定的設定清單。 選擇 新增診斷設定。

1. 提供您的設定名稱，選取 [傳送至 Log Analytics]，然後從 log Analytics 工作區 選取工作區。

   • 在 Azure 診斷模式中，診斷記錄會流入AzureDiagnostics 資料表。

   • 在特定資源模式中，Azure Data Factory 的診斷紀錄會流入下列資料表中：

     • ADFActivityRun
     • ADFPipelineRun
     • ADFTriggerRun
     • ADFSSIS整合運行時日誌
     • ADFSSIS封包事件消息上下文
     • ADFSSIS套件事件消息
     • ADFSSIS套件執行統計
     • ADFSSIS套件執行元件階段
     • ADFSSIS套件執行數據統計

     您可以選取與工作負載相關的各種記錄，以傳送至 Log Analytics 資料表。 例如，如果您完全不使用 SQL Server Integration Services （SSIS），就不需要選取任何 SSIS 記錄。 如果您想要記錄 SSIS Integration Runtime （IR） 啟動/停止/維護作業，您可以選取 [SSIS IR 記錄]。 如果您在 SQL Server Management Studio （SSMS）、SQL Server Agent 或其他指定的工具上透過 T-SQL 叫用 SSIS 套件執行，您可以選取 SSIS 套件記錄。 如果您透過ADF管線中的執行SSIS封裝活動叫用SSIS套件執行，您可以選取所有記錄。

   • 如果您選取 [AllMetrics，則各種 Azure Data Factory 計量將可供您監視或引發警示，包括 Azure Data Factory 活動、管線和觸發程式的計量，以及 SSIS IR 作業和 SSIS 套件執行。

> [!NOTE]
> Because an Azure log table can't have more than 500 columns, Select _Resource-Specific mode_.

1. 選取 [儲存]。

數個月後，此資料處理站中的新設定會出現您的設定清單中。 一旦有新的事件資料產生，診斷記錄就會被串流至該工作區。 從事件發出到顯示於 Log Analytics，最多可能相隔 15 分鐘。