什麼是工作流程協調流程管理員？

適用於：Azure Data Factory Azure Synapse Analytics

提示

試用 Microsoft Fabric 中的 Data Factory，這是適用於企業的全方位分析解決方案。 Microsoft Fabric 涵蓋從資料移動到資料科學、即時分析、商業智慧和報告等所有項目。 了解如何免費啟動新的試用版！

注意

工作流程協調流程管理員由 Apache Airflow 提供。

注意

此功能處於公開預覽狀態。 如需問題或功能建議，請傳送包含詳細資料的電子郵件給 ManagedAirflow@microsoft.com 。

注意

適用於 Azure Data Factory 的工作流程協調流程管理員依賴 開放原始碼 Apache Airflow 應用程式。 您可以在 Apache Airflow 檔或社群頁面上找到 Airflow 的檔和更多教學課程。

Azure Data Factory 為數據處理協調流程提供無伺服器管線、使用 100 個以上的受控連接器進行數據移動，以及使用對應數據流進行可視化轉換。

Azure Data Factory 的工作流程協調流程管理員服務是建立和管理 Apache Airflow 環境的簡單且有效率的方式，可讓您輕鬆大規模執行數據管線。 Apache Airflow 是開放原始碼平臺，可用來以程序設計方式建立、排程及監視複雜的數據工作流程。 它可讓您定義一組稱為運算元的工作，這些工作可以合併成有向無循環圖形（DAG）來代表數據管線。 Airflow 可讓您依排程或回應事件執行這些 DAG、監視工作流程進度，以及提供每個工作的狀態可見度。 它廣泛使用於數據工程和數據科學來協調數據管線，並以其彈性、擴充性和易於使用而聞名。

何時使用工作流程協調流程管理員？

Azure Data Factory 提供 管線 ，以可視化方式協調數據處理程式（以 UI 為基礎的撰寫）。 雖然工作流程協調流程管理員，但提供 Airflow 型 Python DAG（以 Python 程式代碼為中心的撰寫），以定義數據協調流程程式。 如果您有 Airflow 背景，或目前使用 Apache Airflow，您可能會偏好使用工作流程協調流程管理員，而不是管線。 相反地，如果您不想撰寫/管理適用於數據處理協調流程的 Python 型 DAG，您可能偏好使用管線。

使用工作流程協調流程管理員，Azure Data Factory 現在提供跨可視化、以程式代碼為中心的 OSS 協調流程需求的多協調流程功能。

功能

Azure Data Factory 中的工作流程協調流程管理員提供一系列功能強大的功能，包括：

• 快速且簡單的部署 - 當您建立工作流程協調流程管理員 時， 您可以選取 Apache Airflow 版本 ，以快速且輕鬆地設定 Apache Airflow。
• 雲端規模 - 工作流程協調流程管理員會根據範圍規格（最小值、最大值）視需要自動調整 Apache Airflow 節點。
• Microsoft Entra 整合 - 您可以針對 Airflow 環境啟用 Microsoft Entra RBAC ，以取得受 Microsoft Entra ID 保護的單一登錄體驗。
• 元數據加密 - 工作流程協調流程管理員會使用 Azure 管理的金鑰自動加密元數據，以確保您的環境預設是安全的。 它也支援使用 客戶管理的密鑰 （CMK） 進行雙重加密。
• Azure 監視和警示 - 工作流程協調流程管理員所產生的所有記錄都會匯出至 Azure 監視器。 它也提供計量來追蹤關鍵條件，並協助您在必要時通知。

架構

區域可用性 （公開預覽）

• 美國東部
• 美國中南部
• 美國西部
• 巴西南部
• 英國南部
• 北歐
• 西歐
• 東南亞

注意

依 GA，將會支援所有 ADF 區域。 Airflow 環境區域預設為 Data Factory 區域且無法設定，因此請確定您在上述支持區域中使用 Data Factory，才能存取工作流程協調流程管理員預覽。

支援的 Apache Airflow 版本

• 2.6.3

注意

不支援變更現有 IR 內的 Airflow 版本。 相反地，建議的解決方案是建立具有所需版本的新 Airflow IR

整合

Apache Airflow 會透過 microsoft.azure 提供者與 Microsoft Azure 服務整合。

您可以從 Azure Data Factory UI 編輯數據流環境，以安裝任何提供者套件。 安裝套件大約需要幾分鐘的時間。

限制

• GA 提供其他區域中的工作流程協調流程管理員。
• 應可透過公用端點（網路）存取透過數據流連線的數據源。
• 目前不支援 VNet/後置防火牆中 Blob 儲存體 內的 DAG。 相反地，我們建議使用工作流程協調流程管理員的 Git 同步處理功能。 請參閱在 工作流程協調流程管理員中同步處理 GitHub 存放庫
• LinkedServices 不支援從 Azure 金鑰保存庫 匯入 Dag。

相關內容

• 開始使用工作流程協調流程管理員
• 使用工作流程協調流程管理員執行現有的管線
• 工作流程協調流程管理員定價
• 如何變更工作流程協調流程管理員環境的密碼