Share via

你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

Azure 工作流编排管理器如何工作？

  • 项目

适用于： Azure 数据工厂 Azure Synapse Analytics

提示

试用 Microsoft Fabric 中的数据工厂，这是一种适用于企业的一站式分析解决方案。 Microsoft Fabric 涵盖从数据移动到数据科学、实时分析、商业智能和报告的所有内容。 了解如何免费开始新的试用！

注意

工作流编排管理器由 Apache Airflow 提供支持。

注意

Azure 数据工厂的工作流编排管理器依赖于开源 Apache Airflow 应用程序。 可以在 Apache Airflow 文档或社区页上找到有关 Airflow 的文档和更多教程。

Azure 数据工厂中的工作流编排管理器使用基于 Python 的有向无环图 (DAG) 来运行业务流程工作流。 要使用此功能，需要在 Azure Blob 存储中或通过 GitHub 存储库提供 DAG 和插件。 可以使用命令行界面 (CLI) 或软件开发工具包 (SDK) 从 ADF 启动 Airflow UI 以管理 DAG。

创建工作流编排管理器环境

请参考：创建工作流编排管理器环境

导入 DAG

工作流编排管理器提供了两种不同的方法，用于将 python 源文件中的 DAG 加载到 Airflow 的环境中。 这些方法包括：

  • 启用 Git 同步：此服务允许将 GitHub 存储库与工作流编排管理器同步，使你能够直接从 GitHub 存储库导入 DAG。 请参考：在工作流编排管理器中同步 GitHub 存储库

  • Azure Blob 存储：可以将 DAG、插件等上传到与 Azure 数据工厂链接的 Blob 存储帐户中的指定文件夹。 然后，在工作流编排管理器中导入文件夹的文件路径。 请参阅：使用 Azure Blob 存储导入 DAG

从 Airflow 环境中删除 DAG

请参考：在工作流编排管理器中删除 DAG

监视 DAG 运行

要监视 Airflow DAG，请使用之前创建的用户名和密码登录 Airflow UI。

  1. 选择创建的 Airflow 环境。

    显示创建的 Airflow 环境的屏幕截图。

  2. 使用创建 Airflow Integration Runtime 期间提供的用户名-密码登录。 （如果需要，可以通过编辑 Airflow Integration Runtime 来重置用户名或密码）

    显示使用创建 Airflow Integration Runtime 期间提供的用户名-密码登录的屏幕截图。

排查导入 DAG 问题

  • 问题：DAG 导入需要超过 5 分钟的时间 缓解措施：通过单次导入减小导入的 DAG 的大小。 实现此目的的一种方法是在多个容器中创建多个具有较少 DAG 的 DAG 文件夹。

  • 问题：登录 Airflow UI 时，导入的 DAG 不显示。 缓解措施：登录 Airflow UI 并查看是否存在任何 DAG 解析错误。 如果 DAG 文件包含任何不兼容的代码，就会发生这种情况。 通过 Airflow UI 找到存在问题的确切行号和文件。

    显示导入 dag 问题的屏幕截图。

相关内容