什么是 Apache Airflow 作业?

注意

Apache Airflow 作业由 Apache Airflow 提供支持。

Apache Airflow 作业是下一代 Azure 数据工厂的工作流编排管理器。 这是创建和管理 Apache Airflow 编排作业的简单高效方法,使你可以轻松大规模运行定向无环图 (DAG)。 这是 Fabric 数据工厂的一部分,使你能够使用新式数据集成体验从一组丰富的数据源(例如数据库、数据仓库、湖屋、实时数据等)中引入、准备和转换数据。

何时使用 Apache Airflow 作业?

Apache Airflow 提供了一项托管服务,使用户能够创建和管理基于 Python 的 DAG(有向无环图)以实现工作流编排,而无需担心底层基础设施。 如果你具有 Apache Airflow 的经验,或者偏好以代码为中心的方法,则此选项很合适。 相比之下,如果你更喜欢用于数据业务流程的无代码解决方案,则数据管道提供了一种用户友好的替代方法,不需要管理或编写基于 Python 的工作流。

关键功能

Microsoft Fabric 托管的 Apache Airflow 作业提供了一系列强大的功能,包括:

关键功能 Fabric 中的 Apache Airflow 作业 Azure 数据工厂中的工作流编排管理器
Git 同步
启用 AKV (Azure Key Vault) 作为后端
根据需要安装专用包
诊断日志和指标
Blob 存储
Apache Airflow 群集 IP 地址
用于管理生产工作负载执行峰值的自动缩放 部分
缓解中断/停机的高可用性
用于暂停空闲操作符并释放辅助角色的可延迟运算符
暂停和恢复 TTL(生存时间)
SaaSified 体验 - 10 秒入门 - 创作 DAG - Fabric 免费试用版

区域可用性

  • 澳大利亚东部
  • 澳大利亚东南部
  • 巴西南部
  • 加拿大中部
  • 加拿大东部
  • 印度中部
  • 美国中部
  • 东亚
  • 美国东部
  • 美国东部 2
  • 法国中部
  • 德国中西部
  • 印度尼西亚中部(即将推出)
  • 以色列中部
  • 意大利北部
  • 日本东部
  • 日本西部
  • 韩国中部
  • 马来西亚西部(即将推出)
  • 墨西哥中部
  • 新西兰北部(即将推出)
  • 北欧
  • 挪威东部
  • 波兰中部
  • 卡塔尔中部(即将推出)
  • 西班牙中部(即将推出)
  • 南非北部
  • 美国中南部
  • 印度南部
  • 东南亚
  • 瑞典中部
  • 瑞士北部
  • 瑞士西部
  • 台湾北部(即将推出)
  • 台湾西北(即将推出)
  • 阿拉伯联合酋长国北部
  • 英国南部
  • 英国西部
  • 西欧
  • 美国西部
  • 西部美国 2
  • 美国西部 3

支持的 Apache Airflow 版本

  • 2.10.5

支持 Python 版本

  • 3.12

注意

目前不支持在现有的 Apache Airflow 作业中更改 Apache Airflow 版本。 相反,建议的解决方案是使用所需版本创建新的 Apache Airflow 作业