注意
Apache Airflow 作业由 Apache Airflow 提供支持。
Apache Airflow 作业是下一代 Azure 数据工厂的工作流编排管理器。 这是创建和管理 Apache Airflow 编排作业的简单高效方法,使你可以轻松大规模运行定向无环图 (DAG)。 这是 Fabric 数据工厂的一部分,使你能够使用新式数据集成体验从一组丰富的数据源(例如数据库、数据仓库、湖屋、实时数据等)中引入、准备和转换数据。
何时使用 Apache Airflow 作业?
Apache Airflow 提供了一项托管服务,使用户能够创建和管理基于 Python 的 DAG(有向无环图)以实现工作流编排,而无需担心底层基础设施。 如果你具有 Apache Airflow 的经验,或者偏好以代码为中心的方法,则此选项很合适。 相比之下,如果你更喜欢用于数据业务流程的无代码解决方案,则数据管道提供了一种用户友好的替代方法,不需要管理或编写基于 Python 的工作流。
关键功能
Microsoft Fabric 托管的 Apache Airflow 作业提供了一系列强大的功能,包括:
关键功能 | Fabric 中的 Apache Airflow 作业 | Azure 数据工厂中的工作流编排管理器 |
---|---|---|
Git 同步 | 是 | 是 |
启用 AKV (Azure Key Vault) 作为后端 | 是 | 是 |
根据需要安装专用包 | 是 | 是 |
诊断日志和指标 | 否 | 是 |
Blob 存储 | 否 | 是 |
Apache Airflow 群集 IP 地址 | 是 | 是 |
用于管理生产工作负载执行峰值的自动缩放 | 是 | 部分 |
缓解中断/停机的高可用性 | 是 | 否 |
用于暂停空闲操作符并释放辅助角色的可延迟运算符 | 是 | 否 |
暂停和恢复 TTL(生存时间) | 是 | 否 |
SaaSified 体验 - 10 秒入门 - 创作 DAG - Fabric 免费试用版 | 是 | 否 |
区域可用性
- 澳大利亚东部
- 澳大利亚东南部
- 巴西南部
- 加拿大中部
- 加拿大东部
- 印度中部
- 美国中部
- 东亚
- 美国东部
- 美国东部 2
- 法国中部
- 德国中西部
- 印度尼西亚中部(即将推出)
- 以色列中部
- 意大利北部
- 日本东部
- 日本西部
- 韩国中部
- 马来西亚西部(即将推出)
- 墨西哥中部
- 新西兰北部(即将推出)
- 北欧
- 挪威东部
- 波兰中部
- 卡塔尔中部(即将推出)
- 西班牙中部(即将推出)
- 南非北部
- 美国中南部
- 印度南部
- 东南亚
- 瑞典中部
- 瑞士北部
- 瑞士西部
- 台湾北部(即将推出)
- 台湾西北(即将推出)
- 阿拉伯联合酋长国北部
- 英国南部
- 英国西部
- 西欧
- 美国西部
- 西部美国 2
- 美国西部 3
支持的 Apache Airflow 版本
- 2.10.5
支持 Python 版本
- 3.12
注意
目前不支持在现有的 Apache Airflow 作业中更改 Apache Airflow 版本。 相反,建议的解决方案是使用所需版本创建新的 Apache Airflow 作业
相关内容
- 快速入门:创建 Apache Airflow 任务。