Apache Airflow 作业是下一代 Azure 数据工厂的工作流编排管理器。 通过它可以轻松创建和管理 Apache Airflow 作业,因此无需费力即可大规模运行定向无环图(DAG)。 作为Microsoft Fabric数据工厂的一部分,它为你提供了从各种数据源(如数据库、数据仓库、Lakehouse、实时数据等)引入、准备和转换数据的新式方法。
何时使用 Apache Airflow 作业?
Apache Airflow 作业为您提供一项托管服务,让您无需担心底层设置,即可构建和运行用于工作流编排的、基于 Python 的 DAG。 如果你喜欢使用 Apache Airflow 或首选编写代码,则此选项非常合适。 如果你宁愿不编写代码,则管道提供了一种处理数据业务流程的简单无代码方法。
主要功能
Microsoft Fabric 托管的 Apache Airflow 作业附带各种有用的功能,包括:
| 主要功能 | Fabric 中的 Apache Airflow 作业 | Azure 数据工厂中的工作流编排管理器 |
|---|---|---|
| Git 同步 | 是 | 是 |
| 启用Azure 密钥保管库(AKV)作为后端 | 是 | 是 |
| 根据需要安装专用包 | 是 | 是 |
| 诊断日志和指标 | 否 | 是 |
| Blob 存储 | 否 | 是 |
| Apache Airflow 群集 IP 地址 | 是 | 是 |
| 用于管理生产工作负载执行峰值的自动缩放 | 是 | 部分 |
| 缓解中断/停机的高可用性 | 是 | 否 |
| 用于暂停空闲操作符并释放辅助角色的可延迟运算符 | 是 | 否 |
| 暂停和恢复存活时间(TTL) | 是 | 否 |
| 托管式 SaaS 体验 - Fabric 免费试用 | 是 | 否 |
区域可用性
- 澳大利亚东部
- 澳大利亚东南部
- 巴西南部
- 加拿大中部
- 加拿大东部
- 印度中部
- 美国中部
- 东亚
- 美国东部
- 美国东部 2
- 法国中部
- 德国中西部
- 印度尼西亚中部(即将推出)
- 以色列中部
- 意大利北部
- 日本东部
- 日本西部
- 韩国中部
- 马来西亚西部(即将推出)
- 墨西哥中部
- 新西兰北部(即将推出)
- 美国中北部
- 北欧
- 挪威东部
- 波兰中部
- 卡塔尔中部(即将推出)
- 西班牙中部(即将推出)
- 南非北部
- 美国中南部
- 印度南部
- 东南亚
- 瑞典中部
- 瑞士北部
- 瑞士西部
- 台湾北部(即将推出)
- 台湾西北(即将推出)
- 阿拉伯联合酋长国北部
- 英国南部
- 英国西部
- 西欧
- 美国西部
- 西部美国 2
- 美国西部 3
支持的 Apache Airflow 版本
- 2.10.5
支持的 Python 版本
- 3.12
注意
目前不支持在现有的 Apache Airflow 作业中更改 Apache Airflow 版本。 如果需要其他 Apache Airflow 版本,请使用所需的更新版本创建新的 Apache Airflow 作业。
相关内容
- 快速入门:创建 Apache Airflow 任务。