Apache Airflow 作业工作区设置

> [!注意] > Apache Airflow 作业由 Apache Airflow 提供支持。 > > 目前,Fabric Apache Airflow 作业不支持专用网络和虚拟网络。 目前,Fabric Airflow 作业不支持专用网络和虚拟网络。 此功能正在开发中,即将更新。

可以在 Apache Airflow 作业中配置和管理 Apache Airflow 的运行时设置,并为工作区配置和管理默认的 Apache Airflow 运行时。 Apache Airflow 作业提供两种类型的环境设置,即初学者池和自定义池。 可以使用默认配置的初学者池,也可以为工作区创建自定义池。 如果禁用了自定义项目的计算配置的设置,则初学者池将用于工作区中的所有环境。 初始池提供即时的 Apache Airflow 运行环境,在不使用时会自动解除配置。 另一方面,自定义池提供更大的灵活性,并提供始终可用的 Apache Airflow 运行时。 本文概述了每项设置,并为其各自的使用建议理想的应用场景。

初学者池和自定义池

下表包含这两个池的属性列表。

属性 初学者池(默认) 自定义池
大小 计算节点大小:大 提供大小灵活性;可以配置“计算节点大小”、“额外节点”、“启用自动缩放”
启动延迟 瞬时 在停止状态下启动
恢复延迟 最多需要 5 分钟 最多需要 5 分钟
池正常运行时间表现 处于 Airflow 环境时,如果20分钟没有活动,将自动关闭 始终开启,直到手动暂停
建议的环境 开发人员 生产

配置自定义池

  1. 转到“工作区设置”。

  2. “数据工厂 ”部分中,选择 “Apache Airflow 运行时设置”。

  3. 你会发现默认数据工作流设置当前被设置为初学者池。 若要切换到自定义池,请展开标记为 “默认数据工作流设置 ”的下拉菜单,然后选择“ 新建池”。

    屏幕截图显示了 Apache Airflow 运行时设置。

  4. 根据需要自定义以下属性:

    • 名称:为池提供合适的名称。
    • 计算节点大小:要在其上运行环境的计算节点大小。 可以为运行复杂或生产 DAG 选择值 Large,并为运行更简单的有向无环图 (DAG) 选择 Small
    • 启用自动缩放:此功能允许 Apache Airflow 池根据需要纵向扩展或缩小节点。
    • 额外节点:额外的节点使池能够并发运行更多 DAG。 每个节点都具备运行另外三个工作节点的能力。

    屏幕截图显示数据工作流中的自定义池设置。

  5. 选择 “创建 ”以完成配置。

快速入门:创建 Apache Airflow 作业。