你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

支持的 Apache Airflow 配置

注意

此功能目前以公共预览版提供。 工作流编排管理器由 Apache Airflow 提供支持。

在工作流编排管理器中,Apache Airflow 配置可以作为键值对与平台的运行时集成。 虽然无法在 UI 中直接访问 airflow.cfg,但用户可以通过 UI 的“Airflow 配置替代”部分替代这些配置,保留对其他 airflow.cfg 设置的访问权限。 开发人员可以灵活地替代工作流编排管理器中的大多数 Apache Airflow 配置,except for those explicitly outlined in a provided table

适用于:Azure 数据工厂 Azure Synapse Analytics

提示

试用 Microsoft Fabric 中的数据工厂,这是一种适用于企业的一站式分析解决方案。 Microsoft Fabric 涵盖从数据移动到数据科学、实时分析、商业智能和报告的所有内容。 了解如何免费开始新的试用

有关 Apache Airflow 配置的详细信息,请参阅配置参考

下表包含不支持替代的配置列表。

配置 说明 默认值
AIRFLOW__CELERY__FLOWER_URL_PREFIX Flower 的根 URL。 ""
AIRFLOW__CORE__DAGS_FOLDER Airflow 管道所在的文件夹的路径。 AIRFLOW_DAGS_FOLDER
AIRFLOW__CORE__DONOT_PICKLE 是否禁用选取 DAG。 False
AIRFLOW__CORE__ENABLE_XCOM_PICKLING 是否启用选取 xcom。 False
AIRFLOW__CORE__EXECUTOR Airflow 应使用的执行程序类。 CeleryExecutor
AIRFLOW__CORE__FERNET_KEY 用于在数据库中保存连接密码的密钥。 AIRFLOW_FERNET_KEY
AIRFLOW__CORE__DAGS_ARE_PAUSED_AT_CREATION 创建时是否默认暂停 DAG? False
AIRFLOW__CORE__PLUGINS_FOLDER 包含 Airflow 插件的文件夹的路径。 AIRFLOW_PLUGINS_FOLDER
AIRFLOW__LOGGING__BASE_LOG_FOLDER Airflow 应存储其日志文件的文件夹。 /opt/airflow/logs
AIRFLOW__LOGGING__LOG_FILENAME_TEMPLATE Airflow 如何为每个任务运行生成文件名或路径的格式设置。 {{ ti.dag_id }}/{{ ti.task_id }}/{{ ts }}/{{ try_number }}.log
AIRFLOW__LOGGING__DAG_PROCESSOR_MANAGER_LOG_LOCATION dag_processor_manager 日志文件的完整路径。 /opt/airflow/logs/dag_processor_manager/dag_processor_manager.log
AIRFLOW__LOGGING__LOGGING_CONFIG_CLASS 日志记录配置类指定日志记录配置。 此类必须位于 Python 类路径上。 log_config.LOGGING_CONFIG
AIRFLOW__LOGGING__COLORED_LOG_FORMAT 启用颜色日志时的日志格式。 [%(asctime)s] {{%(filename)s:%(lineno)d}} %(levelname)s - %(message)s
AIRFLOW__LOGGING__LOGGING_LEVEL 日志记录级别。 INFO
AIRFLOW__METRICS__STATSD_ON 允许将指标发送到 StatsD。 True
AIRFLOW__METRICS__STATSD_HOST StatsD 服务器的主机名。 geneva-services
AIRFLOW__METRICS__STATSD_PORT StatsD 服务器的端口号。 8125
AIRFLOW__METRICS__STATSD_PREFIX 发送到 StatsD 的所有 Airflow 指标的前缀。 AirflowMetrics
AIRFLOW__SCHEDULER__CHILD_PROCESS_LOG_DIRECTORY Airflow 计划程序写入其子进程日志的目录的路径。 /opt/airflow/logs/scheduler
AIRFLOW__SCHEDULER__DAG_DIR_LIST_INTERVAL 扫描 DAG 目录中新文件的频率(以秒为单位)。 默认值为 5 分钟。 5
AIRFLOW__WEBSERVER__BASE_URL 网站的基 URL,因为 Airflow 无法猜测你正在使用的域或 cname。 此 URL 用于 Airflow 发送的自动电子邮件中,以将链接指向正确的 Web 服务器。 https://localhost:8080
AIRFLOW__WEBSERVER__COOKIE_SAMESITE 在会话 Cookie 上设置 samesite 策略。
AIRFLOW__WEBSERVER__COOKIE_SECURE 在会话 Cookie 上设置安全标志。 True
AIRFLOW__WEBSERVER__EXPOSE_CONFIG 在 Web 服务器中公开配置文件。 False
AIRFLOW__WEBSERVER__AUTHENTICATE 对用户进行身份验证以登录到 Airflow UI。 True
AIRFLOW__WEBSERVER__AUTH_BACKEND airflow.api.auth.backend.basic_auth
AIRFLOW__WEBSERVER__RELOAD_ON_PLUGIN_CHANGE 如果设置为 True,Airflow 将跟踪 plugins_folder 目录中的文件。 当它检测到更改时,重新加载 gunicorn。 True
AIRFLOW__WEBSERVER__SECRET_KEY 用于运行 flask 应用的密钥。 AIRFLOW_FERNET_KEY
AIRFLOW__API__AUTH_BACKEND 用于对 API 用户进行身份验证的身份验证后端的逗号分隔列表。 airflow.api.auth.backend.basic_auth
AIRFLOW__API__ENABLE_EXPERIMENTAL_API True