支持的 Apache Airflow 配置

注意

Apache Airflow 作业由 Apache Airflow 提供支持。

在 Apache Airflow 作业中,Apache Airflow 配置可以作为键值对与平台的运行时集成。 虽然无法在 UI 中直接访问 airflow.cfg,但用户可以通过 UI 的“Airflow 配置替代”部分替代这些配置,保留对其他 airflow.cfg 设置的访问权限。 开发人员可以灵活地替代 Apache Airflow 作业中的大多数 Apache Airflow 配置,except for those explicitly outlined in a provided table

Airflow 配置参考

有关 Apache Airflow 配置的详细信息,请参阅配置参考

下表包含不支持替代的配置列表。

配置 说明 默认值
AIRFLOWCELERYFLOWER_URL_PREFIX Flower 的根 URL。 ""
AIRFLOWCOREDAGS_FOLDER Airflow 管道所在的文件夹的路径。 AIRFLOW_DAGS_FOLDER
AIRFLOWCOREDONOT_PICKLE 是否禁用选取 DAG。 False
AIRFLOWCOREENABLE_XCOM_PICKLING 是否启用选取 xcom。 False
AIRFLOWCOREEXECUTOR Airflow 应使用的执行程序类。 CeleryExecutor
AIRFLOWCOREFERNET_KEY 用于在数据库中保存连接密码的密钥。 AIRFLOW_FERNET_KEY
AIRFLOWCOREDAGS_ARE_PAUSED_AT_CREATION 创建时是否默认暂停 DAG? False
AIRFLOWCOREPLUGINS_FOLDER 包含 Airflow 插件的文件夹的路径。 AIRFLOW_PLUGINS_FOLDER
AIRFLOWLOGGINGBASE_LOG_FOLDER Airflow 应存储其日志文件的文件夹。 /opt/airflow/logs
AIRFLOWLOGGINGLOG_FILENAME_TEMPLATE Airflow 如何为每个任务运行生成文件名或路径的格式设置。 {{ ti.dag_id }}/{{ ti.task_id }}/{{ ts }}/{{ try_number }}.log
AIRFLOWLOGGINGDAG_PROCESSOR_MANAGER_LOG_LOCATION dag_processor_manager 日志文件的完整路径。 /opt/airflow/logs/dag_processor_manager/dag_processor_manager.log
AIRFLOWLOGGINGLOGGING_CONFIG_CLASS 日志记录配置类指定日志记录配置。 此类必须位于 Python 类路径上。 log_config.LOGGING_CONFIG
AIRFLOWLOGGINGCOLORED_LOG_FORMAT 启用颜色日志时的日志格式。 [%(asctime)s] {{%(filename)s:%(lineno)d}} %(levelname)s - %(message)s
AIRFLOWLOGGINGLOGGING_LEVEL 日志记录级别。 INFO
AIRFLOWMETRICSSTATSD_ON 允许将指标发送到 StatsD。 True
AIRFLOWMETRICSSTATSD_HOST StatsD 服务器的主机名。 geneva-services
AIRFLOWMETRICSSTATSD_PORT StatsD 服务器的端口号。 8125
AIRFLOWMETRICSSTATSD_PREFIX 发送到 StatsD 的所有 Airflow 指标的前缀。 AirflowMetrics
AIRFLOWSCHEDULERCHILD_PROCESS_LOG_DIRECTORY Airflow 计划程序写入其子进程日志的目录的路径。 /opt/airflow/logs/scheduler
AIRFLOWSCHEDULERDAG_DIR_LIST_INTERVAL 扫描 DAG 目录中新文件的频率(以秒为单位)。 默认值为 5 分钟。 5
AIRFLOWWEBSERVERBASE_URL 网站的基 URL,因为 Airflow 无法猜测你正在使用的域或 cname。 此 URL 用于 Airflow 发送的自动电子邮件中,以将链接指向正确的 Web 服务器。 https://localhost:8080
AIRFLOWWEBSERVERCOOKIE_SAMESITE 在会话 Cookie 上设置 samesite 策略。
AIRFLOWWEBSERVERCOOKIE_SECURE 在会话 Cookie 上设置安全标志。 True
AIRFLOWWEBSERVEREXPOSE_CONFIG 在 Web 服务器中公开配置文件。 False
AIRFLOWWEBSERVERAUTHENTICATE 对用户进行身份验证以登录到 Airflow UI。 True
AIRFLOWWEBSERVERAUTH_BACKEND airflow.api.auth.backend.basic_auth
AIRFLOWWEBSERVERRELOAD_ON_PLUGIN_CHANGE 如果设置为 True,Airflow 将跟踪 plugins_folder 目录中的文件。 当它检测到更改时,重新加载 gunicorn。 True
AIRFLOWWEBSERVERSECRET_KEY 用于运行 flask 应用的密钥。 AIRFLOW_FERNET_KEY
AIRFLOWAPIAUTH_BACKEND 用于对 API 用户进行身份验证的身份验证后端的逗号分隔列表。 airflow.api.auth.backend.basic_auth
AIRFLOWAPIENABLE_EXPERIMENTAL_API True

快速入门:创建 Apache Airflow 作业