注意
Apache Airflow 作业由 Apache Airflow 提供支持。
在 Apache Airflow 作业中,Apache Airflow 配置可以作为键值对与平台的运行时集成。 虽然无法在 UI 中直接访问 airflow.cfg
,但用户可以通过 UI 的“Airflow 配置替代”部分替代这些配置,保留对其他 airflow.cfg
设置的访问权限。 开发人员可以灵活地替代 Apache Airflow 作业中的大多数 Apache Airflow 配置,except for those explicitly outlined in a provided table
。
Airflow 配置参考
有关 Apache Airflow 配置的详细信息,请参阅配置参考。
下表包含不支持替代的配置列表。
配置 | 说明 | 默认值 |
---|---|---|
AIRFLOWCELERYFLOWER_URL_PREFIX | Flower 的根 URL。 | "" |
AIRFLOWCOREDAGS_FOLDER | Airflow 管道所在的文件夹的路径。 | AIRFLOW_DAGS_FOLDER |
AIRFLOWCOREDONOT_PICKLE | 是否禁用选取 DAG。 | False |
AIRFLOWCOREENABLE_XCOM_PICKLING | 是否启用选取 xcom。 | False |
AIRFLOWCOREEXECUTOR | Airflow 应使用的执行程序类。 | CeleryExecutor |
AIRFLOWCOREFERNET_KEY | 用于在数据库中保存连接密码的密钥。 | AIRFLOW_FERNET_KEY |
AIRFLOWCOREDAGS_ARE_PAUSED_AT_CREATION | 创建时是否默认暂停 DAG? | False |
AIRFLOWCOREPLUGINS_FOLDER | 包含 Airflow 插件的文件夹的路径。 | AIRFLOW_PLUGINS_FOLDER |
AIRFLOWLOGGINGBASE_LOG_FOLDER | Airflow 应存储其日志文件的文件夹。 | /opt/airflow/logs |
AIRFLOWLOGGINGLOG_FILENAME_TEMPLATE | Airflow 如何为每个任务运行生成文件名或路径的格式设置。 | {{ ti.dag_id }}/{{ ti.task_id }}/{{ ts }}/{{ try_number }}.log |
AIRFLOWLOGGINGDAG_PROCESSOR_MANAGER_LOG_LOCATION | dag_processor_manager 日志文件的完整路径。 |
/opt/airflow/logs/dag_processor_manager/dag_processor_manager.log |
AIRFLOWLOGGINGLOGGING_CONFIG_CLASS | 日志记录配置类指定日志记录配置。 此类必须位于 Python 类路径上。 | log_config.LOGGING_CONFIG |
AIRFLOWLOGGINGCOLORED_LOG_FORMAT | 启用颜色日志时的日志格式。 | [%(asctime)s] {{%(filename)s:%(lineno)d}} %(levelname)s - %(message)s |
AIRFLOWLOGGINGLOGGING_LEVEL | 日志记录级别。 | INFO |
AIRFLOWMETRICSSTATSD_ON | 允许将指标发送到 StatsD。 | True |
AIRFLOWMETRICSSTATSD_HOST | StatsD 服务器的主机名。 | geneva-services |
AIRFLOWMETRICSSTATSD_PORT | StatsD 服务器的端口号。 | 8125 |
AIRFLOWMETRICSSTATSD_PREFIX | 发送到 StatsD 的所有 Airflow 指标的前缀。 | AirflowMetrics |
AIRFLOWSCHEDULERCHILD_PROCESS_LOG_DIRECTORY | Airflow 计划程序写入其子进程日志的目录的路径。 | /opt/airflow/logs/scheduler |
AIRFLOWSCHEDULERDAG_DIR_LIST_INTERVAL | 扫描 DAG 目录中新文件的频率(以秒为单位)。 默认值为 5 分钟。 | 5 |
AIRFLOWWEBSERVERBASE_URL | 网站的基 URL,因为 Airflow 无法猜测你正在使用的域或 cname。 此 URL 用于 Airflow 发送的自动电子邮件中,以将链接指向正确的 Web 服务器。 | https://localhost:8080 |
AIRFLOWWEBSERVERCOOKIE_SAMESITE | 在会话 Cookie 上设置 samesite 策略。 | 无 |
AIRFLOWWEBSERVERCOOKIE_SECURE | 在会话 Cookie 上设置安全标志。 | True |
AIRFLOWWEBSERVEREXPOSE_CONFIG | 在 Web 服务器中公开配置文件。 | False |
AIRFLOWWEBSERVERAUTHENTICATE | 对用户进行身份验证以登录到 Airflow UI。 | True |
AIRFLOWWEBSERVERAUTH_BACKEND | airflow.api.auth.backend.basic_auth | |
AIRFLOWWEBSERVERRELOAD_ON_PLUGIN_CHANGE | 如果设置为 True,Airflow 将跟踪 plugins_folder 目录中的文件。 当它检测到更改时,重新加载 gunicorn。 |
True |
AIRFLOWWEBSERVERSECRET_KEY | 用于运行 flask 应用的密钥。 | AIRFLOW_FERNET_KEY |
AIRFLOWAPIAUTH_BACKEND | 用于对 API 用户进行身份验证的身份验证后端的逗号分隔列表。 | airflow.api.auth.backend.basic_auth |
AIRFLOWAPIENABLE_EXPERIMENTAL_API | True |