你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。
注意
此功能目前以公共预览版提供。 工作流编排管理器由 Apache Airflow 提供支持。
在工作流编排管理器中,Apache Airflow 配置可以作为键值对与平台的运行时集成。 虽然无法在 UI 中直接访问 airflow.cfg
,但用户可以通过 UI 的“Airflow 配置替代”部分替代这些配置,保留对其他 airflow.cfg
设置的访问权限。 开发人员可以灵活地替代工作流编排管理器中的大多数 Apache Airflow 配置,except for those explicitly outlined in a provided table
。
适用于:Azure 数据工厂
Azure Synapse Analytics
提示
试用 Microsoft Fabric 中的数据工厂,这是一种适用于企业的一站式分析解决方案。 Microsoft Fabric 涵盖从数据移动到数据科学、实时分析、商业智能和报告的所有内容。 了解如何免费开始新的试用!
有关 Apache Airflow 配置的详细信息,请参阅配置参考。
下表包含不支持替代的配置列表。
配置 | 说明 | 默认值 |
---|---|---|
AIRFLOW__CELERY__FLOWER_URL_PREFIX | Flower 的根 URL。 | "" |
AIRFLOW__CORE__DAGS_FOLDER | Airflow 管道所在的文件夹的路径。 | AIRFLOW_DAGS_FOLDER |
AIRFLOW__CORE__DONOT_PICKLE | 是否禁用选取 DAG。 | False |
AIRFLOW__CORE__ENABLE_XCOM_PICKLING | 是否启用选取 xcom。 | False |
AIRFLOW__CORE__EXECUTOR | Airflow 应使用的执行程序类。 | CeleryExecutor |
AIRFLOW__CORE__FERNET_KEY | 用于在数据库中保存连接密码的密钥。 | AIRFLOW_FERNET_KEY |
AIRFLOW__CORE__DAGS_ARE_PAUSED_AT_CREATION | 创建时是否默认暂停 DAG? | False |
AIRFLOW__CORE__PLUGINS_FOLDER | 包含 Airflow 插件的文件夹的路径。 | AIRFLOW_PLUGINS_FOLDER |
AIRFLOW__LOGGING__BASE_LOG_FOLDER | Airflow 应存储其日志文件的文件夹。 | /opt/airflow/logs |
AIRFLOW__LOGGING__LOG_FILENAME_TEMPLATE | Airflow 如何为每个任务运行生成文件名或路径的格式设置。 | {{ ti.dag_id }}/{{ ti.task_id }}/{{ ts }}/{{ try_number }}.log |
AIRFLOW__LOGGING__DAG_PROCESSOR_MANAGER_LOG_LOCATION | dag_processor_manager 日志文件的完整路径。 |
/opt/airflow/logs/dag_processor_manager/dag_processor_manager.log |
AIRFLOW__LOGGING__LOGGING_CONFIG_CLASS | 日志记录配置类指定日志记录配置。 此类必须位于 Python 类路径上。 | log_config.LOGGING_CONFIG |
AIRFLOW__LOGGING__COLORED_LOG_FORMAT | 启用颜色日志时的日志格式。 | [%(asctime)s] {{%(filename)s:%(lineno)d}} %(levelname)s - %(message)s |
AIRFLOW__LOGGING__LOGGING_LEVEL | 日志记录级别。 | INFO |
AIRFLOW__METRICS__STATSD_ON | 允许将指标发送到 StatsD。 | True |
AIRFLOW__METRICS__STATSD_HOST | StatsD 服务器的主机名。 | geneva-services |
AIRFLOW__METRICS__STATSD_PORT | StatsD 服务器的端口号。 | 8125 |
AIRFLOW__METRICS__STATSD_PREFIX | 发送到 StatsD 的所有 Airflow 指标的前缀。 | AirflowMetrics |
AIRFLOW__SCHEDULER__CHILD_PROCESS_LOG_DIRECTORY | Airflow 计划程序写入其子进程日志的目录的路径。 | /opt/airflow/logs/scheduler |
AIRFLOW__SCHEDULER__DAG_DIR_LIST_INTERVAL | 扫描 DAG 目录中新文件的频率(以秒为单位)。 默认值为 5 分钟。 | 5 |
AIRFLOW__WEBSERVER__BASE_URL | 网站的基 URL,因为 Airflow 无法猜测你正在使用的域或 cname。 此 URL 用于 Airflow 发送的自动电子邮件中,以将链接指向正确的 Web 服务器。 | https://localhost:8080 |
AIRFLOW__WEBSERVER__COOKIE_SAMESITE | 在会话 Cookie 上设置 samesite 策略。 | 无 |
AIRFLOW__WEBSERVER__COOKIE_SECURE | 在会话 Cookie 上设置安全标志。 | True |
AIRFLOW__WEBSERVER__EXPOSE_CONFIG | 在 Web 服务器中公开配置文件。 | False |
AIRFLOW__WEBSERVER__AUTHENTICATE | 对用户进行身份验证以登录到 Airflow UI。 | True |
AIRFLOW__WEBSERVER__AUTH_BACKEND | airflow.api.auth.backend.basic_auth | |
AIRFLOW__WEBSERVER__RELOAD_ON_PLUGIN_CHANGE | 如果设置为 True,Airflow 将跟踪 plugins_folder 目录中的文件。 当它检测到更改时,重新加载 gunicorn。 |
True |
AIRFLOW__WEBSERVER__SECRET_KEY | 用于运行 flask 应用的密钥。 | AIRFLOW_FERNET_KEY |
AIRFLOW__API__AUTH_BACKEND | 用于对 API 用户进行身份验证的身份验证后端的逗号分隔列表。 | airflow.api.auth.backend.basic_auth |
AIRFLOW__API__ENABLE_EXPERIMENTAL_API | True |