Поддерживаемые конфигурации Apache Airflow

Примечание.

Эта функция предоставляется в общедоступной предварительной версии. Диспетчер оркестрации рабочих процессов управляется Apache Airflow.

В Диспетчере оркестрации рабочих процессов конфигурации Apache Airflow можно интегрировать с средой выполнения платформы в виде пар "ключ-значение". Хотя он airflow.cfg недоступен непосредственно в пользовательском интерфейсе, пользователи могут переопределить эти конфигурации с помощью раздела "Переопределение конфигурации Airflow" пользовательского интерфейса, сохраняя доступ к другим airflow.cfg параметрам. Разработчики могут переопределить большинство конфигураций Apache Airflow в диспетчере except for those explicitly outlined in a provided tableоркестрации рабочих процессов.

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Совет

Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

Дополнительные сведения о конфигурациях Apache Airflow см. в справочнике по конфигурации.

В следующей таблице содержится список конфигураций, которые не поддерживают переопределения.

Настройка	Description	Default value
AIRFLOW__CELERY__FLOWER_URL_PREFIX	Корневой URL-адрес для цветка.	""
AIRFLOW__CORE__DAGS_FOLDER	Путь к папке, в которой живут конвейеры Airflow.	AIRFLOW_DAGS_FOLDER
AIRFLOW__CORE__DONOT_PICKLE	Следует ли отключить выбор групп DAG.	False
AIRFLOW__CORE__ENABLE_XCOM_PICKLING	Следует ли включить выборку для xcom.	False
AIRFLOW__CORE__EXECUTOR	Класс исполнителя, который должен использовать Airflow.	CeleryExecutor
AIRFLOW__CORE__FERNET_KEY	Секретный ключ для сохранения паролей подключения в базе данных.	AIRFLOW_FERNET_KEY
AIRFLOW__CORE__DAGS_ARE_PAUSED_AT_CREATION	По умолчанию группы УПРАВЛЕНИЯ приостановлены при создании?	False
AIRFLOW__CORE__PLUGINS_FOLDER	Путь к папке, содержащей подключаемые модули Airflow.	AIRFLOW_PLUGINS_FOLDER
AIRFLOW__LOGGING__BASE_LOG_FOLDER	Папка, в которой Airflow должна хранить свои файлы журнала.	/opt/airflow/logs
AIRFLOW__LOGGING__LOG_FILENAME_TEMPLATE	Форматирование того, как Airflow создает имена файлов или пути для каждого запуска задачи.	{{ ti.dag_id }}/{{ ti.task_id }}/{{ ts }}/{{ try_number }}}.log
AIRFLOW__LOGGING__DAG_PROCESSOR_MANAGER_LOG_LOCATION	Полный путь к файлу dag_processor_manager журнала.	/opt/airflow/logs/dag_processor_manager/dag_processor_manager.log
AIRFLOW__LOGGING__LOGGING_CONFIG_CLASS	Класс конфигурации ведения журнала указывает конфигурацию ведения журнала. Этот класс должен находиться на пути к классу Python.	log_config. LOGGING_CONFIG
AIRFLOW__LOGGING__COLORED_LOG_FORMAT	Формат журнала для времени включения цветных журналов.	[%(asctime)s] {{%(имя_файла)s:%(lineno)d}} %(levelname)s - %(message)s
AIRFLOW__LOGGING__LOGGING_LEVEL	Уровень ведения журнала.	INFO
AIRFLOW__METRICS__STATSD_ON	Позволяет отправлять метрики в StatsD.	Истина
AIRFLOW__METRICS__STATSD_HOST	Имя узла сервера StatsD.	службы geneva-services
AIRFLOW__METRICS__STATSD_PORT	Номер порта сервера StatsD.	8125
AIRFLOW__METRICS__STATSD_PREFIX	Префикс для всех метрик Airflow, отправленных в StatsD.	AirflowMetrics
AIRFLOW__SCHEDULER__CHILD_PROCESS_LOG_DIRECTORY	Путь к каталогу, в котором планировщик Airflow записывает свои дочерние журналы процессов.	/opt/airflow/logs/scheduler
AIRFLOW__SCHEDULER__DAG_DIR_LIST_INTERVAL	Как часто (в секундах) сканировать каталог DAG для новых файлов. По умолчанию — 5 минут.	5
AIRFLOW__WEBSERVER__BASE_URL	Базовый URL-адрес веб-сайта, так как Airflow не может угадать, какой домен или имя cname вы используете. Этот URL-адрес используется в автоматических сообщениях электронной почты, которые Airflow отправляет для указания ссылок на правильный веб-сервер.	https://localhost:8080
AIRFLOW__WEBSERVER__COOKIE_SAMESITE	Задайте политику того же сайта в файле cookie сеанса.	нет
AIRFLOW__WEBSERVER__COOKIE_SECURE	Установите безопасный флаг в файле cookie сеанса.	Истина
AIRFLOW__WEBSERVER__EXPOSE_CONFIG	Предоставление файла конфигурации на веб-сервере.	False
AIRFLOW__WEBSERVER__AUTHENTICATE	Проверка подлинности пользователя для входа в пользовательский интерфейс Airflow.	Истина
AIRFLOW__WEBSERVER__AUTH_BACKEND		airflow.api.auth.backend.basic_auth
AIRFLOW__WEBSERVER__RELOAD_ON_PLUGIN_CHANGE	Если задано значение True, Airflow отслеживает файлы в каталоге plugins_folder . При обнаружении изменений перезагрузите гуникорн.	Истина
AIRFLOW__WEBSERVER__SECRET_KEY	Секретный ключ, используемый для запуска приложения flask.	AIRFLOW_FERNET_KEY
AIRFLOW__API__AUTH_BACKEND	Разделенный запятыми список серверных серверных элементов проверки подлинности для проверки подлинности пользователей API.	airflow.api.auth.backend.basic_auth
AIRFLOW__API__ENABLE_EXPERIMENTAL_API		Истина