Freigeben über


Unterstützte Apache Airflow-Konfigurationen

Hinweis

Ein Apache Airflow-Auftrag wird von Apache Airflow unterstützt.

In einem Apache Airflow-Auftrag können Apache Airflow-Konfigurationen als Schlüssel-Wert-Paare in die Laufzeit der Plattform integriert werden. Während auf die airflow.cfg Benutzeroberfläche nicht direkt zugegriffen werden kann, können Benutzer diese Konfigurationen über den Abschnitt "Airflow Configuration overrides" der Benutzeroberfläche außer Kraft setzen und den Zugriff auf andere airflow.cfg Einstellungen beibehalten. Entwickler haben die Flexibilität, die meisten Apache Airflow-Konfigurationen in einem Apache Airflow-Auftrag außer Kraft zu setzen, except for those explicitly outlined in a provided table.

Referenz zu Airflow-Konfigurationen

Weitere Informationen zu Apache Airflow-Konfigurationen finden Sie in der Konfigurationsreferenz.

Die folgende Tabelle enthält die Liste der Konfigurationen, die keine Außerkraftsetzungen unterstützen.

Konfiguration BESCHREIBUNG Standardwert
AIRFLOWCELERYFLOWER_URL_PREFIX Die Stamm-URL für Flower. ""
AIRFLOWCOREDAGS_FOLDER Der Pfad des Ordners, in dem Airflow-Pipelines live sind. AIRFLOW_DAGS_FOLDER
AIRFLOWCOREDONOT_PICKLE Gibt an, ob die Auswahl von DAGs deaktiviert werden soll. False
AIRFLOWCOREENABLE_XCOM_PICKLING Gibt an, ob die Auswahl für xcom aktiviert werden soll. False
AIRFLOWCOREEXECUTOR Die Ausführungsklasse, die Airflow verwenden soll. CeleryExecutor
AIRFLOWCOREFERNET_KEY Geheimer Schlüssel zum Speichern von Verbindungswörtern in der Datenbank. AIRFLOW_FERNET_KEY
AIRFLOWCOREDAGS_ARE_PAUSED_AT_CREATION Werden DAGs bei der Erstellung standardmäßig angehalten? False
AIRFLOWCOREPLUGINS_FOLDER Pfad zum Ordner, der Airflow-Plug-Ins enthält. AIRFLOW_PLUGINS_FOLDER
AIRFLOWLOGGINGBASE_LOG_FOLDER Der Ordner, in dem Airflow seine Protokolldateien speichern soll. /opt/airflow/logs
AIRFLOWLOGGINGLOG_FILENAME_TEMPLATE Formatierung, wie Airflow Dateinamen oder Pfade für jede Aufgabe generiert. {{ ti.dag_id }}/{{ ti.task_id }}/{{ ts }}/{{ try_number }}.log
AIRFLOWLOGGINGDAG_PROCESSOR_MANAGER_LOG_LOCATION Der vollständigedag_processor_manager Pfad der Protokolldatei. /opt/airflow/logs/dag_processor_manager/dag_processor_manager.log
AIRFLOWLOGGINGLOGGING_CONFIG_CLASS Die Protokollierungs konfigurationsklasse gibt die Protokollierungskonfiguration an. Diese Klasse muss sich auf dem Python-Klassenpfad befinden. log_config.LOGGING_CONFIG
AIRFLOWLOGGINGCOLORED_LOG_FORMAT Protokollformat für die Aktivierung von farbigen Protokollen. [%(asctime)s] {{%(filename)s:%(lineno)d}} %(levelname)s - %(message)s
AIRFLOWLOGGINGLOGGING_LEVEL Protokolliergrad. INFO
AIRFLOWMETRICSSTATSD_ON Ermöglicht das Senden von Metriken an StatsD. True
AIRFLOWMETRICSSTATSD_HOST Hostname des StatsD-Servers. Genf-Dienstleistungen
AIRFLOWMETRICSSTATSD_PORT Portnummer des StatsD-Servers. 8125
AIRFLOWMETRICSSTATSD_PREFIX Präfix für alle Airflow-Metriken, die an StatsD gesendet werden. AirflowMetrics
AIRFLOWSCHEDULERCHILD_PROCESS_LOG_DIRECTORY Pfad des Verzeichnisses, in dem der Airflow-Scheduler seine untergeordneten Prozessprotokolle schreibt. /opt/airflow/logs/scheduler
AIRFLOWSCHEDULERDAG_DIR_LIST_INTERVAL Wie oft (in Sekunden) das VERZEICHNIS der DAGs auf neue Dateien überprüft werden soll. Der Standardwert ist 5 Minuten. 5
AIRFLOWWEBSERVERBASE_URL Die Basis-URL Ihrer Website, da Airflow nicht ermitteln kann, welche Domäne oder welcher cname Sie verwenden. Diese URL wird in automatisierten E-Mails verwendet, die Airflow sendet, um Links auf den richtigen Webserver zu verweisen. https://localhost:8080
AIRFLOWWEBSERVERCOOKIE_SAMESITE Legen Sie dieselbe Websiterichtlinie für Sitzungscookies fest. Keine
AIRFLOWWEBSERVERCOOKIE_SECURE Legen Sie die sichere Kennzeichnung für Sitzungscookies fest. True
AIRFLOWWEBSERVEREXPOSE_CONFIG Machen Sie die Konfigurationsdatei auf dem Webserver verfügbar. False
AIRFLOWWEBSERVERAUTHENTICATE Authentifizieren Sie den Benutzer, um sich bei der Airflow-Benutzeroberfläche anzumelden. True
AIRFLOWWEBSERVERAUTH_BACKEND airflow.api.auth.backend.basic_auth
AIRFLOWWEBSERVERRELOAD_ON_PLUGIN_CHANGE Wenn dieser Wert auf "True" festgelegt ist, verfolgt Airflow Dateien im plugins_folder Verzeichnis. Wenn änderungen erkannt werden, laden Sie den Gunicorn neu. True
AIRFLOWWEBSERVERSECRET_KEY Geheimer Schlüssel zum Ausführen der Flask-App. AIRFLOW_FERNET_KEY
AIRFLOWAPIAUTH_BACKEND Kommagetrennte Liste der Authentifizierungs-Back-Ends zum Authentifizieren von Benutzern der API. airflow.api.auth.backend.basic_auth
AIRFLOWAPIENABLE_EXPERIMENTAL_API True

Schnellstart: Erstellen eines Apache Airflow-Auftrags