Udostępnij za pośrednictwem


Obsługiwane konfiguracje systemu Apache Airflow

Uwaga

Ta funkcja jest dostępna w publicznej wersji zapoznawczej. Menedżer orkiestracji przepływu pracy jest obsługiwany przez platformę Apache Airflow.

W programie Workflow Orchestration Manager konfiguracje Apache Airflow mogą być zintegrowane z środowiskiem uruchomieniowym platformy jako pary klucz-wartość. Chociaż element airflow.cfg nie jest dostępny bezpośrednio w interfejsie użytkownika, użytkownicy mogą zastąpić te konfiguracje za pośrednictwem sekcji interfejsu użytkownika "Airflow Configuration overrides", zachowując dostęp do innych ustawień airflow.cfg. Deweloperzy mają elastyczność zastępowania większości konfiguracji platformy Apache Airflow w programie Workflow Orchestration Manager, except for those explicitly outlined in a provided table.

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Napiwek

Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !

Aby uzyskać więcej informacji na temat konfiguracji platformy Apache Airflow, zobacz Informacje o konfiguracji.

Poniższa tabela zawiera listę konfiguracji, które nie obsługują przesłonięć.

Konfigurowanie opis Domyślna wartość
AIRFLOW__CELERY__FLOWER_URL_PREFIX Główny adres URL Flower. ""
AIRFLOW__CORE__DAGS_FOLDER Ścieżka folderu, w którym znajdują się potoki Airflow. AIRFLOW_DAGS_FOLDER
AIRFLOW__CORE__DONOT_PICKLE Czy wyłączyć serializację DAG-ów? Fałsz
AIRFLOW__CORE__ENABLE_XCOM_PICKLING Czy włączyć pickling dla xcom. Fałsz
AIRFLOW__CORE__EXECUTOR Klasa wykonawcza, która powinna być używana przez funkcję Airflow. CeleryExecutor
AIRFLOW__CORE__FERNET_KEY Klucz tajny do zapisywania haseł połączeń w bazie danych. AIRFLOW_FERNET_KEY
AIRFLOW__CORE__DAGS_ARE_PAUSED_AT_CREATION Czy DAG-i są domyślnie wstrzymane przy tworzeniu? Fałsz
AIRFLOW__CORE__PLUGINS_FOLDER Ścieżka do folderu zawierającego wtyczki Airflow. AIRFLOW_PLUGINS_FOLDER
AIRFLOW__LOGGING__BASE_LOG_FOLDER Folder, w którym program Airflow powinien przechowywać pliki dziennika. /opt/airflow/logs
AIRFLOW__LOGGING__LOG_FILENAME_TEMPLATE Formatowanie sposobu generowania przez aplikację Airflow nazw plików lub ścieżek dla każdego przebiegu zadania. {{ ti.dag_id }}/{{ ti.task_id }}/{{ ts }}/{{ try_number }}.log
AIRFLOW__LOGGING__DAG_PROCESSOR_MANAGER_LOG_LOCATION Pełna ścieżka dag_processor_manager pliku dziennika. /opt/airflow/logs/dag_processor_manager/dag_processor_manager.log
AIRFLOW__LOGGING__LOGGING_CONFIG_CLASS Klasa konfiguracji rejestrowania określa konfigurację rejestrowania. Ta klasa musi znajdować się w ścieżce klasy języka Python. log_config. LOGGING_CONFIG
AIRFLOW__LOGGING__COLORED_LOG_FORMAT Format dziennika, gdy włączono kolorowe dzienniki. [%(asctime)s] {{%(nazwa pliku)s:%(lineno)d}} %(nazwa poziomu)s — %(message)s
AIRFLOW__LOGGING__LOGGING_LEVEL Poziom logowania. Informacje
AIRFLOW__METRICS__STATSD_ON Umożliwia wysyłanie metryk do StatsD. Prawda
AIRFLOW__METRICS__STATSD_HOST Nazwa hosta serwera StatsD. usługi genewskie
AIRFLOW__METRICS__STATSD_PORT Numer portu serwera StatsD. 8125
AIRFLOW__METRICS__STATSD_PREFIX Prefiks dla wszystkich metryk Airflow wysyłanych do StatsD. AirflowMetrics
AIRFLOW__SCHEDULER__CHILD_PROCESS_LOG_DIRECTORY Ścieżka katalogu, w którym harmonogram Airflow zapisuje dzienniki procesów podrzędnych. /opt/airflow/logs/scheduler
AIRFLOW__SCHEDULER__DAG_DIR_LIST_INTERVAL Jak często (w sekundach) przeskanować katalog grup DAG pod kątem nowych plików. Wartość domyślna to 5 minut. 5
AIRFLOW__WEBSERVER__BASE_URL Podstawowy adres URL witryny internetowej, ponieważ aplikacja Airflow nie może odgadnąć, jakiej domeny lub nazwy cname używasz. Ten adres URL jest używany w automatycznych wiadomościach e-mail wysyłanych przez usługę Airflow do wskazywania linków do odpowiedniego serwera internetowego. https://localhost:8080
AIRFLOW__WEBSERVER__COOKIE_SAMESITE Ustaw politykę SameSite dla pliku cookie sesji. Brak
AIRFLOW__WEBSERVER__COOKIE_SECURE Ustaw bezpieczną flagę ciasteczka sesyjnego. Prawda
AIRFLOW__WEBSERVER__EXPOSE_CONFIG Uwidaczniaj plik konfiguracji na serwerze sieci Web. Fałsz
AIRFLOW__WEBSERVER__AUTHENTICATE Uwierzytelnianie użytkownika w celu zalogowania się do interfejsu użytkownika aplikacji Airflow. Prawda
AIRFLOW__WEBSERVER__AUTH_BACKEND airflow.api.auth.backend.basic_auth
AIRFLOW__WEBSERVER__RELOAD_ON_PLUGIN_CHANGE Jeśli ustawiono wartość True, funkcja Airflow śledzi pliki w plugins_folder katalogu. Po wykryciu zmian ponownie załaduj Gunicorna. Prawda
AIRFLOW__WEBSERVER__SECRET_KEY Klucz tajny używany do uruchamiania aplikacji Flask. AIRFLOW_FERNET_KEY
AIRFLOW__API__AUTH_BACKEND Rozdzielana przecinkami lista zapleczy uwierzytelniania w celu uwierzytelniania użytkowników interfejsu API. airflow.api.auth.backend.basic_auth
AIRFLOW__API__ENABLE_EXPERIMENTAL_API Prawda