Bagikan melalui


Konfigurasi Apache Airflow yang didukung

Catatan

Pekerjaan Apache Airflow didukung oleh Apache Airflow.

Dalam Apache Airflow Job, konfigurasi Apache Airflow dapat diintegrasikan dengan runtime platform sebagai pasangan kunci-nilai. airflow.cfg Meskipun tidak dapat diakses secara langsung di UI, pengguna dapat mengambil alih konfigurasi ini melalui bagian "Pengalihan Konfigurasi Aliran Udara" UI, mempertahankan akses ke pengaturan lainairflow.cfg. Pengembang memiliki fleksibilitas untuk mengambil alih sebagian besar konfigurasi Apache Airflow dalam Apache Airflow Job, except for those explicitly outlined in a provided table.

Referensi konfigurasi Airflow

Untuk informasi selengkapnya tentang konfigurasi Apache Airflow, lihat Referensi Konfigurasi.

Tabel berikut berisi daftar konfigurasi yang tidak mendukung penimpaan.

Konfigurasi Deskripsi Nilai default
FLOWER_URL_PREFIX SELEBARANAIRFLOW URL akar untuk Flower. ""
DAGS_FOLDER INTIAIRFLOW Jalur folder tempat alur Airflow berada. AIRFLOW_DAGS_FOLDER
DONOT_PICKLE INTIAIRFLOW Apakah akan menonaktifkan DAG penjemputan. Salah
ENABLE_XCOM_PICKLING INTIAIRFLOW Apakah akan mengaktifkan acar untuk xcom. Salah
PELAKSANA INTIAIRFLOW Kelas pelaksana yang harus digunakan Airflow. CeleryExecutor
FERNET_KEY INTIAIRFLOW Kunci rahasia untuk menyimpan kata sandi koneksi dalam database. AIRFLOW_FERNET_KEY
DAGS_ARE_PAUSED_AT_CREATION INTIAIRFLOW Apakah DAG dijeda secara default saat pembuatan? Salah
PLUGINS_FOLDER INTIAIRFLOW Jalur ke folder yang berisi plugin Airflow. AIRFLOW_PLUGINS_FOLDER
BASE_LOG_FOLDER PENGELOGANAIRFLOW Folder tempat Airflow harus menyimpan file lognya. /opt/airflow/logs
LOG_FILENAME_TEMPLATE PENGELOGANAIRFLOW Pemformatan untuk bagaimana Airflow menghasilkan nama atau jalur file untuk setiap tugas yang dijalankan. {{ ti.dag_id }}/{{ ti.task_id }}/{{ ts }}/{{ try_number }}.log
DAG_PROCESSOR_MANAGER_LOG_LOCATION PENGELOGANAIRFLOW Jalur dag_processor_manager lengkap file log. /opt/airflow/logs/dag_processor_manager/dag_processor_manager.log
LOGGING_CONFIG_CLASS PENGELOGANAIRFLOW Kelas konfigurasi pengelogan menentukan konfigurasi pengelogan. Kelas ini harus berada di jalur kelas Python. log_config. LOGGING_CONFIG
COLORED_LOG_FORMAT PENGELOGANAIRFLOW Format log saat log Berwarna diaktifkan. [%(asctime)s] {{%(nama file)s:%(lineno)d}} %(levelname)s - %(message)s
LOGGING_LEVEL PENGELOGANAIRFLOW Tingkat pengelogan. INFO
METRIKAIRFLOWSTATSD_ON Memungkinkan pengiriman metrik ke StatsD. Benar
METRIKAIRFLOWSTATSD_HOST Nama host server StatsD. geneva-services
STATSD_PORT METRIKAIRFLOW Nomor port server StatsD. 8125
METRIKAIRFLOWSTATSD_PREFIX Awalan untuk semua metrik Airflow yang dikirim ke StatsD. AirflowMetrics
CHILD_PROCESS_LOG_DIRECTORY AIRFLOWSCHEDULER Jalur direktori tempat penjadwal Airflow menulis log proses turunannya. /opt/airflow/logs/scheduler
DAG_DIR_LIST_INTERVAL AIRFLOWSCHEDULER Seberapa sering (dalam detik) untuk memindai direktori DAG untuk file baru. Default ke 5 menit. 5
BASE_URL AIRFLOWWEBSERVER URL dasar situs web Anda karena Airflow tidak dapat menebak domain atau cname apa yang Anda gunakan. URL ini digunakan dalam email otomatis yang dikirim Airflow untuk mengarahkan tautan ke server web yang tepat. https://localhost:8080
COOKIE_SAMESITE AIRFLOWWEBSERVER Atur kebijakan samesite pada cookie sesi. Tidak
COOKIE_SECURE AIRFLOWWEBSERVER Atur bendera aman pada cookie sesi. Benar
EXPOSE_CONFIG AIRFLOWWEBSERVER Mengekspos file konfigurasi di server web. Salah
AIRFLOWWEBSERVERMENGAUTENTIKASI Autentikasi pengguna untuk masuk ke UI Airflow. Benar
AUTH_BACKEND AIRFLOWWEBSERVER airflow.api.auth.backend.basic_auth
RELOAD_ON_PLUGIN_CHANGE AIRFLOWWEBSERVER Jika diatur ke True, Airflow melacak file di plugins_folder direktori. Ketika mendeteksi perubahan, maka muat ulang gunicorn. Benar
SECRET_KEY AIRFLOWWEBSERVER Kunci rahasia yang digunakan untuk menjalankan aplikasi flask Anda. AIRFLOW_FERNET_KEY
AUTH_BACKEND APIAIRFLOW Daftar backend autentikasi yang dipisahkan koma untuk mengautentikasi pengguna API. airflow.api.auth.backend.basic_auth
ENABLE_EXPERIMENTAL_API APIAIRFLOW Benar

Mulai Cepat: Membuat Pekerjaan Apache Airflow