Mulai Cepat: Membuat Pekerjaan Apache Airflow

Catatan

Pekerjaan Apache Airflow didukung oleh Apache Airflow.
Apache Airflow adalah platform sumber terbuka yang digunakan untuk membuat, menjadwalkan, dan memantau pekerjaan yang kompleks secara terprogram. Ini memungkinkan Anda untuk menentukan serangkaian tugas, yang disebut operator, yang dapat digabungkan ke dalam graf asiklik berarah (DAG) untuk mewakili alur kerja.

Apache Airflow Job menyediakan cara sederhana dan efisien untuk membuat dan mengelola lingkungan Apache Airflow, memungkinkan Anda menjalankan pekerjaan orkestrasi dalam skala besar dengan mudah. Dalam mulai cepat ini, mari kita buat pekerjaan Apache Airflow sederhana untuk membiasakan diri dengan lingkungan dan fungsionalitas Apache Airflow Job.

Membuat Pekerjaan Apache Airflow

1. Anda dapat menggunakan ruang kerja yang sudah ada atau Membuat ruang kerja baru.

2. Perluas + New dropdown -> Klik Opsi Lainnya -> Di bagian Data Factory -> Pilih Pekerjaan Apache Airflow

   

   

3. Beri nama yang sesuai untuk proyek Anda dan klik tombol "Buat".

Membuat File DAG

1. Klik kartu "File DAG baru" -> beri nama ke file dan Klik tombol "Buat".

   

2. Kode DAG boilerplate disajikan kepada Anda. Anda dapat mengedit file sesuai kebutuhan Anda.

   

3. Klik "Simpan ikon".

   

Menjalankan DAG

1. Mulailah dengan mengklik tombol "Jalankan DAG".

   

2. Setelah dimulai, pemberitahuan akan segera muncul yang menunjukkan DAG sedang berjalan.

3. Untuk memantau kemajuan eksekusi DAG, cukup klik "Lihat Detail" di dalam pusat pemberitahuan. Tindakan ini akan mengarahkan Anda ke UI Apache Airflow, tempat Anda dapat dengan mudah melacak status dan detail eksekusi DAG.

   

Memantau DAG Apache Airflow Anda di Apache Airflow UI

File dag yang disimpan dimuat di UI Apache Airflow. Anda dapat memantaunya dengan mengklik tombol "Pantau di Apache Airflow".

Konten Terkait

• Menginstal Paket Privat dalam pekerjaan Apache Airflow