Bagikan melalui

Apa itu Pekerjaan Apache Airflow?

Catatan

Pekerjaan Apache Airflow didukung oleh Apache Airflow.

Pekerjaan Apache Airflow adalah generasi berikutnya dari Manajer Orkestrasi Alur Kerja Azure Data Factory. Ini adalah cara sederhana dan efisien untuk membuat dan mengelola pekerjaan orkestrasi Apache Airflow, memungkinkan Anda menjalankan Directed Acyclic Graphs (DAGs) dalam skala besar dengan mudah. Ini adalah bagian dari Fabric's Data Factory yang memberi Anda pengalaman integrasi data modern untuk mengimpor, mempersiapkan, dan mentransformasi data dari berbagai sumber data yang kaya, misalnya, basis data, gudang data, Lakehouse, data waktu nyata, dan lainnya.

Kapan menggunakan tugas Apache Airflow?

Pekerjaan Apache Airflow menawarkan layanan terkelola yang memungkinkan pengguna membuat dan mengelola DAG (Directed Acyclic Graphs) berbasis Python untuk orkestrasi alur kerja, tanpa perlu khawatir tentang infrastruktur yang mendasarinya. Jika Anda memiliki pengalaman dengan Apache Airflow atau lebih menyukai pendekatan yang berpusat pada kode, opsi ini ideal. Sebaliknya, jika Anda lebih suka solusi tanpa kode untuk orkestrasi data, alur data menawarkan alternatif yang mudah digunakan yang tidak memerlukan pengelolaan atau penulisan alur kerja berbasis Python.

Fitur Utama

Microsoft Fabric yang menampung pekerjaan Apache Airflow menawarkan berbagai fitur kuat, termasuk:

Fitur Utama Pekerjaan Apache Airflow dalam Fabric Manajer Orkestrasi Alur Kerja di Azure Data Factory
Sinkronisasi Git Ya Ya
Aktifkan AKV (Azure Key Vault) sebagai backend Ya Ya
Pasang paket pribadi sebagai persyaratan Ya Ya
Log diagnostik dan metrik Tidak. Ya
Penyimpanan Berkas Tidak. Ya
Alamat IP cluster Apache Airflow Ya Ya
Penyesuaian Otomatis untuk Mengelola Lonjakan Eksekusi Beban Kerja Produksi Ya Parsial
High Availability untuk mengurangi gangguan/downtime Ya Tidak.
Operator yang Dapat Ditunda untuk menangguhkan operator yang tidak aktif dan membebaskan pekerja Ya Tidak.
Jeda dan Lanjutkan TTL (Waktu hidup) Ya Tidak.
Pengalaman SaaSified - 10 detik untuk memulai - Penulisan DAG - Uji Coba Gratis Fabric Ya Tidak.

Ketersediaan regional

  • Australia Timur
  • Australia Tenggara
  • Brasil Selatan
  • Kanada Tengah
  • Kanada Timur
  • India Tengah
  • Amerika Serikat Tengah
  • Asia Timur
  • AS Timur
  • Amerika Serikat Timur 2
  • Prancis Tengah
  • Jerman Bagian Tengah Barat
  • Indonesia Tengah (Segera hadir)
  • Israel Tengah
  • Italia Utara
  • Jepang Timur
  • Jepang Barat
  • Korea Tengah
  • Malaysia Barat (Segera hadir)
  • Meksiko Tengah
  • Selandia Baru Utara (Segera hadir)
  • Eropa Utara
  • Norwegia Timur
  • Polandia Tengah
  • Qatar Central (Segera hadir)
  • Spanyol Tengah (Segera hadir)
  • Afrika Selatan Utara
  • Selatan-Tengah AS
  • India Selatan
  • Asia Tenggara
  • Swedia Tengah
  • Bagian Utara Swiss
  • Swiss bagian barat
  • Taiwan Utara (Segera hadir)
  • Taiwan Barat Laut (Segera hadir)
  • UEA Utara
  • Inggris Selatan
  • Barat Inggris
  • Eropa Barat
  • Amerika Serikat bagian Barat
  • Wilayah Barat Amerika Serikat 2
  • Amerika Serikat Bagian Barat 3

Versi-versi Apache Airflow yang Didukung

  • 2.10.5

Dukungan versi Python

  • 3.12

Catatan

Mengubah versi Apache Airflow dalam pekerjaan Apache Airflow yang ada saat ini tidak didukung. Sebaliknya, solusi yang direkomendasikan adalah membuat pekerjaan Apache Airflow baru dengan versi yang diinginkan

Konten Terkait