Apa itu Workflow Orchestration Manager?
BERLAKU UNTUK:
Azure Data Factory 
Azure Synapse Analytics
Tip
Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!
Catatan
Workflow Orchestration Manager didukung oleh Apache Airflow.
Catatan
Fitur ini berada dalam pratinjau publik. Untuk pertanyaan atau saran fitur, silakan kirim email ke ManagedAirflow@microsoft.com dengan detailnya.
Catatan
Workflow Orchestration Manager untuk Azure Data Factory bergantung pada aplikasi apache Airflow sumber terbuka. Dokumentasi dan tutorial lainnya untuk Airflow dapat ditemukan di halaman Dokumentasi atau Komunitas Apache Airflow.
Azure Data Factory menawarkan alur tanpa server untuk orkestrasi proses data, pergerakan data dengan 100+ konektor terkelola, dan transformasi visual dengan aliran data pemetaan.
Layanan Workflow Orchestration Manager Azure Data Factory adalah cara sederhana dan efisien untuk membuat dan mengelola lingkungan Apache Airflow , memungkinkan Anda menjalankan alur data dalam skala besar dengan mudah. Apache Airflow adalah platform sumber terbuka yang digunakan untuk membuat, menjadwalkan, dan memantau alur kerja data yang kompleks secara terprogram. Ini memungkinkan Anda untuk menentukan sekumpulan tugas, yang disebut operator, yang dapat digabungkan ke dalam grafik acyclic (DAG) yang diarahkan untuk mewakili alur data. Airflow memungkinkan Anda menjalankan DAG ini sesuai jadwal atau menanggapi suatu peristiwa, memantau kemajuan alur kerja, dan memberikan visibilitas ke dalam status setiap tugas. Ini banyak digunakan dalam rekayasa data dan ilmu data untuk mengatur alur data, dan dikenal karena fleksibilitas, ekstensibilitas, dan kemudahan penggunaannya.
Kapan menggunakan Workflow Orchestration Manager?
Azure Data Factory menawarkan Alur untuk mengatur proses data secara visual (penulisan berbasis UI). Sementara Workflow Orchestration Manager, menawarkan DAG python berbasis Airflow (penulisan yang berpusat pada kode python) untuk menentukan proses orkestrasi data. Jika Anda memiliki latar belakang Airflow, atau saat ini menggunakan Apache Airflow, Anda mungkin lebih suka menggunakan Workflow Orchestration Manager alih-alih alur. Sebaliknya, jika Anda tidak ingin menulis/mengelola DAG berbasis python untuk orkestrasi proses data, Anda mungkin lebih suka menggunakan alur.
Dengan Workflow Orchestration Manager, Azure Data Factory sekarang menawarkan kemampuan multi-orkestrasi yang mencakup persyaratan orkestrasi VISUAL, code-centric, OSS.
Fitur
Workflow Orchestration Manager di Azure Data Factory menawarkan berbagai fitur canggih, termasuk:
- Penyebaran cepat dan sederhana - Anda dapat dengan cepat dan mudah menyiapkan Apache Airflow dengan memilih versi Apache Airflow saat Membuat Workflow Orchestration Manager.
- Skala cloud - Workflow Orchestration Manager secara otomatis menskalakan node Apache Airflow jika diperlukan berdasarkan spesifikasi rentang (min, maks).
- Integrasi Microsoft Entra - Anda dapat mengaktifkan Microsoft Entra RBAC terhadap lingkungan Airflow Anda untuk pengalaman akses menyeluruh yang diamankan oleh ID Microsoft Entra.
- Enkripsi metadata - Workflow Orchestration Manager secara otomatis mengenkripsi metadata menggunakan kunci yang dikelola Azure untuk memastikan lingkungan Anda aman secara default. Ini juga mendukung enkripsi ganda dengan Kunci yang Dikelola Pelanggan (CMK).
- Pemantauan dan pemberitahuan Azure - Semua log yang dihasilkan oleh Workflow Orchestration Manager diekspor ke Azure Monitor. Ini juga menyediakan metrik untuk melacak kondisi kritis dan membantu Anda memberi tahu jika perlu.
Sistem
Ketersediaan wilayah (pratinjau publik)
- Us Timur
- Us Tengah Selatan
- Us Barat
- Brasil Selatan
- UK Selatan
- Eropa Utara
- Eropa Barat
- Asia Tenggara
Catatan
Oleh GA, semua wilayah ADF akan didukung. Wilayah lingkungan Airflow default ke wilayah Data Factory dan tidak dapat dikonfigurasi, jadi pastikan Anda menggunakan Data Factory di wilayah yang didukung di atas untuk dapat mengakses pratinjau Workflow Orchestration Manager.
Versi Apache Airflow yang didukung
- 2.6.3
Catatan
Mengubah versi Airflow dalam runtime integrasi yang ada tidak didukung. Sebaliknya, solusi yang direkomendasikan adalah membuat runtime integrasi Airflow baru dengan versi yang diinginkan
Integrasi
Apache Airflow terintegrasi dengan layanan Microsoft Azure melalui penyedia microsoft.azure.
Anda dapat menginstal paket penyedia apa pun dengan mengedit lingkungan aliran udara dari antarmuka pengguna Azure Data Factory. Dibutuhkan sekitar beberapa menit untuk menginstal paket.
Batasan
- Workflow Orchestration Manager di wilayah lain tersedia oleh GA.
- Sumber Data yang terhubung melalui aliran udara harus dapat diakses melalui titik akhir publik (jaringan).
- DAG yang berada di dalam Blob Storage di VNet/behind Firewall saat ini tidak didukung. Sebagai gantinya, sebaiknya gunakan fitur sinkronisasi Git dari Workflow Orchestration Manager. Lihat, Menyinkronkan repositori GitHub di Workflow Orchestration Manager
- Mengimpor Dag dari Azure Key Vault tidak didukung di LinkedServices.