Bagikan melalui

Bagaimana cara kerja Azure Workflow Orchestration Manager?

  • Artikel

BERLAKU UNTUK: Azure Data Factory Azure Synapse Analytics

Tip

Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!

Catatan

Workflow Orchestration Manager didukung oleh Apache Airflow.

Catatan

Workflow Orchestration Manager untuk Azure Data Factory bergantung pada aplikasi apache Airflow sumber terbuka. Dokumentasi dan tutorial lainnya untuk Airflow dapat ditemukan di halaman Dokumentasi atau Komunitas Apache Airflow.

Workflow Orchestration Manager di Azure Data Factory menggunakan Directed Acyclic Graphs (DAG) berbasis Python untuk menjalankan alur kerja orkestrasi Anda. Untuk menggunakan fitur ini, Anda perlu menyediakan DAG dan plugin Anda di Azure Blob Storage atau melalui repositori GitHub. Anda dapat meluncurkan UI Airflow dari ADF menggunakan antarmuka baris perintah (CLI) atau kit pengembangan perangkat lunak (SDK) untuk mengelola DAG Anda.

Membuat lingkungan Workflow Orchestration Manager

Lihat: Membuat lingkungan Workflow Orchestration Manager

Impor DAG

Workflow Orchestration Manager menyediakan dua metode berbeda untuk memuat DAG dari file sumber python ke lingkungan Airflow. Metode ini adalah:

  • Aktifkan Sinkronisasi Git: Layanan ini memungkinkan Anda menyinkronkan repositori GitHub dengan Workflow Orchestration Manager, memungkinkan Anda mengimpor DAG langsung dari repositori GitHub Anda. Lihat: Menyinkronkan repositori GitHub di Workflow Orchestration Manager

  • Azure Blob Storage: Anda dapat mengunggah DAG, plugin, dll. ke folder yang ditunjuk dalam akun penyimpanan blob yang ditautkan dengan Azure Data Factory. Kemudian, Anda mengimpor jalur file folder di Workflow Orchestration Manager. Lihat: Mengimpor DAG menggunakan Azure Blob Storage

Menghapus DAG dari lingkungan Airflow

Lihat: Menghapus DAG di Workflow Orchestration Manager

Memantau eksekusi DAG

Untuk memantau DAG Airflow, masuk ke UI Airflow dengan nama pengguna dan kata sandi yang dibuat sebelumnya.

  1. Pilih lingkungan Airflow yang dibuat.

    Cuplikan layar yang memperlihatkan lingkungan Airflow yang dibuat.

  2. Masuk menggunakan nama pengguna-kata sandi yang disediakan selama pembuatan Airflow Integration Runtime. (Anda dapat mengatur ulang nama pengguna atau kata sandi dengan mengedit runtime Integrasi Airflow jika diperlukan)

    Cuplikan layar yang memperlihatkan masuk menggunakan nama pengguna-kata sandi yang disediakan selama pembuatan Airflow Integration Runtime.

Pemecahan masalah impor DAG

  • Masalah: Impor DAG mengambil lebih dari 5 menit Mitigasi: Kurangi ukuran DAG yang diimpor dengan satu impor. Salah satu cara untuk mencapainya adalah dengan membuat beberapa folder DAG dengan DAG yang lebih sedikit di beberapa kontainer.

  • Masalah: DAG yang diimpor tidak muncul saat Anda masuk ke antarmuka pengguna Airflow. Mitigasi: Masuk ke UI Airflow dan lihat apakah ada kesalahan penguraian DAG. Ini bisa terjadi jika file DAG berisi kode yang tidak kompatibel. Anda akan menemukan nomor baris dan file yang tepat, yang memiliki masalah melalui antarmuka pengguna Airflow.

    Cuplikan layar memperlihatkan masalah impor dag.

Konten terkait