Log diagnostik dan metrik untuk Workflow Orchestration Manager

Artikel
06/18/2024

Catatan

Workflow Orchestration Manager didukung oleh Apache Airflow.

Artikel ini memandikan Anda melalui langkah-langkah untuk:

Aktifkan log diagnostik dan metrik untuk Workflow Orchestration Manager di Azure Data Factory.
Lihat log dan metrik.
Jalankan kueri.
Pantau metrik dan atur sistem pemberitahuan dalam kegagalan grafik acyclic terarah (DAG).

Prasyarat

Anda memerlukan langganan Azure. Jika tidak memiliki langganan Azure, buat akun Azure gratis sebelum Anda memulai.

Mengaktifkan log diagnostik dan metrik untuk Workflow Orchestration Manager

Buka sumber daya Data Factory Anda dan pilih Pengaturan diagnostik di panel paling kiri. Kemudian pilih Tambahkan setelan diagnostik.
Isi nama pengaturan Diagnostik. Pilih kategori berikut untuk log Airflow:
- Log eksekusi tugas aliran udara
- Log pekerja aliran udara
- Log pemrosesan AIRFlow DAG
- Log penjadwal aliran udara
- Log web aliran udara
- Jika Anda memilih AllMetrics, berbagai metrik Azure Data Factory tersedia bagi Anda untuk memantau atau memberikan peringatan. Metrik ini mencakup metrik untuk aktivitas Data Factory dan runtime integrasi Workflow Orchestration Manager, seperti AirflowIntegrationRuntimeCpuUsage dan AirflowIntegrationRuntimeMemory.
Di bagian Detail tujuan, pilih kotak centang Kirim ke ruang kerja Log Analytics.
Pilih Simpan.

Menampilkan log

Setelah menambahkan pengaturan diagnostik, Anda dapat menemukannya tercantum di bagian Pengaturan diagnostik. Untuk mengakses dan melihat log, pilih ruang kerja Analitik Log yang Anda konfigurasikan.
Di bawah bagian Maksimalkan pengalaman Analitik Log Anda, pilih Tampilkan log.
Anda diarahkan ke ruang kerja Analitik Log tempat Anda dapat melihat bahwa tabel yang Anda pilih diimpor ke ruang kerja secara otomatis.

Tautan berguna lainnya untuk skema:

Menulis kueri

Mari kita mulai dengan kueri paling sederhana yang mengembalikan semua rekaman di ADFAirflowTaskLogs. Anda bisa mengklik ganda nama tabel untuk menambahkannya ke jendela kueri. Anda juga dapat memasukkan nama tabel langsung di jendela.
Untuk mempersempit hasil pencarian Anda, seperti memfilternya berdasarkan ID tugas tertentu, Anda bisa menggunakan kueri berikut:
```
ADFAirflowTaskLogs
| where DagId == "<your_dag_id>"
and TaskId == "<your_task_id>"
```

Demikian pula, Anda dapat membuat kueri kustom sesuai dengan kebutuhan Anda dengan menggunakan tabel apa pun yang tersedia di LogManagement.

Untuk informasi selengkapnya, lihat:

Memantau metrik

Data Factory menawarkan metrik komprehensif untuk runtime integrasi Airflow, memungkinkan Anda memantau performa runtime integrasi Airflow Anda secara efektif dan menetapkan mekanisme pemberitahuan sesuai kebutuhan.

Buka sumber daya Data Factory Anda.
Di panel paling kiri, di bawah bagian Pemantauan, pilih Metrik.
Pilih Metrik Namespace Metrik Lingkup>yang>ingin Anda pantau.
Tinjau bagan multibaris yang memvisualisasikan Persentase CPU Integration Runtime dan Ukuran Tas Dag Integration Runtime.
Anda dapat menyiapkan aturan pemberitahuan yang memicu saat metrik Anda memenuhi kondisi tertentu. Untuk informasi selengkapnya, lihat Gambaran Umum pemberitahuan Azure Monitor.
Pilih Simpan ke dasbor setelah bagan Anda selesai atau bagan Anda menghilang.