Memantau Azure Data Factory secara visual

Artikel
01/05/2024

BERLAKU UNTUK: Azure Data Factory Azure Synapse Analytics

Tip

Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!

Setelah Anda membuat dan menerbitkan alur di Azure Data Factory, Anda dapat mengaitkannya dengan pemicu atau memulai eksekusi ad hoc secara manual. Anda dapat memantau semua eksekusi alur secara native dalam pengalaman pengguna Azure Data Factory. Untuk membuka pengalaman pemantauan, pilih petak peta Pantau & Kelola di bilah pabrik data portal Microsoft Azure. Jika Anda sudah berada di ADF UX, pilih ikon Pantau di bilah samping kiri.

Secara default, semua yang dijalankan pabrik data ditampilkan di zona waktu lokal browser. Jika Anda mengubah zona waktu, semua bidang tanggal/waktu diposisikan ke yang Anda pilih.

Memantau eksekusi alur

Tampilan pemantauan default adalah daftar eksekusi alur yang dipicu berjalan dalam periode waktu yang dipilih. Anda dapat mengubah rentang waktu dan memfilter menurut status, nama alur, atau anotasi. Arahkan kursor ke eksekusi alur tertentu untuk mendapatkan tindakan khusus eksekusi, seperti eksekusi ulang dan laporan penggunaan.

Cuplikan layar tampilan daftar untuk memantau eksekusi alur.

Kisi eksekusi alur berisi kolom berikut:

Nama kolom	Keterangan
Nama Alur	Nama alur
Awal Eksekusi	Tanggal dan waktu mulai eksekusi alur (MM/DD/YYYY, HH:MM:SS AM/PM)
Akhir Eksekusi	Tanggal dan waktu akhir eksekusi alur (MM/DD/YYYY, HH:MM:SS AM/PM)
Durasi	Durasi eksekusi (HH:MM:SS)
Dipicu Oleh	Nama pemicu yang memulai alur
Status	Gagal, Berhasil, Sedang Berlangsung, Dibatalkan, atau Antri
Anotasi	Tag yang dapat difilter yang dikaitkan dengan alur
Parameter	Parameter untuk eksekusi alur (pasangan nama/nilai)
Kesalahan	Jika alur gagal, kesalahan eksekusi
jalankan	Original, Rerun, atau Rerun (Terbaru)
ID Eksekusi	ID eksekusi alur

Anda perlu memilih tombol Refresh secara manual untuk menyegarkan daftar eksekusi alur dan aktivitas. Refresh otomatis saat ini tidak didukung.

Cuplikan layar tombol refresh.

Untuk melihat hasil eksekusi debug, pilih tab Debug.

Cuplikan layar ikon tampilkan eksekusi debug aktif.

Memantau eksekusi aktivitas

Untuk mendapatkan tampilan mendetail setiap eksekusi aktivitas dari eksekusi alur tertentu, klik nama alur.

Cuplikan layar eksekusi aktivitas tampilan.

Tampilan daftar memperlihatkan eksekusi aktivitas yang sesuai dengan tiap eksekusi alur. Arahkan kursor ke eksekusi aktivitas tertentu untuk mendapatkan informasi khusus eksekusi seperti input JSON, output JSON, dan pengalaman pemantauan khusus aktivitas terperinci.

Cuplikan layar informasi tentang SalesAnalyticsMLPipeline, diikuti dengan daftar aktivitas yang dijalankan.

Nama kolom	Keterangan
Nama Aktivitas	Nama aktivitas di dalam alur
Jenis Aktivitas	Jenis aktivitas, seperti Salin, ExecuteDataFlow, atau AzureMLExecutePipeline
Tindakan	Ikon yang memungkinkan Anda melihat informasi input JSON, informasi output JSON, atau pengalaman pemantauan khusus aktivitas terperinci
Awal Eksekusi	Tanggal dan waktu mulai eksekusi aktivitas (MM/DD/YYYY, HH:MM:SS AM/PM)
Durasi	Durasi eksekusi (HH:MM:SS)
Status	Gagal, Berhasil, Sedang Berlangsung, atau Dibatalkan
Integration Runtime	Integration Runtime tempat aktivitas dijalankan
Properti Pengguna	Properti aktivitas yang ditentukan pengguna
Kesalahan	Jika aktivitas gagal, kesalahan eksekusi
ID Eksekusi	ID eksekusi aktivitas

Jika aktivitas gagal, Anda dapat melihat pesan kesalahan mendetail dengan mengklik ikon di kolom kesalahan.

Cuplikan layar pemberitahuan dengan detail kesalahan termasuk kode kesalahan, jenis kegagalan, dan detail kesalahan.

Mempromosikan properti pengguna untuk dipantau

Promosikan properti aktivitas alur apa pun sebagai properti pengguna sehingga menjadi entitas yang Anda pantau. Misalnya, Anda dapat mempromosikan properti Sumber dan Tujuan dari aktivitas salin di alur Anda sebagai properti pengguna.

Catatan

Anda hanya dapat mempromosikan hingga lima properti aktivitas alur sebagai properti pengguna.

Cuplikan layar buat properti pengguna.

Setelah membuat properti pengguna, Anda dapat memantaunya dalam tampilan daftar pemantauan.

Cuplikan layar tambahkan kolom untuk properti pengguna ke daftar eksekusi aktivitas.

Jika sumber untuk aktivitas penyalinan adalah nama tabel, Anda dapat memantau nama tabel sumber sebagai kolom dalam tampilan daftar eksekusi aktivitas.

Cuplikan layar daftar eksekusi aktivitas dengan kolom untuk properti pengguna.

Menjalankan ulang alur dan aktivitas

Perilaku eksekusi ulang aktivitas kontainer adalah sebagai berikut:

Wait- Aktivitas akan berperilaku seperti sebelumnya.
Set Variable- Aktivitas akan berperilaku seperti sebelumnya.
Filter- Aktivitas akan berperilaku seperti sebelumnya.
Until Aktivitas akan mengevaluasi ekspresi dan akan mengulang hingga kondisi terpenuhi. Aktivitas dalam masih dapat dilewati berdasarkan aturan operasi ulang.
Foreach Aktivitas akan selalu mengulang pada item yang diterimanya. Aktivitas dalam masih dapat dilewati berdasarkan aturan operasi ulang.
If and switch - Kondisi akan selalu dievaluasi. Semua aktivitas dalam akan dievaluasi. Aktivitas dalam mungkin masih dilewati berdasarkan aturan eksekusi ulang, tetapi kota seperti Jalankan Alur akan dijalankan ulang.
Execute pipeline activity - Alur anak akan dipicu, tetapi semua aktivitas dalam alur anak mungkin masih dilompati berdasarkan aturan eksekusi ulang.

Untuk menjalankan ulang alur yang sebelumnya dijalankan dari awal, arahkan kursor ke eksekusi alur tertentu, lalu pilih Jalankan ulang. Jika memilih beberapa alur, Anda dapat menggunakan tombol Jalankan ulang untuk menjalankan semuanya.

Cuplikan layar menjalankan ulang alur.

Jika ingin menjalankan ulang dimulai dari titik tertentu, Anda dapat melakukannya dari tampilan eksekusi aktivitas. Pilih aktivitas yang ingin dimulai dan pilih Jalankan Ulang dari aktivitas.

Cuplikan layar menjalankan ulang eksekusi aktivitas.

Anda juga dapat menjalankan ulang alur dan mengubah parameter. Pilih tombol Parameter baru untuk mengubah parameter.

Cuplikan layar menjalankan ulang aktivitas yang dijalankan dengan parameter baru.

Catatan

Menjalankan ulang alur dengan parameter baru akan dianggap sebagai eksekusi alur baru sehingga proses tersebut tidak akan ditampilkan pada pengelompokan eksekusi ulang untuk eksekusi alur.

Menjalankan ulang dari aktivitas yang gagal

Jika aktivitas gagal, waktunya habis, atau dibatalkan, Anda dapat menjalankan ulang alur dari aktivitas yang gagal tersebut dengan memilih Jalankan ulang dari aktivitas yang gagal.

Cuplikan layar aktivitas gagal eksekusi ulang.

Melihat riwayat menjalankan ulang

Anda dapat melihat riwayat menjalankan ulang untuk semua eksekusi alur dalam tampilan daftar.

Cuplikan layar riwayat tampilan.

Anda juga dapat melihat riwayat eksekusi ulang untuk eksekusi alur tertentu.

Cuplikan layar riwayat tampilan untuk eksekusi alur.

Memantau konsumsi

Anda dapat melihat sumber daya yang digunakan oleh eksekusi alur dengan mengklik ikon penggunaan di samping eksekusi.

Cuplikan layar yang memperlihatkan tempat Anda dapat melihat sumber daya yang digunakan oleh alur.

Mengklik ikon akan membuka laporan penggunaan sumber daya yang digunakan oleh eksekusi alur tersebut.

Cuplikan layar konsumsi monitor.

Anda dapat menyambungkan nilai ini ke kalkulator harga Azure untuk memperkirakan biaya eksekusi alur. Untuk informasi selengkapnya tentang harga Azure Data Factory, lihat Memahami harga.

Catatan

Nilai yang ditampilkan oleh kalkulator harga ini adalah perkiraan. Nilai ini tidak mencerminkan jumlah pasti Anda akan ditagihkan oleh Azure Data Factory

Tampilan Gantt

Bagan Gantt adalah tampilan yang memungkinkan Anda melihat riwayat menjalankan dalam rentang waktu. Dengan beralih ke tampilan Gantt, Anda akan melihat semua eksekusi alur yang dikelompokkan menurut nama yang ditampilkan sebagai bilah relatif terhadap durasi yang dibutuhkan eksekusi. Anda juga dapat mengelompokkan berdasarkan anotasi/tag yang telah Anda buat di alur Anda. Tampilan Gantt juga tersedia di tingkat eksekusi aktivitas.

Cuplikan layar contoh bagan Gantt.

Panjang bilah menginformasikan durasi alur. Anda juga dapat memilih bilah untuk melihat detail selengkapnya.

Cuplikan layar durasi bagan Gantt.

Peringatan

Anda dapat menaikkan pemberitahuan pada metrik yang didukung di Data Factory. Pilih Pantau> Peringatan & metrik pada halaman pemantauan Data Factory untuk memulai.

Cuplikan layar halaman Data factory Monitor.

Untuk pengantar dan demonstrasi fitur ini selama tujuh menit, tonton video berikut:

Membuat peringatan

Pilih Aturan peringatan baru untuk membuat peringatan baru.
Tentukan nama aturan dan pilih tingkat keparahan peringatan.
Pilih kriteria peringatan.

Anda dapat membuat peringatan di berbagai metrik, termasuk untuk jumlah/ukuran entitas ADF, eksekusi aktivitas/alur/pemicu, penggunaan/memori/jumlah simpul/antrean Integration Runtime (IR) CPU, serta untuk eksekusi paket SSIS, dan operasi memulai/hentikan SSIS IR.
Mengonfigurasi logika peringatan. Anda dapat membuat peringatan untuk metrik yang dipilih untuk semua alur dan aktivitas terkait. Anda juga dapat memilih jenis aktivitas, nama aktivitas, nama alur, atau jenis kegagalan tertentu.
Konfigurasikan email, SMS, push, dan peringatan suara untuk peringatan tersebut. Buat grup tindakan, atau pilih yang sudah ada, untuk pemberitahuan peringatan.
Buat aturan pemberitahuan.