Memantau Azure Data Factory secara visual

Azure Data Factory Azure Synapse Analytics

Petunjuk

Data Factory di Microsoft Fabric adalah generasi Azure Data Factory berikutnya, dengan arsitektur yang lebih sederhana, AI bawaan, dan fitur baru. Jika Anda baru menggunakan integrasi data, mulailah dengan Fabric Data Factory. Beban kerja ADF yang ada dapat ditingkatkan ke Fabric untuk mengakses kemampuan baru di seluruh ilmu data, analitik real time, dan pelaporan.

• Mulai uji coba gratis Fabric.
• Mutakhirkan dari Azure Data Factory ke Data Factory di Microsoft Fabric

Setelah membuat dan menerbitkan alur di Azure Data Factory, Anda dapat mengaitkannya dengan pemicu atau memulai eksekusi ad hoc secara manual. Anda dapat memantau semua eksekusi alur secara asli dalam pengalaman pengguna Azure Data Factory. Untuk membuka antarmuka pemantauan, pilih Monitor & Kelola di panel Data Factory dari portal Azure. Jika Anda sudah berada di ADF UX, klik ikon Pantau di bilah samping kiri.

Secara default, semua proses yang dijalankan oleh pabrik data ditampilkan dalam zona waktu lokal browser. Jika Anda mengubah zona waktu, semua bidang tanggal/waktu disesuaikan ke yang Anda pilih.

Memantau eksekusi alur

Tampilan pemantauan default adalah daftar pelaksanaan pipeline yang dipicu dalam periode waktu yang dipilih. Anda dapat mengubah rentang waktu dan memfilter menurut status, nama alur, atau anotasi. Arahkan kursor ke pipeline run tertentu untuk mendapatkan tindakan spesifik seperti eksekusi ulang dan laporan konsumsi.

Grid eksekusi saluran berisi kolom berikut:

Nama kolom	Deskripsi
Nama Pipeline	Nama jalur pemrosesan
Mulai Jalankan	Tanggal dan waktu mulai eksekusi alur (MM/DD/YYYY, HH:MM:SS AM/PM)
Akhir Penjalankan	Tanggal dan waktu akhir eksekusi alur (MM/DD/YYYY, HH:MM:SS AM/PM)
Durasi	Durasi pemrosesan (HH:MM:SS)
Dipicu Oleh	Nama pemicu yang memulai alur
Status	Gagal, Berhasil, Sedang Berlangsung, Dibatalkan, atau Antri
Anotasi	Tag yang bisa difilter dan dihubungkan dengan saluran
Parameter	Parameter untuk menjalankan penjaluran data (pasangan nama/nilai)
Kesalahan	Jika pipa gagal, kesalahan pada proses eksekusi
jalankan	Original, Rerun, atau Rerun (Terbaru)
ID Jalankan	ID pelaksanaan alur

Anda perlu memilih tombol Refresh secara manual untuk menyegarkan daftar pipeline dan aktivitas yang dijalankan. Refresh otomatis saat ini tidak didukung.

Untuk melihat hasil eksekusi debug, pilih tab Debug.

Memantau eksekusi aktivitas

Untuk mendapatkan tampilan mendetail setiap pelaksanaan aktivitas dari pemrosesan alur tertentu, klik pada nama alur.

Tampilan daftar memperlihatkan eksekusi aktivitas yang sesuai dengan tiap eksekusi alur. Arahkan kursor ke eksekusi aktivitas tertentu untuk mendapatkan informasi khusus eksekusi seperti input JSON, output JSON, dan pengalaman pemantauan khusus aktivitas terperinci.

Nama kolom	Deskripsi
Nama Aktivitas	Nama aktivitas di dalam alur
Jenis Aktivitas	Jenis aktivitas, seperti Salin, ExecuteDataFlow, atau AzureMLExecutePipeline
Tindakan	Ikon yang memungkinkan Anda melihat informasi input JSON, informasi output JSON, atau pengalaman pemantauan khusus aktivitas terperinci
Mulai Jalankan	Tanggal dan waktu mulai eksekusi aktivitas (MM/DD/YYYY, HH:MM:SS AM/PM)
Durasi	Durasi pemrosesan (HH:MM:SS)
Status	Gagal, Berhasil, Sedang Berlangsung, atau Dibatalkan
Integration Runtime	Pada Integration Runtime mana aktivitas dijalankan?
Properti Pengguna	Properti aktivitas yang ditentukan pengguna
Kesalahan	Jika aktivitas gagal, kesalahan saat menjalankan
ID Jalankan	ID pelaksanaan aktivitas

Jika aktivitas gagal, Anda dapat melihat pesan kesalahan mendetail dengan mengklik ikon di kolom kesalahan.

Mempromosikan properti pengguna untuk dipantau

Promosikan properti aktivitas alur apa pun sebagai properti pengguna sehingga menjadi entitas yang Anda pantau. Misalnya, Anda dapat mempromosikan properti Sumber dan Tujuan dari aktivitas salin di alur Anda sebagai properti pengguna.

Catatan

Anda hanya dapat meningkatkan hingga lima properti aktivitas alur sebagai properti pengguna.

Setelah membuat properti pengguna, Anda dapat memantaunya dalam tampilan daftar pemantauan.

Jika sumber untuk aktivitas penyalinan adalah nama tabel, Anda dapat memantau nama tabel sumber sebagai kolom dalam tampilan daftar eksekusi aktivitas.

Menjalankan ulang alur dan aktivitas

Perilaku eksekusi ulang aktivitas kontainer adalah sebagai berikut:

• Wait- Aktivitas akan berperilaku seperti sebelumnya.
• Set Variable- Aktivitas akan berperilaku seperti sebelumnya.
• Filter- Aktivitas akan berperilaku seperti sebelumnya.
• Until Aktivitas akan mengevaluasi ekspresi dan akan mengulang hingga kondisi terpenuhi. Aktivitas internal masih dapat dilewati berdasarkan aturan pengulangan.
• Foreach Aktivitas akan selalu mengulang item yang diterimanya. Aktivitas internal masih dapat dilewati berdasarkan aturan pengulangan.
• If and switch - Kondisi akan selalu dievaluasi. Semua aktivitas dalam akan dievaluasi. Aktivitas internal mungkin masih dilewati berdasarkan aturan eksekusi ulang, tetapi aktivitas seperti Execute Pipeline akan dijalankan ulang.
• Execute pipeline activity - Alur anak akan dipicu, tetapi semua aktivitas di dalamnya mungkin akan diabaikan bergantung pada aturan pengulangan.

Untuk menjalankan ulang alur yang sebelumnya dijalankan dari awal, arahkan kursor ke eksekusi alur tertentu, lalu pilih Jalankan ulang. Jika memilih beberapa alur, Anda dapat menggunakan tombol Jalankan ulang untuk menjalankan semuanya.

Jika Anda ingin menjalankan ulang dimulai dari titik tertentu, Anda dapat melakukannya dari tampilan pelaksanaan aktivitas. Pilih aktivitas yang ingin dimulai dan pilih Jalankan Ulang dari aktivitas.

Anda juga dapat menjalankan ulang alur dan mengubah parameter. Pilih tombol Parameter baru untuk mengubah parameter.

Catatan

Menjalankan ulang alur dengan parameter baru akan dianggap sebagai eksekusi alur baru sehingga proses tersebut tidak akan ditampilkan pada pengelompokan eksekusi ulang untuk eksekusi alur.

Menjalankan ulang dari aktivitas yang gagal

Jika aktivitas gagal, waktunya habis, atau dibatalkan, Anda dapat menjalankan ulang alur dari aktivitas yang gagal tersebut dengan memilih Jalankan ulang dari aktivitas yang gagal.

Melihat riwayat menjalankan ulang

Anda dapat melihat riwayat eksekusi ulang untuk semua rangkaian eksekusi di tampilan daftar.

Anda juga dapat melihat riwayat putaran ulang untuk jalur pipeline tertentu.

Memantau konsumsi

Anda dapat melihat sumber daya yang digunakan oleh proses pipa dengan mengeklik ikon konsumsi di sebelah proses.

Mengklik ikon membuka laporan konsumsi sumber daya yang digunakan oleh jalannya pipeline tersebut.

Anda dapat menyambungkan nilai-nilai ini ke kalkulator harga Azure untuk memperkirakan biaya eksekusi alur. Untuk informasi selengkapnya tentang harga Azure Data Factory, lihat Memahami harga.

Catatan

Nilai yang ditampilkan oleh kalkulator harga ini adalah perkiraan. Ini tidak mencerminkan jumlah yang tepat anda akan ditagih oleh Azure Data Factory

Tampilan Gantt

Bagan Gantt adalah tampilan untuk melihat riwayat pelaksanaan selama rentang waktu. Dengan beralih ke tampilan Gantt, Anda akan melihat semua jalur eksekusi yang dikelompokkan berdasarkan nama dan ditampilkan sebagai bilah yang menunjukkan durasi relatif eksekusi tersebut. Anda juga dapat mengelompokkan berdasarkan anotasi/tag yang telah Anda buat di alur Anda. Tampilan Gantt juga tersedia di level menjalankan aktivitas.

Panjang bilah menginformasikan durasi alur. Anda juga dapat memilih bilah untuk melihat detail selengkapnya.

Peringatan

Anda dapat menaikkan pemberitahuan pada metrik yang didukung di Data Factory. Pilih Monitor>Peringatan & metrik pada halaman pemantauan Data Factory untuk memulai.

Untuk pengantar dan demonstrasi fitur ini selama tujuh menit, tonton video berikut:

Buat peringatan

1. Pilih Aturan peringatan baru untuk membuat peringatan baru.

   

2. Tentukan nama aturan dan pilih tingkat keparahan peringatan.

   

3. Pilih kriteria peringatan.

   

   

   

   Anda dapat membuat pemberitahuan pada berbagai metrik, termasuk untuk jumlah/ukuran entitas ADF, aktivitas/alur/eksekusi pemicu, pemanfaatan/memori/jumlah/antrean CPU Integration Runtime (IR), serta untuk eksekusi paket SSIS dan operasi mulai/berhenti runtime integrasi SSIS.

4. Mengonfigurasi logika peringatan. Anda dapat membuat peringatan untuk metrik yang dipilih untuk semua alur dan aktivitas terkait. Anda juga dapat memilih jenis aktivitas, nama aktivitas, nama alur, atau jenis kegagalan tertentu.

   

5. Konfigurasikan email, SMS, push, dan peringatan suara untuk peringatan tersebut. Buat grup tindakan, atau pilih yang sudah ada, untuk pemberitahuan peringatan.

   

   

6. Buat aturan pemberitahuan.

   

Konten terkait

Untuk mempelajari cara memantau dan mengelola alur, lihat Memantau dan mengelola alur secara terprogram.