Memantau Azure Data Factory secara visual

  • Artikel

BERLAKU UNTUK:Azure Data Factory Azure Synapse Analytics

Tip

Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!

Setelah Anda membuat dan menerbitkan alur di Azure Data Factory, Anda dapat mengaitkannya dengan pemicu atau memulai eksekusi ad hoc secara manual. Anda dapat memantau semua eksekusi alur secara native dalam pengalaman pengguna Azure Data Factory. Untuk membuka pengalaman pemantauan, pilih petak peta Pantau & Kelola di bilah pabrik data portal Microsoft Azure. Jika Anda sudah berada di ADF UX, pilih ikon Pantau di bilah samping kiri.

Secara default, semua yang dijalankan pabrik data ditampilkan di zona waktu lokal browser. Jika Anda mengubah zona waktu, semua bidang tanggal/waktu diposisikan ke yang Anda pilih.

Memantau eksekusi alur

Tampilan pemantauan default adalah daftar eksekusi alur yang dipicu berjalan dalam periode waktu yang dipilih. Anda dapat mengubah rentang waktu dan memfilter menurut status, nama alur, atau anotasi. Arahkan kursor ke eksekusi alur tertentu untuk mendapatkan tindakan khusus eksekusi, seperti eksekusi ulang dan laporan penggunaan.

Screenshot of list view for monitoring pipeline runs.

Kisi eksekusi alur berisi kolom berikut:

Nama kolom Keterangan
Nama Alur Nama alur
Awal Eksekusi Tanggal dan waktu mulai eksekusi alur (MM/DD/YYYY, HH:MM:SS AM/PM)
Akhir Eksekusi Tanggal dan waktu akhir eksekusi alur (MM/DD/YYYY, HH:MM:SS AM/PM)
Durasi Durasi eksekusi (HH:MM:SS)
Dipicu Oleh Nama pemicu yang memulai alur
Status Gagal, Berhasil, Sedang Berlangsung, Dibatalkan, atau Antri
Anotasi Tag yang dapat difilter yang dikaitkan dengan alur
Parameter Parameter untuk eksekusi alur (pasangan nama/nilai)
Error Jika alur gagal, kesalahan eksekusi
jalankan Original, Rerun, atau Rerun (Terbaru)
ID Eksekusi ID eksekusi alur

Anda perlu memilih tombol Refresh secara manual untuk menyegarkan daftar eksekusi alur dan aktivitas. Refresh otomatis saat ini tidak didukung.

Screenshot of refresh button.

Untuk melihat hasil eksekusi debug, pilih tab Debug.

Screenshot of the view active debug runs icon.

Memantau eksekusi aktivitas

Untuk mendapatkan tampilan mendetail setiap eksekusi aktivitas dari eksekusi alur tertentu, klik nama alur.

Screenshot of view activity runs.

Tampilan daftar memperlihatkan eksekusi aktivitas yang sesuai dengan tiap eksekusi alur. Arahkan kursor ke eksekusi aktivitas tertentu untuk mendapatkan informasi khusus eksekusi seperti input JSON, output JSON, dan pengalaman pemantauan khusus aktivitas terperinci.

Screenshot of information about SalesAnalyticsMLPipeline, followed by a list of activity runs.

Nama kolom Keterangan
Nama Aktivitas Nama aktivitas di dalam alur
Jenis Aktivitas Jenis aktivitas, seperti Salin, ExecuteDataFlow, atau AzureMLExecutePipeline
Tindakan Ikon yang memungkinkan Anda melihat informasi input JSON, informasi output JSON, atau pengalaman pemantauan khusus aktivitas terperinci
Awal Eksekusi Tanggal dan waktu mulai eksekusi aktivitas (MM/DD/YYYY, HH:MM:SS AM/PM)
Durasi Durasi eksekusi (HH:MM:SS)
Status Gagal, Berhasil, Sedang Berlangsung, atau Dibatalkan
Integration Runtime Integration Runtime tempat aktivitas dijalankan
Properti Pengguna Properti aktivitas yang ditentukan pengguna
Error Jika aktivitas gagal, kesalahan eksekusi
ID Eksekusi ID eksekusi aktivitas

Jika aktivitas gagal, Anda dapat melihat pesan kesalahan mendetail dengan mengklik ikon di kolom kesalahan.

Screenshot of a notification with error details including error code, failure type, and error details.

Mempromosikan properti pengguna untuk dipantau

Promosikan properti aktivitas alur apa pun sebagai properti pengguna sehingga menjadi entitas yang Anda pantau. Misalnya, Anda dapat mempromosikan properti Sumber dan Tujuan dari aktivitas salin di alur Anda sebagai properti pengguna.

Catatan

Anda hanya dapat mempromosikan hingga lima properti aktivitas alur sebagai properti pengguna.

Screenshot of create user properties.

Setelah membuat properti pengguna, Anda dapat memantaunya dalam tampilan daftar pemantauan.

Screenshot of add columns for user properties to the activity runs list.

Jika sumber untuk aktivitas penyalinan adalah nama tabel, Anda dapat memantau nama tabel sumber sebagai kolom dalam tampilan daftar eksekusi aktivitas.

Screenshot of activity runs list with columns for user properties.

Menjalankan ulang alur dan aktivitas

Perilaku eksekusi ulang aktivitas kontainer adalah sebagai berikut:

  • Wait- Aktivitas akan berperilaku seperti sebelumnya.
  • Set Variable- Aktivitas akan berperilaku seperti sebelumnya.
  • Filter- Aktivitas akan berperilaku seperti sebelumnya.
  • Until Aktivitas akan mengevaluasi ekspresi dan akan mengulang hingga kondisi terpenuhi. Aktivitas dalam masih dapat dilewati berdasarkan aturan operasi ulang.
  • Foreach Aktivitas akan selalu mengulang pada item yang diterimanya. Aktivitas dalam masih dapat dilewati berdasarkan aturan operasi ulang.
  • If and switch - Kondisi akan selalu dievaluasi. Semua aktivitas dalam akan dievaluasi. Aktivitas dalam mungkin masih dilewati berdasarkan aturan eksekusi ulang, tetapi kota seperti Jalankan Alur akan dijalankan ulang.
  • Execute pipeline activity - Alur anak akan dipicu, tetapi semua aktivitas dalam alur anak mungkin masih dilompati berdasarkan aturan eksekusi ulang.

Untuk menjalankan ulang alur yang sebelumnya dijalankan dari awal, arahkan kursor ke eksekusi alur tertentu, lalu pilih Jalankan ulang. Jika memilih beberapa alur, Anda dapat menggunakan tombol Jalankan ulang untuk menjalankan semuanya.

Screenshot of rerun a pipeline.

Jika ingin menjalankan ulang dimulai dari titik tertentu, Anda dapat melakukannya dari tampilan eksekusi aktivitas. Pilih aktivitas yang ingin dimulai dan pilih Jalankan Ulang dari aktivitas.

Screenshot of rerun an activity run.

Anda juga dapat menjalankan ulang alur dan mengubah parameter. Pilih tombol Parameter baru untuk mengubah parameter.

Screenshot of rerun an activity run with new parameters.

Catatan

Menjalankan ulang alur dengan parameter baru akan dianggap sebagai eksekusi alur baru sehingga proses tersebut tidak akan ditampilkan pada pengelompokan eksekusi ulang untuk eksekusi alur.

Menjalankan ulang dari aktivitas yang gagal

Jika aktivitas gagal, waktunya habis, atau dibatalkan, Anda dapat menjalankan ulang alur dari aktivitas yang gagal tersebut dengan memilih Jalankan ulang dari aktivitas yang gagal.

Screenshot of rerun failed activity.

Melihat riwayat menjalankan ulang

Anda dapat melihat riwayat menjalankan ulang untuk semua eksekusi alur dalam tampilan daftar.

Screenshot of view history.

Anda juga dapat melihat riwayat eksekusi ulang untuk eksekusi alur tertentu.

Screenshot of view history for a pipeline run.

Memantau konsumsi

Anda dapat melihat sumber daya yang digunakan oleh eksekusi alur dengan mengklik ikon penggunaan di samping eksekusi.

Screenshot that shows where you can see the resources consumed by a pipeline.

Mengklik ikon akan membuka laporan penggunaan sumber daya yang digunakan oleh eksekusi alur tersebut.

Screenshot of monitor consumption.

Anda dapat menyambungkan nilai ini ke kalkulator harga Azure untuk memperkirakan biaya eksekusi alur. Untuk informasi selengkapnya tentang harga Azure Data Factory, lihat Memahami harga.

Catatan

Nilai yang ditampilkan oleh kalkulator harga ini adalah perkiraan. Nilai ini tidak mencerminkan jumlah pasti Anda akan ditagihkan oleh Azure Data Factory

Tampilan Gantt

Bagan Gantt adalah tampilan yang memungkinkan Anda melihat riwayat menjalankan dalam rentang waktu. Dengan beralih ke tampilan Gantt, Anda akan melihat semua eksekusi alur yang dikelompokkan menurut nama yang ditampilkan sebagai bilah relatif terhadap durasi yang dibutuhkan eksekusi. Anda juga dapat mengelompokkan berdasarkan anotasi/tag yang telah Anda buat di alur Anda. Tampilan Gantt juga tersedia di tingkat eksekusi aktivitas.

Screenshot of an example of a Gantt chart.

Panjang bilah menginformasikan durasi alur. Anda juga dapat memilih bilah untuk melihat detail selengkapnya.

Screenshot of a Gantt chart duration.

Peringatan

Anda dapat menaikkan pemberitahuan pada metrik yang didukung di Data Factory. Pilih Pantau> Peringatan & metrik pada halaman pemantauan Data Factory untuk memulai.

Screenshot of the Data factory Monitor page.

Untuk pengantar dan demonstrasi fitur ini selama tujuh menit, tonton video berikut:

Membuat peringatan

  1. Pilih Aturan peringatan baru untuk membuat peringatan baru.

    Screenshot of New Alert Rule button.

  2. Tentukan nama aturan dan pilih tingkat keparahan peringatan.

    Screenshot of boxes for rule name and severity.

  3. Pilih kriteria peringatan.

    Screenshot of box for target criteria.

    Screenshot that shows where you select one metric to set up the alert condition.

    Screenshot of list of criteria.

    Anda dapat membuat peringatan di berbagai metrik, termasuk untuk jumlah/ukuran entitas ADF, eksekusi aktivitas/alur/pemicu, penggunaan/memori/jumlah simpul/antrean Integration Runtime (IR) CPU, serta untuk eksekusi paket SSIS, dan operasi memulai/hentikan SSIS IR.

  4. Mengonfigurasi logika peringatan. Anda dapat membuat peringatan untuk metrik yang dipilih untuk semua alur dan aktivitas terkait. Anda juga dapat memilih jenis aktivitas, nama aktivitas, nama alur, atau jenis kegagalan tertentu.

    Screenshot of options for configuring alert logic.

  5. Konfigurasikan email, SMS, push, dan peringatan suara untuk peringatan tersebut. Buat grup tindakan, atau pilih yang sudah ada, untuk pemberitahuan peringatan.

    Screenshot of options for configuring notifications.

    Screenshot of options for adding a notification.

  6. Buat aturan pemberitahuan.

    Screenshot of options for creating an alert rule.

Konten terkait

Untuk mempelajari cara memantau dan mengelola alur, lihat Memantau dan mengelola alur secara terprogram.