Memantau alur di UI

Bagian ini menjelaskan penggunaan fitur pemantauan dan pengamatan bawaan untuk Alur Deklaratif Lakeflow Spark di antarmuka pengguna Azure Databricks. Fitur-fitur ini mendukung tugas-tugas seperti:

• Mengamati kemajuan dan status pembaruan pipa. Lihat Detail alur yang tersedia di halaman pemantauan.
• Memberikan peringatan tentang peristiwa proses seperti keberhasilan atau kegagalan pembaruan proses. Lihat Menambahkan pemberitahuan email untuk peristiwa alur kerja.
• Melihat metrik untuk sumber streaming seperti Apache Kafka dan Auto Loader (Pratinjau Publik). Lihat untuk melihat metrik streaming.

Menambahkan pemberitahuan email untuk peristiwa alur

Anda dapat mengonfigurasi satu atau beberapa alamat email untuk menerima pemberitahuan saat hal berikut ini terjadi:

• Pembaruan jalur telah berhasil diselesaikan.
• Pembaruan pipa saluran mengalami kegagalan, baik karena kesalahan yang dapat diulang atau yang tidak dapat diulang. Pilih opsi ini untuk menerima pemberitahuan untuk semua kegagalan alur.
• Pembaruan rangkaian gagal dengan kesalahan fatal yang tidak dapat diulang. Pilih opsi ini untuk menerima pemberitahuan hanya ketika kesalahan yang tidak dapat diulang terjadi.
• Sebuah aliran data tunggal gagal.

Untuk mengonfigurasi pemberitahuan email, edit pengaturan alur. Lihat Pemberitahuan.

Nota

Buat respons kustom terhadap peristiwa, termasuk pemberitahuan atau penanganan kustom, dengan menggunakan kait peristiwa Python.

Menampilkan alur di UI

Temukan alur Anda dari Opsi Pekerjaan & Alur di bilah samping ruang kerja. Ini membuka halaman Pekerjaan & Pipeline, tempat Anda dapat melihat informasi tentang setiap pekerjaan dan pipeline yang dapat Anda akses. Klik nama alur untuk membuka halaman pemantauan alur. Untuk mengedit pekerjaan atau alur, klik dan pilih Edit.

Nota

Pekerjaan dan jenis alur yang berbeda memiliki editor yang berbeda. Opsi Edit akan membuka editor yang benar untuk objek yang Anda pilih.

Menggunakan daftar Tugas & rangkaian

Untuk melihat daftar pipeline yang dapat Anda akses, klik Jobs & Pipeline di panel samping. Tab Jobs & pipelines mencantumkan informasi tentang semua pekerjaan dan jalur yang tersedia, seperti pembuat, pemicu (jika ada), dan hasil lima eksekusi terakhir.

Mengklik nama alur atau pekerjaan akan membawa Anda ke halaman pemantauan untuk alur atau pekerjaan tersebut. Untuk mengedit alur atau pekerjaan, klik , lalu pilih Edit.

Untuk mengubah kolom yang ditampilkan dalam daftar, klik dan pilih atau batal pilih kolom. Misalnya, untuk menambahkan sebagai kolom, pilih kolom tersebut Pipeline Type untuk ditampilkan.

Anda dapat memfilter pekerjaan di daftar Pekerjaan & pipeline seperti yang ditunjukkan pada cuplikan layar berikut.

1. Pencarian teks: pencarian kata kunci didukung untuk bidang Nama dan ID . Untuk mencari tag yang dibuat dengan kunci dan nilai, Anda dapat mencari berdasarkan kunci, nilai, atau kunci dan nilai. Misalnya, untuk tag dengan kunci department dan nilai finance, Anda dapat mencari department atau finance menemukan pekerjaan yang cocok. Untuk mencari berdasarkan kunci dan nilai, masukkan kunci dan nilai yang dipisahkan oleh titik dua (misalnya, department:finance).
2. Jenis: filter menurut Pekerjaan, Alur, atau Semua. Jika Anda memilih Alur , Anda juga dapat memfilter menurut jenis Alur, yang mencakup alur ETL dan Penyerapan.
3. Pemilik: hanya menampilkan pekerjaan yang Anda miliki.
4. Favorit: tampilkan pekerjaan yang telah Anda tandai sebagai favorit.
5. Tag: Gunakan tag. Untuk mencari menurut tag, Anda dapat menggunakan menu drop-down tag untuk memfilter hingga lima tag secara bersamaan atau langsung menggunakan pencarian kata kunci.
6. Jalankan sebagai: Filter berdasarkan sebanyak-banyaknya dua run as nilai.

Untuk memulai pekerjaan atau alur, klik tombol . Untuk menghentikan pekerjaan atau pipeline, klik tombol ikon berhenti . Untuk mengakses tindakan lain, klik . Misalnya, Anda dapat mengedit atau menghapus pekerjaan atau alur, atau mengakses pengaturan untuk alur dari menu tersebut.

Detail alur tersedia di halaman pemantauan

Nota

Ada beberapa pratinjau yang dapat memengaruhi apa yang Anda lihat saat memantau pipeline di UI.

• Editor Pipeline Lakeflow mengubah pengalaman pengguna terkait detail pipeline. Jika Anda memilih pratinjau, informasi ditampilkan di antarmuka pengguna yang berbeda dari yang dijelaskan di sini. Untuk detail tentang UI tersebut, lihat Perubahan apa yang ada di Editor Alur Lakeflow?.
• Pratinjau Daftar Eksekusi Terpadu menambahkan eksekusi alur ke daftar eksekusi pekerjaan. Untuk detail tentang perubahan dengan pratinjau tersebut diaktifkan, dan cara mengaktifkannya, lihat Perubahan apa yang ada di pratinjau Daftar Eksekusi Terpadu?.

Mengklik nama pipeline di halaman Pekerjaan & Pipeline akan menampilkan halaman pemantauan untuk pipeline tersebut. Dari sini Anda dapat memulai eksekusi alur, dan melihat detail eksekusi sebelumnya.

Grafik saluran (juga disebut DAG) muncul segera setelah pembaruan ke saluran berhasil dimulai. Panah mewakili dependensi antara dataset di pipeline Anda. Secara default, halaman pemantauan alur memperlihatkan pembaruan terbaru untuk tabel, tetapi Anda dapat memilih pembaruan yang lebih lama dari menu drop-down.

Detailnya termasuk ID alur, kode sumber, biaya komputasi, edisi produk, dan saluran yang dikonfigurasi untuk alur.

Untuk melihat tampilan himpunan data tabular, klik tab Daftar . Tampilan Daftar memungkinkan Anda melihat semua himpunan data dalam alur Anda yang diwakili sebagai baris dalam tabel dan berguna saat grafik alur Anda terlalu besar untuk divisualisasikan dalam tampilan Grafik . Anda dapat mengontrol himpunan data yang ditampilkan dalam tabel menggunakan beberapa filter seperti nama, jenis, dan status himpunan data. Untuk beralih kembali ke visualisasi DAG, klik Grafik.

Jalankan sebagai pengguna adalah pemilik pipeline, dan pembaruan pipeline dijalankan dengan izin pengguna ini. Untuk mengubah pengguna run as, klik Izin dan ubah pemilik alur.

Perubahan apa yang ada di Editor Alur Lakeflow?

Jika Anda memilih pratinjau Editor Alur Lakeflow, dan antarmuka pengguna pemantauan alur baru, beberapa informasi berada di tempat yang berbeda di UI. Untuk informasi tentang Editor Alur Lakeflow, dan memilih kedua pratinjau, lihat Mengaktifkan Editor Alur Lakeflow dan pemantauan yang diperbarui.

Penting

Fitur ini ada di Pratinjau Umum.

Perubahan berikut pada pemantauan dengan halaman pemantauan alur muncul saat memilih kedua pratinjau:

• Tab Detail alur dan Perbarui detail di panel kanan telah digabungkan dengan detail alur di bagian atas, diikuti dengan detail pembaruan.

• Mengklik tabel dalam grafik tidak memperlihatkan detail tabel di panel kanan. Panel kanan terus menampilkan alur dan memperbarui detail. Sebagai gantinya, panel bawah menampilkan informasi tabel.

• Aturan untuk menjalankan alur dalam mode pengembangan sedikit diperbarui. Untuk informasi tentang mode pengembangan, lihat Mode pengembangan.

  • Menjalankan alur melalui jadwal atau pemicu mengikuti pengaturan alur apakah akan menggunakan mode pengembangan. Anda dapat mengubah default untuk alur di pengaturan Alur.
  • Menjalankan alur melalui antarmuka pengguna pemantauan akan menggunakan mode yang ditentukan dalam pengaturan alur. Anda dapat memilih apakah akan menggunakan mode pengembangan dengan menggunakan opsi Jalankan dengan pengaturan yang berbeda di menu drop-down.
  • Menjalankan alur dari editor alur akan default ke mode pengembangan. Anda dapat memilih untuk tidak menggunakan mode pengembangan dengan menggunakan opsi Jalankan dengan pengaturan yang berbeda di menu drop-down.

• Tidak ada lagi tautan ke kode sumber dalam detail alur. Sebagai gantinya, pilih Edit alur di bagian atas. Untuk melompat ke kode untuk tabel tertentu, arahkan mouse ke atas tabel di DAG, dan klik Navigasi ke tombol kode .

• Log peristiwa tidak lagi ditampilkan secara default pada setiap pembaruan dari halaman pemantauan alur. Ketika ada kesalahan selama pemrosesan, kesalahan ditampilkan di panel bawah, dan tombol Lihat log ditampilkan untuk melihat log peristiwa untuk eksekusi tersebut. Log peristiwa juga tersedia dengan memilih Lihat log peristiwa dari detail eksekusi di panel kanan.

  Untuk mengakses log peristiwa saat menjalankan pembaruan di Editor Alur Lakeflow baru, navigasikan ke panel Masalah dan Wawasan di bagian bawah editor, klik Lihat log, atau Buka di log samping kesalahan apa pun. Untuk detail selengkapnya, lihat Editor Alur Lakeflow, dan Pengaturan alur untuk log peristiwa.

• Informasi skema tabel tersedia dengan memilih tabel di tab Tabel dari panel bawah, lalu memilih Kolom.

• Riwayat kueri tersedia dengan memilih Performa di panel bawah.

• Komentar tabel tidak tersedia dari halaman detail alur. Untuk melihat komentar tabel, lihat tabel dari Catalog Explorer. Untuk melompat langsung ke tabel di Catalog Explorer, arahkan mouse ke atas tabel di DAG, lalu klik , lalu Lihat dalam katalog. Anda juga dapat mengakses informasi di Penjelajah katalog dari daftar tabel di panel bawah dengan mengklik

Perubahan apa yang ada dalam pratinjau Daftar Run Terpadu?

Jika Pratinjau Daftar Eksekusi Terpadu diaktifkan, Anda dapat melihat pembaruan eksekusi alur di halaman Pekerjaan & Alur .

Penting

Daftar eksekusi terpadu ada di Pratinjau Umum.

Untuk mengaktifkan Daftar Eksekusi Terpadu, admin ruang kerja harus mendaftar untuk pratinjau. Untuk detail tentang memilih ikut pratinjau, lihat Mengelola pratinjau tingkat akun.

Untuk mengakses daftar eksekusi terpadu, pilih ikon Daftar Periksa. Eksekusi dari bilah sisi ruang kerja, atau klik ikon Alur Kerja.Pekerjaan & Pipeline, lalu pilih tab Eksekusi.

Tab memperlihatkan daftar aktivitas terbaru selama 60 hari terakhir. Grafik yang menunjukkan keberhasilan dan kegagalan eksekusi selama 48 jam terakhir ditampilkan terlebih dahulu, dalam kasus berikut:

• Anda difilter hanya untuk Tugas atau Pipeline.
• Anda adalah admin, atau gunakan filter untuk hanya menampilkan Run as: Me
• Proses dapat memakan waktu hingga satu jam untuk muncul di grafik.

Anda dapat memfilter daftar dan grafik dengan:

• Nama pekerjaan atau alur.
• Semua, Tugas, atau Pipeline.
• Jenis alur (ETL, Penyerapan, MV/ST, atau Sinkronisasi Tabel Database).
• Jalankan dengan kredensial pengguna
• Waktu mulai eksekusi (dalam 48 jam terakhir).
• Status Berjalan.
• Kode Kesalahan untuk eksekusi yang gagal.

Selain hal di atas, Anda bisa menampilkan kolom berikut dalam daftar:

• Waktu selesai
• ID Eksekusi
• Apakah run Diluncurkan secara manual atau berdasarkan jadwal.
• Jalankan Durasi.
• Parameter jalankan.

Untuk mengubah kolom yang ditampilkan dalam daftar eksekusi, klik dan pilih atau tidak memilih kolom.

Mengklik Waktu mulai, Waktu akhir, atau Nama eksekusi alur akan membawa Anda ke halaman pemantauan untuk alur.

Saat pipeline berjalan secara aktif, Anda dapat menghentikan eksekusi dengan mengklik . Kapan saja, Anda juga dapat mengklik tombol menu pada baris untuk eksekusi, dan pilih Edit alur untuk melihat alur di editor.

Bagaimana Anda dapat melihat detail himpunan data?

Mengklik himpunan data dalam grafik alur atau daftar himpunan data memperlihatkan detail tentang himpunan data. Detailnya termasuk skema himpunan data, metrik kualitas data, dan tautan ke kode sumber yang menentukan himpunan data.

Lihat riwayat pembaruan

Untuk melihat riwayat dan status pembaruan alur, klik menu drop-down riwayat pembaruan di bilah atas.

Pilih pembaruan di menu drop-down untuk melihat grafik, detail, dan kejadian untuk pembaruan tersebut. Untuk kembali ke pembaruan terbaru, klik Tampilkan pembaruan terbaru.

Melihat metrik streaming

Penting

Observabilitas streaming untuk alur data ada di Pratinjau Umum.

Anda dapat melihat metrik streaming dari sumber data yang didukung oleh Spark Structured Streaming, seperti tabel Apache Kafka, Amazon Kinesis, Auto Loader, dan Delta, untuk setiap aliran streaming di alur Anda. Metrik ditampilkan sebagai bagan di panel kanan antarmuka jalur pemrosesan dan mencakup detik backlog, byte backlog, catatan backlog, dan file backlog. Bagan menampilkan nilai maksimum yang diagregasi menurut menit dan tipsalat memperlihatkan nilai maksimum saat Anda mengarahkan mouse ke atas bagan. Data dibatasi hingga 48 jam terakhir dari waktu saat ini.

Tabel dalam pipeline Anda dengan metrik streaming yang tersedia menampilkan ketika melihat DAG pipeline dalam tampilan Grafik di antarmuka pengguna. Untuk melihat metrik streaming, klik untuk menampilkan bagan metrik streaming di tab Alur di panel kanan. Anda juga dapat menerapkan filter untuk menampilkan hanya tabel dengan metrik streaming dengan mengklik Daftar lalu mengklik Memiliki metrik streaming.

Setiap sumber streaming hanya mendukung metrik tertentu. Metrik yang tidak didukung oleh sumber streaming tidak tersedia untuk dilihat di UI. Tabel berikut ini memperlihatkan metrik yang tersedia untuk sumber streaming yang didukung:

sumber	backlog byte	daftar backlog	detik backlog	file backlog
Kafka	✓	✓
Kinesis	✓		✓
Delta	✓			✓
Pemuatan Otomatis	✓			✓
Google Pub/Sub	✓	✓