Memantau alur di UI

Pantau alur Lakeflow di antarmuka pengguna Azure Databricks untuk melacak kemajuan pembaruan, memperingatkan peristiwa alur, dan melihat metrik sumber streaming. Fitur bawaan ini mendukung tugas-tugas seperti:

• Mengamati kemajuan dan status pembaruan pipa. Lihat Detail alur yang tersedia di halaman pemantauan.
• Memberikan peringatan tentang peristiwa proses seperti keberhasilan atau kegagalan pembaruan proses. Lihat Menambahkan pemberitahuan email untuk peristiwa alur kerja.
• Melihat metrik untuk sumber streaming seperti Apache Kafka dan Auto Loader (Pratinjau Publik). Lihat untuk melihat metrik streaming.

Menambahkan pemberitahuan email untuk peristiwa alur

Anda dapat mengonfigurasi satu atau beberapa alamat email untuk menerima pemberitahuan saat hal berikut ini terjadi:

• Pembaruan jalur telah berhasil diselesaikan.
• Pembaruan pipa saluran mengalami kegagalan, baik karena kesalahan yang dapat diulang atau yang tidak dapat diulang. Pilih opsi ini untuk menerima pemberitahuan untuk semua kegagalan alur.
• Pembaruan rangkaian gagal dengan kesalahan fatal yang tidak dapat diulang. Pilih opsi ini untuk menerima pemberitahuan hanya ketika kesalahan yang tidak dapat diulang terjadi.
• Sebuah aliran data tunggal gagal.

Untuk mengonfigurasi pemberitahuan email, edit pengaturan alur. Lihat Pemberitahuan.

Nota

Buat respons kustom terhadap peristiwa, termasuk pemberitahuan atau penanganan kustom, dengan menggunakan kait peristiwa Python.

Menampilkan alur di UI

Temukan alur Anda dari Opsi Pekerjaan & Alur di bilah samping ruang kerja. Ini membuka halaman Pekerjaan & Pipeline, tempat Anda dapat melihat informasi tentang setiap pekerjaan dan pipeline yang dapat Anda akses. Klik nama alur untuk membuka halaman pemantauan alur. Untuk mengedit pekerjaan atau alur, klik dan pilih Edit.

Nota

Pekerjaan dan jenis alur yang berbeda memiliki editor yang berbeda. Opsi Edit membuka editor yang benar untuk objek yang Anda pilih.

Menggunakan daftar Pekerjaan & alur

Untuk melihat daftar pipeline yang dapat Anda akses, klik Jobs & Pipeline di panel samping. Tab Jobs & pipelines mencantumkan informasi tentang semua pekerjaan dan jalur yang tersedia, seperti pembuat, pemicu (jika ada), dan hasil lima eksekusi terakhir.

Mengklik nama alur atau pekerjaan akan membawa Anda ke halaman pemantauan untuk alur atau pekerjaan tersebut. Untuk mengedit alur atau pekerjaan, klik , lalu pilih Edit.

Untuk mengubah kolom yang ditampilkan dalam daftar, klik dan pilih atau batal pilih kolom. Misalnya, untuk menambahkan sebagai kolom, pilih kolom tersebut Pipeline Type untuk ditampilkan.

Anda dapat memfilter pekerjaan di daftar Pekerjaan & pipeline seperti yang ditunjukkan pada cuplikan layar berikut.

1. Pencarian teks: pencarian kata kunci didukung untuk bidang Nama dan ID . Untuk mencari tag yang dibuat dengan kunci dan nilai, Anda dapat mencari berdasarkan kunci, nilai, atau kunci dan nilai. Misalnya, untuk tag dengan kunci department dan nilai finance, Anda dapat mencari department atau finance menemukan pekerjaan yang cocok. Untuk mencari berdasarkan kunci dan nilai, masukkan kunci dan nilai yang dipisahkan oleh titik dua (misalnya, department:finance).
2. Jenis: filter menurut Pekerjaan, Alur, atau Semua. Jika Anda memilih Alur , Anda juga dapat memfilter menurut jenis Alur, yang mencakup alur ETL dan Penyerapan.
3. Pemilik: hanya menampilkan pekerjaan yang Anda miliki.
4. Favorit: tampilkan pekerjaan yang telah Anda tandai sebagai favorit.
5. Tag: Gunakan tag. Untuk mencari menurut tag, Anda dapat menggunakan menu drop-down tag untuk memfilter hingga lima tag secara bersamaan atau langsung menggunakan pencarian kata kunci.
6. Jalankan sebagai: Filter berdasarkan sebanyak-banyaknya dua run as nilai.

Untuk memulai pekerjaan atau alur, klik tombol . Untuk menghentikan pekerjaan atau pipeline, klik tombol ikon berhenti . Untuk mengakses tindakan lain, klik . Misalnya, Anda dapat mengedit atau menghapus pekerjaan atau alur, atau mengakses pengaturan untuk alur dari menu tersebut.

Detail alur tersedia di halaman pemantauan

Nota

Pratinjau Daftar Eksekusi Terpadu menambahkan eksekusi alur ke daftar eksekusi pekerjaan. Untuk detail selengkapnya tentang perubahan saat pratinjau tersebut diaktifkan dan cara mengaktifkannya, lihat Perubahan dalam pratinjau Daftar Eksekusi Terpadu.

Mengklik nama pipeline di halaman Pekerjaan & Pipeline akan menampilkan halaman pemantauan untuk pipeline tersebut. Dari sini Anda dapat memulai eksekusi alur, dan melihat detail eksekusi sebelumnya.

Grafik pipeline, yang juga disebut graf berarah asiklik (DAG), muncul segera setelah pembaruan pada pipeline berhasil dimulai. Panah mewakili dependensi antara dataset di pipeline Anda. Secara default, halaman pemantauan alur memperlihatkan pembaruan terbaru untuk tabel, tetapi Anda dapat memilih pembaruan yang lebih lama dari menu drop-down.

Panel kanan memperlihatkan detail alur di bagian atas, termasuk ID alur, biaya komputasi, edisi produk, dan saluran. Detail pembaruan muncul di bawah detail alur. Untuk mengakses kode sumber alur, klik Edit alur di bagian atas halaman. Untuk menavigasi ke kode untuk tabel tertentu, arahkan mouse ke atas tabel di grafik alur dan klik Navigasi ke kode.

Untuk melihat tampilan himpunan data tabular, klik tab Daftar . Tampilan Daftar memungkinkan Anda melihat semua himpunan data dalam alur Anda yang diwakili sebagai baris dalam tabel dan berguna saat grafik alur Anda terlalu besar untuk divisualisasikan dalam tampilan Grafik . Anda dapat mengontrol himpunan data yang ditampilkan dalam tabel menggunakan beberapa filter seperti nama, jenis, dan status himpunan data. Untuk beralih kembali ke grafik alur, klik Grafik.

Jalankan sebagai pengguna adalah pemilik pipeline, dan pembaruan pipeline dijalankan dengan izin pengguna ini. Untuk mengubah pengguna run as, klik Izin dan ubah pemilik alur.

Nota

Perilaku eksekusi pembaruan: Pembaruan yang dipicu oleh jadwal, Pipelines API, atau pipeline berkelanjutan menggunakan perilaku percobaan ulang dan mulai ulang otomatis. Pembaruan yang dipicu dari antarmuka pemantauan atau editor alur menggunakan perilaku mulai cepat yang berfokus pada debugging. Untuk mengambil alih perilaku untuk eksekusi tertentu, gunakan opsi Jalankan sekarang dengan pengaturan yang berbeda di menu drop-down. Untuk informasi selengkapnya, lihat Memperbarui perilaku eksekusi.

Log peristiwa: Saat pembaruan alur mengalami kesalahan, kesalahan muncul di panel bawah dengan tombol Tampilkan log untuk mengakses log peristiwa untuk eksekusi tersebut. Log peristiwa juga tersedia dengan memilih Tampilkan log peristiwa dari detail eksekusi di panel kanan. Saat menjalankan pembaruan di Editor Pipeline Lakeflow, buka panel Issues di bagian bawah editor, lalu klik Lihat log atau tombol Buka di log di samping error apa pun. Untuk detail selengkapnya, lihat Penyunting Alur Lakeflow dan pengaturan Alur untuk log peristiwa.

Perubahan pada pratinjau Unified Runs List

Jika Pratinjau Daftar Eksekusi Terpadu diaktifkan, Anda dapat melihat pembaruan eksekusi alur di halaman Pekerjaan & Alur .

Penting

Daftar eksekusi terpadu ada di Pratinjau Umum. Ruang kerja secara otomatis ikut dalam pratinjau.

Untuk menonaktifkan Daftar Eksekusi Terpadu, admin ruang kerja harus memilih keluar dari pratinjau. Untuk detail tentang memilih ikut atau keluar dari pratinjau, lihat Mengelola pratinjau tingkat akun.

Untuk mengakses daftar eksekusi terpadu, pilih ikon Daftar Periksa. Eksekusi dari bilah sisi ruang kerja, atau klik ikon Alur Kerja.Pekerjaan & Pipeline, lalu pilih tab Eksekusi.

Tab memperlihatkan daftar aktivitas terbaru selama 60 hari terakhir. Grafik yang menunjukkan keberhasilan dan kegagalan eksekusi selama 48 jam terakhir ditampilkan terlebih dahulu, dalam kasus berikut:

• Anda difilter hanya untuk Tugas atau Pipeline.
• Anda adalah admin, atau gunakan filter untuk hanya menampilkan Run as: Me
• Proses dapat memakan waktu hingga satu jam untuk muncul di grafik.

Anda dapat memfilter daftar dan grafik dengan:

• Nama pekerjaan atau alur.
• Semua, Tugas, atau Pipeline.
• Jenis alur (ETL, Penyerapan, MV/ST, atau Sinkronisasi Tabel Database).
• Jalankan dengan kredensial pengguna
• Waktu mulai eksekusi (dalam 48 jam terakhir).
• Status Berjalan.
• Kode Kesalahan untuk eksekusi yang gagal.

Selain hal di atas, Anda bisa menampilkan kolom berikut dalam daftar:

• Waktu selesai
• ID Eksekusi
• Apakah run Diluncurkan secara manual atau berdasarkan jadwal.
• Jalankan Durasi.
• Parameter jalankan.

Untuk mengubah kolom yang ditampilkan dalam daftar eksekusi, klik dan pilih atau tidak memilih kolom.

Mengklik Waktu mulai, Waktu akhir, atau Nama eksekusi alur akan membawa Anda ke halaman pemantauan untuk alur.

Saat pipeline berjalan secara aktif, Anda dapat menghentikan eksekusi dengan mengklik . Kapan saja, Anda juga dapat mengklik tombol menu pada baris untuk eksekusi, dan pilih Edit alur untuk melihat alur di editor.

Menampilkan detail himpunan data

Mengklik himpunan data dalam grafik alur atau daftar himpunan data memperlihatkan informasi tentang himpunan data di panel bawah. Panel kanan terus menampilkan alur dan memperbarui detail.

• Skema: Pilih tabel di tab Tabel di panel bawah, lalu pilih Kolom.
• Metrik kualitas data: Dapat dilihat di panel bawah saat tabel dipilih.
• Kode sumber: Untuk menavigasi ke kode untuk tabel tertentu, arahkan mouse ke atas tabel di grafik alur dan klik Navigasi ke tombol kode .
• Riwayat kueri: Pilih Performa di panel bawah.
• Komentar tabel: Komentar tabel tidak tersedia dari halaman detail alur. Untuk menampilkan komentar tabel, buka tabel di Catalog Explorer. Untuk langsung membuka tabel, arahkan kursor ke tabel tersebut di grafik pipeline, klik , lalu klik Lihat di katalog. Untuk mengakses Catalog Explorer dari daftar tabel di panel bawah, klik

Lihat riwayat pembaruan

Untuk melihat riwayat dan status pembaruan alur, klik menu drop-down riwayat pembaruan di bilah atas.

Pilih pembaruan di menu drop-down untuk melihat grafik, detail, dan kejadian untuk pembaruan tersebut. Untuk kembali ke pembaruan terbaru, klik Tampilkan pembaruan terbaru.

Nota

Pipeline menyimpan riwayat pembaruan selama 60 hari. Pembaruan yang lebih lama dari jendela retensi tidak lagi muncul di sini tetapi tetap berada di log peristiwa.

Men-debug pembaruan pipeline yang gagal

Ketika pembaruan gagal, mulai dari panel Masalah di Lakeflow Pipelines Editor atau panel bawah halaman pemantauan. Pembaruan yang gagal menampilkan kesalahan di sana dengan tombol Lihat log yang langsung membuka entri log peristiwa yang relevan, sehingga Anda jarang perlu menelusuri log mentah secara manual.

Dari situ, atasi kegagalan tersebut:

• Identifikasi apa yang gagal. Dalam tampilan Grafik , tabel dan alur yang gagal disorot langsung pada DAG. Pilih salah satu untuk melihat pesan kesalahan, dan periksa apakah kegagalan terisolasi pada satu tabel atau telah bertingkat ke dependen berikutnya.
• Periksa log peristiwa untuk melihat detail kesalahan lengkap. UI dapat memotong pesan. Kolom error dan details pada log peristiwa berisi stack trace lengkap dan konteks terstruktur. Lihat Menelusuri log peristiwa.
• Jalankan ulang hanya yang gagal. Gunakan Refresh tabel yang gagal untuk mencoba lagi hanya tabel yang gagal serta apa pun yang bergantung padanya, alih-alih memproses ulang tabel yang sudah berhasil. Lihat Memulai pembaruan alur untuk tabel yang gagal.
• Validasi sebelum pembaruan penuh. Jika kegagalan terlihat seperti masalah kode atau konfigurasi, bukan masalah data, jalankan Validate terlebih dahulu. Sistem ini memeriksa ulang grafik pipeline dan kode sumber tanpa mematerialkan data, sehingga Anda segera mendapatkan indikasi apakah perbaikan Anda berhasil mengatasi kesalahan tersebut sebelum menghabiskan sumber daya komputasi. Lihat Periksa alur untuk kesalahan tanpa menunggu tabel diperbarui.
• Memperhitungkan perilaku mencoba ulang. Pembaruan yang dipicu secara manual dari editor menonaktifkan percobaan ulang otomatis sehingga Anda langsung melihat kesalahan, sedangkan pembaruan yang dipicu oleh jadwal atau API secara otomatis mencoba lagi jika terjadi kegagalan yang dapat dipulihkan. Peringatan kegagalan produksi mungkin akan terselesaikan sendiri saat mencoba ulang, sementara kegagalan yang sama tidak akan terjadi selama pengembangan interaktif. Lihat Memperbarui perilaku eksekusi.

Nota

Jika kegagalan tersebut secara khusus disebabkan oleh checkpoint streaming yang tidak valid atau tidak kompatibel (yang umum terjadi setelah mengubah operasi stateful seperti dropDuplicates() atau agregasi, atau setelah mengubah sumber data), mencoba lagi saja tidak akan menyelesaikan masalah. Pemulihan memerlukan pemrosesan ulang data, baik melalui penyegaran penuh maupun pengaturan ulang checkpoint secara selektif yang memutar ulang dari posisi yang dipilih dan mempertahankan data tabel yang ada. Karena reset memutar ulang data sumber, penulisan downstream harus idempotent. Lihat Pemulihan pipeline dari kegagalan checkpoint streaming.

Melihat metrik streaming

Penting

Observabilitas streaming untuk alur data ada di Pratinjau Umum.

Anda dapat melihat metrik streaming dari sumber data yang didukung oleh Spark Structured Streaming, seperti tabel Apache Kafka, Amazon Kinesis, Auto Loader, dan Delta, untuk setiap aliran streaming di alur Anda. Metrik ditampilkan sebagai bagan di panel kanan antarmuka jalur pemrosesan dan mencakup detik backlog, byte backlog, catatan backlog, dan file backlog. Bagan menampilkan nilai maksimum yang diagregasi menurut menit dan tipsalat memperlihatkan nilai maksimum saat Anda mengarahkan mouse ke atas bagan. Data dibatasi hingga 48 jam terakhir dari waktu saat ini.

Tabel di alur Anda dengan metrik streaming yang tersedia menampilkan ikon saat melihat grafik alur dalam tampilan Grafik UI. Untuk melihat metrik streaming, klik untuk menampilkan bagan metrik streaming di tab Alur di panel kanan. Anda juga dapat menerapkan filter untuk menampilkan hanya tabel dengan metrik streaming dengan mengklik Daftar lalu mengklik Memiliki metrik streaming.

Setiap sumber streaming hanya mendukung metrik tertentu. Metrik yang tidak didukung oleh sumber streaming tidak tersedia untuk dilihat di UI. Tabel berikut ini memperlihatkan metrik yang tersedia untuk sumber streaming yang didukung:

sumber	backlog byte	daftar backlog	detik backlog	file backlog
Kafka	✓	✓
Kinesis	✓		✓
Delta	✓			✓
Pemuatan Otomatis	✓			✓
Google Pub/Sub	✓	✓