Memantau alur

Pantau alur Lakeflow menggunakan UI alur bawaan, log peristiwa, riwayat kueri, dan hook peristiwa kustom. Fitur-fitur ini melacak kemajuan pembaruan, kualitas data, silsilah data, dan metrik streaming.

Pemantauan pipeline bekerja dalam tiga lapisan, mulai dari sekilas pandang hingga kueri programatik mendalam:

• Daftar Job & Pipeline adalah cara tercepat untuk memeriksa. Aplikasi ini menampilkan hasil dari lima run terakhir sebagai indikator status di samping setiap pipeline, sehingga Anda bisa langsung tahu apakah run terbaru berhasil, gagal, atau masih berjalan.
• UI pemantauan pipeline menampilkan grafik pipeline yang diwarnai berdasarkan status, jumlah baris per tabel dan metrik kualitas data, riwayat pembaruan, serta metrik backlog streaming untuk pembaruan yang dipilih. Lihat Monitor pipeline di UI.
• Log peristiwa adalah sumber kebenaran utama yang mendasari keduanya. Ini adalah tabel Delta terstruktur yang Anda query untuk apa pun yang programatik atau historis, seperti hasil pembaruan, tren kualitas data, dan penggunaan sumber daya. Lihat Log peristiwa alur.

Untuk menerima peringatan tentang peristiwa pipeline, konfigurasikan notifikasi. Atur notifikasi langsung pada pipeline saat berjalan sesuai jadwal sendiri, atau sebagai notifikasi pekerjaan saat pipeline berjalan di dalam Lakeflow Job. Lihat Menambahkan pemberitahuan email untuk peristiwa alur kerja.

Topik	Description
Memantau menggunakan UI	Amati kemajuan dan status pembaruan alur, dan waspada tentang keberhasilan atau kegagalan. Lihat metrik untuk sumber streaming, seperti Apache Kafka dan Auto Loader.
Log peristiwa	Ekstrak informasi terperinci tentang pembaruan alur seperti silsilah data, metrik kualitas data, dan penggunaan sumber daya menggunakan log peristiwa alur. Selain itu, lihat skema untuk log peristiwa.
Riwayat kueri	Periksa dan diagnosis performa kueri dengan melihat riwayat kueri.
Pemantauan khusus	Tentukan tindakan khusus yang harus diambil saat peristiwa tertentu terjadi menggunakan pemicu peristiwa.

Selain itu, ada topik pemecahan masalah untuk skenario tertentu.

Topik	Description
Memulihkan alur dari kegagalan titik pemeriksaan streaming	Pulihkan pipeline yang memiliki titik pemeriksaan streaming yang tidak valid atau rusak.
Perbaiki waktu inisialisasi yang lama dalam pipeline	Perbaiki waktu inisialisasi tinggi untuk pipeline dengan memisahkan dan menyeimbangkan beban mengalir di seluruh pipeline.