Pemantauan dan observabilitas untuk Pekerjaan Lakeflow

Artikel ini menjelaskan fitur yang tersedia di antarmuka pengguna Azure Databricks untuk melihat pekerjaan yang dapat Anda akses, melihat riwayat eksekusi untuk pekerjaan, dan melihat detail eksekusi pekerjaan. Untuk mengonfigurasi pemberitahuan untuk pekerjaan, lihat Menambahkan pemberitahuan pada pekerjaan.

Untuk mempelajari tentang menggunakan Databricks CLI untuk melihat pekerjaan dan menjalankan pekerjaan, jalankan perintah databricks jobs list -hCLI , databricks jobs get -h, dan databricks jobs run-now -h. Untuk mempelajari tentang menggunakan JOBS API, lihat JOBS API.

Jika Anda memiliki akses ke system.lakeflow skema, Anda juga bisa menampilkan dan mengkueri rekaman pekerjaan yang dijalankan dan tugas dari seluruh akun Anda. Lihat Referensi tabel sistem pekerjaan. Anda juga dapat bergabung dengan tabel sistem pekerjaan dengan tabel penagihan untuk memantau biaya pekerjaan di seluruh akun Anda. Lihat Memantau biaya pekerjaan & performa dengan tabel sistem.

Menampilkan pekerjaan dan alur

Untuk melihat daftar pekerjaan yang dapat Anda akses, klik Pekerjaan dan Pipa di bar samping. Tab Pekerjaan & alur di UI Pekerjaan Lakeflow mencantumkan informasi tentang semua pekerjaan dan alur yang tersedia, seperti pembuat, pemicu (jika ada), dan hasil dari lima eksekusi terakhir.

Untuk mengubah kolom yang ditampilkan dalam daftar, klik dan pilih atau batal pilih kolom.

Penting

Daftar Pekerjaan & alur terpadu ada di Pratinjau Publik. Anda dapat menonaktifkan fitur dan kembali ke pengalaman default dengan menonaktifkan Pekerjaan dan alur: Manajemen terpadu, pencarian, & pemfilteran. Lihat Mengelola Pratinjau Azure Databricks untuk informasi selengkapnya.

Anda dapat memfilter pekerjaan di daftar Pekerjaan & pipeline seperti yang ditunjukkan pada cuplikan layar berikut.

1. Pencarian teks: pencarian kata kunci didukung untuk bidang Nama dan ID Pekerjaan . Untuk mencari tag yang dibuat dengan kunci dan nilai, Anda dapat mencari berdasarkan kunci, nilai, atau kunci dan nilai. Misalnya, untuk tag dengan kunci department dan nilai finance, Anda dapat mencari department atau finance menemukan pekerjaan yang cocok. Untuk mencari berdasarkan kunci dan nilai, masukkan kunci dan nilai yang dipisahkan oleh titik dua (misalnya, department:finance).
2. Jenis: pilih hanya pekerjaan, alur, atau semua.
3. Pemilik: pilih hanya tugas atau alur kerja yang Anda miliki.
4. Favorit: pilih semua pekerjaan atau alur yang telah Anda tandai sebagai favorit.
5. Tag: Gunakan tag. Untuk mencari menurut tag, Anda dapat menggunakan menu drop-down tag untuk memfilter hingga lima tag secara bersamaan atau langsung menggunakan pencarian kata kunci.
6. Jalankan sebagai: Filter berdasarkan sebanyak-banyaknya dua run as nilai.

Untuk memulai job atau pipeline, klik tombol . Untuk menghentikan alur kerja, klik tombol . Untuk mengakses tindakan lain, klik Misalnya, Anda dapat menghapus alur kerja, atau mengakses pengaturan untuk sebuah pipeline dari menu ini.

Lihat rangkaian untuk satu tugas tunggal

Anda dapat melihat daftar eksekusi yang sedang berjalan dan baru-baru ini selesai untuk pekerjaan yang dapat Anda akses, termasuk eksekusi yang dimulai oleh alat orkestrasi eksternal seperti Apache Airflow atau Azure Data Factory. Untuk melihat daftar eksekusi pekerjaan terbaru:

1. Di bilah sisi ruang kerja Azure Databricks Anda, klik Tugas & Pipeline.

2. Secara opsional, pilih filter Pekerjaan dan Dimiliki oleh saya .

3. Klik tautan Nama pekerjaan Anda.

   Tab Jalankan muncul dengan tampilan matriks dan daftar eksekusi aktif dan selesai.

Tampilan matriks menunjukkan riwayat eksekusi untuk pekerjaan tersebut, termasuk setiap tugas pekerjaan.

Baris Durasi total pelaksanaan pada matriks menampilkan durasi total pelaksanaan dan status pelaksanaan. Untuk melihat detail eksekusi, termasuk waktu mulai, durasi, dan status, arahkan mouse ke atas bilah di baris Jalankan total durasi .

Setiap sel dalam baris Tugas mewakili tugas dan status tugas terkait. Untuk melihat detail tugas, termasuk waktu mulai, durasi, kluster, dan status, arahkan mouse ke sel tugas tersebut.

Bilah eksekusi pekerjaan dan eksekusi tugas dikodekan warna untuk menunjukkan status eksekusi. Sukses berwarna hijau. Jalur yang tidak berhasil berwarna merah, jalur yang dilewati berwarna merah muda, dan menunggu ulang berwarna kuning. Tertunda, dibatalkan, atau kehabisan waktu berwarna abu-abu. Tinggi eksekusi pekerjaan individual dan bilah eksekusi tugas secara visual menunjukkan durasi eksekusi.

Jika Anda telah mengonfigurasi waktu penyelesaian yang diharapkan, tampilan matriks menampilkan peringatan saat durasi eksekusi melebihi waktu yang dikonfigurasi.

Secara bawaan, tampilan daftar proses menampilkan sebagai berikut:

• Waktu mulai untuk eksekusi.
• Pengidentifikasi eksekusi.
• Apakah eksekusi dipicu oleh jadwal pekerjaan atau permintaan API, atau dimulai secara manual.
• Waktu yang berlalu untuk pekerjaan yang sedang berjalan atau total waktu berjalan untuk eksekusi yang selesai. Peringatan ditampilkan jika durasi melebihi waktu penyelesaian yang diharapkan yang dikonfigurasi.
• Status pengerjaan, baik Antrean, Tertunda, Berjalan, Dilewati, Berhasil, Gagal, Waktu Habis, Membatalkan, atau Dibatalkan.
• Kode kesalahan yang menyebabkan eksekusi dihentikan.
• Parameter operasi.

Saat ini jalur yang sedang berjalan menampilkan tombol berhenti. Untuk menghentikan semua eksekusi aktif dan antrean, pilih Batalkan eksekusi atau Batalkan semua eksekusi yang diantrekan dari menu drop-down.

Gunakan untuk menjalankan tindakan khusus konteks tambahan, seperti menghapus entri untuk eksekusi yang telah selesai.

Untuk mengakses tindakan khusus konteks untuk eksekusi, klik (misalnya, untuk menghentikan eksekusi aktif atau menghapus eksekusi yang selesai).

Untuk mengubah kolom yang ditampilkan dalam tampilan daftar eksekusi, klik dan pilih atau batal pilih kolom.

Untuk menampilkan detail untuk eksekusi pekerjaan, klik tautan untuk eksekusi di kolom Waktu mulai dalam tampilan daftar eksekusi. Untuk melihat detail eksekusi paling baru yang berhasil untuk pekerjaan ini, klik Pergi ke eksekusi terbaru yang berhasil.

Azure Databricks mempertahankan riwayat eksekusi pekerjaan Anda hingga 60 hari. Jika Anda perlu mempertahankan eksekusi pekerjaan, Databricks merekomendasikan untuk mengekspor hasil sebelum kedaluwarsa. Untuk informasi selengkapnya, lihat Mengekspor hasil eksekusi pekerjaan.

Melihat detail eksekusi pekerjaan

Halaman detail eksekusi pekerjaan berisi output pekerjaan dan tautan ke log, termasuk informasi tentang keberhasilan atau kegagalan setiap tugas dalam pekerjaan yang dijalankan. Anda dapat mengakses detail eksekusi pekerjaan dari tab Eksekusi untuk pekerjaan tersebut.

Untuk melihat detail eksekusi pekerjaan dari tab Jalankan , klik tautan untuk eksekusi di kolom Waktu mulai dalam tampilan daftar eksekusi. Untuk kembali ke tab Jalankan untuk pekerjaan, klik nilai ID Pekerjaan.

Pekerjaan dengan beberapa tugas juga memiliki grafik, garis waktu, dan tampilan daftar.

Tampilan grafik

Klik simpul tugas dalam grafik untuk melihat detail eksekusi tugas, termasuk:

• Detail tugas termasuk dijalankan sebagai, bagaimana tugas diluncurkan, waktu mulai, waktu akhir, durasi, dan status.
• Kode sumber.
• Kluster yang menjalankan tugas serta menyediakan tautan ke riwayat kueri dan lognya.
• Metrik untuk tugas tersebut.

Tampilan garis waktu

Pekerjaan yang berisi beberapa tugas memiliki tampilan garis waktu untuk mengidentifikasi tugas yang membutuhkan waktu lama untuk diselesaikan, memahami dependensi, dan tumpang tindih untuk membantu men-debug dan mengoptimalkan pekerjaan ini.

Tampilan daftar

Secara default, tampilan daftar memperlihatkan status, nama, jenis, sumber daya, durasi, dan dependensi. Anda dapat menambahkan dan menghapus kolom dalam tampilan ini.

Anda bisa mencari tugas menurut nama, memfilter menurut status tugas atau jenis tugas, dan mengurutkan tugas menurut status, nama, atau durasi.

Klik nilai ID Pekerjaan untuk kembali ke tab Eksekusi untuk pekerjaan.

Bagaimana Azure Databricks menentukan status eksekusi pekerjaan?

Azure Databricks menentukan apakah proses kerja berhasil didasarkan pada hasil tugas akhir pekerjaan. Tugas daun adalah tugas yang tidak memiliki dependensi hilir. Eksekusi pekerjaan dapat memiliki salah satu dari tiga hasil:

• Berhasil: Semua tugas berhasil.
• Berhasil dengan kegagalan: Beberapa tugas gagal, tetapi semua tugas daun berhasil.
• Gagal: Satu atau beberapa tugas daun gagal.
• Dilewati: Pemrosesan pekerjaan dilewati (misalnya, tugas mungkin dilewati karena Anda melebihi pemrosesan bersamaan maksimum untuk pekerjaan atau ruang kerja Anda).
• Waktu Habis: Eksekusi pekerjaan membutuhkan waktu terlalu lama untuk diselesaikan dan kehabisan waktu.
• Dibatalkan: Eksekusi pekerjaan dibatalkan (misalnya, pengguna membatalkan eksekusi yang sedang berlangsung secara manual).

Menampilkan metrik untuk tugas streaming

Penting

Pengamatan streaming untuk Tugas Lakeflow sudah memasuki Pratinjau Umum.

Saat melihat detail jalannya pekerjaan, Anda bisa mendapatkan data tentang beban kerja streaming dengan metrik observabilitas streaming di antarmuka pengguna Pekerjaan. Metrik ini mencakup detik backlog, byte backlog, catatan backlog, dan file backlog untuk sumber yang didukung oleh Spark Structured Streaming termasuk Apache Kafka, Amazon Kinesis, Auto Loader, Google Pub/Sub, dan Delta tables. Metrik ditampilkan sebagai bagan di panel kanan saat Anda melihat rincian pelaksanaan dari tugas. Metrik yang ditampilkan di setiap bagan adalah nilai maksimum yang dikumpulkan berdasarkan menit dan dapat menyertakan hingga 48 jam sebelumnya.

Setiap sumber streaming hanya mendukung metrik tertentu. Metrik yang tidak didukung oleh sumber streaming tidak tersedia untuk dilihat di UI. Tabel berikut ini memperlihatkan metrik yang tersedia untuk sumber streaming yang didukung:

sumber	backlog byte	daftar backlog	detik backlog	file backlog
Kafka	✓	✓
Kinetika	✓		✓
Delta	✓			✓
Pemuat Otomatis	✓			✓
Google Pub/Sub	✓	✓

Anda juga dapat menentukan ambang batas untuk setiap metrik streaming dan mengonfigurasi pemberitahuan jika aliran melebihi ambang selama eksekusi tugas. Lihat Mengonfigurasi pemberitahuan untuk pekerjaan lambat.

Untuk melihat metrik streaming untuk eksekusi tugas yang mengalirkan data dari salah satu sumber Streaming Terstruktur yang didukung:

1. Pada halaman detail eksekusi Pekerjaan , klik tugas yang ingin Anda lihat metriknya.
2. Klik tab Metrik di panel Jalankan tugas.
3. Untuk membuka grafik metrik, klik di samping nama metrik.
4. Untuk melihat metrik untuk aliran tertentu, masukkan ID aliran di kotak teks Filter berdasarkan ID aliran. Anda dapat menemukan ID aliran di output untuk pelaksanaan pekerjaan.
5. Untuk mengubah periode waktu dari grafik metrik, gunakan menu tarik-turun waktu.
6. Untuk menggulir aliran data jika proses berisi lebih dari sepuluh aliran, klik Berikutnya atau Sebelumnya.

Batasan keterpantauan streaming

• Metrik diperbarui setiap menit kecuali eksekusi memiliki lebih dari empat aliran. Jika eksekusi memiliki lebih dari empat aliran, metrik diperbarui setiap lima menit.
• Metrik hanya dikumpulkan untuk lima puluh aliran pertama di setiap operasi.
• Metrik dikumpulkan pada interval satu detik. Metrik mungkin tidak terlihat jika pengaturan triggerInterval Anda kurang dari satu detik.
• Sebagian besar sumber data mengumpulkan metrik streaming secara default. Namun, untuk yang lain, Anda harus mengaktifkan fitur ini. Jika sumber data Anda tidak mengumpulkan metrik streaming, atur spark.sql.streaming.metricsEnabled bendera ke True.

Lihat riwayat eksekusi tugas

Untuk melihat riwayat eksekusi tugas, termasuk eksekusi yang berhasil dan tidak berhasil:

1. Klik tugas di halaman Detail eksekusi pekerjaan. Halaman Detail eksekusi pekerjaan akan muncul.
2. Pilih tugas yang dijalankan di menu drop-down riwayat eksekusi.

Menampilkan riwayat eksekusi tugas untuk For each tugas

Mengakses riwayat eksekusi tugas For each sama dengan tugas Lakeflow Jobs standar. Anda dapat mengklik simpul For each tugas pada halaman Detail eksekusi pekerjaan atau sel terkait dalam tampilan matriks. Namun, tidak seperti tugas standar, detail eksekusi untuk For each tugas disajikan sebagai tabel perulangan tugas berlapis.

Untuk melihat perulangan yang gagal saja, klik Hanya perulangan yang gagal.

Untuk melihat output perulangan, klik nilai Waktu mulai atau Waktu selesai perulangan.

Melihat riwayat pekerjaan terbaru di semua tugas

Anda dapat melihat daftar eksekusi yang sedang berjalan dan baru-baru ini selesai untuk semua pekerjaan di ruang kerja yang dapat Anda akses, termasuk eksekusi yang dimulai oleh alat orkestrasi eksternal seperti Apache Airflow atau Azure Data Factory. Untuk melihat daftar eksekusi pekerjaan terbaru:

1. Klik ikon Alur Kerja.Pekerjaan & Pipa di bilah samping.
2. Klik tab Eksekusi pekerjaan untuk menampilkan grafik jumlah eksekusi yang telah selesai dan daftar eksekusi pekerjaan.

Grafik jumlah run yang selesai

Grafik Jumlah eksekusi selesai menampilkan jumlah eksekusi pekerjaan yang diselesaikan dalam 48 jam terakhir. Secara default, grafik menampilkan pekerjaan yang gagal, dilewati, dan berhasil dijalankan. Anda juga dapat memfilter grafik untuk memperlihatkan status eksekusi tertentu atau membatasi grafik ke rentang waktu tertentu. Tab Eksekusi pekerjaan juga menyertakan tabel pekerjaan yang dijalankan dari 67 hari terakhir. Secara default, tabel menyertakan detail tentang eksekusi pekerjaan yang gagal, dilewati, dan berhasil.

Catatan

Grafik Jumlah eksekusi selesai hanya ditampilkan saat Anda mengklik Dimiliki oleh saya.

Anda dapat memfilter jumlah eksekusi Selesai menurut status eksekusi:

• Untuk memperbarui grafik untuk memperlihatkan pekerjaan yang sedang berjalan atau menunggu untuk dijalankan, klik Eksekusi aktif.
• Untuk memperbarui grafik agar hanya menampilkan eksekusi yang selesai, termasuk eksekusi yang gagal, berhasil, dan dilewati, klik Selesai dijalankan.
• Untuk memperbarui grafik agar hanya menampilkan eksekusi yang berhasil diselesaikan selama 48 jam terakhir, klik Berhasil dijalankan.
• Untuk memperbarui grafik agar hanya memperlihatkan eksekusi yang dilewati, klik Eksekusi yang dilewati. Eksekusi dilewati karena Anda melebihi jumlah maksimum eksekusi bersamaan di ruang kerja Anda atau pekerjaan melebihi jumlah maksimum eksekusi bersamaan yang ditentukan oleh konfigurasi pekerjaan.
• Untuk memperbarui grafik agar hanya memperlihatkan eksekusi yang selesai dalam status kesalahan, klik Eksekusi gagal.

Saat Anda mengklik salah satu tombol filter, daftar eksekusi dalam tabel eksekusi juga diperbarui untuk memperlihatkan hanya eksekusi pekerjaan yang cocok dengan status yang dipilih.

Untuk membatasi rentang waktu yang ditampilkan dalam grafik Jumlah eksekusi selesai, klik dan seret kursor Anda dalam grafik untuk memilih rentang waktu. Grafik dan pembaruan tabel eksekusi untuk menampilkan eksekusi hanya dari rentang waktu yang dipilih.

Tabel 5 jenis kesalahan teratas menampilkan daftar jenis kesalahan yang paling sering dari rentang waktu yang dipilih, memungkinkan Anda untuk dengan cepat melihat penyebab paling umum masalah pekerjaan di ruang kerja Anda.

Daftar pengoperasian pekerjaan

Tab Eksekusi Tugas juga menyertakan tabel tugas yang dijalankan dari 60 hari terakhir. Secara default, tabel menyertakan detail tentang eksekusi pekerjaan yang gagal, dilewati, dan berhasil.

Anda bisa memfilter daftar run yang ditampilkan dalam daftar berdasarkan hal berikut:

• Pekerjaan: Pilih hingga 3 pekerjaan dan tampilkan hanya pelaksanaan untuk pekerjaan ini.
• Jalankan sebagai: Pilih hingga 3 identitas untuk dijalankan dan lihat hanya eksekusi yang dilakukan sebagai pengguna-pengguna ini.
• Jendela waktu: Pilih tanggal dan waktu mulai dan akhir untuk mempersempit ke pelaksanaan pekerjaan yang terjadi pada interval ini.
• Status eksekusi: Filter untuk hanya melihat eksekusi aktif (saat ini berjalan), selesai (selesai berjalan termasuk eksekusi yang berhasil dan tidak berhasil), berhasil, gagal, dan dilewati.
• Kode kesalahan: Filter daftar berdasarkan kode kesalahan untuk melihat semua pekerjaan yang gagal dengan kode kesalahan yang sama.

Secara default, daftar eksekusi dalam tabel eksekusi menampilkan yang berikut ini:

• Waktu mulai untuk eksekusi.
• Nama pekerjaan yang terkait dengan eksekusi.
• Nama pengguna untuk pekerjaan yang akan dijalankan.
• Apakah eksekusi dipicu oleh jadwal pekerjaan atau permintaan API, atau dimulai secara manual.
• Waktu yang berlalu untuk pekerjaan yang sedang berjalan atau total waktu berjalan untuk eksekusi yang selesai. Peringatan ditampilkan jika durasi melebihi waktu penyelesaian yang diharapkan yang dikonfigurasi.
• Status eksekusi: Queued, Tertunda , Menjalankan, Dilewati, Berhasil, Gagal, Kehabisan Waktu, Membatalkan, atau Dibatalkan.
• Kode kesalahan apa pun yang dihentikan eksekusinya.
• Parameter apa pun untuk eksekusi.
• Untuk menghentikan pekerjaan yang sedang berjalan, klik tombol hentikan. Untuk mengakses tindakan untuk tugas, klik (misalnya untuk menghentikan eksekusi tugas yang aktif atau menghapus eksekusi tugas yang selesai).

Untuk mengubah kolom yang ditampilkan dalam daftar eksekusi, klik dan pilih atau batal pilih kolom.

Untuk melihat detail eksekusi pekerjaan, klik tautan di kolom Waktu mulai untuk eksekusi. Untuk melihat detail pekerjaan, klik nama pekerjaan di kolom Pekerjaan.

Menampilkan informasi silsilah data untuk pekerjaan

Jika Katalog Unity diaktifkan di ruang kerja, Anda dapat melihat informasi silsilah data untuk tabel Katalog Unity apa pun di alur kerja Anda. Jika informasi silsilah tersedia untuk alur kerja Anda, Anda akan melihat tautan dengan hitungan tabel hulu dan hilir di panel Detail pekerjaan untuk pekerjaan Anda, panel Detail eksekusi pekerjaan untuk pekerjaan yang dijalankan, atau panel Detail eksekusi tugas untuk tugas yang dijalankan. Klik tautan untuk memperlihatkan daftar tabel. Klik tabel untuk melihat informasi terperinci di Catalog Explorer.

Menampilkan dan menjalankan pekerjaan yang dibuat dengan Bundel Aset Databricks

Anda dapat menggunakan UI Lakeflow Jobs untuk melihat dan menjalankan pekerjaan yang disebarkan oleh Bundel Aset Databricks. Secara default, pekerjaan ini bersifat baca-saja di antarmuka pengguna Pekerjaan. Untuk mengedit pekerjaan yang disebarkan oleh bundel, ubah file konfigurasi bundel dan sebarkan ulang pekerjaan. Menerapkan perubahan hanya pada konfigurasi bundel memastikan bahwa file sumber bundel selalu mengambil konfigurasi pekerjaan saat ini.

Namun, jika Anda harus segera membuat perubahan pada pekerjaan, Anda dapat memutuskan koneksi pekerjaan dari konfigurasi bundel untuk mengaktifkan pengeditan pengaturan pekerjaan di UI. Untuk memutuskan sambungan pekerjaan, klik Putuskan sambungan dari sumber. Dalam dialog Putuskan sambungan dari sumber, klik Putuskan sambungan untuk mengonfirmasi.

Setiap perubahan yang Anda buat pada pekerjaan di UI tidak diterapkan ke konfigurasi bundel. Untuk menerapkan perubahan yang Anda buat di UI ke bundel, Anda harus memperbarui konfigurasi bundel secara manual. Untuk menyambungkan kembali pekerjaan ke konfigurasi bundel, sebarkan ulang pekerjaan menggunakan bundel.

Mengekspor hasil eksekusi pekerjaan

Anda dapat mengekspor hasil eksekusi notebook dan log eksekusi pekerjaan untuk semua jenis pekerjaan.

Mengekspor hasil eksekusi notebook

Anda dapat mempertahankan eksekusi pekerjaan dengan mengekspor hasil mereka. Untuk eksekusi pekerjaan notebook, Anda dapat mengekspor notebook yang dirender yang nantinya dapat diimpor ke ruang kerja Azure Databricks Anda.

Untuk mengekspor hasil eksekusi notebook untuk pekerjaan dengan satu tugas:

1. Pada halaman detail pekerjaan, klik tautan Lihat Detail untuk eksekusi di kolom Eksekusi tabel Eksekusi Selesai (60 hari terakhir).
2. Klik Ekspor ke HTML.

Untuk mengekspor hasil eksekusi notebook untuk pekerjaan dengan beberapa tugas:

1. Pada halaman detail pekerjaan, klik tautan Lihat Detail untuk eksekusi di kolom Eksekusi tabel Eksekusi Selesai (60 hari terakhir).
2. Klik tugas notebook untuk diekspor.
3. Klik Ekspor ke HTML.

Ekspor log eksekusi pekerjaan

Anda juga dapat mengekspor log untuk eksekusi pekerjaan Anda. Anda dapat menyiapkan pekerjaan Anda untuk mengirimkan log secara otomatis ke DBFS saat mengonfigurasi pengaturan pekerjaan (lihat Referensi konfigurasi komputasi) atau melalui Job API. Lihat objek new_cluster.cluster_log_conf dalam isi permintaan yang diteruskan ke operasi Buat pekerjaan baru (POST /jobs/create) di API Pekerjaan.