Pemantauan dan pengamatan untuk Pekerjaan Databricks

Artikel ini menjelaskan fitur yang tersedia di UI Azure Databricks untuk melihat pekerjaan yang dapat Anda akses, melihat riwayat eksekusi untuk pekerjaan, dan melihat detail eksekusi pekerjaan. Untuk mengonfigurasi pemberitahuan untuk pekerjaan, lihat Menambahkan email dan pemberitahuan sistem untuk peristiwa pekerjaan.

Untuk mempelajari tentang menggunakan Databricks CLI untuk melihat pekerjaan dan menjalankan pekerjaan, jalankan perintah databricks jobs list -hCLI , databricks jobs get -h, dan databricks jobs run-now -h. Untuk mempelajari tentang menggunakan JOBS API, lihat JOBS API.

Jika Anda memiliki akses ke system.lakeflow skema, Anda juga bisa menampilkan dan mengkueri rekaman pekerjaan yang dijalankan dan tugas dari seluruh akun Anda. Lihat Referensi tabel sistem pekerjaan.

Melihat pekerjaan

Untuk melihat daftar pekerjaan yang dapat Anda akses, klik Alur Kerja di bilah samping. Tab Pekerjaan di UI Alur Kerja mencantumkan informasi tentang semua pekerjaan yang tersedia, seperti pembuat pekerjaan, pemicu untuk pekerjaan, jika ada, dan hasil eksekusi terakhir.

Untuk mengubah kolom yang ditampilkan dalam daftar pekerjaan, klik dan pilih atau batal pilih kolom.

Anda dapat memfilter pekerjaan di daftar Pekerjaan:

• Menggunakan kata kunci. Jika Anda mengaktifkan fitur peningkatan batas pekerjaan untuk ruang kerja ini, pencarian menurut kata kunci hanya didukung untuk bidang nama, ID pekerjaan, dan tag pekerjaan.
• Hanya memilih pekerjaan yang Anda miliki.
• Memilih semua pekerjaan yang memiliki izin untuk Anda akses.
• Menggunakan tag. Untuk mencari tag yang dibuat hanya dengan kunci, ketik kunci ke dalam kotak pencarian. Untuk mencari tag yang dibuat dengan kunci dan nilai, Anda dapat mencari berdasarkan kunci, nilai, atau kunci dan nilai. Misalnya, untuk tag dengan kunci department dan nilai finance, Anda dapat mencari department atau finance menemukan pekerjaan yang cocok. Untuk mencari berdasarkan kunci dan nilai, masukkan kunci dan nilai yang dipisahkan oleh titik dua; misalnya, department:finance.

Anda juga dapat mengeklik header kolom untuk mengurutkan daftar pekerjaan (baik turun atau naik) menurut kolom tersebut. Ketika fitur peningkatan batas pekerjaan diaktifkan, Anda hanya dapat mengurutkan menurut Name, , Job IDatau Created by. Pengurutan default adalah dengan Name dalam urutan naik.

Klik untuk mengakses tindakan untuk pekerjaan, misalnya, menghapus pekerjaan.

Lihat eksekusi untuk pekerjaan

Anda dapat melihat daftar eksekusi yang sedang berjalan dan baru-baru ini selesai untuk semua pekerjaan yang dapat Anda akses, termasuk eksekusi yang dimulai oleh alat orkestrasi eksternal seperti Apache Airflow atau Azure Data Factory. Untuk melihat daftar eksekusi pekerjaan terbaru:

1. Klik Alur Kerja di bilah samping.
2. Di kolom Nama, klik nama pekerjaan. Tab Jalankan muncul dengan tampilan matriks dan daftar eksekusi aktif dan selesai.

Tampilan matriks menunjukkan riwayat eksekusi untuk pekerjaan tersebut, termasuk setiap tugas pekerjaan.

Baris Durasi total eksekusi matriks menampilkan total durasi eksekusi dan status eksekusi. Untuk melihat detail eksekusi, termasuk waktu mulai, durasi, dan status, arahkan mouse ke atas bilah di baris Jalankan total durasi .

Setiap sel dalam baris Tugas mewakili tugas dan status tugas terkait. Untuk melihat detail tugas, termasuk waktu mulai, durasi, kluster, dan status, arahkan mouse ke sel tugas tersebut.

Bilah eksekusi pekerjaan dan eksekusi tugas dikodekan warna untuk menunjukkan status eksekusi. Eksekusi yang berhasil berwarna hijau, eksekusi yang gagal berwarna merah, dan eksekusi yang dilewati berwarna merah muda. Tinggi eksekusi pekerjaan individual dan bilah eksekusi tugas secara visual menunjukkan durasi eksekusi.

Jika Anda telah mengonfigurasi waktu penyelesaian yang diharapkan, tampilan matriks menampilkan peringatan saat durasi eksekusi melebihi waktu yang dikonfigurasi.

Secara default, tampilan daftar eksekusi ditampilkan:

• Waktu mulai untuk eksekusi.
• Pengidentifikasi eksekusi.
• Apakah eksekusi dipicu oleh jadwal pekerjaan atau permintaan API, atau dimulai secara manual.
• Waktu yang berlalu untuk pekerjaan yang sedang berjalan atau total waktu berjalan untuk eksekusi yang selesai. Peringatan ditampilkan jika durasi melebihi waktu penyelesaian yang diharapkan yang dikonfigurasi.
• Tautan ke log Spark.
• Status eksekusi, baik Queued, , Pending, Running, SkippedSucceeded, Failed, Terminating, Terminated, Internal Error, Timed Out, Canceled, , Canceling, , atau Waiting for Retry.
• Klik untuk mengakses tindakan khusus konteks untuk eksekusi, misalnya, menghentikan eksekusi aktif atau menghapus eksekusi yang selesai.

Untuk mengubah kolom yang ditampilkan dalam tampilan daftar eksekusi, klik dan pilih atau batal pilih kolom.

Untuk menampilkan detail untuk eksekusi pekerjaan, klik tautan untuk eksekusi di kolom Waktu mulai dalam tampilan daftar eksekusi. Untuk melihat detail keberhasilan pekerjaan ini, klik Buka eksekusi terbaru yang berhasil.

Azure Databricks mempertahankan riwayat eksekusi pekerjaan Anda hingga 60 hari. Jika Anda perlu mempertahankan eksekusi pekerjaan, Databricks merekomendasikan untuk mengekspor hasil sebelum kedaluwarsa. Untuk informasi selengkapnya, lihat Mengekspor hasil eksekusi pekerjaan.

Melihat detail eksekusi pekerjaan

Halaman detail eksekusi pekerjaan berisi output pekerjaan dan tautan ke log, termasuk informasi tentang keberhasilan atau kegagalan setiap tugas dalam pekerjaan yang dijalankan. Anda dapat mengakses detail eksekusi pekerjaan dari tab Eksekusi untuk pekerjaan tersebut. Untuk melihat detail eksekusi pekerjaan dari tab Jalankan , klik tautan untuk eksekusi di kolom Waktu mulai dalam tampilan daftar eksekusi. Untuk kembali ke tab Jalankan untuk pekerjaan, klik nilai ID Pekerjaan.

Jika pekerjaan berisi beberapa tugas, klik tugas untuk melihat detail eksekusi tugas, termasuk:

• kluster yang menjalankan tugas
  • Antarmuka pengguna Spark untuk tugas tersebut
  • log untuk tugas tersebut
  • metrik untuk tugas tersebut

Klik nilai ID Pekerjaan untuk kembali ke tab Eksekusi untuk pekerjaan.

Bagaimana Azure Databricks menentukan status eksekusi pekerjaan?

Azure Databricks menentukan apakah eksekusi pekerjaan berhasil berdasarkan hasil tugas daun pekerjaan. Tugas daun adalah tugas yang tidak memiliki dependensi hilir. Eksekusi pekerjaan dapat memiliki salah satu dari tiga hasil:

• Berhasil: Semua tugas berhasil.
• Berhasil dengan kegagalan: Beberapa tugas gagal, tetapi semua tugas daun berhasil.
• Gagal: Satu atau beberapa tugas daun gagal.

Lihat riwayat eksekusi tugas

Untuk melihat riwayat eksekusi tugas, termasuk eksekusi yang berhasil dan tidak berhasil:

1. Klik tugas di halaman Detail eksekusi pekerjaan. Halaman Detail eksekusi pekerjaan akan muncul.
2. Pilih tugas yang dijalankan di menu drop-down riwayat eksekusi.

Menampilkan riwayat eksekusi tugas untuk For each tugas

Mengakses riwayat For each eksekusi tugas sama dengan tugas Azure Databricks Jobs standar. Anda dapat mengklik simpul For each tugas pada halaman Detail eksekusi pekerjaan atau sel terkait dalam tampilan matriks. Namun, tidak seperti tugas standar, detail eksekusi untuk For each tugas disajikan sebagai tabel perulangan tugas berlapis.

Untuk melihat perulangan yang gagal saja, klik Hanya perulangan yang gagal.

Untuk melihat output perulangan, klik nilai Waktu mulai atau Waktu selesai perulangan.

Lihat eksekusi pekerjaan terbaru

Anda dapat melihat daftar eksekusi yang sedang berjalan dan baru-baru ini selesai untuk semua pekerjaan di ruang kerja yang dapat Anda akses, termasuk eksekusi yang dimulai oleh alat orkestrasi eksternal seperti Apache Airflow atau Azure Data Factory. Untuk melihat daftar eksekusi pekerjaan terbaru:

1. Klik Alur Kerja di bilah samping.
2. Klik tab Eksekusi pekerjaan untuk menampilkan daftar Eksekusi pekerjaan.

Grafik Jumlah eksekusi selesai menampilkan jumlah eksekusi pekerjaan yang diselesaikan dalam 48 jam terakhir. Secara default, grafik menampilkan pekerjaan yang gagal, dilewati, dan berhasil dijalankan. Anda juga dapat memfilter grafik untuk memperlihatkan status eksekusi tertentu atau membatasi grafik ke rentang waktu tertentu. Tab Eksekusi pekerjaan juga menyertakan tabel pekerjaan yang dijalankan dari 67 hari terakhir. Secara default, tabel menyertakan detail tentang eksekusi pekerjaan yang gagal, dilewati, dan berhasil.

Catatan

Grafik Jumlah eksekusi selesai hanya ditampilkan saat Anda mengklik Dimiliki oleh saya.

Anda dapat memfilter jumlah eksekusi Selesai menurut status eksekusi:

• Untuk memperbarui grafik untuk memperlihatkan pekerjaan yang sedang berjalan atau menunggu untuk dijalankan, klik Eksekusi aktif.
• Untuk memperbarui grafik agar hanya menampilkan eksekusi yang selesai, termasuk eksekusi yang gagal, berhasil, dan dilewati, klik Selesai dijalankan.
• Untuk memperbarui grafik agar hanya menampilkan eksekusi yang berhasil diselesaikan selama 48 jam terakhir, klik Berhasil dijalankan.
• Untuk memperbarui grafik agar hanya memperlihatkan eksekusi yang dilewati, klik Eksekusi yang dilewati. Eksekusi dilewati karena Anda melebihi jumlah maksimum eksekusi bersamaan di ruang kerja Anda atau pekerjaan melebihi jumlah maksimum eksekusi bersamaan yang ditentukan oleh konfigurasi pekerjaan.
• Untuk memperbarui grafik agar hanya memperlihatkan eksekusi yang selesai dalam status kesalahan, klik Eksekusi gagal.

Saat Anda mengklik salah satu tombol filter, daftar eksekusi dalam tabel eksekusi juga diperbarui untuk memperlihatkan hanya eksekusi pekerjaan yang cocok dengan status yang dipilih.

Untuk membatasi rentang waktu yang ditampilkan dalam grafik Jumlah eksekusi selesai, klik dan seret kursor Anda dalam grafik untuk memilih rentang waktu. Grafik dan pembaruan tabel eksekusi untuk menampilkan eksekusi hanya dari rentang waktu yang dipilih.

Secara default, daftar eksekusi dalam tabel eksekusi ditampilkan:

• Waktu mulai untuk eksekusi.
• Nama pekerjaan yang terkait dengan eksekusi.
• Nama pengguna untuk pekerjaan yang akan dijalankan.
• Apakah eksekusi dipicu oleh jadwal pekerjaan atau permintaan API, atau dimulai secara manual.
• Waktu yang berlalu untuk pekerjaan yang sedang berjalan atau total waktu berjalan untuk eksekusi yang selesai. Peringatan ditampilkan jika durasi melebihi waktu penyelesaian yang diharapkan yang dikonfigurasi.
• Status eksekusi, baik Queued, , Pending, Running, SkippedSucceeded, Failed, Terminating, Terminated, Internal Error, Timed Out, Canceled, , Canceling, , atau Waiting for Retry.
• Parameter apa pun untuk eksekusi.
• Klik untuk mengakses tindakan khusus konteks untuk eksekusi, misalnya, menghentikan eksekusi aktif atau menghapus eksekusi yang selesai.

Untuk mengubah kolom yang ditampilkan dalam daftar eksekusi, klik dan pilih atau batal pilih kolom.

Tabel 5 jenis kesalahan teratas menampilkan daftar jenis kesalahan yang paling sering dari rentang waktu yang dipilih, memungkinkan Anda untuk dengan cepat melihat penyebab paling umum masalah pekerjaan di ruang kerja Anda.

Untuk melihat detail eksekusi pekerjaan, klik tautan di kolom Waktu mulai untuk eksekusi. Untuk melihat detail pekerjaan, klik nama pekerjaan di kolom Pekerjaan.

Menampilkan informasi silsilah data untuk pekerjaan

Jika Katalog Unity diaktifkan di ruang kerja, Anda dapat melihat informasi silsilah data untuk tabel Katalog Unity apa pun di alur kerja Anda. Jika informasi silsilah tersedia untuk alur kerja Anda, Anda akan melihat tautan dengan hitungan tabel hulu dan hilir di panel Detail pekerjaan untuk pekerjaan Anda, panel Detail eksekusi pekerjaan untuk pekerjaan yang dijalankan, atau panel Detail eksekusi tugas untuk tugas yang dijalankan. Klik tautan untuk memperlihatkan daftar tabel. Klik tabel untuk melihat informasi terperinci di Catalog Explorer.

Menampilkan dan menjalankan pekerjaan yang dibuat dengan Bundel Aset Databricks

Anda dapat menggunakan UI Pekerjaan Azure Databricks untuk melihat dan menjalankan pekerjaan yang disebarkan oleh Bundel Aset Databricks. Secara default, pekerjaan ini bersifat baca-saja di antarmuka pengguna Pekerjaan. Untuk mengedit pekerjaan yang disebarkan oleh bundel, ubah file konfigurasi bundel dan sebarkan ulang pekerjaan. Menerapkan perubahan hanya pada konfigurasi bundel memastikan bahwa file sumber bundel selalu mengambil konfigurasi pekerjaan saat ini.

Namun, jika Anda harus segera membuat perubahan pada pekerjaan, Anda dapat memutuskan koneksi pekerjaan dari konfigurasi bundel untuk mengaktifkan pengeditan pengaturan pekerjaan di UI. Untuk memutuskan sambungan pekerjaan, klik Putuskan sambungan dari sumber. Dalam dialog Putuskan sambungan dari sumber, klik Putuskan sambungan untuk mengonfirmasi.

Setiap perubahan yang Anda buat pada pekerjaan di UI tidak diterapkan ke konfigurasi bundel. Untuk menerapkan perubahan yang Anda buat di UI ke bundel, Anda harus memperbarui konfigurasi bundel secara manual. Untuk menyambungkan kembali pekerjaan ke konfigurasi bundel, sebarkan ulang pekerjaan menggunakan bundel.

Mengekspor hasil eksekusi pekerjaan

Anda dapat mengekspor hasil eksekusi notebook dan log eksekusi pekerjaan untuk semua jenis pekerjaan.

Mengekspor hasil eksekusi notebook

Anda dapat mempertahankan eksekusi pekerjaan dengan mengekspor hasil mereka. Untuk eksekusi pekerjaan notebook, Anda dapat mengekspor notebook yang dirender yang nantinya dapat diimpor ke ruang kerja Azure Databricks Anda.

Untuk mengekspor hasil eksekusi notebook untuk pekerjaan dengan satu tugas:

1. Pada halaman detail pekerjaan, klik tautan Lihat Detail untuk eksekusi di kolom Eksekusi tabel Eksekusi Selesai (60 hari terakhir).
2. Klik Ekspor ke HTML.

Untuk mengekspor hasil eksekusi notebook untuk pekerjaan dengan beberapa tugas:

1. Pada halaman detail pekerjaan, klik tautan Lihat Detail untuk eksekusi di kolom Eksekusi tabel Eksekusi Selesai (60 hari terakhir).
2. Klik tugas notebook untuk diekspor.
3. Klik Ekspor ke HTML.

Ekspor log eksekusi pekerjaan

Anda juga dapat mengekspor log untuk eksekusi pekerjaan Anda. Anda dapat mengatur tugas Anda untuk secara otomatis mengirimkan log ke DBFS melalui API Pekerjaan. Lihat objek new_cluster.cluster_log_conf dalam isi permintaan yang diteruskan ke operasi Buat pekerjaan baru (POST /jobs/create) di API Pekerjaan.