Pemantauan dan observabilitas untuk Pekerjaan Lakeflow

Artikel ini menjelaskan fitur yang tersedia di antarmuka pengguna Azure Databricks untuk melihat pekerjaan yang dapat Anda akses, melihat riwayat eksekusi untuk pekerjaan, dan melihat detail eksekusi pekerjaan. Untuk mengonfigurasi pemberitahuan untuk pekerjaan, lihat Menambahkan pemberitahuan pada pekerjaan.

Untuk mempelajari tentang menggunakan Databricks CLI untuk melihat pekerjaan dan menjalankan pekerjaan, jalankan perintah databricks jobs list -hCLI , databricks jobs get -h, dan databricks jobs run-now -h. Untuk mempelajari tentang menggunakan JOBS API, lihat JOBS API.

Jika Anda memiliki akses ke system.lakeflow skema, Anda juga bisa menampilkan dan mengkueri rekaman pekerjaan yang dijalankan dan tugas dari seluruh akun Anda. Lihat Referensi tabel sistem pekerjaan. Anda juga dapat bergabung dengan tabel sistem pekerjaan dengan tabel penagihan untuk memantau biaya pekerjaan di seluruh akun Anda. Lihat Memantau biaya pekerjaan & performa dengan tabel sistem.

Menampilkan pekerjaan dan alur

Untuk melihat daftar pekerjaan yang dapat Anda akses, klik Pekerjaan dan Pipa di bar samping. Tab Pekerjaan & alur di UI Pekerjaan Lakeflow mencantumkan informasi tentang semua pekerjaan dan alur yang tersedia, seperti pembuat, pemicu (jika ada), dan hasil dari lima eksekusi terakhir.

Untuk mengubah kolom yang ditampilkan dalam daftar, klik dan pilih atau batal pilih kolom.

Penting

Daftar Pekerjaan & alur terpadu ada di Pratinjau Publik. Anda dapat menonaktifkan fitur dan kembali ke pengalaman default dengan menonaktifkan Pekerjaan dan alur: Manajemen terpadu, pencarian, & pemfilteran. Lihat Mengelola pratinjau Azure Databricks untuk informasi selengkapnya.

Anda dapat memfilter pekerjaan di daftar Pekerjaan & pipeline seperti yang ditunjukkan pada cuplikan layar berikut.

1. Pencarian teks: pencarian kata kunci didukung untuk bidang Nama dan ID Pekerjaan . Untuk mencari tag yang dibuat dengan kunci dan nilai, Anda dapat mencari berdasarkan kunci, nilai, atau kunci dan nilai. Misalnya, untuk tag dengan kunci department dan nilai finance, Anda dapat mencari department atau finance menemukan pekerjaan yang cocok. Untuk mencari berdasarkan kunci dan nilai, masukkan kunci dan nilai yang dipisahkan oleh titik dua (misalnya, department:finance).
2. Jenis: pilih hanya pekerjaan, alur, atau semua.
3. Pemilik: pilih hanya tugas atau alur kerja yang Anda miliki.
4. Favorit: pilih semua pekerjaan atau alur yang telah Anda tandai sebagai favorit.
5. Tag: Gunakan tag. Untuk mencari menurut tag, Anda dapat menggunakan menu drop-down tag untuk memfilter hingga lima tag secara bersamaan atau langsung menggunakan pencarian kata kunci.
6. Jalankan sebagai: Filter berdasarkan sebanyak-banyaknya dua run as nilai.

Untuk memulai job atau pipeline, klik tombol . Untuk menghentikan alur kerja, klik tombol . Untuk mengakses tindakan lain, klik Misalnya, Anda dapat menghapus alur kerja, atau mengakses pengaturan untuk sebuah pipeline dari menu ini.

Lihat rangkaian untuk satu tugas tunggal

Anda dapat melihat daftar eksekusi yang sedang berjalan dan baru-baru ini selesai untuk pekerjaan yang dapat Anda akses, termasuk eksekusi yang dimulai oleh alat orkestrasi eksternal seperti Apache Airflow atau Azure Data Factory. Untuk melihat daftar proses pekerjaan terbaru:

1. Di bilah sisi ruang kerja Azure Databricks Anda, klik Tugas & Pipeline.

2. Secara opsional, pilih filter Pekerjaan dan Dimiliki oleh saya .

3. Klik tautan Nama pekerjaan Anda.

   Tab Eksekusi muncul dengan tampilan matriks dan daftar untuk eksekusi yang aktif dan selesai.

Tampilan matriks menunjukkan riwayat pelaksanaan pekerjaan, termasuk setiap tugas dalam pekerjaan tersebut.

Baris Durasi total pelaksanaan pada matriks menampilkan durasi total pelaksanaan dan status pelaksanaan. Untuk melihat detail jalankan, termasuk waktu mulai, durasi, dan status, arahkan kursor ke bilah di baris Total Durasi Jalankan.

Setiap sel dalam baris Tugas mewakili tugas dan status tugas terkait. Untuk melihat detail tugas, termasuk waktu mulai, durasi, kluster, dan status, arahkan mouse ke sel tugas tersebut.

Bilah proses pekerjaan dan tugas diberi kode warna untuk menunjukkan status. Sukses berwarna hijau. Jalur yang tidak berhasil berwarna merah, jalur yang dilewati berwarna merah muda, dan menunggu ulang berwarna kuning. Tertunda, dibatalkan, atau kehabisan waktu berwarna abu-abu. Tinggi eksekusi pekerjaan individual dan bilah eksekusi tugas secara visual menunjukkan durasi eksekusi.

Jika Anda telah mengonfigurasi waktu penyelesaian yang diharapkan, tampilan matriks menampilkan peringatan saat durasi eksekusi melebihi waktu yang dikonfigurasi.

Secara bawaan, tampilan daftar proses menampilkan sebagai berikut:

• Waktu mulai proses berjalan.
• Pengidentifikasi proses. Lihat URL dan ID eksekusi pekerjaan untuk cara menemukan dan berbagi URL eksekusi.
• Apakah eksekusi dipicu oleh jadwal pekerjaan atau permintaan API, atau dimulai secara manual.
• Waktu yang berlalu untuk pekerjaan yang sedang berjalan atau lama waktu berjalannya untuk proses yang selesai. Peringatan ditampilkan jika durasi melebihi waktu penyelesaian yang diharapkan yang dikonfigurasi.
• Status pengerjaan, baik Antrean, Tertunda, Berjalan, Dilewati, Berhasil, Gagal, Waktu Habis, Membatalkan, atau Dibatalkan.
• Kode kesalahan yang menyebabkan eksekusi dihentikan.
• Parameter operasi.

Saat ini jalur yang sedang berjalan menampilkan tombol berhenti. Untuk menghentikan semua eksekusi aktif dan antrean, pilih Batalkan eksekusi atau Batalkan semua eksekusi yang diantrekan dari menu drop-down.

Gunakan untuk menjalankan tindakan khusus konteks tambahan, seperti menghapus entri untuk eksekusi yang telah selesai.

Untuk mengakses tindakan khusus konteks untuk eksekusi, klik (misalnya, untuk menghentikan eksekusi aktif atau menghapus eksekusi yang selesai).

Untuk mengubah kolom yang ditampilkan dalam tampilan daftar pelaksanaan, klik dan pilih atau hapus pilihan kolom.

Untuk menampilkan detail untuk pelaksanaan pekerjaan, klik tautan untuk pelaksanaan di kolom Mulai waktu dalam tampilan daftar pelaksanaan. Untuk melihat detail eksekusi paling baru yang berhasil untuk pekerjaan ini, klik Pergi ke eksekusi terbaru yang berhasil.

Azure Databricks menyimpan riwayat pelaksanaan tugas Anda hingga 60 hari. Jika Anda perlu mempertahankan hasil eksekusi pekerjaan, Databricks merekomendasikan untuk mengekspor hasil sebelum kedaluwarsa. Untuk informasi selengkapnya, lihat Mengekspor hasil proses pekerjaan.

Lihat detail pelaksanaan tugas

Halaman detail eksekusi pekerjaan berisi output pekerjaan dan tautan ke log, termasuk informasi tentang keberhasilan atau kegagalan setiap tugas dalam pekerjaan yang dijalankan. Anda dapat mengakses detail eksekusi pekerjaan dari tab Eksekusi untuk pekerjaan tersebut.

Untuk melihat detail eksekusi pekerjaan dari tab Jalankan , klik tautan untuk eksekusi di kolom Waktu mulai dalam tampilan daftar eksekusi. Untuk kembali ke tab Jalankan untuk tugas, klik ID Tugas.

Pekerjaan dengan beberapa tugas juga memiliki grafik, garis waktu, dan tampilan daftar.

Tampilan grafik

Klik simpul tugas dalam grafik untuk melihat detail eksekusi tugas, termasuk:

• Detail tugas termasuk dijalankan sebagai, bagaimana tugas diluncurkan, waktu mulai, waktu akhir, durasi, dan status.
• Kode sumber.
• Kluster yang menjalankan tugas serta menyediakan tautan ke riwayat kueri dan lognya.
• Metrik untuk tugas tersebut.

Tampilan garis waktu

Pekerjaan yang berisi beberapa tugas memiliki tampilan garis waktu untuk mengidentifikasi tugas yang membutuhkan waktu lama untuk diselesaikan, memahami dependensi, dan tumpang tindih untuk membantu men-debug dan mengoptimalkan pekerjaan ini.

Tampilan daftar

Secara default, tampilan daftar memperlihatkan status, nama, jenis, sumber daya, durasi, dan dependensi. Anda dapat menambahkan dan menghapus kolom dalam tampilan ini.

Anda bisa mencari tugas menurut nama, memfilter menurut status tugas atau jenis tugas, dan mengurutkan tugas menurut status, nama, atau durasi.

Klik ID Pekerjaan untuk kembali ke tab Jalankan untuk pekerjaan.

Bagaimana Azure Databricks menentukan status penyelesaian pekerjaan?

Azure Databricks menentukan apakah proses kerja berhasil didasarkan pada hasil tugas akhir pekerjaan. Tugas daun adalah tugas yang tidak memiliki dependensi hilir. Eksekusi pekerjaan dapat memiliki salah satu dari tiga hasil:

• Berhasil: Semua tugas berhasil.
• Berhasil dengan kegagalan: Beberapa tugas gagal, tetapi semua tugas daun berhasil.
• Gagal: Satu atau beberapa tugas daun gagal.
• Dilewati: Pemrosesan pekerjaan dilewati (misalnya, tugas mungkin dilewati karena Anda melebihi pemrosesan bersamaan maksimum untuk pekerjaan atau ruang kerja Anda).
• Waktu Habis: Eksekusi pekerjaan membutuhkan waktu terlalu lama untuk diselesaikan dan kehabisan waktu.
• Dibatalkan: Eksekusi pekerjaan dibatalkan (misalnya, pengguna membatalkan eksekusi yang sedang berlangsung secara manual).

Tugas individual juga dapat diakhiri dengan Disabled status saat Anda secara eksplisit menonaktifkannya di pengaturan tugas, atau ketika Lakeflow menonaktifkannya selama eksekusi karena tugas upstream dinonaktifkan. Tugas yang dinonaktifkan memperlihatkan di sudut kanan atas DAG. Lihat Tugas yang dinonaktifkan di Jobs Lakeflow.

Menampilkan metrik untuk tugas streaming

Penting

Pengamatan streaming untuk Tugas Lakeflow sudah memasuki Pratinjau Umum.

Saat melihat detail jalannya pekerjaan, Anda bisa mendapatkan data tentang beban kerja streaming dengan metrik observabilitas streaming di antarmuka pengguna Pekerjaan. Metrik ini mencakup detik backlog, byte backlog, catatan backlog, dan file backlog untuk sumber yang didukung oleh Spark Structured Streaming termasuk Apache Kafka, Amazon Kinesis, Auto Loader, Google Pub/Sub, dan Delta tables. Metrik ditampilkan sebagai bagan di panel kanan saat Anda melihat rincian pelaksanaan dari tugas. Metrik yang ditampilkan di setiap bagan adalah nilai maksimum yang dikumpulkan berdasarkan menit dan dapat menyertakan hingga 48 jam sebelumnya.

Setiap sumber streaming hanya mendukung metrik tertentu. Metrik yang tidak didukung oleh sumber streaming tidak tersedia untuk dilihat di UI. Tabel berikut ini memperlihatkan metrik yang tersedia untuk sumber streaming yang didukung:

sumber	backlog byte	daftar backlog	detik backlog	file backlog
Kafka	✓	✓
Kinetika	✓		✓
Delta	✓			✓
Pemuat Otomatis	✓			✓
Google Pub/Sub	✓	✓

Anda juga dapat menentukan ambang batas untuk setiap metrik streaming dan mengonfigurasi pemberitahuan jika aliran melebihi ambang selama eksekusi tugas. Lihat Mengonfigurasi pemberitahuan untuk pekerjaan lambat.

Untuk melihat metrik streaming untuk eksekusi tugas yang mengalirkan data dari salah satu sumber Streaming Terstruktur yang didukung:

1. Pada halaman detail pelaksanaan pekerjaan, klik tugas yang ingin Anda lihat metrik.
2. Klik tab Metrik di panel Jalankan tugas.
3. Untuk membuka grafik metrik, klik di samping nama metrik.
4. Untuk melihat metrik untuk aliran tertentu, masukkan ID aliran di kotak teks Filter berdasarkan ID aliran. Anda dapat menemukan ID aliran di output untuk pelaksanaan pekerjaan.
5. Untuk mengubah periode waktu dari grafik metrik, gunakan menu tarik-turun waktu.
6. Untuk menggulir aliran data jika proses berisi lebih dari sepuluh aliran, klik Berikutnya atau Sebelumnya.

Batasan keterpantauan streaming

• Metrik diperbarui setiap menit kecuali eksekusi memiliki lebih dari empat aliran. Jika eksekusi memiliki lebih dari empat aliran, metrik diperbarui setiap lima menit.
• Metrik hanya dikumpulkan untuk lima puluh aliran pertama di setiap operasi.
• Metrik dikumpulkan pada interval satu detik. Metrik mungkin tidak terlihat jika pengaturan triggerInterval Anda kurang dari satu detik.
• Sebagian besar sumber data mengumpulkan metrik streaming secara default. Namun, untuk yang lain, Anda harus mengaktifkan fitur ini. Jika sumber data Anda tidak mengumpulkan metrik streaming, atur spark.sql.streaming.metricsEnabled bendera ke True.

Lihat riwayat eksekusi tugas

Untuk melihat riwayat eksekusi tugas, termasuk eksekusi yang berhasil dan tidak berhasil:

1. Klik pada satu tugas di halaman Detail eksekusi pekerjaan. Halaman Detail eksekusi pekerjaan akan muncul.
2. Pilih tugas yang dijalankan di menu drop-down riwayat eksekusi.

Menampilkan riwayat eksekusi tugas untuk For each tugas

Mengakses riwayat eksekusi tugas For each sama dengan tugas Lakeflow Jobs standar. Anda dapat mengklik node For each tugas pada halaman Detail Jalannya Pekerjaan atau sel terkait dalam tampilan matriks. Namun, tidak seperti tugas standar, detail eksekusi untuk For each tugas disajikan sebagai tabel perulangan tugas berlapis.

Untuk melihat perulangan yang gagal saja, klik Hanya perulangan yang gagal.

Untuk melihat output perulangan, klik nilai Waktu mulai atau Waktu selesai perulangan.

Melihat riwayat pekerjaan terbaru di semua tugas

Penting

Fitur ini ada di Pratinjau Umum.

Anda dapat melihat daftar eksekusi yang sedang berjalan dan baru-baru ini selesai untuk semua pekerjaan di ruang kerja yang dapat Anda akses, termasuk eksekusi yang dimulai oleh alat orkestrasi eksternal seperti Apache Airflow atau Azure Data Factory. Untuk melihat daftar proses pekerjaan terbaru:

1. Klik ikon Alur Kerja.Pekerjaan & Pipa di bilah samping.
2. Klik tab Eksekusi untuk menampilkan grafik jumlah eksekusi yang telah selesai dan daftar pekerjaan serta eksekusi alur.
3. (Opsional) Klik Pekerjaan untuk memfilter hanya ke pekerjaan.

Catatan

Jika Anda menonaktifkan pratinjau Daftar Eksekusi Terpadu, maka tab disebut Eksekusi Pekerjaan sebagai gantinya, dan hanya memperlihatkan daftar eksekusi pekerjaan.

Daftar eksekusi mencakup opsi pemfilteran di bagian atas, grafik eksekusi yang baru selesai dan 5 kesalahan teratas, dan daftar eksekusi yang baru saja selesai.

Anda dapat memfilter berdasarkan:

• Nama pekerjaan atau alur.
• Semua, Tugas, atau Pipeline.
• Jenis alur (ETL, Penyerapan, MV/ST, atau Sinkronisasi Tabel Database).
• Jalankan dengan kredensial pengguna
• Waktu mulai eksekusi (dalam 48 jam terakhir).
• Status Berjalan.
• Kode Kesalahan untuk eksekusi yang gagal.

Filter berlaku untuk grafik, kode kesalahan, dan daftar eksekusi.

Grafik jumlah eksekusi yang sudah selesai

Grafik Jumlah Eksekusi yang Selesai menampilkan jumlah pekerjaan yang diselesaikan dalam 48 jam terakhir. Secara default, grafik menampilkan run job yang gagal, dilewati, dan berhasil. Anda juga dapat memfilter grafik untuk memperlihatkan status eksekusi tertentu atau membatasi grafik ke rentang waktu tertentu. Tab Jalankan juga menyertakan tabel pelaksanaan pekerjaan selama 67 hari terakhir. Secara default, tabel menyertakan detail tentang eksekusi pekerjaan yang gagal, dilewati, dan berhasil.

Catatan

Grafik Jumlah eksekusi selesai ditampilkan untuk admin untuk semua eksekusi. Untuk non-admin, Anda harus mengklik Jalankan sebagai dan pilih saya.

Filter di bagian atas tab Jalankan berlaku untuk grafik.

Untuk membatasi rentang waktu yang ditampilkan dalam grafik Jumlah eksekusi selesai , Anda dapat memilih rentang waktu dalam filter di atas. Atau, Anda dapat mengklik dan menyeret kursor di grafik untuk memilih rentang waktu. Grafik dan tabel eksekusi diperbarui untuk menampilkan eksekusi hanya dari rentang waktu yang dipilih.

Tabel 5 jenis kesalahan teratas menampilkan daftar jenis kesalahan yang paling sering dari rentang waktu yang dipilih, memungkinkan Anda untuk dengan cepat melihat penyebab paling umum masalah pekerjaan di ruang kerja Anda.

Daftar eksekusi pekerjaan

Tab Eksekusi Tugas juga menyertakan tabel tugas yang dijalankan dari 60 hari terakhir. Secara default, tabel menyertakan detail tentang eksekusi pekerjaan yang gagal, dilewati, dan berhasil.

Filter di bagian atas tab Jalankan berlaku untuk daftar.

Secara default, daftar eksekusi dalam tabel eksekusi menampilkan yang berikut ini:

• Waktu mulai proses berjalan.
• Nama pekerjaan yang terkait dengan eksekusi.
• Jenis (Pekerjaan atau Alur) pelaksanaan.
• Nama pengguna untuk pekerjaan yang akan dijalankan.
• Bagaimana eksekusi dipicu (Diluncurkan), oleh jadwal pekerjaan atau permintaan API, atau dimulai secara manual.
• Waktu yang berlalu untuk pekerjaan yang sedang berjalan atau lama waktu berjalannya untuk proses yang selesai. Peringatan ditampilkan jika durasi melebihi waktu penyelesaian yang diharapkan yang dikonfigurasi.
• Status eksekusi: Queued, Tertunda , Menjalankan, Dilewati, Berhasil, Gagal, Kehabisan Waktu, Membatalkan, atau Dibatalkan.
• Kode kesalahan apa pun yang dihentikan eksekusinya.
• Parameter apa pun untuk pelaksanaan.
• Untuk menghentikan pekerjaan yang sedang berjalan, klik tombol hentikan. Untuk mengakses tindakan untuk tugas, klik (misalnya untuk menghentikan eksekusi tugas yang aktif atau menghapus eksekusi tugas yang selesai).

Untuk mengubah kolom yang ditampilkan dalam daftar eksekusi, klik dan pilih atau tidak memilih kolom.

Untuk melihat detail eksekusi pekerjaan, klik tautan di kolom Waktu mulai untuk eksekusi. Untuk melihat detail pekerjaan, klik nama pekerjaan di kolom Pekerjaan.

Lihat informasi linimasa untuk tugas

Jika Katalog Unity diaktifkan di ruang kerja, Anda dapat melihat informasi silsilah data untuk tabel Katalog Unity apa pun di alur kerja Anda. Jika informasi silsilah tersedia untuk alur kerja Anda, Anda akan melihat tautan dengan hitungan tabel hulu dan hilir di panel Detail pekerjaan untuk pekerjaan Anda, panel Detail eksekusi pekerjaan untuk pekerjaan yang dijalankan, atau panel Detail eksekusi tugas untuk tugas yang dijalankan. Klik tautan untuk memperlihatkan daftar tabel. Klik tabel untuk melihat informasi terperinci di Catalog Explorer.

Menampilkan dan menjalankan pekerjaan yang dibuat dengan Bundel Otomatisasi Deklaratif

Anda dapat menggunakan Antarmuka Pengguna Lakeflow Jobs untuk melihat serta menjalankan proyek yang diluncurkan oleh Bundel Automasi Deklaratif. Secara default, tugas ini bersifat baca-saja di UI Tugas. Untuk mengedit pekerjaan yang disebarkan oleh bundel, ubah file konfigurasi bundel dan sebarkan ulang pekerjaan. Menerapkan perubahan hanya pada konfigurasi bundel memastikan bahwa file sumber bundel selalu mencerminkan konfigurasi pekerjaan saat ini.

Namun, jika Anda harus segera membuat perubahan pada pekerjaan, Anda dapat memutus hubungan pekerjaan dari konfigurasi bundel untuk mengaktifkan pengeditan pengaturan pekerjaan di antarmuka pengguna. Untuk memutuskan sambungan tugas, klik Putuskan sambungan dari sumber. Dalam dialog Putuskan sambungan dari sumber, klik Putuskan sambungan untuk mengonfirmasi.

Setiap perubahan yang Anda buat pada pekerjaan di UI tidak diterapkan ke konfigurasi bundel. Untuk menerapkan perubahan yang Anda buat di UI ke bundel, Anda harus memperbarui konfigurasi bundel secara manual. Untuk menyambungkan kembali pekerjaan ke konfigurasi bundel, sebarkan ulang pekerjaan menggunakan bundel.

Mengekspor hasil pelaksanaan pekerjaan

Anda dapat mengekspor hasil eksekusi notebook dan log eksekusi pekerjaan untuk semua jenis pekerjaan.

Mengekspor hasil eksekusi notebook

Anda dapat mempertahankan eksekusi pekerjaan dengan mengekspor hasil mereka. Untuk eksekusi pekerjaan notebook, Anda dapat mengekspor notebook yang dirender yang nantinya dapat diimpor ke ruang kerja Azure Databricks Anda.

Untuk mengekspor hasil eksekusi notebook untuk pekerjaan dengan satu tugas:

1. Pada halaman detail pekerjaan, klik tautan Lihat Detail untuk eksekusi di kolom Eksekusi tabel Eksekusi Selesai (60 hari terakhir).
2. Klik Ekspor ke HTML.

Untuk mengekspor hasil eksekusi notebook untuk pekerjaan dengan beberapa tugas:

1. Pada halaman detail pekerjaan, klik tautan Lihat Detail untuk eksekusi di kolom Eksekusi tabel Eksekusi Selesai (60 hari terakhir).
2. Klik tugas notebook untuk diekspor.
3. Klik Ekspor ke HTML.

Ekspor log pelaksanaan pekerjaan

Anda juga dapat mengekspor log untuk pelaksanaan tugas Anda. Anda dapat menyiapkan pekerjaan Anda untuk mengirimkan log secara otomatis ke DBFS saat mengonfigurasi pengaturan pekerjaan (lihat Referensi konfigurasi komputasi) atau melalui Job API. Lihat objek new_cluster.cluster_log_conf dalam isi permintaan yang diteruskan ke operasi Buat pekerjaan baru (POST /jobs/create) di API Pekerjaan.