Memantau definisi kerja Apache Spark Anda

Dengan menggunakan pemantauan sebaris item definisi kerja Spark, Anda dapat melacak hal berikut:

  • Pantau kemajuan dan status definisi kerja Spark yang sedang berjalan.
  • Lihat status dan durasi eksekusi definisi kerja Spark sebelumnya.

Anda bisa mendapatkan informasi ini dari menu kontekstual Eksekusi Terbaru di ruang kerja atau dengan menelusuri aktivitas definisi kerja Spark di hub pemantauan.

Pemantauan sebaris definisi kerja Spark

Fitur pemantauan sebaris definisi kerja Spark memungkinkan Anda melihat pengiriman definisi kerja Spark dan menjalankan status secara real time. Anda juga dapat melihat eksekusi dan konfigurasi masa lalu definisi kerja Spark dan menavigasi ke halaman detail aplikasi Spark untuk melihat detail selengkapnya.

Screenshot showing the spark job definition inline monitoring.

Tampilan item definisi kerja Spark di ruang kerja

Anda dapat mengakses eksekusi pekerjaan yang terkait dengan item definisi kerja Spark tertentu dengan menggunakan menu Kontekstual Eksekusi terbaru di beranda ruang kerja.

Screenshot showing the spark job definition item view in workspace.

Definisi pekerjaan Spark berjalan di hub Pemantauan

Untuk melihat semua aplikasi Spark yang terkait dengan definisi kerja Spark, buka hub Pemantauan. Urutkan atau filter kolom Tipe Item untuk menampilkan semua aktivitas eksekusi yang terkait dengan definisi pekerjaan Spark.

Screenshot showing the spark job definition runs in Monitoring hub.

Langkah selanjutnya setelah menampilkan detail aplikasi Apache Spark adalah melihat kemajuan pekerjaan Spark di bawah sel Notebook. Anda dapat merujuk ke