Pemantauan detail aplikasi Apache Spark

Dengan Microsoft Fabric, Anda dapat menggunakan Apache Spark untuk menjalankan notebook, pekerjaan, dan jenis aplikasi lainnya di ruang kerja Anda. Artikel ini menjelaskan cara memantau aplikasi Apache Spark Anda, memungkinkan Anda untuk mengawasi status eksekusi, masalah, dan kemajuan pekerjaan Anda baru-baru ini.

Tampilan aplikasi Apache Spark

Anda dapat melihat semua aplikasi Apache Spark dari definisi kerja Spark, atau menu konteks item buku catatan memperlihatkan opsi eksekusi terbaru ->Eksekusi terbaru.

Anda dapat memilih nama aplikasi yang ingin Anda lihat di daftar aplikasi, di halaman detail aplikasi, Anda dapat melihat detail aplikasi.

Memantau status aplikasi Apache Spark

Buka halaman Eksekusi terbaru dari notebook atau definisi kerja Spark, Anda bisa menampilkan status aplikasi Apache.

• Sukses

• Dalam antrean

• Dihentikan

• Dibatalkan

• Gagal

Pekerjaan

Buka pekerjaan aplikasi Apache Spark dari definisi kerja Spark atau menu konteks item buku catatan memperlihatkan opsi Eksekusi terbaru ->Eksekusi terbaru -> pilih pekerjaan di halaman eksekusi terbaru.

Di halaman detail pemantauan aplikasi Apache Spark, daftar eksekusi pekerjaan ditampilkan di tab Pekerjaan, Anda dapat melihat detail setiap pekerjaan di sini, termasuk ID Pekerjaan, Deskripsi, Status, Tahapan, Tugas, Durasi, Diproses, Bacaan data, Cuplikan data ditulis dan Kode.

• Mengklik ID Pekerjaan dapat memperluas/menciutkan pekerjaan.
• Klik deskripsi pekerjaan, Anda dapat melompat ke halaman pekerjaan atau panggung di antarmuka pengguna spark.
• Klik cuplikan Kode pekerjaan, Anda dapat memeriksa dan menyalin kode yang terkait dengan pekerjaan ini.

Sumber Daya (Pratinjau)

Grafik penggunaan pelaksana secara visual menampilkan alokasi pelaksana pekerjaan Spark dan penggunaan sumber daya. Saat ini, hanya informasi runtime spark 3.4 ke atas yang akan menampilkan fitur ini. Pilih Sumber Daya (Pratinjau), lalu empat jenis kurva tentang penggunaan eksekutor disusun, termasuk Instans Berjalan, Diam, Dialokasikan, Maksimum.

• Untuk Dialokasikan, mengacu pada situasi inti yang dialokasikan selama menjalankan aplikasi Spark.

• Untuk Instans maksimum, mengacu pada jumlah maksimum inti yang dialokasikan untuk aplikasi Spark.

• Untuk Berjalan, mengacu pada jumlah inti aktual yang digunakan oleh aplikasi Spark saat berjalan. Klik pada titik waktu saat aplikasi spark sedang berjalan. Anda dapat melihat detail alokasi inti pelaksana yang sedang berjalan di bagian bawah grafik.

  

• Untuk Diam, ini adalah jumlah inti yang tidak digunakan saat aplikasi Spark sedang berjalan.

Dalam beberapa kasus, pada titik waktu jumlah tugas mungkin melebihi kapasitas inti pelaksana (yaitu, nomor > tugas total inti pelaksana / spark.task.cpus). Ini seperti yang diharapkan, karena ada kesenjangan waktu antara tugas yang ditandai sebagai berjalan dan sebenarnya berjalan pada inti eksekutor. Jadi beberapa tugas mungkin ditampilkan sebagai berjalan, tetapi tidak berjalan pada inti apa pun.

Pilih ikon warna untuk memilih atau membatalkan pilihan konten terkait di semua grafik.

Panel ringkasan

Di halaman pemantauan aplikasi Apache Spark, klik tombol Properti untuk membuka/menciutkan panel ringkasan. Anda dapat melihat detail untuk aplikasi ini di Detail.

• Status untuk aplikasi spark ini.
• ID aplikasi Spark ini.
• Total durasi.
• Durasi berjalan untuk aplikasi spark ini.
• Durasi antrean untuk aplikasi spark ini.
• ID Livy
• Pengirim untuk aplikasi spark ini.
• Kirim waktu untuk aplikasi spark ini.
• Jumlah pelaksana.

Log

Untuk tab Log , Anda dapat melihat log lengkap Livy, Prelaunch, Log driver dengan opsi berbeda yang dipilih di panel kiri. Dan Anda dapat langsung mengambil informasi log yang diperlukan dengan mencari kata kunci dan melihat log dengan memfilter status log. Klik Unduh Log untuk mengunduh informasi log ke lokal.

Terkadang tidak ada log yang tersedia, seperti status pekerjaan diantrekan dan pembuatan kluster gagal.

Log langsung hanya tersedia saat pengiriman aplikasi gagal, dan log driver juga disediakan.

Data

Untuk tab Data , Anda dapat menyalin daftar data di clipboard, mengunduh daftar data dan data tunggal, dan memeriksa properti untuk setiap data.

• Panel kiri dapat diperluas atau diciutkan.
• Nama, format baca, ukuran, sumber, dan jalur file input dan output akan ditampilkan dalam daftar ini.
• File dalam input dan output dapat diunduh, menyalin jalur, dan melihat properti.

Item terkait

Tab Item terkait memungkinkan Anda menelusuri dan menampilkan item yang terkait dengan aplikasi Apache Spark, termasuk Notebook, definisi kerja Spark, dan/atau Alur. Halaman item terkait menampilkan rekam jepret nilai kode dan parameter pada saat eksekusi untuk Notebooks. Ini juga menunjukkan rekam jepret semua pengaturan dan parameter pada saat pengiriman untuk definisi pekerjaan Spark. Jika aplikasi Apache Spark dikaitkan dengan alur, halaman item terkait juga menyajikan alur yang sesuai dan aktivitas Spark.

Di layar Item Terkait, Anda dapat:

• Telusuri dan navigasi item terkait di pohon hierarkis.
• Klik ikon elips 'Daftar tindakan lainnya' untuk setiap item untuk mengambil tindakan yang berbeda.
• Klik item rekam jepret untuk melihat kontennya.
• Lihat Breadcrumb untuk melihat jalur dari item yang dipilih ke akar.

Diagnostik

Panel diagnostik memberi pengguna rekomendasi real time dan analisis kesalahan, yang dihasilkan oleh Spark Advisor melalui analisis kode pengguna. Dengan pola bawaan, Apache Spark Advisor membantu pengguna menghindari kesalahan umum dan menganalisis kegagalan untuk mengidentifikasi akar penyebabnya.

Konten terkait

Langkah selanjutnya setelah menampilkan detail aplikasi Apache Spark adalah melihat kemajuan pekerjaan Spark di bawah sel Notebook. Anda dapat merujuk ke:

• Pemantauan dan penelusuran kesalahan kontekstual notebook