Memantau pekerjaan Spark dalam buku catatan

Notebook Microsoft Fabric adalah permukaan interaktif berbasis web untuk mengembangkan pekerjaan Apache Spark dan melakukan eksperimen pembelajaran mesin. Artikel ini menguraikan cara memantau kemajuan pekerjaan Spark Anda, mengakses log Spark, menerima saran dalam buku catatan, dan menavigasi ke tampilan detail aplikasi Spark atau Spark UI untuk informasi pemantauan yang lebih komprehensif untuk seluruh buku catatan.

Memantau kemajuan Pekerjaan Spark

Indikator kemajuan pekerjaan Spark disediakan dengan bilah kemajuan real time yang membantu Anda memantau status eksekusi pekerjaan untuk setiap sel buku catatan. Anda dapat melihat status dan kemajuan tugas di seluruh pekerjaan dan tahapan Spark Anda.

Memantau penggunaan Sumber Daya

Grafik penggunaan pelaksana secara visual menampilkan alokasi pelaksana pekerjaan Spark dan penggunaan sumber daya. Saat ini, hanya informasi runtime spark 3.4 ke atas yang akan menampilkan fitur ini. Klik tab Sumber Daya, bagan garis untuk penggunaan sumber daya sel kode akan ditampilkan.

Lihat rekomendasi Spark Advisor

Spark advisor bawaan menganalisis kode buku catatan dan eksekusi Spark Anda secara real time untuk membantu mengoptimalkan performa notebook Anda yang sedang berjalan dan membantu dalam kegagalan penelusuran kesalahan. Ada tiga jenis saran bawaan: Info, Peringatan, dan Kesalahan. Ikon dengan angka menunjukkan jumlah saran masing-masing di setiap kategori (Info, Peringatan, dan Kesalahan) yang dihasilkan oleh penasihat Spark untuk sel buku catatan tertentu.

Untuk melihat saran, klik panah di awal untuk memperluas dan mengungkapkan detailnya.

Setelah memperluas bagian advisor, satu atau beberapa saran menjadi terlihat.

Deteksi Penyimpangan Spark Advisor

Penyimpangan data adalah masalah umum yang sering ditemui pengguna. Penasihat Spark mendukung deteksi condong, dan jika condong terdeteksi, analisis yang sesuai ditampilkan di bawah ini.

Mengakses log Spark Real-time

Log Spark sangat penting untuk menemukan pengecualian dan mendiagnosis performa atau kegagalan. Fitur pemantauan kontekstual di notebook membawa log langsung kepada Anda untuk sel tertentu yang Anda jalankan. Anda dapat mencari log atau memfilternya berdasarkan kesalahan dan peringatan.

Navigasi ke detail pemantauan Spark dan Spark UI

Jika Anda ingin mengakses informasi tambahan tentang eksekusi Spark di tingkat buku catatan, Anda bisa menavigasi ke halaman detail aplikasi Spark atau antarmuka pengguna Spark melalui opsi yang tersedia di menu konteks.

Konten terkait

• Pelajari tentang penasihat Spark
• Pemantauan detail aplikasi Apache Spark
• Menggunakan server riwayat Spark yang diperluas untuk men-debug aplikasi