Memantau pekerjaan Spark dalam buku catatan
Notebook Microsoft Fabric adalah permukaan interaktif berbasis web untuk mengembangkan pekerjaan Apache Spark dan melakukan eksperimen pembelajaran mesin. Artikel ini menguraikan cara memantau kemajuan pekerjaan Spark Anda, mengakses log Spark, menerima saran dalam buku catatan, dan menavigasi ke tampilan detail aplikasi Spark atau Spark UI untuk informasi pemantauan yang lebih komprehensif untuk seluruh buku catatan.
Memantau kemajuan Pekerjaan Spark
Indikator kemajuan pekerjaan Spark disediakan dengan bilah kemajuan real time yang membantu Anda memantau status eksekusi pekerjaan untuk setiap sel buku catatan. Anda dapat melihat status dan kemajuan tugas di seluruh pekerjaan dan tahapan Spark Anda.
Memantau penggunaan Sumber Daya
Grafik penggunaan pelaksana secara visual menampilkan alokasi pelaksana pekerjaan Spark dan penggunaan sumber daya. Saat ini, hanya informasi runtime spark 3.4 ke atas yang akan menampilkan fitur ini. Klik tab Sumber Daya, bagan garis untuk penggunaan sumber daya sel kode akan ditampilkan.
Lihat rekomendasi Spark Advisor
Spark advisor bawaan menganalisis kode buku catatan dan eksekusi Spark Anda secara real time untuk membantu mengoptimalkan performa notebook Anda yang sedang berjalan dan membantu dalam kegagalan penelusuran kesalahan. Ada tiga jenis saran bawaan: Info, Peringatan, dan Kesalahan. Ikon dengan angka menunjukkan jumlah saran masing-masing di setiap kategori (Info, Peringatan, dan Kesalahan) yang dihasilkan oleh penasihat Spark untuk sel buku catatan tertentu.
Untuk melihat saran, klik panah di awal untuk memperluas dan mengungkapkan detailnya.
Setelah memperluas bagian advisor, satu atau beberapa saran menjadi terlihat.
Deteksi Penyimpangan Spark Advisor
Penyimpangan data adalah masalah umum yang sering ditemui pengguna. Penasihat Spark mendukung deteksi condong, dan jika condong terdeteksi, analisis yang sesuai ditampilkan di bawah ini.
Mengakses log Spark Real-time
Log Spark sangat penting untuk menemukan pengecualian dan mendiagnosis performa atau kegagalan. Fitur pemantauan kontekstual di notebook membawa log langsung kepada Anda untuk sel tertentu yang Anda jalankan. Anda dapat mencari log atau memfilternya berdasarkan kesalahan dan peringatan.
Navigasi ke detail pemantauan Spark dan Spark UI
Jika Anda ingin mengakses informasi tambahan tentang eksekusi Spark di tingkat buku catatan, Anda bisa menavigasi ke halaman detail aplikasi Spark atau antarmuka pengguna Spark melalui opsi yang tersedia di menu konteks.
