Menggunakan server riwayat Apache Spark yang diperluas untuk menelusuri kesalahan dan mendiagnosis aplikasi Apache Spark
Artikel ini menyediakan panduan tentang cara menggunakan server riwayat Apache Spark yang diperluas untuk menelusuri kesalahan dan mendiagnosis aplikasi Spark yang telah selesai dan berjalan.
Mengakses server riwayat Apache Spark
Server riwayat Apache Spark adalah antarmuka pengguna web untuk aplikasi Spark yang selesai dan berjalan. Anda dapat membuka antarmuka pengguna web Apache Spark dari buku catatan indikator kemajuan atau halaman detail aplikasi Apache Spark.
Buka UI web Spark dari buku catatan indikator kemajuan
Ketika pekerjaan Apache Spark dipicu, tombol untuk membuka UI web Spark berada di dalam opsi Tindakan lainnya dalam indikator kemajuan. Pilih antarmuka pengguna web Spark dan tunggu beberapa detik, lalu halaman UI Spark muncul.
Buka UI web Spark dari halaman detail aplikasi Apache Spark
Antarmuka pengguna web Spark juga dapat dibuka melalui halaman detail aplikasi Apache Spark. Pilih Hub pemantauan di sisi kiri halaman, lalu pilih aplikasi Apache Spark. Halaman detail aplikasi muncul.
Untuk aplikasi Apache Spark yang statusnya berjalan, tombol menunjukkan Spark UI. Pilih UI Spark dan halaman UI Spark muncul.
Untuk aplikasi Apache Spark yang statusnya berakhir, status berakhir dapat Dihentikan, Gagal, Dibatalkan, atau Selesai. Tombol menunjukkan server riwayat Spark. Pilih server riwayat Spark dan halaman antarmuka pengguna Spark muncul.
Tab grafik di server riwayat Apache Spark
Pilih ID Pekerjaan untuk pekerjaan yang ingin Anda lihat. Kemudian, pilih Grafik di menu alat untuk mendapatkan tampilan grafik pekerjaan.
Gambaran Umum
Anda dapat melihat gambaran umum pekerjaan di grafik pekerjaan yang dibuat. Secara default, grafik menampilkan semua pekerjaan. Anda dapat memfilter tampilan ini berdasarkan ID Pekerjaan.
Tampilan
Secara default, tampilan Kemajuan dipilih. Anda dapat memeriksa aliran data dengan memilih Baca atau Tulis di daftar drop-down Tampilan.
Simpul grafik menampilkan warna yang ditampilkan dalam legenda peta panas.
Mainkan kembali
Untuk memutar kembali pekerjaan, pilih Pemutaran. Anda dapat memilih Berhenti kapan saja untuk berhenti. Warna tugas menunjukkan status berbeda saat pemutaran:
| Warna | Makna |
|---|---|
| Hijau | Berhasil: Pekerjaan berhasil diselesaikan. |
| Orange | Dicoba ulang: Instans tugas yang gagal tetapi tidak memengaruhi hasil akhir pekerjaan. Tugas ini memiliki instans duplikat atau coba lagi yang mungkin berhasil nanti. |
| Biru | Berjalan: Tugas sedang berjalan. |
| Putih | Menunggu atau dilewati: Tugas sedang menunggu untuk dijalankan, atau tahap telah dilewati. |
| Merah | Gagal: Tugas telah gagal. |
Gambar berikut menunjukkan warna status hijau, oranye, dan biru.
Gambar berikut menunjukkan warna status hijau dan putih.
Gambar berikut menunjukkan warna status merah dan hijau.
Catatan
Server riwayat Apache Spark memungkinkan pemutaran untuk setiap pekerjaan yang diselesaikan (tetapi tidak mengizinkan pemutaran untuk pekerjaan yang tidak lengkap).
Zoom
Gunakan gulir mouse Anda untuk memperbesar dan memperkecil grafik pekerjaan, atau pilih Zoom agar pas agar pas ke layar.
Tooltip
Arahkan kursor ke simpul grafik untuk melihat tipsalat saat ada tugas yang gagal, dan pilih panggung untuk membuka halaman panggungnya.
Di tab grafik pekerjaan, tahapan memiliki tipsalat dan ikon kecil yang ditampilkan jika memiliki tugas yang memenuhi kondisi berikut:
| Kondisi | Deskripsi |
|---|---|
| Penyimpangan data | Ukuran baca data ukuran > baca data rata-rata ukuran semua tugas di dalam tahap ini * 2 dan ukuran > baca data 10 MB. |
| Penyimpangan waktu | Waktu eksekusi rata-rata waktu > eksekusi semua tugas di dalam tahap ini * 2 dan waktu > eksekusi 2 menit. |
Deskripsi simpul grafik
Simpul grafik pekerjaan menampilkan informasi berikut dari setiap tahap:
- ID
- Nama atau deskripsi
- Total jumlah tugas
- Baca data: jumlah ukuran input dan ukuran baca acak
- Penulisan data: jumlah ukuran output dan ukuran penulisan acak
- Waktu eksekusi: waktu antara waktu mulai upaya pertama dan waktu penyelesaian upaya terakhir
- Jumlah baris: jumlah rekaman input, rekaman output, rekaman baca acak, dan rekaman tulis acak
- Progres
Catatan
Secara default, simpul grafik pekerjaan menampilkan informasi dari upaya terakhir setiap tahap (kecuali untuk waktu eksekusi tahap). Namun, selama pemutaran, simpul grafik menunjukkan informasi setiap upaya.
Ukuran data baca dan tulis adalah 1MB = 1000 KB = 1000 * 1000 byte.
Memberikan tanggapan
Kirim umpan balik tentang masalah dengan memilih Beri kami umpan balik.
Menjelajahi tab Diagnosis di server riwayat Apache Spark
Untuk mengakses tab Diagnosis, pilih ID pekerjaan. Kemudian, pilih Diagnosis pada menu alat untuk mendapatkan tampilan Diagnosis pekerjaan. Tab diagnosis mencakup Penyimpangan Data, Penyimpangan Waktu, dan Analisis Penggunaan Eksekutor.
Periksa Penyimpangan Data, Penyimpangan Waktu, dan Analisis Penggunaan Eksekutor dengan memilih tab masing-masing.
Penyimpangan Data
Saat Anda memilih tab Penyimpangan Data, tugas menyimpang terkait ditampilkan berdasarkan parameter yang ditentukan.
Menentukan Parameter - Bagian pertama menampilkan parameter, yang digunakan untuk mendeteksi Penyimpangan Data. Aturan defaultnya adalah: pembacaan data tugas lebih besar dari tiga kali dari data tugas rata-rata yang dibaca, dan data tugas yang dibaca lebih dari 10 MB. Jika Anda ingin menentukan aturan Anda sendiri untuk tugas miring, Anda dapat memilih parameter Anda. Bagian Tahap Menyimpang dan Karakter Penyimpangan di-refresh secara sesuai.
Tahap Condong - Bagian kedua menampilkan tahapan, yang memiliki tugas condong yang memenuhi kriteria yang ditentukan sebelumnya. Jika ada lebih dari satu tugas condong dalam satu tahap, tabel tahap condong hanya menampilkan tugas yang paling condong (misalnya, data terbesar untuk kecondongan data).
Bagan Condong - Saat baris dalam tabel tahap condong dipilih, bagan condong menampilkan lebih banyak detail distribusi tugas berdasarkan waktu baca dan eksekusi data. Tugas menyimpang ditandai dengan warna merah, dan tugas normal ditandai dengan warna biru. Bagan menampilkan hingga 100 tugas sampel, dan detail tugas ditampilkan di panel kanan bawah.
Penyimpangan Waktu
Tab Penyimpangan Waktu menampilkan tugas menyimpang berdasarkan waktu eksekusi tugas.
Tentukan Parameter - Bagian pertama menampilkan parameter, yang digunakan untuk mendeteksi penyimpangan waktu. Kriteria default untuk mendeteksi penyimpangan waktu adalah: waktu eksekusi tugas lebih besar dari tiga kali waktu eksekusi rata-rata dan waktu eksekusi tugas lebih besar dari 30 detik. Anda dapat mengubah parameter berdasarkan kebutuhan Anda. Tahap Condong dan Bagan Condong menampilkan tahapan dan informasi tugas yang sesuai seperti tab Penyimpangan Data yang dijelaskan sebelumnya.
Pilih Penyimpangan Waktu, lalu hasil yang difilter ditampilkan di bagian Tahap Menyimpang sesuai dengan parameter yang diatur di bagian Tentukan Parameter. Pilih satu item di bagian Tahap miring, lalu bagan terkait disusur di bagian 3, dan detail tugas ditampilkan di panel kanan bawah.
Analisis Penggunaan Eksekutor
Fitur ini sudah tidak digunakan lagi di Fabric sekarang. Jika Anda masih ingin menggunakan ini sebagai solusinya, silakan akses halaman dengan secara eksplisit menambahkan "/executorusage" di belakang jalur "/diagnostik" di URL, seperti ini:
Konten terkait
Saran dan Komentar
Segera hadir: Sepanjang tahun 2024 kami akan menghentikan penggunaan GitHub Issues sebagai mekanisme umpan balik untuk konten dan menggantinya dengan sistem umpan balik baru. Untuk mengetahui informasi selengkapnya, lihat: https://aka.ms/ContentUserFeedback.
Kirim dan lihat umpan balik untuk