Masalah memori Spark

Memverifikasi masalah memori

Masalah memori sering mengakibatkan pesan kesalahan seperti berikut:

SparkException: Job aborted due to stage failure: Task 3 in stage 0.0 failed 4 times, most recent failure: Lost task 3.3 in stage 0.0 (TID 30) (10.139.64.114 executor 4): ExecutorLostFailure (executor 4 exited caused by one of the running tasks) Reason: Remote RPC client disassociated. Likely due to containers exceeding thresholds, or network issues. Check driver logs for WARN messages.

Namun, pesan kesalahan ini seringkali umum dan dapat disebabkan oleh masalah lain. Jadi, jika Anda menduga Anda memiliki masalah memori, Anda dapat memverifikasi masalah dengan menggandakan memori per inti untuk melihat apakah itu berdampak pada masalah Anda.

Misalnya, jika Anda memiliki jenis pekerja dengan 4 core dan 16GB per memori, Anda dapat mencoba beralih ke jenis pekerja yang memiliki 4 core dan memori 32GB. Itu akan memberi Anda 8GB per inti dibandingkan dengan 4GB per core yang Anda miliki sebelumnya. Ini adalah rasio inti untuk memori yang penting di sini. Jika perlu waktu lebih lama untuk gagal dengan memori tambahan atau tidak gagal sama sekali, itu adalah pertanda baik bahwa Anda berada di trek yang benar.

Jika Anda dapat memperbaiki masalah Anda dengan meningkatkan memori, hebat! Mungkin itu solusinya. Jika tidak memperbaiki masalah, atau Anda tidak dapat menanggung biaya tambahan, Anda harus menggali lebih dalam.

Kemungkinan penyebab

Ada banyak alasan potensial untuk masalah memori:

• Terlalu sedikit partisi acak
• Siaran besar
• UDF
• Fungsi jendela tanpa PARTITION BY pernyataan
• Condong
• Status Streaming