Masalah memori Spark

Memverifikasi masalah memori

Masalah memori sering mengakibatkan pesan kesalahan seperti berikut:

SparkException: Job aborted due to stage failure: Task 3 in stage 0.0 failed 4 times, most recent failure: Lost task 3.3 in stage 0.0 (TID 30) (10.139.64.114 executor 4): ExecutorLostFailure (executor 4 exited caused by one of the running tasks) Reason: Remote RPC client disassociated. Likely due to containers exceeding thresholds, or network issues. Check driver logs for WARN messages.

Namun, pesan kesalahan ini seringkali umum dan dapat disebabkan oleh masalah lain. Jadi, jika Anda menduga Anda memiliki masalah memori, Anda dapat memverifikasi masalah dengan menggandakan memori per inti untuk melihat apakah itu berdampak pada masalah Anda.

Misalnya, jika Anda memiliki jenis pekerja dengan 4 core dan 16GB per memori, Anda dapat mencoba beralih ke jenis pekerja yang memiliki 4 core dan memori 32GB. Itu akan memberi Anda 8GB per inti dibandingkan dengan 4GB per core yang Anda miliki sebelumnya. Rasio inti terhadap memori adalah yang penting di sini. Jika memerlukan waktu lebih lama untuk gagal dengan memori tambahan atau tidak gagal sama sekali, itu adalah pertanda baik bahwa Anda berada di jalur yang benar.

Jika Anda dapat memperbaiki masalah Anda dengan meningkatkan memori, hebat! Mungkin itu solusinya. Jika tidak memperbaiki masalah, atau Anda tidak dapat menanggung biaya tambahan, Anda harus menggali lebih dalam.

Kemungkinan penyebabnya

Ada banyak alasan potensial untuk masalah memori:

  • Last updated on