Skeva och spill

Spill

Det första att leta efter i ett långvarigt skede är om det finns spill.

Överst på scenens sida visas informationen, som kan innehålla statistik om spill:

Spill är vad som händer när Spark får ont om minne. Det börjar flytta data från minne till disk, och det kan vara ganska dyrt. Det är vanligast vid dataväxling.

Om du inte ser någon statistik för spill innebär det att fasen inte har något spill. Om fasen har spill kan du läsa den här guiden om hur du hanterar spill som orsakas av shuffle.

Skeva

Nästa sak vi vill titta på är om det finns skevhet. Skevhet är när en eller bara några uppgifter tar mycket längre tid än resten. Detta resulterar i dålig klusteranvändning och längre jobb.

Rulla ned till sammanfattningsmåtten. Det viktigaste vi letar efter är att maxvaraktigheten är mycket högre än den 75:e percentilens varaktighet. Skärmbilden nedan visar ett felfritt stadium där den 75:e percentilen och Max är samma:

Om maxvaraktigheten är 50 % mer än den 75:e percentilen kan du drabbas av skevhet.

Om du ser skevhet får du lära dig mer om steg för snedställningsreparation här.

Inget skevt eller spill

Om du inte ser skevhet eller spill går du tillbaka till jobbsidan för att få en översikt över vad som händer. Rulla upp till överst på sidan och klicka på Associerade jobb-ID:

Om fasen inte har spill eller skevhet läser du Spark-stadiets höga I/O för nästa steg.