Övervaka resursutnyttjande för Apache Spark-program

Grafen för exekutorsanvändning under fliken Resurser visualiserar allokering och användning av Spark-exekutorer för det aktuella Spark-programmet i nästan realtid under körning av Spark. Diagrammet ger också en interaktiv upplevelse som gör att du kan visa Spark-jobb och -uppgifter genom att klicka på körande utförare vid en viss tidpunkt. För närvarande stöder endast Spark-körning version 3.4 och senare den här funktionen.

Fliken Resurser

Klicka på fliken Resurser för att komma åt ett diagram med fyra distinkta linjediagram, där var och en visar en annan körstatus: Kör, Inaktiv, Allokeradoch Maximalt antal instanser.

Skärmbild som visar resursanvändningen för övervakning.

  • Running: Detta visar det faktiska antalet kärnor som används av Spark-programmet för att köra Spark-jobb och -uppgifter.

  • Idled: Detta representerar antalet kärnor som är tillgängliga men som inte används medan Spark-programmet körs.

  • Allokerad: Detta refererar till de kärnor som allokerades under driften av Spark-programmet.

  • Maximalt antal instanser: Detta anger det maximala antalet kärnor som kan allokeras till Spark-programmet.

Växla färgförklaringen för att välja eller avmarkera motsvarande diagram i resursanvändningsdiagrammet.

Skärmbild som visar diagrammet välj diagram.

Diagrammet för resursanvändning är interaktivt. När du för muspekaren över diagrammet över aktiva exekveringskärnor visas en sammanfattning av kärnorna och motsvarande information om exekverarna. Genom att klicka på en punkt i den körande executor core-linjen visas detaljerad information om respektive executor och jobb vid den specifika tidpunkten, som visas längst ned i diagrammet.

Skärmbild som visar detaljer om aktuell tilldelning av exekutorkärnor.

Not

I vissa fall, vid vissa tidpunkter, kan antalet uppgifter överskrida kapaciteten för exekveringskärnorna (dvs. antal uppgifter > totala exekveringskärnor / spark.task.cpus). Detta är förväntat, eftersom det kan finnas en tidslucka mellan att en uppgift markeras som körande och dess faktiska exekvering på en exekverande kärna. Därför kan vissa processer visas som körs, men de kör faktiskt inte aktivt på någon kärna.

Relaterat innehåll

För en översikt av Fabric Spark-övervakning, Spark-applikationsövervakning och kontextuell övervakning av notebooks, kan du hänvisa till:

  • Last updated on