Översikt över Apache Spark-övervakning

Microsoft Fabric Spark-övervakning är utformat för att erbjuda en webbgränssnittsbaserad upplevelse med inbyggda funktioner för att övervaka förloppet och statusen för Pågående Spark-program, bläddra förbi Spark-aktiviteter, analysera och optimera prestanda och underlätta felsökning av fel. Flera startpunkter är tillgängliga för surfning, övervakning och visning av Spark-programinformation.

Övervakningshubben

Övervakningshubben fungerar som en centraliserad portal för att bläddra i Spark-aktiviteter mellan objekt. Du kan snabbt se pågående Spark-program som utlöses från notebook-filer, Spark-jobbdefinitioner och pipelines. Du kan också söka efter och filtrera Spark-program baserat på olika kriterier och öka detaljnivån för att visa mer Spark-körningsinformation för ett Spark-program.

Senaste körningar av objekt

När du arbetar med specifika objekt kan du med funktionen Senaste körningar bläddra i objektets aktuella och senaste aktiviteter och få insikter om inskickaren, status, varaktighet och annan information för aktiviteter som skickats av dig eller andra.

Sammanhangsbaserad övervakning av notebook-filer

Kontextövervakning av notebook-filer erbjuder möjligheten att redigera, övervaka och felsöka Spark-jobb på en enda plats. Du kan övervaka Spark-jobbförloppet, visa Spark-körningsuppgifter och -utförare och komma åt Spark-loggar i en notebook-fil på cellnivå för notebook-filer. Spark-rådgivaren är också inbyggd i Notebook för att ge råd i realtid om körning av kod och cell i Spark och utföra felanalys.

Infogad övervakning av Spark-jobbdefinition

Med funktionen Inline Monitoring i Spark-jobbdefinitionen kan du visa sändnings- och körningsstatus för Spark-jobbdefinitioner i realtid, samt visa Spark-jobbdefinitionens tidigare körningar och konfigurationer. Du kan gå till informationssidan för Spark-programmet om du vill visa mer information.

Infogad övervakning av Pipeline Spark-aktivitet

För infogad övervakning av Pipeline Spark-aktivitet har djupa länkar byggts in i definitionsaktiviteterna notebook- och Spark-jobb i pipelinen. Du kan visa körningsinformation för Spark-program, respektive ögonblicksbild av notebook- och Spark-jobbdefinition och få åtkomst till Spark-loggar för felsökning. Om Spark-aktiviteterna misslyckas är det infogade felmeddelandet också tillgängligt i Pipeline Spark-aktiviteter.

Relaterat innehåll

• Apache Spark-rådgivare för råd i realtid om notebook-filer
• Bläddra bland Apache Spark-programmen i infrastrukturövervakningshubben
• Bläddra bland objektets senaste körningar
• Övervaka Spark-jobb i en notebook-fil
• Övervaka din Apache Spark-jobbdefinition
• Informationsövervakning av Apache Spark-program
• Använda utökad Apache Spark-historikserver för att felsöka och diagnostisera Apache Spark-program
• Övervaka Spark-kapacitetsförbrukning