Overvågning af detaljer om Apache Spark-program

Med Microsoft Fabric kan du bruge Apache Spark til at køre notesbøger, job og andre typer programmer i dit arbejdsområde. I denne artikel forklares det, hvordan du overvåger dit Apache Spark-program.

Du kan få adgang til detaljesiden med Spark-overvågning fra enten Fabric Monitoring Hub eller elementets panel Seneste kørsler.

Sådan åbner du et Apache Spark-programjob fra panelet for seneste kørsler:

  • I genvejsmenuen Spark-jobdefinition eller notesbogelement skal du vælge Seneste kørsel.
  • På siden Seneste kørsler skal du vælge et job for at åbne overvågningsoplysningerne.

Fanen Job

Fanen Job viser listen over jobkørsler for det valgte Spark-program. Du kan få vist detaljer som f.eks. job-id, beskrivelse, status, faser, opgaver, varighed, behandlede data, læste data, skrevne data og kodestykke.

  • Klik på job-id'et for at udvide eller skjule oplysninger om et job.
  • Klik på jobbeskrivelsen for at gå direkte til job- eller fasesiden i Spark-brugergrænsefladen.
  • Klik på kodestykket for at få vist og kopiere den kode, der er relateret til det pågældende job.
  • Brug filterikonet (øverste højre hjørne) til at filtrere job efter notesbog, når du kører i en Spark-session med høj samtidighed.

Skærmbillede, der viser Spark-session med høj samtidighed.

Fanen Ressourcer

Fanen Ressourcer viser eksekutorforbrugsgrafen, som visualiserer allokeringen og udnyttelsen af Spark-eksekutorer i næsten realtid under Spark-udførelsen. Du kan finde flere oplysninger under Overvåg ressourceudnyttelse af Apache Spark-programmer.

Oversigtspanel

På programovervågningssiden skal du klikke på ikonet Egenskaber i øverste højre hjørne for at åbne eller skjule oversigtspanelet. Her kan du se ansøgningsoplysninger, herunder:

Skærmbillede, der viser oversigten for spark-programmet.

Fanen Logfiler

Fanen Logfiler giver adgang til fulde logfiler for Livy-, Prelaunch- og Driver-processer.

  • Brug venstre panel til at vælge den type logfiler, du vil se.
  • Søg efter nøgleord eller filtrer logfiler efter status, notesbog eller lakehouse (for sessioner med høj samtidighed).
  • Klik på Download log for at gemme logfiler lokalt.

Skærmbillede, der viser loggene for spark-programmet.

Notat

Logfiler er muligvis ikke tilgængelige, hvis jobbet er sat i kø, eller hvis oprettelse af klynge mislykkes.

Fanen Data

Fanen Data giver dig mulighed for at kopiere eller downloade input/output-filoplysninger og se filegenskaber.

  • Udvid eller skjul venstre panel for at navigere.
  • Se detaljer som f.eks. filnavn, format, størrelse, kilde og sti.
  • Download filer, kopier stier, eller få vist egenskaber direkte.

Skærmbillede, der viser dataene for spark-programmet.

Fanen Snapshots af element

Fanen Item snapshots lader dig gennemse elementer tilknyttet Spark-applikationen, herunder notebooks, Spark-jobdefinitioner og pipelines.

Snapshots omfatter:

  • Notebook-kode og parameterværdier på udførelsestidspunktet.
  • Indstillinger og parametre for Spark-jobdefinition på afsendelsestidspunktet.

Fanen for objektsnapshots giver dig mulighed for at gennemse og se elementer, der er tilknyttet Apache Spark-applikationen, herunder notesbøger, Spark-jobdefinition og/eller pipelines. Siden med item snapshots viser snapshot af koden og parameterværdierne på tidspunktet for udførelsen for notebooks. Det viser også snapshottet af alle indstillinger og parametre på tidspunktet for indsendelse af Spark-jobdefinitioner. Hvis Apache Spark-programmet udløses af en pipeline, viser fanen med relaterede elementer også den tilsvarende pipeline og Spark-aktiviteten.

Fra siden med objektsnapshots kan du:

  • Gennemse relaterede elementer i et hierarkisk træ.
  • Brug menuen Flere handlinger (...) til hvert element.
  • Klik på et snapshotelement for at se dets indhold.
  • Brug brødkrummer til at spore navigation fra det markerede element til roden.

Skærmbillede, der viser de relaterede elementer for spark-programmet.

Panelet Diagnosticering

Panelet Diagnosticering indeholder anbefalinger og fejlanalyser i realtid, der genereres af Spark Advisor. Med indbyggede mønstre hjælper Spark Advisor dig med at undgå almindelige fejl, analysere fejl og identificere deres grundlæggende årsager.

Skærmbillede, der viser diagnosticering for spark-programmet.

Relateret indhold

Efter at have set detaljer om en Apache Spark-applikation, kan du også følge Spark-jobfremskridt direkte under notebookcellen. Du kan finde flere oplysninger under:

  • Last updated on