Dela via


Övervaka Spark-program med Spark-övervaknings-API:er

Den här översikten sammanfattar DE SPARK-övervaknings-API:er som är tillgängliga i Microsoft Fabric. Den är avsedd för utvecklare och datatekniker som behöver robusta övervaknings- och diagnostikfunktioner för Spark-program.

API:er för Fabric Spark-övervakning

Fabric tillhandahåller API:er för att övervaka Spark-program på både arbetsytans och objektnivåerna, samt detaljerad diagnostik för enskilda Spark-program.

API:er för arbetsytor och Item-Level

API:er Beskrivning
Spark-applikationer i ett arbetsområde Hämta en lista över Spark-program på arbetsytan.
Spark-applikationer för en notebook Hämta en lista över Spark-program som är associerade med en notebook-fil.
Spark-applikationer för en Spark-jobbdefinition Hämta en lista över Spark-program som är associerade med en Spark-jobbdefinition.
Spark-applikationer för ett Lakehouse Hämta en lista över Spark-program som är associerade med en Lakehouse.

API:er för enskilda Spark-program

Dessa API:er används för djupdykningsdiagnostik med omfattande information, mått och loggar för enskilda Spark-program.

API:er Beskrivning
Notebookkörning Hämta detaljerad information för Spark-programmet som körde en specifik anteckningsbokskörning.
Inlämning av Spark-jobbdefinition Hämta detaljerad information för Spark-program som initieras via Spark-jobbdefinitioner.
Lakehouse Operation Hämta detaljerad information för Spark-programmet som utlöses av en Lakehouse-åtgärd.
Öppna källkodens API:er för Spark-metrik Helt i linje med API:erna för Spark-historikservern för insamling av Spark-mått.
Livy-logg Hämta Spark Livy-loggar för detaljerad information på sessionsnivå.
Förares logg Få åtkomst till drivrutinsloggar för felsökning av problem på programnivå.
Utförarlogg Hämta utförarloggar för felsökning av problem med distribuerad körning.
API:er för resursanvändning Övervaka information om Spark-resursanvändning.

Nästa steg

Använd följande resurser för att snabbt komma åt API:er för att lista Livy-sessioner och detaljerad diagnostik för Spark-program:

  1. API:er för arbetsyta och ItemLevel

Visa en lista över alla slutförda och aktiva Livy-sessioner.

  1. API:er för enskilda Spark-program

    a. Hämta programinformation

    b) Hämta loggar och mått