Overvåke Spark-jobber i en notatblokk
Microsoft Fabric-notatblokken er en nettbasert interaktiv overflate for utvikling av Apache Spark-jobber og gjennomføring av maskinlæringseksperimenter. Denne artikkelen beskriver hvordan du overvåker fremdriften til Spark-jobbene dine, får tilgang til Spark-logger, får råd i notatblokken og navigerer til Spark-programmets detaljvisning eller Spark-brukergrensesnittet for mer omfattende overvåkingsinformasjon for hele notatblokken.
Overvåk fremdriften for Spark-jobben
En fremdriftsindikator for Spark-jobb leveres med en fremdriftslinje i sanntid som hjelper deg med å overvåke statusen for jobbkjøring for hver notatblokkcelle. Du kan vise status- og aktivitetsfremdriften på tvers av Spark-jobbene og -fasene.
Overvåk ressursbruk
Eksekutorbruksgrafen viser visuelt tildelingen av Spark-jobb-eksekutorer og ressursbruk. For øyeblikket vises bare kjøretidsinformasjonen for spark 3.4 og nyere denne funksjonen. Klikk på Ressurser-fanen , og linjediagrammet for ressursbruken av kodecellen vises.
Vis Spark Advisor-anbefalinger
En innebygd Spark-rådgiver analyserer notatblokkkoden og Spark-kjøringer i sanntid for å optimalisere den løpende ytelsen til notatblokken og hjelpe deg med feilsøkingsfeil. Det finnes tre typer innebygde råd: Informasjon, advarsel og feil. Ikonene med tall angir det respektive antall råd i hver kategori (Informasjon, Advarsel og Feil) som genereres av Spark-rådgiveren for en bestemt notatblokkcelle.
Hvis du vil vise rådene, klikker du pilen i begynnelsen for å utvide og vise detaljene.
Når du har utvidet rådgiverdelen, blir ett eller flere råd synlige.
Skjev gjenkjenning av Spark Advisor
Dataskyv er et vanlig problem brukere ofte støter på. Spark-rådgiveren støtter skjev gjenkjenning, og hvis skjev er oppdaget, vises en tilsvarende analyse nedenfor.
Access Spark i sanntidslogger
Sparklogger er avgjørende for å finne unntak og diagnostisere ytelse eller feil. Den kontekstavhengige overvåkingsfunksjonen i notatblokken bringer loggene direkte til deg for den bestemte cellen du kjører. Du kan søke i loggene eller filtrere dem etter feil og advarsler.
Naviger til Spark-overvåkingsdetaljer og Spark UI
Hvis du vil ha tilgang til mer informasjon om Spark-kjøringen på notatblokknivå, kan du navigere til spark-programdetaljersiden eller Spark-brukergrensesnittet gjennom alternativene som er tilgjengelige i hurtigmenyen.
