Dela via

Använda Synapse Studio för att övervaka dina Apache Spark-program

  • Artikel

Med Azure Synapse Analytics kan du använda Apache Spark för att köra notebook-filer, jobb och andra typer av program på dina Apache Spark-pooler på din arbetsyta.

Den här artikeln beskriver hur du övervakar dina Apache Spark-program så att du kan hålla ett öga på den senaste statusen, problemen och förloppet.

Visa Apache Spark-program

Du kan visa alla Apache Spark-program från Monitor -Apache Spark-program>.

Skärmbild av Apache Spark-program.

Visa slutförda Apache Spark-program

Öppna Övervaka och välj sedan Apache Spark-program. Om du vill visa information om de slutförda Apache Spark-programmen väljer du Apache Spark-programmet.

Skärmbild av slutförd jobbinformation.

  1. Kontrollera varaktigheten Slutförda aktiviteter, Status och Total.

  2. Uppdatera jobbet.

  3. Klicka på Jämför program för att använda jämförelsefunktionen. Mer information om den här funktionen finns i Jämför Apache Spark-program.

  4. Klicka på Spark-historikservern för att öppna sidan Historikserver.

  5. Kontrollera sammanfattningsinformationen .

  6. Kontrollera diagnostiken på fliken Diagnostik .

  7. Kontrollera loggarna. Du kan visa en fullständig logg över Livy-, Prelaunch- och Driver-loggarna genom att välja olika alternativ i listrutan. Och du kan hämta nödvändig logginformation direkt genom att söka efter nyckelord. Klicka på Ladda ned logg för att ladda ned logginformationen till den lokala platsen och markera kryssrutan Filtrera fel och varningar för att filtrera de fel och varningar du behöver.

  8. Du kan se en översikt över ditt jobb i det genererade jobbdiagrammet. Som standard visar diagrammet alla jobb. Du kan filtrera den här vyn efter jobb-ID.

  9. Som standard är förloppsvisningen markerad. Du kan kontrollera dataflödet genom att välja Förlopp/skriven/varaktighet förläsning/ i listrutan Visa.

  10. Om du vill spela upp jobbet klickar du på knappen Uppspelning . Du kan när som helst klicka på knappen Stoppa för att stoppa.

  11. Använd rullningslisten för att zooma in och zooma ut jobbdiagrammet. Du kan också välja Zooma till Anpassa för att få det att passa skärmen.

Skärmbild av slutfört jobb.

  1. Jobbdiagramnoden visar följande information för varje steg:

    • Job-ID

    • Aktivitetsnummer

    • Varaktighetstid

    • Radantal

    • Läsdata: summan av indatastorleken och shuffle-lässtorleken

    • Skrivna data: summan av utdatastorleken och shuffle-skrivstorleken

    • Stegnummer

      Skärmbild av jobbdiagramnoden.

  2. Håll muspekaren över ett jobb så visas jobbinformationen i knappbeskrivningen:

    • Ikon för jobbstatus: Om jobbstatusen lyckas visas den som en grön "√"; om jobbet upptäcker ett problem visas ett gult "!"

    • Job-ID

    • Allmän del:

      • Förlopp
      • Varaktighetstid
      • Totalt uppgiftsnummer

    • Datadel:

      • Totalt antal rader
      • Lässtorlek
      • Skriven storlek

    • Snedställ del:

      • Skjuvade data
      • Tidsförskjutning

    • Stegnummer

      Skärmbild av knappbeskrivning som hovrar över ett jobb.

  3. Klicka på Stegnummer för att expandera alla faser i jobbet. Klicka på Dölj bredvid jobb-ID:t för att minimera alla faser i jobbet.

  4. Klicka på Visa information i ett stegdiagram. Informationen för en fas visas.

    Skärmbild av expanderade faser.

Övervaka Förloppet för Apache Spark-programmet

Öppna Övervaka och välj sedan Apache Spark-program. Om du vill visa information om De Apache Spark-program som körs väljer du det skickade Apache Spark-programmet. Om Apache Spark-programmet fortfarande körs kan du övervaka förloppet.

Skärmbild av valt jobb som körs

  1. Kontrollera varaktigheten Slutförda aktiviteter, Status och Total.

  2. Avbryt Apache Spark-programmet.

  3. Uppdatera jobbet.

  4. Klicka på knappen Spark-användargränssnitt för att gå till sidan Spark-jobb.

  5. För jobbdiagram, sammanfattning, diagnostik, loggar. Du kan se en översikt över ditt jobb i det genererade jobbdiagrammet. Se steg 5–15 i Visa slutförda Apache Spark-program.

Skärmbild av jobb som körs.

Visa avbrutna Apache Spark-program

Öppna Övervaka och välj sedan Apache Spark-program. Om du vill visa information om de avbrutna Apache Spark-programmen väljer du Apache Spark-programmet.

Skärmbild av avbrutet jobb.

  1. Kontrollera varaktigheten Slutförda aktiviteter, Status och Total.

  2. Uppdatera jobbet.

  3. Klicka på Jämför program för att använda jämförelsefunktionen. Mer information om den här funktionen finns i Jämför Apache Spark-program.

  4. Öppna länken för Apache-historikservern genom att klicka på Spark-historikservern.

  5. Visa diagrammet. Du kan se en översikt över ditt jobb i det genererade jobbdiagrammet. Se steg 5–15 i Visa slutförda Apache Spark-program.

Skärmbild av avbruten jobbinformation.

Felsöka apache Spark-program som misslyckades

Öppna Övervaka och välj sedan Apache Spark-program. Om du vill visa information om de misslyckade Apache Spark-programmen väljer du Apache Spark-programmet.

Skärmbild av misslyckat jobb.

  1. Kontrollera varaktigheten Slutförda aktiviteter, Status och Total.

  2. Uppdatera jobbet.

  3. Klicka på Jämför program för att använda jämförelsefunktionen. Mer information om den här funktionen finns i Jämför Apache Spark-program.

  4. Öppna länken för Apache-historikservern genom att klicka på Spark-historikservern.

  5. Visa diagrammet. Du kan se en översikt över ditt jobb i det genererade jobbdiagrammet. Se steg 5–15 i Visa slutförda Apache Spark-program.

Skärmbild av misslyckad jobbinformation.

Visa indata/utdata

Välj ett Apache Spark-program och klicka på fliken Indata/utdata för att visa datum för indata och utdata för Apache Spark-programmet. Den här funktionen kan hjälpa dig att felsöka Spark-jobbet. Och datakällan stöder tre lagringsmetoder: gen1, gen2 och blob.

Fliken Indata

  1. Klicka på knappen Kopiera indata för att klistra in indatafilen lokalt.

  2. Klicka på knappen Exportera till CSV för att exportera indatafilen i CSV-format.

  3. Du kan söka efter filer efter indatanyckelord i sökrutan (nyckelord inkluderar filnamn, läsformat och sökväg).

  4. Du kan sortera indatafilerna genom att klicka på Namn, Läs format och sökväg.

  5. Använd musen för att hovra över en indatafil. Ikonen för knappen Ladda ned/kopiera sökväg/Mer visas.

Skärmbild av fliken Indata.

  1. Klicka på knappen Mer . Kopieringssökvägen/Visa i utforskaren/Egenskaper visas på snabbmenyn.

    Skärmbild av fler indatamenyer.

    • Kopieringssökväg: kan kopiera fullständig sökväg och relativ sökväg.

    • Visa i Utforskaren: kan hoppa till det länkade lagringskontot (datalänkad>).

    • Egenskaper: visa de grundläggande egenskaperna för filen (Filnamn/Filsökväg/Läsformat/Storlek/Ändrad).

      Skärmbild av egenskaper.

Fliken Utdata

Visar samma funktioner som indatafliken.

Skärmbild av utdata.

Jämföra Apache Spark-program

Det finns två sätt att jämföra program. Du kan jämföra genom att välja Jämför program eller klicka på knappen Jämför i anteckningsbok för att visa det i notebook-filen.

Jämför efter program

Klicka på knappen Jämför program och välj ett program för att jämföra prestanda. Du kan se skillnaden mellan de två programmen.

Skärmbild av jämför program.

Skärmbild av information om hur du jämför program.

  1. Använd musen för att hovra över ett program och sedan visas ikonen Jämför program .

  2. Klicka på ikonen Jämför program så visas sidan Jämför program.

  3. Klicka på knappen Välj program för att öppna sidan Välj jämförelseprogram .

  4. När du väljer jämförelseprogrammet måste du antingen ange programmets URL eller välja från den återkommande listan. Klicka sedan på OK .

    Skärmbild av välj jämförelseprogram.

  5. Jämförelseresultatet visas på sidan jämför program.

    Skärmbild av jämförelseresultat.

Jämför i notebook-fil

Klicka på knappen Jämför i anteckningsbok på sidan Jämför program för att öppna anteckningsboken. Standardnamnet för .ipynb-filen är Recurrent Application Analytics.

Skärmbild av jämförelse i notebook-fil.

I notebook-filen Notebook: Recurrent Application Analytics kan du köra den direkt när du har angett Spark-poolen och Språk.

Skärmbild av återkommande programanalys.

Nästa steg

Mer information om hur du övervakar pipelinekörningar finns i artikeln Övervaka pipelinekörningar med Synapse Studio.