Share via

Använda jobbwebbläsaren och jobbvyn för Azure Data Lake Analytics

  • Artikel

Viktigt

Azure Data Lake Analytics tillbaka den 29 februari 2024. Läs mer med det här meddelandet.

För dataanalys kan din organisation använda Azure Synapse Analytics eller Microsoft Fabric.

Azure Data Lake Analytics-tjänsten arkiverar skickade jobb i ett frågearkiv. I den här artikeln får du lära dig hur du använder Jobbwebbläsare och Jobbvy i Azure Data Lake Tools för Visual Studio för att hitta historisk jobbinformation.

Som standard arkiverar Data Lake Analytics-tjänsten jobben i 30 dagar. Förfalloperioden kan konfigureras från Azure Portal genom att konfigurera den anpassade förfalloprincipen. Du kommer inte att kunna komma åt jobbinformationen efter förfallodatum.

Förutsättningar

Se Krav för Data Lake Tools för Visual Studio.

Öppna jobbwebbläsaren

Öppna jobbwebbläsaren via Server Explorer>Azure> Data Lake Analytics> Jobs i Visual Studio. Med hjälp av jobbwebbläsaren kan du komma åt frågearkivet för ett Data Lake Analytics-konto. Jobbwebbläsaren visar Query Store till vänster med grundläggande jobbinformation och Jobbvy till höger som visar detaljerad jobbinformation.

Jobbvy

Jobbvyn visar detaljerad information om ett jobb. Om du vill öppna ett jobb kan du dubbelklicka på ett jobb i jobbwebbläsaren eller öppna det från Data Lake-menyn genom att klicka på Jobbvy. Du bör se en dialogruta ifylld med jobb-URL:en.

Data Lake Tools Visual Studio Job Browser

Jobbvyn innehåller:

  • Jobbsammanfattning

    Uppdatera jobbvyn för att se den senaste informationen om att köra jobb.

    • Jobbstatus (diagram):

      Jobbstatus beskriver jobbfaserna:

      Skärmbild som visar jobbfaserna för Azure Data Lake Analytics.

      • Förbereder: Ladda upp skriptet till molnet, kompilera och optimera skriptet med hjälp av kompileringstjänsten.

      • I kö: Jobben placeras i kö när de väntar på tillräckligt med resurser, eller om jobben överskrider maxgränsen för samtidiga jobb per konto. Prioritetsinställningen avgör sekvensen av köade jobb – desto lägre antal, desto högre prioritet.

      • Körs: Jobbet körs faktiskt i ditt Data Lake Analytics-konto.

      • Slutför: Jobbet slutförs (till exempel att filen slutförs).

        Jobbet kan misslyckas i varje fas. Kompileringsfel i förberedelsefasen, timeout-fel i köfasen och körningsfel i fasen Körs osv.

    • Grundläggande information

      Den grundläggande jobbinformationen visas i den nedre delen av panelen Jobbsammanfattning.

      Skärmbild som visar jobbsammanfattningen med beskrivningar i textrutor.

      • Jobbresultat: Lyckades eller misslyckades. Jobbet kan misslyckas i varje fas.
      • Total varaktighet: Klocktid (varaktighet) mellan sändningstid och sluttid.
      • Total beräkningstid: Summan av varje körningstid för hörn kan du betrakta det som den tid då jobbet bara körs i ett hörn. Mer information om hörn finns i Totalt antal hörn.
      • Skicka/starta/sluttid: Den tid när Data Lake Analytics-tjänsten tar emot jobböverföring/börjar köra jobbet/avslutar jobbet korrekt eller inte.
      • Kompilering/i kö/körs: Tid för wallklockan som spenderades under fasen Förbereda/köa/köra.
      • Konto: Det Data Lake Analytics konto som används för att köra jobbet.
      • Författare: Den användare som skickade jobbet kan vara en verklig persons konto eller ett systemkonto.
      • Prioritet: Jobbets prioritet. Desto lägre nummer, desto högre prioritet. Den påverkar bara jobbsekvensen i kön. Att ange en högre prioritet föregriper inte jobb som körs.
      • Parallellitet: Det begärda maximala antalet samtidiga Azure Data Lake Analytics-enheter (ADLAN), även kallat hörn. För närvarande är ett hörn lika med en virtuell dator med två virtuella kärnor och sex GB RAM-minne, men detta kan uppgraderas i framtida Data Lake Analytics uppdateringar.
      • Byte kvar: Byte som måste bearbetas tills jobbet har slutförts.
      • Byte som lästs/skrivits: Byte som har lästs/skrivits sedan jobbet började köras.
      • Totalt antal hörn: Jobbet delas upp i många arbetsdelar, och varje arbetsdel kallas för ett hörn. Det här värdet beskriver hur många arbetsdelar jobbet består av. Du kan betrakta ett hörn som en grundläggande processenhet, även kallat Azure Data Lake Analytics Unit (ADLAU), och hörn kan köras parallellt.
      • Completed/Running/Failed: Antalet slutförda/pågående/misslyckade hörn. Hörn kan misslyckas på grund av både användarkod och systemfel, men systemet försöker igen misslyckade hörn automatiskt några gånger. Om hörnen fortfarande misslyckas efter ett nytt försök misslyckas hela jobbet.

  • Jobbdiagram

    Ett U-SQL-skript representerar logiken i att transformera indata till utdata. Skriptet kompileras och optimeras till en fysisk körningsplan i förberedelsefasen. Jobbdiagrammet är att visa den fysiska körningsplanen. Följande diagram illustrerar processen:

    Status för Azure Data Lake Analytics-jobbfaser

    Ett jobb delas upp i många arbetsdelar. Varje del av arbetet kallas ett hörn. Hörnen grupperas som superhörn (kallas även fas) och visualiseras som jobbdiagram. De gröna faserna på plakaten i jobbdiagrammet visar stegen.

    Varje hörn i en fas utför samma typ av arbete med olika delar av samma data. Om du till exempel har en fil med data med en TB och det finns hundratals hörn som läser från den, läser var och en av dem ett segment. Dessa hörn grupperas i samma fas och utför samma arbete på olika delar av samma indatafil.

    • Steginformation

      I ett visst steg visas vissa siffror på plakatet.

      Diagramsteg för Azure Data Lake Analytics-jobb

      • SV1-extrahering: Namnet på en fas, namngiven med ett tal och åtgärdsmetoden.

      • 84 hörn: Det totala antalet hörn i det här steget. Bilden anger hur många arbetsdelar som är uppdelade i det här steget.

      • 12,90 s/hörn: Genomsnittlig körningstid för hörn för det här steget. Den här siffran beräknas av SUM (varje körningstid för hörn) / (totalt antal hörn). Det innebär att om du kunde tilldela alla hörn som körs i parallellitet slutförs hela fasen på 12,90 s. Det innebär också att om allt arbete i det här steget utförs seriellt, skulle kostnaden vara #vertices * AVG-tid.

      • 850 895 rader skrivna: Totalt antal rader skrivna i det här steget.

      • R/W: Mängden data som lästs/skrivits i det här steget i byte.

      • Färger: Färger används i fasen för att ange olika hörnstatus.

        • Grönt anger att brytpunkten har slutförts.
        • Orange anger att brytpunkten görs om. Det nya hörnet misslyckades men görs ett nytt försök automatiskt och korrekt av systemet, och hela fasen har slutförts. Om hörnen försöker igen men fortfarande misslyckas blir färgen röd och hela jobbet misslyckades.
        • Rött anger misslyckades, vilket innebär att ett visst hörn hade gjorts om några gånger av systemet men ändå misslyckats. Det här scenariot gör att hela jobbet misslyckas.
        • Blått innebär att ett visst hörn körs.
        • Vit anger att hörnet väntar. Hörnen kan vänta på att schemaläggas när en ADLAU blir tillgänglig, eller så väntar den kanske på indata eftersom indata kanske inte är klara.

        Du hittar mer information om fasen genom att hovra musmarkören med ett tillstånd:

        Steginformation för Azure Data Lake Analytics-jobbdiagram

    • Hörn: Beskriver hörninformationen, till exempel hur många hörn totalt, hur många hörn som har slutförts, om de har misslyckats eller fortfarande körs/väntar osv.

    • Data läser kors/intra podd: Filer och data lagras i flera poddar i distribuerat filsystem. Värdet här beskriver hur mycket data som har lästs i samma podd eller mellan poddar.

    • Total beräkningstid: Summan av varje hörnkörningstid i fasen. Du kan betrakta det som den tid det tar om allt arbete i fasen bara körs i ett hörn.

    • Data och rader skrivna/lästa: Anger hur mycket data eller rader som har lästs/skrivits eller behöver läsas.

    • Läsfel för hörn: Beskriver hur många hörn som misslyckas när du läser data.

    • Hörndubbletter ignoreras: Om ett hörn körs för långsamt kan systemet schemalägga flera hörn för att köra samma arbete. Redundanta hörn ignoreras när ett av hörnen har slutförts. Hörndubblett tar bort antalet hörn som ignoreras som dupliceringar i fasen.

    • Brytpunktsåterkallningar: Hörnet lyckades, men körs igen senare på grund av vissa orsaker. Om nedströmshörnet till exempel förlorar mellanliggande indata uppmanas det överordnade hörnet att köras igen.

    • Hörnschemakörningar: Den totala tid som hörnen har schemalagts.

    • Min/Average/Max Hörndata läser: Minsta/genomsnittliga/högsta för varje hörn som läser data.

    • Varaktighet: Tidsåtgången för väggklockan som en fas tar, du måste läsa in profilen för att se det här värdet.

    • Jobbuppspelning

      Data Lake Analytics kör jobb och arkiverar hörnen som kör information om jobben, till exempel när hörnen startas, stoppas, misslyckas och hur de görs om osv. All information loggas automatiskt i frågearkivet och lagras i jobbprofilen. Du kan ladda ned jobbprofilen via "Läs in profil" i jobbvyn och du kan visa jobbuppspelningen när du har laddat ned jobbprofilen.

      Jobbuppspelning är en epitomvisualisering av vad som hände i klustret. Det hjälper dig att watch jobbkörningsförloppet och visuellt identifiera prestandaavvikelser och flaskhalsar på mycket kort tid (mindre än 30-talet vanligtvis).

    • Visning av jobbvärmekarta

      Jobbvärmekarta kan väljas via listrutan Visa i Jobbgraf.

      Azure Data Lake Analytics jobbdiagram med heap-kartvisning

      Den visar I/O,tids- och dataflödesvärmekartan för ett jobb, där du kan hitta var jobbet tillbringar större delen av tiden, eller om ditt jobb är ett I/O-gränsjobb och så vidare.

      Azure Data Lake Analytics exempel på jobbdiagram med heap-karta

      • Förlopp: Jobbkörningens förlopp finns i Information i steginformation.
      • Läs/skriven data: Värmekartan över totalt antal lästa/skrivna data i varje steg.
      • Beräkningstid: Värmekartan för SUM (varje körningstid för hörn) kan du betrakta detta som hur lång tid det skulle ta om allt arbete i fasen körs med bara ett hörn.
      • Genomsnittlig körningstid per nod: Värmekartan för SUM (körningstid för varje hörn) / (hörnnummer). Vilket innebär att om du kunde tilldela alla hörn som körs i parallellitet görs hela fasen inom den här tidsramen.
      • Dataflöde för indata/utdata: Värmekartan över indata/utdataflöde för varje steg kan du bekräfta om jobbet är ett I/O-bundet jobb genom detta.

  • Metadataåtgärder

    Du kan utföra vissa metadataåtgärder i ditt U-SQL-skript, till exempel skapa en databas, släppa en tabell osv. Dessa åtgärder visas i metadataåtgärden efter kompileringen. Du kan hitta intyg, skapa entiteter och släppa entiteter här.

    Metadataåtgärder för Azure Data Lake Analytics Job View

  • Tillståndshistorik

    Tillståndshistoriken visualiseras också i Jobbsammanfattning, men du kan få mer information här. Du hittar detaljerad information, till exempel när jobbet förbereds, köas, börjar köras, avslutas. Du kan också se hur många gånger jobbet har kompilerats (CcsAttempts: 1), när skickas jobbet till klustret faktiskt (detail: dispatching job to cluster) osv.

    Tillståndshistorik för Azure Data Lake Analytics-jobbvy

  • Diagnostik

    Verktyget diagnostiserar jobbkörning automatiskt. Du får aviseringar när det finns fel eller prestandaproblem i dina jobb. Observera att du måste ladda ned Profil för att få fullständig information här.

    Diagnostik för Jobbvy i Azure Data Lake Analytics

    • Varningar: En avisering visas här med kompilatorvarning. Du kan välja länken "x issue(s)" för att få mer information när aviseringen visas.
    • Brytpunkten körs för länge: Om ett hörn tar slut (till exempel 5 timmar) hittas problem här.
    • Resursanvändning: Om du allokerade mer eller inte tillräckligt med parallellitet än vad som behövs finns problem här. Du kan också välja Resursanvändning för att se mer information och utföra konsekvensscenarier för att hitta en bättre resursallokering (mer information finns i den här guiden).
    • Minneskontroll: Om ett hörn använder mer än 5 GB minne finns problem här. Jobbkörning kan avlivas av systemet om det använder mer minne än systembegränsning.

Jobbinformation

Jobbinformation visar detaljerad information om jobbet, inklusive skript, resurser och hörnkörningsvy.

Information om Azure Data Lake Analytics-jobb

  • Skript

    U-SQL-skriptet för jobbet lagras i frågearkivet. Du kan visa det ursprungliga U-SQL-skriptet och skicka det igen om det behövs.

  • Resurser

    Du hittar jobbkompileringsutdata som lagras i frågearkivet via Resurser. Du kan till exempel hitta "algebra.xml" som används för att visa jobbdiagrammet, de sammansättningar som du har registrerat osv. här.

  • Hörnkörningsvy

    Den visar körningsinformation för hörn. Jobbprofilen arkiverar varje hörnkörningslogg, till exempel totalt antal lästa/skrivna data, körning, tillstånd osv. I den här vyn kan du få mer information om hur ett jobb kördes. Mer information finns i Använda hörnkörningsvyn i Data Lake Tools för Visual Studio.

Nästa steg