Övervakning och observerbarhet för Databricks-jobb

Den här artikeln beskriver de funktioner som är tillgängliga i Azure Databricks-användargränssnittet för att visa jobb som du har åtkomst till, visa en historik över körningar för ett jobb och visa information om jobbkörningar. Information om hur du konfigurerar meddelanden för jobb finns i Lägga till e-post- och systemaviseringar för jobbhändelser.

Om du vill veta mer om hur du använder Databricks CLI för att visa jobb och köra jobb kör du CLI-kommandona databricks jobs list -h, databricks jobs get -hoch databricks jobs run-now -h. Mer information om hur du använder jobb-API:et finns i Jobb-API:et.

Om du har åtkomst till system.lakeflow schemat kan du även visa och fråga efter poster för jobbkörningar och aktiviteter från hela ditt konto. Se Systemtabellreferens för jobb.

Visa jobb

Om du vill visa listan över jobb som du har åtkomst till klickar du på Arbetsflöden i sidofältet. På fliken Jobb i arbetsflödesgränssnittet visas information om alla tillgängliga jobb, till exempel jobbskaparen, utlösaren för jobbet, om sådan finns, och resultatet av den senaste körningen.

Om du vill ändra kolumnerna som visas i jobblistan klickar du på och väljer eller avmarkerar kolumner.

Du kan filtrera jobb i listan Jobb:

• Använda nyckelord. Om du har aktiverat funktionen för ökad jobbgräns för den här arbetsytan stöds sökning efter nyckelord endast för fälten namn, jobb-ID och jobbtagg.
• Välj endast de jobb som du äger.
• Välj alla jobb som du har behörighet att komma åt.
• Använda taggar. Om du vill söka efter en tagg som bara har skapats med en nyckel skriver du in nyckeln i sökrutan. Om du vill söka efter en tagg som skapats med en nyckel och ett värde kan du söka efter nyckeln, värdet eller både nyckeln och värdet. Om du till exempel vill ha en tagg med nyckeln department och värdet financekan du söka department efter eller finance hitta matchande jobb. Om du vill söka efter nyckeln och värdet anger du nyckeln och värdet avgränsat med ett kolon. till exempel department:finance.

Du kan också klicka på valfri kolumnrubrik för att sortera listan över jobb (antingen fallande eller stigande) efter den kolumnen. När funktionen för ökad jobbgräns är aktiverad kan du bara Namesortera efter , Job IDeller Created by. Standardsortering är Name i stigande ordning.

Klicka för att komma åt åtgärder för jobbet, till exempel ta bort jobbet.

Visa körningar för ett jobb

Du kan visa en lista över pågående och nyligen slutförda körningar för alla jobb som du har åtkomst till, inklusive körningar som startats av externa orkestreringsverktyg som Apache Airflow eller Azure Data Factory. Så här visar du listan över de senaste jobbkörningarna:

1. Klicka på Arbetsflöden i sidofältet.
2. I kolumnen Namn klickar du på ett jobbnamn. Fliken Körningar visas med matris- och listvyer över aktiva och slutförda körningar.

Matrisvyn visar en historik över körningar för jobbet, inklusive varje jobbaktivitet.

Raden Kör total varaktighet i matrisen visar körningens totala varaktighet och körningens tillstånd. Om du vill visa information om körningen, inklusive starttid, varaktighet och status, hovra över fältet på raden Kör total varaktighet .

Varje cell på raden Aktiviteter representerar en aktivitet och motsvarande status för aktiviteten. Om du vill visa information om varje aktivitet, inklusive starttid, varaktighet, kluster och status, hovra över cellen för den uppgiften.

Jobbkörnings- och aktivitetskörningsstaplarna är färgkodade för att ange körningens status. Lyckade körningar är gröna, misslyckade körningar är röda och överhoppade körningar är rosa. Höjden på den enskilda jobbkörningen och aktivitetskörningsstaplarna visar körningens varaktighet.

Om du har konfigurerat en förväntad slutförandetid visar matrisvyn en varning när varaktigheten för en körning överskrider den konfigurerade tiden.

Som standard visar listvyn körningar:

• Starttiden för körningen.
• Körningsidentifieraren.
• Om körningen utlöstes av ett jobbschema eller en API-begäran eller startades manuellt.
• Tiden som förflutit för ett jobb som körs eller den totala körningstiden för en slutförd körning. En varning visas om varaktigheten överskrider en konfigurerad förväntad slutförandetid.
• Länkar till Spark-loggarna.
• Status för körningen, antingen Queued, Pending, Running, Skipped, Succeeded, Failed, Terminating, Terminated, , Internal Error, Timed Out, , Canceled, Cancelingeller Waiting for Retry.
• Klicka för att komma åt kontextspecifika åtgärder för körningen, till exempel stoppa en aktiv körning eller ta bort en slutförd körning.

Om du vill ändra kolumnerna som visas i körningslistvyn klickar du på och väljer eller avmarkerar kolumner.

Om du vill visa information om en jobbkörning klickar du på länken för körningen i kolumnen Starttid i listvyn körningar. Om du vill visa information om det här jobbets senaste lyckade körning klickar du på Gå till den senaste lyckade körningen.

Azure Databricks har en historik över dina jobbkörningar i upp till 60 dagar. Om du behöver bevara jobbkörningar rekommenderar Databricks att du exporterar resultat innan de upphör att gälla. Mer information finns i Exportera jobbkörningsresultat.

Visa information om jobbkörning

Informationssidan för jobbkörningen innehåller jobbutdata och länkar till loggar, inklusive information om lyckade eller misslyckade aktiviteter i jobbkörningen. Du kan komma åt jobbkörningsinformation från fliken Körningar för jobbet. Om du vill visa jobbkörningsinformation från fliken Körningar klickar du på länken för körningen i kolumnen Starttid i listvyn körningar. Om du vill gå tillbaka till fliken Körningar för jobbet klickar du på jobbets ID-värde .

Om jobbet innehåller flera aktiviteter klickar du på en aktivitet för att visa information om aktivitetskörning, inklusive:

• klustret som körde uppgiften
  • Spark-användargränssnittet för uppgiften
  • loggar för aktiviteten
  • mått för uppgiften

Klicka på jobb-ID-värdet för att återgå till fliken Körningar för jobbet.

Hur avgör Azure Databricks status för jobbkörning?

Azure Databricks avgör om en jobbkörning lyckades baserat på resultatet av jobbets lövaktiviteter. En lövaktivitet är en aktivitet som inte har några underordnade beroenden. En jobbkörning kan ha ett av tre resultat:

• Lyckades: Alla aktiviteter lyckades.
• Lyckades med fel: Vissa aktiviteter misslyckades, men alla lövaktiviteter lyckades.
• Misslyckades: En eller flera lövaktiviteter misslyckades.

Visa aktivitetskörningshistorik

Så här visar du körningshistoriken för en aktivitet, inklusive lyckade och misslyckade körningar:

1. Klicka på en aktivitet på sidan Jobbkörningsinformation . Sidan Aktivitetskörningsinformation visas.
2. Välj aktivitetskörningen i listrutan körningshistorik.

Visa aktivitetskörningshistorik för en For each aktivitet

Åtkomsten till körningshistoriken för en For each aktivitet är samma som en azure Databricks-standardjobbaktivitet. Du kan klicka på aktivitetsnoden For each på sidan Jobbkörningsinformation eller motsvarande cell i matrisvyn. Men till skillnad från en standardaktivitet visas körningsinformationen för en For each aktivitet som en tabell över iterationerna för den kapslade aktiviteten.

Om du bara vill visa misslyckade iterationer klickar du på Endast misslyckade iterationer.

Om du vill visa utdata från en iteration klickar du på värdena Starttid eller Sluttid för iterationen.

Visa de senaste jobbkörningarna

Du kan visa en lista över pågående och nyligen slutförda körningar för alla jobb på en arbetsyta som du har åtkomst till, inklusive körningar som startats av externa orkestreringsverktyg som Apache Airflow eller Azure Data Factory. Så här visar du listan över de senaste jobbkörningarna:

1. Klicka på Arbetsflöden i sidofältet.
2. Klicka på fliken Jobbkörningar för att visa listan Jobbkörningar.

Diagrammet Antal slutförda körningar visar antalet jobbkörningar som har slutförts under de senaste 48 timmarna. Som standard visar diagrammet misslyckade, överhoppade och lyckade jobbkörningar. Du kan också filtrera diagrammet för att visa specifika körningsstatusar eller begränsa grafen till ett visst tidsintervall. Fliken Jobbkörningar innehåller också en tabell med jobbkörningar från de senaste 67 dagarna. Tabellen innehåller som standard information om misslyckade, överhoppade och lyckade jobbkörningar.

Kommentar

Diagrammet Antal slutförda körningar visas bara när du klickar på Ägs av mig.

Du kan filtrera antalet slutförda körningar efter körningsstatus:

• Om du vill uppdatera diagrammet för att visa jobb som körs eller väntar på att köras klickar du på Aktiva körningar.
• Om du vill uppdatera diagrammet så att endast slutförda körningar visas, inklusive misslyckade, lyckade och överhoppade körningar, klickar du på Slutförda körningar.
• Om du vill uppdatera diagrammet så att endast körningar som har slutförts under de senaste 48 timmarna visas klickar du på Lyckade körningar.
• Om du vill uppdatera grafen så att den endast visar överhoppade körningar klickar du på Överhoppade körningar. Körningar hoppas över eftersom du överskred det maximala antalet samtidiga körningar på arbetsytan eller jobbet överskred det maximala antalet samtidiga körningar som angetts av jobbkonfigurationen.
• Om du vill uppdatera diagrammet så att endast körningar som har slutförts i ett feltillstånd visas klickar du på Misslyckade körningar.

När du klickar på någon av filterknapparna uppdateras även listan över körningar i tabellen körningar för att endast visa jobbkörningar som matchar den valda statusen.

Om du vill begränsa det tidsintervall som visas i diagrammet Antal slutförda körningar klickar du på och drar markören i diagrammet för att välja tidsintervallet. Diagrammet och körningstabelluppdateringen för att visa körningar från endast det valda tidsintervallet.

Som standard visas listan över körningar i tabellen körningar:

• Starttiden för körningen.
• Namnet på jobbet som är associerat med körningen.
• Användarnamnet som jobbet körs som.
• Om körningen utlöstes av ett jobbschema eller en API-begäran eller startades manuellt.
• Tiden som förflutit för ett jobb som körs eller den totala körningstiden för en slutförd körning. En varning visas om varaktigheten överskrider en konfigurerad förväntad slutförandetid.
• Status för körningen, antingen Queued, Pending, Running, Skipped, Succeeded, Failed, Terminating, Terminated, , Internal Error, Timed Out, , Canceled, Cancelingeller Waiting for Retry.
• Alla parametrar för körningen.
• Klicka för att komma åt kontextspecifika åtgärder för körningen, till exempel stoppa en aktiv körning eller ta bort en slutförd körning.

Om du vill ändra kolumnerna som visas i körningslistan klickar du på och väljer eller avmarkerar kolumner.

Tabellen De 5 vanligaste feltyperna visar en lista över de vanligaste feltyperna från det valda tidsintervallet, så att du snabbt kan se de vanligaste orsakerna till jobbproblem på din arbetsyta.

Om du vill visa information om jobbkörning klickar du på länken i kolumnen Starttid för körningen. Om du vill visa jobbinformation klickar du på jobbnamnet i kolumnen Jobb .

Visa ursprungsinformation för ett jobb

Om Unity Catalog är aktiverat på din arbetsyta kan du visa ursprungsinformation för alla Unity Catalog-tabeller i arbetsflödet. Om ursprungsinformation är tillgänglig för arbetsflödet visas en länk med antalet uppströms- och nedströmstabeller i panelen Jobbinformation för jobbet, panelen Jobbkörningsinformation för en jobbkörning eller panelen Aktivitetskörningsinformation för en aktivitetskörning. Klicka på länken för att visa listan över tabeller. Klicka på en tabell om du vill se detaljerad information i Katalogutforskaren.

Visa och köra ett jobb som skapats med ett Databricks-tillgångspaket

Du kan använda användargränssnittet för Azure Databricks-jobb för att visa och köra jobb som distribuerats av ett Databricks-tillgångspaket. Som standard är de här jobben skrivskyddade i användargränssnittet för jobb. Om du vill redigera ett jobb som distribueras av ett paket ändrar du paketkonfigurationsfilen och distribuerar om jobbet. Genom att endast tillämpa ändringar på paketkonfigurationen ser du till att paketkällfilerna alltid avbildar den aktuella jobbkonfigurationen.

Men om du måste göra omedelbara ändringar i ett jobb kan du koppla från jobbet från paketkonfigurationen för att aktivera redigering av jobbinställningarna i användargränssnittet. Om du vill koppla från jobbet klickar du på Koppla från källan. I dialogrutan Koppla från källa klickar du på Koppla från för att bekräfta.

Ändringar som du gör i jobbet i användargränssnittet tillämpas inte på paketkonfigurationen. Om du vill tillämpa ändringar som du gör i användargränssnittet på paketet måste du uppdatera paketkonfigurationen manuellt. Om du vill återansluta jobbet till paketkonfigurationen distribuerar du jobbet igen med hjälp av paketet.

Exportera resultat för jobbkörning

Du kan exportera resultat för notebook-körning och jobbkörningsloggar för alla jobbtyper.

Exportera resultat från notebook-körning

Du kan spara jobbkörningar genom att exportera deras resultat. För notebook-jobbkörningar kan du exportera en renderad notebook-fil som senare kan importeras till din Azure Databricks-arbetsyta.

Så här exporterar du resultat från notebook-körning för ett jobb med en enda uppgift:

1. På sidan jobbinformation klickar du på länken Visa information för körningen i kolumnen Kör i tabellen Slutförda körningar (senaste 60 dagarna).
2. Klicka på Exportera till HTML.

Så här exporterar du resultat från notebook-körning för ett jobb med flera uppgifter:

1. På sidan jobbinformation klickar du på länken Visa information för körningen i kolumnen Kör i tabellen Slutförda körningar (senaste 60 dagarna).
2. Klicka på den notebook-uppgift som ska exporteras.
3. Klicka på Exportera till HTML.

Exportera jobbkörningsloggar

Du kan också exportera loggarna för jobbkörningen. Du kan konfigurera jobbet för att automatiskt leverera loggar till DBFS via jobb-API:et. Se objektet new_cluster.cluster_log_conf i begärandetexten som skickades till åtgärden Skapa ett nytt jobb (POST /jobs/create) i JOBB-API:et.