Dela via

Övervaka pipelines i användargränssnittet

Det här avsnittet beskriver hur du använder inbyggda funktioner för övervakning och observerbarhet för Lakeflow Spark Deklarativa pipelines i Azure Databricks-användargränssnittet. Dessa funktioner stöder uppgifter som:

Lägga till e-postaviseringar för pipelinehändelser

Du kan konfigurera en eller flera e-postadresser för att ta emot meddelanden när följande inträffar:

  • Pipelineuppdateringen har slutförts framgångsrikt.
  • En pipelineuppdatering misslyckas, antingen med ett återförsöksbart fel eller ett fel som inte kan åtgärdas med ett nytt försök. Välj det här alternativet om du vill få ett meddelande om alla pipelinefel.
  • En pipelineuppdatering misslyckas med ett fel som inte går att försöka igen (allvarligt). Välj det här alternativet om du bara vill få ett meddelande när ett fel som inte kan försökas igen inträffar.
  • Ett enskilt dataflöde misslyckas.

Om du vill konfigurera e-postaviseringar redigerar du inställningarna för en pipeline. Se Meddelanden.

Anmärkning

Skapa anpassade svar på händelser, inklusive meddelanden eller anpassad hantering, med hjälp av Python-händelsekrokar.

Visa pipelines i användargränssnittet

Hitta din pipeline från ikonen Arbetsflöden.Alternativet Jobb och pipelines i sidofältet för arbetsytan. Då öppnas sidan Jobb och pipelines där du kan se information om varje jobb och pipeline som du har åtkomst till. Klicka på namnet på en pipeline för att öppna övervakningssidan för pipelinen. Om du vill redigera jobbet eller pipelinen klickar du på menyikonen Kebab. Välj sedan Redigera.

Anmärkning

Uppgifter och olika pipelinetyper har olika redigerare. Alternativet Redigera öppnar rätt redigerare för det objekt du väljer.

Använda listan Jobb och pipelines

Om du vill visa listan över pipelines som du har åtkomst till klickar du på ikonen Arbetsflöden.Jobb och pipelines i sidofältet. Fliken Jobb och pipelines innehåller information om alla tillgängliga jobb och pipelines, till exempel skaparen, utlösaren (om sådan finns) och resultatet av de senaste fem körningarna.

Om du klickar på namnet på en pipeline eller ett jobb kommer du till övervakningssidan för pipelinen eller jobbet. Om du vill redigera pipelinen eller jobbet klickar du på menyikonen Kebab. Välj sedan Redigera.

Om du vill ändra kolumnerna som visas i listan klickar du på ikonen Kolumninställningar och väljer eller avmarkerar kolumner. Om du till exempel vill lägga till Pipeline Type som en kolumn väljer du den kolumn som ska visas.

Du kan filtrera jobb i listan Jobb och pipelines som visas i skärmdumpen nedan.

Listvy över rörledningar med förklaringar.

  1. Textsökning: nyckelordssökning stöds för fälten Namn och ID . Om du vill söka efter en tagg som skapats med en nyckel och ett värde kan du söka efter nyckeln, värdet eller både nyckeln och värdet. Om du till exempel vill ha en tagg med nyckeln department och värdet financekan du söka department efter eller finance hitta matchande jobb. Om du vill söka efter nyckeln och värdet anger du nyckeln och värdet avgränsat med ett kolon (till exempel department:finance).
  2. Typ: filtrera efter jobb, pipelines eller Alla. Om du väljer Pipelines kan du också filtrera efter pipelinetyp, som innehåller ETL- och inmatningspipelines.
  3. Ägare: visa bara de jobb du äger.
  4. Favoriter: visa jobb som du har markerat som favoriter.
  5. Taggar: Använd taggar. Om du vill söka efter tagg kan du använda den nedrullningsbara menyn taggar för att filtrera efter upp till fem taggar samtidigt eller använda nyckelordssökningen direkt.
  6. Kör som: Filtrera med upp till två run as värden.

Om du vill starta ett jobb eller en pipeline klickar du på uppspelningsknappen Spela upp ikon . Om du vill stoppa ett jobb eller en pipeline klickar du på stoppknappen Stoppa ikon . Om du vill komma åt andra åtgärder klickar du på menyikonen för kebabmenyn. Du kan till exempel redigera eller ta bort jobbet eller pipelinen, eller komma åt inställningar för en pipeline från den menyn.

Pipelineinformation tillgänglig på övervakningssidan

Anmärkning

Det finns flera förhandsversioner som kan påverka vad du ser när du övervakar pipelines i användargränssnittet.

När du klickar på namnet på en pipeline på sidan Jobb och Pipelines visas övervakningssidan för den pipelinen. Härifrån kan du starta en pipelinekörning och visa tidigare körningsinformation.

Pipelinediagrammet (kallas även DAG) visas så snart en uppdatering av en pipeline har startats. Pilar representerar beroenden mellan datauppsättningar i pipelinen. Som standardinställning visar pipelineövervakningssidan den senaste uppdateringen för tabellen, men du kan välja äldre uppdateringar från en rullgardinsmeny.

Information omfattar pipeline-ID, källkod, beräkningskostnad, produktutgåva och kanalen som konfigurerats för pipelinen.

Om du vill se en tabellvy över datauppsättningar klickar du på fliken Lista . Med listvyn kan du se alla datauppsättningar i pipelinen som representeras som en rad i en tabell och är användbart när pipelinediagrammet är för stort för att visualisera i grafvyn . Du kan styra de datauppsättningar som visas i tabellen med hjälp av flera filter, till exempel datauppsättningens namn, typ och status. Om du vill växla tillbaka till DAG-visualiseringen klickar du på Graph.

Kör som-användaren är pipelineägaren och pipelineuppdateringar körs med den här användarens behörigheter. För att ändra informationen för run as användaren klickar du på Behörigheter och byter ut pipelineägaren.

Vilka ändringar finns i Lakeflow Pipelines-redigeraren?

Om du har valt förhandsversionen av Lakeflow Pipelines Editor och det nya gränssnittet för pipelineövervakning finns viss information på olika platser i användargränssnittet. Information om Lakeflow Pipelines-redigeraren och om att välja båda förhandsversionerna finns i Aktivera Lakeflow Pipelines-redigeraren och uppdaterad övervakning.

Viktigt!

Den här funktionen finns som allmänt tillgänglig förhandsversion.

Följande ändringar av övervakning med pipelineövervakningssidan visas när du väljer båda förhandsversionerna:

  • Flikarna Pipelineinformation och Uppdateringsinformation i den högra panelen har sammanfogats med pipelineinformation överst, följt av uppdateringsinformation.

  • Om du klickar på en tabell i diagrammet visas inte tabellinformationen i den högra panelen. Den högra panelen fortsätter att visa information om pipelinen och uppdateringen. I stället visar den nedre panelen tabellinformation.

  • Regler för att köra en pipeline i utvecklingsläge uppdateras något. Information om utvecklingsläge finns i Utvecklingsläge.

    • Om du kör en pipeline via ett schema eller en utlösare följer du pipelineinställningen för om du vill använda utvecklingsläge. Du kan ändra standardvärdet för en pipeline i Pipeline-inställningar.
    • När du kör en pipeline via övervakningsgränssnittet används det läge som definierats i pipelineinställningarna. Du kan välja om du vill använda utvecklingsläge med hjälp av alternativet Kör med olika inställningar i listrutan.
    • Om du kör en pipeline från pipelineredigeraren är utvecklingsläget som standard. Du kan välja att inte använda utvecklingsläge med hjälp av alternativet Kör med olika inställningar i listrutan.

  • Det finns inte längre någon länk till källkoden i pipelineinformationen. Välj i stället Redigera pipeline överst. Om du vill hoppa till koden för en specifik tabell hovra över tabellen i DAG och klicka på ikonen Filkod.Gå till kodknappen .

  • Händelseloggen visas inte längre som standard för varje uppdatering från pipelineövervakningssidan. När det uppstår ett fel under bearbetningen visas felen i den nedre panelen och knappen Visa loggar visas för att visa händelseloggen för den körningen. Händelseloggen är också tillgänglig genom att välja ikonen Läsarläge.Visa händelseloggen från körningsinformationen i den högra panelen.

    Om du vill komma åt händelseloggen när du kör en uppdatering i den nya Lakeflow Pipelines-redigeraren går du till panelen Problem och insikter längst ned i redigeraren, klickar på Visa loggar eller knappen Öppna i loggar bredvid eventuella fel. Mer information finns i Lakeflow Pipelines Editor och Pipeline-inställningen för händelseloggen.

  • Tabellschemainformation är tillgänglig genom att välja tabellen på fliken Tabeller i den nedre panelen och sedan välja Kolumner.

  • Frågehistorik är tillgängligt genom att välja Prestanda i den nedre panelen.

  • Tabellkommentarer är inte tillgängliga från sidan med information om pipeline. Om du vill se tabellkommentar visar du tabellen från Katalogutforskaren. Om du vill hoppa direkt till tabellen i Katalogutforskaren hovra musen över tabellen i DAG och klicka sedan på menyikonen Kebab., och sedan på dataikonen.Visa i katalogen. Du kan också komma åt informationen i Katalogutforskaren från listan över tabeller i den nedre panelen genom att klicka på ikonen Data.

Vilka ändringar finns i förhandsversionen av Unified Runs-listan?

Om förhandsversionen av Enhetlig körningslista är aktiverad kan du se uppdateringar av pipelinekörningar på sidan Jobb och Pipelines.

Viktigt!

Den enhetliga körningslistan finns i offentlig förhandsversion.

Om du vill aktivera Listan över enhetliga körningar måste en arbetsyteadministratör aktivera förhandsversionen. Mer information om hur du väljer en förhandsversion finns i Hantera förhandsversioner på kontonivå.

Om du vill komma åt listan med enhetliga körningar väljer du checklista ikonen. Körningar från arbetsytans sidofält, eller klicka på arbetsflödesikonen.Jobb och pipelines och välj sedan fliken Körningar.

Fliken visar en lista över de senaste körningarna under de senaste 60 dagarna. Ett diagram som visar lyckade och misslyckade körningar under de senaste 48 timmarna visas först, i följande fall:

  • Du filtreras bara till Jobb eller Pipelines.
  • Du är administratör eller filtrerar till endast körningar Run as: Me
  • Det kan ta upp till en timme innan körningar visas i diagrammet.

Du kan filtrera listan och diagrammet efter:

  • Namnet på jobbet eller pipelinen.
  • Alla, Jobb eller Pipelines.
  • Pipelinetyp (ETL, inmatning, MV/ST eller databastabellsynkronisering).
  • Kör som användare.
  • Körningens starttid (inom de senaste 48 timmarna).
  • Körningsstatus.
  • Felkoden för misslyckade körningar.

Förutom ovanstående kan du visa följande kolumner i listan:

  • Sluttid
  • Verifikations-ID
  • Om det kördes manuellt eller enligt ett schema.
  • Kör Varaktighet.
  • Kör parametrar.

Om du vill ändra kolumnerna som visas i listan med körningar klickar du på ikonen Kolumner och väljer eller avmarkerar kolumner.

När du klickar på Starttid, Sluttid eller Namn på en pipelinekörning kommer du till övervakningssidan för pipelinen.

När en pipeline körs aktivt kan du stoppa körningen genom att klicka på stoppikonen. När som helst kan du också klicka på Kebabmenyikonen menyknapp på raden för körningen och välja Redigera pipeline för att visa pipelinen i redigeraren.

Hur kan du visa detaljer i en datamängd?

Om du klickar på en datauppsättning i pipelinediagrammet eller datamängdslistan visas information om datamängden. Information omfattar datamängdsschemat, datakvalitetsmått och en länk till källkoden som definierar datamängden.

Visa uppdateringshistorik

Om du vill visa historik och status för pipelineuppdateringar klickar du på den nedrullningsbara menyn uppdateringshistorik i det övre fältet.

Välj uppdateringen i den nedrullningsbara menyn för att visa grafen, informationen och händelserna för en uppdatering. Om du vill återgå till den senaste uppdateringen klickar du på Visa den senaste uppdateringen.

Visa strömningsstatistik

Viktigt!

Strömningsobservabilitet för pipelines finns i offentlig förhandsversion.

Du kan visa strömmande mått från de datakällor som stöds av Spark Structured Streaming, till exempel Apache Kafka, Amazon Kinesis, Auto Loader och Delta-tabeller, för varje direktuppspelningsflöde i din pipeline. Mätenheterna visas som diagram i pipelinegränssnittets högra panel och inkluderar eftersläntrande sekunder, eftersläntrande byte, eftersläntrande poster och eftersläntrande filer. Diagrammen visar de maximala värdena aggregerade per minut och ett verktygstips visar maximala värden när du för muspekaren över diagrammet. Data är begränsade till de senaste 48 timmarna från den aktuella tiden.

Tabeller i din pipeline med tillgängliga mått för direktuppspelning visar LDP-diagramikonen när du visar pipelinen DAG i UI grafvyn. Om du vill visa strömningsmåtten klickar du på LDP-diagramikonen för att visa det strömmande måttdiagrammet på fliken Flöden i den högra rutan. Du kan också använda ett filter för att endast visa tabeller med strömmande mått genom att klicka på List och sedan klicka på Har strömningsmått.

Varje strömmande källa stöder endast specifika mått. Mått som inte stöds av en strömmande källa är inte tillgängliga för visning i användargränssnittet. I följande tabell visas de mått som är tillgängliga för strömmande källor som stöds:

källa kvarvarande byte posterna i kvarvarande uppgifter kösekunder kvarvarande filer
Kafka ✓ ✓
Kinesis ✓ ✓
Delta ✓ ✓
Automatisk Laddare ✓ ✓
Google Pub/Sub ✓ ✓
  • Last updated on