Övervaka pipelines

Övervaka Lakeflow-pipelines med hjälp av det inbyggda pipelinegränssnittet, händelseloggen, frågehistoriken och anpassade händelsekrokar. Dessa funktioner följer uppdateringsstatus, datakvalitet, dataursprung och strömningsmått.

Pipeline-övervakning fungerar i tre lager, från en snabb blick till djupa programmatiska frågor:

• Listan Jobs & Pipelines är det snabbaste sättet att kontrollera. Den visar resultaten från de senaste fem körningarna som statusindikatorer bredvid varje pipeline, så att du med en blick kan se om de senaste körningarna lyckades, misslyckades eller fortfarande körs.
• Pipeline-övervakningsgränssnittet visar pipeline-grafen färgkodad efter status, radantal per tabell och datakvalitetsmått, uppdateringshistorik och streaming-backloggmetrik för den valda uppdateringen. Se Övervaka datapipelines i användargränssnittet.
• Händelseloggen är den grundläggande sanningen under båda. Det är en strukturerad Delta-tabell där du söker efter allt programmatiskt eller historiskt, såsom uppdateringsresultat, trender i datakvalitet och resursanvändning. Se Händelselogg för pipeline.

För att larma vid pipeline-händelser, konfigurera notiser. Ställ in notiser direkt på en pipeline när den körs enligt sitt eget schema, eller som jobbnotiser när pipelinen körs i ett Lakeflow-jobb. Se Lägga till e-postaviseringar för pipelinehändelser.

Ämne	Description
Övervaka med hjälp av användargränssnittet	Observera förloppet och statusen för pipelineuppdateringar, och varna vid framgång eller misslyckande. Visa mått för strömmande källor, till exempel Apache Kafka och Auto Loader.
händelselogg	Extrahera detaljerad information om pipelineuppdateringar som data härkomst, datakvalitetsmått och resursanvändning med hjälp av pipelinehändelseloggen. Dessutom kan du läsa schemat för händelseloggen.
Frågehistorik	Granska och diagnostisera frågeprestanda genom att titta på frågehistoriken.
Anpassad övervakning	Definiera anpassade åtgärder som ska utföras när specifika händelser inträffar med hjälp av händelsekrokar.

Dessutom finns det felsökningsavsnitt för specifika scenarier.

Ämne	Description
Återställa en pipeline från fel vid strömningskontrollpunkt	Återställ en pipeline som har en ogiltig eller skadad kontrollpunkt för streaming.
Åtgärda höga initieringstider i pipelines	Åtgärda långa initialiseringstider för en pipeline genom att dela upp flöden och jämna ut belastningen mellan pipelines.