Überwachen von Pipelines

Überwachen Sie Lakeflow-Pipelines mithilfe der integrierten Pipeline-UI, des Ereignisprotokolls, des Abfrageverlaufs und benutzerdefinierter Ereignishaken. Diese Features verfolgen den Updatestatus, die Datenqualität, die Linien- und Streamingmetriken.

Pipeline-Überwachung funktioniert in drei Schichten, von einem schnellen Blick bis hin zu tiefgründigen programmatischen Abfragen:

• Die Liste von Jobs & Pipelines ist die schnellste Kontrolle. Es zeigt das Ergebnis der letzten fünf Durchläufe als Statusindikatoren neben jeder Pipeline an, sodass man auf einen Blick erkennen kann, ob die letzten Durchläufe erfolgreich waren, fehlgeschlagen sind oder noch laufen.
• Die Pipeline-Überwachungsoberfläche zeigt den Pipeline-Graphen farblich codiert nach Status, Zeilenzahlen pro Tabelle und Datenqualitätsmetriken, Aktualisierungshistorie und Streaming-Backlog-Metriken für das ausgewählte Update. Siehe Überwachen von Pipelines in der Benutzeroberfläche.
• Das Ereignisprotokoll ist die grundlegende Wahrheit unter beiden. Es handelt sich um eine strukturierte Delta-Tabelle, bei der man alles programmatische oder historische abfragt, wie Update-Ergebnisse, Datenqualitätstrends und Ressourcenverbrauch. Siehe Pipelineereignisprotokoll.

Um bei Pipeline-Ereignissen zu warnen, konfigurieren Sie Benachrichtigungen. Konfigurieren Sie Benachrichtigungen direkt für eine Pipeline, wenn sie nach ihrem eigenen Zeitplan ausgeführt wird, oder als Job-Benachrichtigungen, wenn die Pipeline innerhalb eines Lakeflow-Jobs ausgeführt wird. Siehe Hinzufügen von E-Mail-Benachrichtigungen für Pipelineereignisse.

Thema	Description
Überwachen mithilfe der Benutzeroberfläche	Beobachten Sie den Fortschritt und den Status von Pipelineupdates, und benachrichtigen Sie über den Erfolg oder Fehler. Zeigen Sie Metriken für Streamingquellen an, z. B. Apache Kafka und Auto Loader.
Ereignisprotokoll	Extrahieren Sie detaillierte Informationen zu Pipelineupdates wie Datenleitungen, Datenqualitätsmetriken und Ressourcennutzung mithilfe des Pipelineereignisprotokolls. Weitere Informationen finden Sie im Schema für das Ereignisprotokoll.
Abfrageverlauf	Überprüfen und diagnostizieren Sie die Abfrageleistung, indem Sie sich den Abfrageverlauf ansehen.
Benutzerdefinierte Überwachung	Definieren Sie benutzerdefinierte Aktionen, die ausgeführt werden sollen, wenn bestimmte Ereignisse mithilfe von Ereignishaken auftreten.

Darüber hinaus gibt es Themen zur Problembehandlung für bestimmte Szenarien.

Thema	Description
Wiederherstellen einer Pipeline bei Streamingprüfpunktfehlern	Wiederherstellen einer Pipeline mit einem ungültigen oder beschädigten Streaming-Checkpoint.
Beheben von hohen Initialisierungszeiten in Pipelines	Beheben Sie hohe Initialisierungszeiten für eine Pipeline, indem Sie die Lastverteilung zwischen mehreren Pipelines aufteilen.