Überwachen von Pipelines

In diesem Abschnitt werden Überwachungs- und Observability-Features von Lakeflow Spark Declarative Pipelines beschrieben.

Thema	Description
Überwachen mithilfe der Benutzeroberfläche	Beobachten Sie den Fortschritt und den Status von Pipelineupdates, und benachrichtigen Sie über den Erfolg oder Fehler. Zeigen Sie Metriken für Streamingquellen an, z. B. Apache Kafka und Auto Loader.
Ereignisprotokoll	Extrahieren Sie detaillierte Informationen zu Pipelineupdates wie Datenleitungen, Datenqualitätsmetriken und Ressourcennutzung mithilfe des Pipelineereignisprotokolls. Weitere Informationen finden Sie im Schema für das Ereignisprotokoll.
Abfrageverlauf	Überprüfen und diagnostizieren Sie die Abfrageleistung, indem Sie sich den Abfrageverlauf ansehen.
Benutzerdefinierte Überwachung	Definieren Sie benutzerdefinierte Aktionen, die ausgeführt werden sollen, wenn bestimmte Ereignisse mithilfe von Ereignishaken auftreten.

Darüber hinaus gibt es Themen zur Problembehandlung für bestimmte Szenarien.

Thema	Description
Wiederherstellen einer Pipeline aus Streamingprüfpunktfehlern	Wiederherstellen einer Pipeline mit einem ungültigen oder beschädigten Streaming-Checkpoint.
Beheben von hohen Initialisierungszeiten in Pipelines	Beheben Sie hohe Initialisierungszeiten für eine Pipeline, indem Sie die Lastverteilung zwischen mehreren Pipelines aufteilen.