Pijplijnen bewaken

Controleer Lakeflow-pijplijnen met behulp van de ingebouwde pijplijninterface, het eventlogboek, de querygeschiedenis en aangepaste eventhooks. Deze functies volgen de updatevoortgang, gegevenskwaliteit, dataherkomst en streamingstatistieken.

Pipelinemonitoring werkt in drie lagen, van een snelle blik tot diepgaande programmatische queries:

• De Jobs & Pipelines list is de snelste manier om dit te controleren. Het toont het resultaat van de laatste vijf runs als statusindicatoren naast elke pijplijn, zodat je in één oogopslag kunt zien of recente runs zijn geslaagd, mislukt of nog steeds draaien.
• De gebruikersinterface voor pipelinebewaking toont de pipelinegrafiek, ingekleurd op basis van de status, de aantallen rijen per tabel en datakwaliteitsmetingen, de updategeschiedenis en metingen van de streamingachterstand voor de geselecteerde update. Zie Monitor-pijplijnen in de UI.
• Het gebeurtenislogboek is de basiswaarheid onder beide. Het is een gestructureerde Delta-tabel die je opzoekt voor alles wat programmatisch of historisch is, zoals update-uitkomsten, trends in datakwaliteit en resourcegebruik. Zie het gebeurtenislogboek van de pijplijn.

Om te waarschuwen bij pipeline-gebeurtenissen, configureer je meldingen. Stel meldingen direct in op een pijplijn wanneer deze op een eigen schema draait, of als taakmeldingen wanneer de pijplijn binnen een Lakeflow-taak draait. Zie E-mailmeldingen toevoegen voor pijplijn gebeurtenissen.

Onderwerp	Description
Bewaken met behulp van de gebruikersinterface	Bekijk de voortgang en status van pijplijnupdates en ontvang een waarschuwing over het slagen of mislukken. Bekijk metrische gegevens voor streamingbronnen, zoals Apache Kafka en Auto Loader.
gebeurtenislogboek	Extraheer gedetailleerde informatie over pijplijnupdates, zoals gegevensherkomst, metrische gegevens over gegevenskwaliteit en resourcegebruik met behulp van het gebeurtenislogboek van de pijplijn. Zie ook het schema voor het gebeurtenislogboek.
Querygeschiedenis	Inspecteer en diagnose van queryprestaties door de querygeschiedenis te bekijken.
Aangepaste monitoring	Definieer aangepaste acties die moeten worden uitgevoerd wanneer specifieke gebeurtenissen plaatsvinden met behulp van gebeurtenishook.

Daarnaast zijn er onderwerpen voor het oplossen van problemen voor specifieke scenario's.

Onderwerp	Description
Een pijplijn herstellen na een streamingcontrolepuntfout	Herstel een pijplijn met een ongeldig of beschadigd controlepunt voor streaming.
Verhelp hoge initialisatietijden in pipelines	Verkort hoge initialisatietijden voor een pijplijn door stromen te splitsen en te verdelen over meerdere pijpleidingen.