Surveiller les pipelines

Surveillez les pipelines Lakeflow à l’aide de l’interface utilisateur de pipeline intégrée, du journal des événements, de l’historique des requêtes et des hooks d’événements personnalisés. Ces fonctionnalités suivent la progression des mises à jour, la qualité des données, la traçabilité et les métriques de diffusion en continu.

La surveillance de pipeline fonctionne en trois couches, allant d’un rapide coup d’œil à des requêtes programmatiques approfondies :

• La liste Jobs & Pipelines est la vérification la plus rapide. Il affiche le résultat des cinq dernières sorties sous forme d’indicateurs d’état à côté de chaque pipeline, vous permettant ainsi de voir d’un coup d’esprit si les dernières tentatives ont réussi, échoué ou sont toujours en cours.
• L’interface de surveillance du pipeline affiche le graphique du pipeline codé par couleur selon l’état, le nombre de lignes par tableau, les métriques de qualité des données, l’historique des mises à jour et les indicateurs de backlog de streaming pour la mise à jour sélectionnée. Voir Surveiller les pipelines dans l’interface utilisateur.
• Le journal des événements est la source de vérité sous-jacente aux deux. C’est une table Delta structurée que vous interrogez pour tout ce qui est programmatique ou historique, comme les résultats de mise à jour, les tendances de la qualité des données et l’utilisation des ressources. Consultez le journal des événements pipeline.

Pour alerter lors des événements du pipeline, configurez les notifications. Configurez les notifications directement sur un pipeline lorsqu’il s’exécute selon son propre planning, ou comme notifications de tâches lorsque le pipeline s’exécute dans un Lakeflow Job. Consultez Ajouter des notifications par e-mail pour les événements de pipeline.

Sujet	Descriptif
Surveiller à l’aide de l’interface utilisateur	Observez la progression et l’état des mises à jour du pipeline et alertez sur la réussite ou l’échec. Affichez les métriques pour les sources de diffusion en continu, telles qu’Apache Kafka et le chargeur automatique.
Journal des événements	Extrayez des informations détaillées sur les mises à jour de pipeline, telles que la traçabilité des données, les métriques de qualité des données et l’utilisation des ressources à l’aide du journal des événements du pipeline. En outre, consultez le schéma du journal des événements.
Historique des requêtes	Inspectez et diagnostiquez les performances des requêtes en examinant l’historique des requêtes.
Supervision personnalisée	Définissez des actions personnalisées à activer lorsque des événements spécifiques se produisent à l’aide de hooks d’événements.

En outre, il existe des rubriques de résolution des problèmes pour des scénarios spécifiques.

Sujet	Descriptif
Récupérer un pipeline à partir d’un échec de point de contrôle de streaming	Récupérez un pipeline dont le point de contrôle de flux est invalide ou corrompu.
Corriger les temps d’initialisation élevés dans les pipelines	Corrigez les temps d’initialisation élevés d’un pipeline en fractionnant les flux et en répartissant la charge entre plusieurs pipelines.