Monitorar pipelines

Monitore os pipelines usando a interface do usuário integrada do pipeline, o log de eventos, o histórico de consultas e os ganchos de eventos personalizados. Esses recursos acompanham o progresso da atualização, a qualidade dos dados, a linhagem e as métricas de streaming.

O monitoramento de pipeline funciona em três camadas, desde um olhar rápido até consultas programáticas profundas:

• A lista de Tarefas e Pipelines é a checagem mais rápida. Ele mostra o resultado das últimas cinco execuções como indicadores de status ao lado de cada pipeline, para que você possa saber de relance se as execuções recentes foram bem-sucedidas, falharam ou ainda estão em execução.
• A interface de monitoramento do pipeline mostra o gráfico do pipeline codificado por cores de acordo com o status, o número de linhas por tabela e as métricas de qualidade dos dados, o histórico de atualizações e as métricas de acúmulo do streaming para a atualização selecionada. Consulte Monitorar pipelines na interface de usuário.
• O registro de eventos é a verdade fundamental por trás de ambos. É uma tabela Delta estruturada que você consulta para qualquer coisa programática ou histórica, como resultados de atualização, tendências de qualidade de dados e uso de recursos. Consulte o log de eventos do Pipeline.
• A pipeline_events tabela do sistema (Beta) agrega eventos em todos os pipelines em todos os workspaces de uma região, para que você possa acompanhar a saúde e tendências da frota com SQL. Veja Monitorar e consultar eventos.

Para alertar sobre eventos do pipeline, configure notificações. Defina notificações diretamente em um pipeline quando ele for executado em sua própria programação, ou como notificações de trabalho quando o pipeline for executado dentro de um Trabalho do Lakeflow. Confira Adicionar notificações por email nos eventos do pipeline.

Tópico	Description
Monitorar usando a interface do usuário	Observe o progresso e o status das atualizações de pipeline e alerte em caso de sucesso ou falha. Exibir métricas para fontes de streaming, como Apache Kafka e Carregador Automático.
Monitorar e consultar eventos (Beta)	Acompanhe a integridade de todos os pipelines em todos os workspaces de uma região com a tabela do sistema de eventos de pipeline.
Log de eventos	Extraia informações detalhadas sobre atualizações de pipeline, como linhagem de dados, métricas de qualidade de dados e uso de recursos usando o log de eventos do pipeline. Além disso, consulte o esquema do log de eventos.
Histórico de consultas	Inspecione e diagnostice o desempenho da consulta examinando o histórico de consultas.
Monitoramento personalizado	Defina ações personalizadas a serem executadas quando eventos específicos ocorrerem usando ganchos de evento.

Além disso, há tópicos de solução de problemas para cenários específicos.

Tópico	Description
Recuperar um pipeline após falha de ponto de verificação de streaming	Recupere um pipeline que tenha um ponto de verificação de streaming inválido ou corrompido.
Corrigir tempos de inicialização altos em pipelines	Corrija tempos de inicialização altos para um pipeline dividindo e balanceando a carga de fluxos entre pipelines.