Monitorar pipelines

Monitore os pipelines do Lakeflow usando a interface do usuário interna do pipeline, o log de eventos, o histórico de consultas e os ganchos de eventos personalizados. Esses recursos acompanham o progresso da atualização, a qualidade dos dados, a linhagem e as métricas de streaming.

O monitoramento de pipeline funciona em três camadas, desde um olhar rápido até consultas programáticas profundas:

• A lista de Tarefas e Pipelines é a checagem mais rápida. Ele mostra o resultado das últimas cinco execuções como indicadores de status ao lado de cada pipeline, para que você possa saber de relance se as execuções recentes foram bem-sucedidas, falharam ou ainda estão em execução.
• A interface de monitoramento do pipeline mostra o gráfico do pipeline codificado por cores de acordo com o status, o número de linhas por tabela e as métricas de qualidade dos dados, o histórico de atualizações e as métricas de acúmulo do streaming para a atualização selecionada. Veja Monitorar pipelines na interface.
• O registro de eventos é a verdade fundamental por trás de ambos. É uma tabela Delta estruturada que você consulta para qualquer coisa programática ou histórica, como resultados de atualização, tendências de qualidade de dados e uso de recursos. Consulte o log de eventos do Pipeline.

Para alertar sobre eventos do pipeline, configure notificações. Defina notificações diretamente em um pipeline quando ele roda em sua própria programação, ou como notificações de trabalho quando o pipeline roda dentro de um Lakeflow Job. Confira Adicionar notificações por email nos eventos do pipeline.

Tópico	Description
Monitorar usando a interface do usuário	Observe o progresso e o status das atualizações de pipeline e alerte em caso de sucesso ou falha. Exibir métricas para fontes de streaming, como Apache Kafka e Carregador Automático.
Log de eventos	Extraia informações detalhadas sobre atualizações de pipeline, como linhagem de dados, métricas de qualidade de dados e uso de recursos usando o log de eventos do pipeline. Além disso, consulte o esquema do log de eventos.
Histórico de consultas	Inspecione e diagnostice o desempenho da consulta examinando o histórico de consultas.
Monitoramento personalizado	Defina ações personalizadas a serem executadas quando eventos específicos ocorrerem usando ganchos de evento.

Além disso, há tópicos de solução de problemas para cenários específicos.

Tópico	Description
Recuperar um pipeline após falha de ponto de verificação de streaming	Recupere um pipeline que tenha um ponto de verificação de streaming inválido ou corrompido.
Corrigir tempos de inicialização altos em pipelines	Corrija tempos de inicialização altos para um pipeline dividindo e balanceando a carga de fluxos entre pipelines.