Monitorar pipelines

Esta seção descreve as funcionalidades de monitoramento e observabilidade para Pipelines Declarativos do Lakeflow Spark.

Tópico	Description
Monitorar usando a interface do usuário	Observe o progresso e o status das atualizações de pipeline e alerte em caso de sucesso ou falha. Exibir métricas para fontes de streaming, como Apache Kafka e Carregador Automático.
Log de eventos	Extraia informações detalhadas sobre atualizações de pipeline, como linhagem de dados, métricas de qualidade de dados e uso de recursos usando o log de eventos do pipeline. Além disso, consulte o esquema do log de eventos.
Histórico de consultas	Inspecione e diagnostice o desempenho da consulta examinando o histórico de consultas.
Monitoramento personalizado	Defina ações personalizadas a serem executadas quando eventos específicos ocorrerem usando ganchos de evento.

Além disso, há tópicos de solução de problemas para cenários específicos.

Tópico	Description
Recuperar um pipeline após falha no ponto de verificação de streaming	Recuperar um pipeline que tenha um ponto de verificação de streaming inválido ou corrompido.
Corrigindo tempos de inicialização altos em pipelines	Corrija tempos de inicialização altos para um pipeline dividindo e balanceando carga de fluxos entre pipelines.