Monitorar pipelines na interface do usuário

Esta seção descreve o uso de recursos internos de monitoramento e observabilidade para Lakeflow Spark Declarative Pipelines na interface do usuário do Azure Databricks. Esses recursos suportam tarefas como:

• Supervisão do progresso e do estado das atualizações do pipeline. Consulte Detalhes do pipeline disponíveis na página de monitoramento.
• Alertar sobre eventos de pipeline, como o sucesso ou insucesso de atualizações do pipeline. Ver Adicionar notificações por e-mail para eventos de pipeline.
• Visualização de métricas para fontes de streaming como Apache Kafka e Auto Loader (Public Preview). Consulte Ver métricas de streaming.

Adicionar notificações por e-mail para eventos de pipeline

Você pode configurar um ou mais endereços de e-mail para receber notificações quando ocorrer o seguinte:

• O processo de atualização do pipeline é concluído com êxito.
• Uma atualização do pipeline falha, seja com um erro que pode ser repetido ou irrecuperável. Selecione esta opção para receber uma notificação para todas as falhas de pipeline.
• Uma atualização de pipeline falha com um erro não recorrível (fatal). Selecione esta opção para receber uma notificação somente quando ocorrer um erro não recorrível.
• Um único fluxo de dados falha.

Para configurar notificações por e-mail, edite as configurações de um pipeline. Consulte Notificações.

Observação

Crie respostas personalizadas para eventos, incluindo notificações ou manipulação personalizada , usando ganchos de eventos do Python.

Exibindo pipelines na interface do utilizador

Encontre seu pipeline no Opção Jobs & Pipelines na barra lateral do espaço de trabalho. Isso abre a página Jobs & pipelines , onde você pode exibir informações sobre cada trabalho e pipeline ao qual você tem acesso. Clique no nome de um pipeline para abrir a página de monitorização do pipeline. Para editar o trabalho ou pipeline, clique no e escolha Editar.

Observação

Tarefas e diferentes tipos de pipeline têm editores diferentes. A opção Editar abrirá o editor correto para o objeto selecionado.

Como utilizar a lista de Jobs & pipelines

Para exibir a lista de pipelines aos quais você tem acesso, clique no Jobs & Pipelines na barra lateral. A aba Jobs & pipelines lista informações sobre todos os trabalhos e pipelines disponíveis, como o criador, o gatilho (se houver) e o resultado das últimas cinco execuções.

Clicar no nome de um pipeline ou tarefa leva-o(a) à página de monitorização desse pipeline ou tarefa. Para editar o pipeline ou trabalho, clique no ícone do e selecione Editar.

Para alterar as colunas exibidas na lista, clique no e selecione ou desmarque colunas. Por exemplo, para adicionar a Pipeline Type como uma coluna, selecione essa coluna para exibir.

Você pode filtrar trabalhos na lista Jobs & pipelines , conforme mostrado na captura de tela a seguir.

1. Pesquisa de texto: a pesquisa por palavra-chave é suportada para os campos Nome e ID . Para pesquisar uma tag criada com uma chave e um valor, você pode pesquisar pela chave, pelo valor ou pela chave e pelo valor. Por exemplo, para uma tag com a chave department e o valor finance, você pode pesquisar department ou finance encontrar trabalhos correspondentes. Para pesquisar pela chave e pelo valor, insira a chave e o valor separados por dois pontos (por exemplo, department:finance).
2. Tipo: filtrar por Trabalhos, Pipelines ou Todos. Se você selecionar Pipelines , também poderá filtrar por tipo de Pipeline, que inclui ETL e Ingestion pipelines.
3. Proprietário: mostre apenas os trabalhos que você possui.
4. Favoritos: mostra os trabalhos que você marcou como favoritos.
5. Etiquetas: Usar etiquetas. Para pesquisar por etiqueta, pode utilizar o menu pendente de etiquetas para filtrar até cinco etiquetas ao mesmo tempo ou usar diretamente a pesquisa por palavra-chave.
6. Executar como: Filtrar por até dois run as valores.

Para iniciar um trabalho ou um pipeline, clique no botão . Para interromper um trabalho ou um pipeline, clique no botão . Para aceder a outras ações, clique no . Por exemplo, pode editar ou excluir a tarefa ou o pipeline, ou aceder às configurações de um pipeline a partir desse menu.

Detalhes do pipeline disponíveis na página de monitoramento

Observação

Existem várias pré-visualizações que podem afetar o que se vê ao monitorizar fluxos de trabalho na interface do utilizador.

• O Lakeflow Pipelines Editor altera a experiência para os detalhes do pipeline. Se você optar pela visualização, as informações serão exibidas em uma interface do usuário diferente da descrita aqui. Para obter detalhes sobre essa interface do usuário, consulte Quais são as alterações no Lakeflow Pipelines Editor?.
• A visualização da Lista de Execuções Unificadas adiciona execuções de pipeline à lista de trabalhos executados. Para obter detalhes sobre as alterações com essa visualização habilitada e como habilitá-la, consulte Quais alterações estão na visualização da Lista de Execuções Unificada?.

Clicar no nome de um pipeline na página Jobs & Pipelines mostra a página de monitoramento desse pipeline. A partir daqui, você pode iniciar uma execução de pipeline e visualizar os detalhes da execução anterior.

O gráfico de pipeline (também chamado de DAG) aparece assim que uma atualização de um pipeline é iniciada com êxito. As setas representam dependências entre conjuntos de dados em seu pipeline. Por predefinição, a página de monitorização de pipeline mostra a atualização mais recente para a tabela, mas você pode selecionar atualizações mais antigas num menu suspenso.

Os detalhes incluem o ID do pipeline, o código-fonte, o custo de computação, a edição do produto e o canal configurado para o pipeline.

Para ver uma exibição tabular de conjuntos de dados, clique na guia Lista . O modo de exibição Lista permite que você veja todos os conjuntos de dados em seu pipeline representados como uma linha em uma tabela e é útil quando o gráfico de pipeline é muito grande para ser visualizado no modo de exibição Gráfico . Você pode controlar os conjuntos de dados exibidos na tabela usando vários filtros, como nome, tipo e status do conjunto de dados. Para voltar para a visualização do DAG, clique em Gráfico.

O usuário Executar como é o proprietário do pipeline e as atualizações do pipeline são executadas com as permissões desse usuário. Para substituir o utilizador run as, clique em Permissões e altere o proprietário do pipeline.

Quais são as mudanças no Lakeflow Pipelines Editor?

Se tiveres optado pela visualização do Lakeflow Pipelines Editor e pela nova interface de monitorização de pipeline, algumas informações estarão em locais diferentes na interface de utilizador. Para obter informações sobre o Lakeflow Pipelines Editor e optar por ambas as visualizações, consulte Habilitar o Lakeflow Pipelines Editor e monitoramento atualizado.

Importante

Este recurso está no Public Preview.

As seguintes alterações na monitorização com a página de monitorização de pipeline aparecem quando se opta por ambas as pré-visualizações:

• As guias Detalhes do pipeline e Detalhes da atualização no painel direito foram mescladas com os detalhes do pipeline na parte superior, seguidos pelos detalhes da atualização.

• Clicar em uma tabela no gráfico não mostra os detalhes da tabela no painel direito. O painel direito continua a mostrar o pipeline e atualizar detalhes. Em vez disso, o painel inferior mostra as informações da tabela.

• As regras para executar um pipeline no modo de desenvolvimento são ligeiramente atualizadas. Para obter informações sobre o modo de desenvolvimento, consulte Modo de desenvolvimento.

  • A execução de um pipeline por meio de um cronograma ou gatilho segue a configuração do pipeline para usar ou não o modo de desenvolvimento. Você pode alterar o padrão de um pipeline nas configurações do Pipeline.
  • A execução de um pipeline através da interface do usuário de monitoramento usará o modo definido nas configurações do pipeline. Você pode escolher se deseja usar o modo de desenvolvimento usando a opção Executar com configurações diferentes na lista suspensa.
  • A execução de um pipeline a partir do editor de pipeline será padronizada para o modo de desenvolvimento. Você pode optar por não usar o modo de desenvolvimento usando a opção Executar com configurações diferentes na lista suspensa.

• Não há mais um link para o código-fonte nos detalhes do pipeline. Em vez disso, escolha Editar pipeline na parte superior. Para ir para o código de uma tabela específica, passe o mouse sobre a tabela no DAG e clique no Navegue até o botão de código .

• O log de eventos não é mais mostrado por padrão em todas as atualizações da página de monitoramento de pipeline. Quando há um erro durante o processamento, os erros são mostrados no painel inferior e um botão Exibir logs é mostrado para exibir o log de eventos dessa execução. O registo de eventos também está disponível selecionando Visualize o log de eventos nos detalhes da execução no painel direito.

  Para acessar o log de eventos ao executar uma atualização no novo Lakeflow Pipelines Editor, navegue até o painel Problemas e Insights na parte inferior do editor, clique em Exibir logs ou no botão Abrir em logs ao lado de qualquer erro. Para obter mais detalhes, consulte Lakeflow Pipelines Editor e Configuração de pipeline para log de eventos.

• As informações do esquema da tabela estão disponíveis escolhendo a tabela na guia Tabelas do painel inferior e, em seguida, selecionando Colunas.

• O histórico de consultas está disponível escolhendo Desempenho no painel inferior.

• Os comentários da tabela não estão disponíveis na página de detalhes do pipeline. Para ver os comentários da tabela, exiba a tabela no Gerenciador de Catálogos. Para ir diretamente para a tabela no Gerenciador de Catálogos, passe o mouse sobre a tabela no DAG, clique no e, em seguida, no Ver em catálogo. Você também pode acessar as informações no Explorador de catálogos a partir da lista de tabelas no painel inferior, clicando no

Quais são as mudanças na pré-visualização da Lista de Execuções Unificadas?

Se tiver a pré-visualização da Lista de Execuções Unificadas ativada, poderá consultar as atualizações de execução de pipeline na página Trabalhos e Pipelines.

Importante

A lista de execuções unificadas está em Visualização pública.

Para habilitar a Lista de Execuções Unificada, um administrador de espaço de trabalho deve aderir à pré-visualização. Para obter detalhes sobre como optar por uma visualização, consulte Gerenciar visualizações no nível da conta.

Para acessar a lista de execuções unificadas, selecione o É executado a partir da barra lateral do espaço de trabalho ou do ícone Clique em Jobs & Pipelines e, em seguida, escolha a guia Execuções .

A guia mostra uma lista de execuções recentes nos últimos 60 dias. Um gráfico mostrando o sucesso e a falha das execuções nas últimas 48 horas é exibido primeiro, nos seguintes casos:

• Está filtrado apenas por Jobs ou Pipelines.
• Você é um administrador, ou a opção é filtrar apenas para processos em execução Run as: Me
• As execuções podem levar até uma hora para serem exibidas no gráfico.

Você pode filtrar a lista e o gráfico por:

• Nome do trabalho ou pipeline.
• Todos, Tarefas ou Pipelines.
• Tipo de pipeline (ETL, Ingestão, MV/ST ou Sincronização de Tabela de Base de Dados).
• O Executar como usuário.
• A hora de início da execução (nas últimas 48 horas).
• O Estado de execução.
• O código de erro para execuções com falha.

Além disso, você pode visualizar as seguintes colunas na lista:

• Hora de fim
• ID de execução
• Se a execução foi iniciada manualmente ou por uma agenda.
• Execute Duração.
• Executar parâmetros.

Para alterar as colunas exibidas na lista de execuções, clique no e selecione ou desselecione colunas.

Clicar em Hora de início, Hora de término ou Nome de uma execução de pipeline leva você à página de monitoramento do pipeline.

Quando um pipeline está em execução ativa, você pode interrompê-lo clicando no A qualquer momento, pode também clicar no no botão de menu da linha para a execução e escolher Editar pipeline para visualizar o pipeline no editor.

Como você pode visualizar os detalhes do conjunto de dados?

Clicar em um conjunto de dados no gráfico de pipeline ou na lista de conjuntos de dados mostra detalhes sobre o conjunto de dados. Os detalhes incluem o esquema do conjunto de dados, métricas de qualidade de dados e um link para o código-fonte que define o conjunto de dados.

Ver histórico de atualizações

Para visualizar o histórico e o estado das atualizações do pipeline, clique no menu suspenso de histórico de atualizações na barra superior.

Selecione a atualização no menu suspenso para visualizar um gráfico, os detalhes e os eventos dessa atualização. Para regressar à atualização mais recente, clique em Mostrar a atualização mais recente.

Ver métricas de streaming

Importante

A observabilidade de streaming para pipelines está em Visualização Pública.

Você pode visualizar métricas de streaming das fontes de dados suportadas pelo Spark Structured Streaming, como Apache Kafka, Amazon Kinesis, Auto Loader e tabelas Delta, para cada fluxo de streaming em seu pipeline. As métricas são exibidas como gráficos no painel direito da IU do pipeline e incluem segundos de atraso, bytes de atraso, registos de atraso e ficheiros de atraso. Os gráficos exibem o valor máximo agregado por minuto e uma dica de ferramenta mostra os valores máximos quando você passa o mouse sobre o gráfico. Os dados estão limitados às últimas 48 horas a partir da hora atual.

As tabelas no seu pipeline com métricas de streaming disponíveis exibem o ícone ao visualizar a visualização Gráfico do DAG do pipeline na interface do usuário. Para visualizar as métricas de streaming, clique no para exibir o gráfico de métricas de streaming na guia Fluxos no painel direito. Você também pode aplicar um filtro para exibir apenas tabelas com métricas de streaming clicando em Lista e, em seguida, clicando em Possui métricas de streaming.

Cada fonte de streaming suporta apenas métricas específicas. As métricas não suportadas por uma fonte de streaming não estão disponíveis para visualização na interface do usuário. A tabela a seguir mostra as métricas disponíveis para fontes de streaming suportadas:

origem	bytes da lista de pendências	Registos de pendências	segundos de pendências	Arquivos pendentes
Kafka	✓	✓
Kinesis	✓		✓
Delta	✓			✓
Carregador Automático	✓			✓
Google Pub/Sub	✓	✓