Monitoramento e observabilidade para Trabalhos do Lakeflow

Esta página descreve os recursos disponíveis na interface do usuário do Azure Databricks para exibir trabalhos aos quais você tem acesso, exibir um histórico de execuções para trabalhos e exibir detalhes de execuções de trabalho. Para configurar notificações para tarefas, consulte Adicionar notificações em uma tarefa.

Para saber mais sobre como usar a CLI do Databricks para exibir e executar trabalhos, execute os comandos da CLI databricks jobs list -h, databricks jobs get -h e databricks jobs run-now -h. Para saber mais sobre como usar a API de Trabalhos, consulte a API de Trabalhos.

Se você tiver acesso ao esquema system.lakeflow, também poderá exibir e consultar registros de execuções de trabalho e tarefas de toda a sua conta. Confira a Referência da tabela do sistema de trabalhos. Você também pode ingressar as tabelas do sistema de trabalhos com tabelas de cobrança para monitorar o custo dos trabalhos em sua conta. Consulte Monitorar custos e o desempenho do trabalho com tabelas do sistema.

Exibir trabalhos e pipelines

Para exibir a lista de trabalhos aos quais você tem acesso, clique no Trabalhos &pipelines na barra lateral. A guia Trabalhos e pipelines na interface de trabalhos do Lakeflow lista informações sobre todos os trabalhos e pipelines disponíveis, como o criador, o gatilho (se houver) e o resultado das últimas cinco execuções.

Para alterar as colunas exibidas na lista, clique no de coluna e selecione ou desmarque colunas.

Importante

A lista unificada de Trabalhos e pipelines está em Visualização Pública. Você pode desabilitar o recurso e retornar à experiência padrão desabilitando Trabalhos e pipelines: gerenciamento unificado, pesquisa e filtragem. Consulte Gerenciar visualizações do Azure Databricks para obter mais informações.

Você pode filtrar trabalhos na lista Trabalhos e pipelines conforme mostrado na captura de tela a seguir.

1. Pesquisa de texto: há suporte para a pesquisa de palavra-chave para os campos Nome e ID do Trabalho . Para pesquisar uma marca criada com uma chave e um valor, você pode pesquisar pela chave, pelo valor ou pela chave e pelo valor. Por exemplo, para uma marca com a chave department e o valor finance, você pode pesquisar department ou finance para encontrar trabalhos correspondentes. Para pesquisar pela chave e pelo valor, insira a chave e o valor separados por dois-pontos (por exemplo, department:finance).
2. Tipo: selecionar apenas trabalhos, pipelines ou todos.
3. Proprietário: selecionar apenas os trabalhos ou pipelines que você possui.
4. Favoritos: selecionar todos os trabalhos ou pipelines que você marcou como favoritos.
5. Marcas: Usar marcas. Para pesquisar por marca, você pode usar o menu suspenso de marcas para filtrar até cinco marcas ao mesmo tempo ou usar diretamente a pesquisa de palavras-chave.
6. Executar como: filtrar por até dois valores run as.

Para iniciar um trabalho ou pipeline, clique no botão de reprodução . Para interromper um fluxo de trabalho, clique no botão . Para acessar outras ações, clique no . Por exemplo, você pode excluir as configurações de fluxo de trabalho ou de acesso para um pipeline desse menu.

Exibir execuções de um único trabalho

Você pode exibir uma lista de execuções atualmente em execução e concluídas recentemente para um trabalho ao qual você tem acesso, incluindo execuções iniciadas por ferramentas de orquestração externas, como o Apache Airflow ou o Azure Data Factory. Para exibir a lista de execuções de trabalho recentes:

1. Na barra lateral do workspace do Azure Databricks, clique em Jobs & Pipelines.

2. Opcionalmente, selecione os filtros Trabalhos e Propriedade minha .

3. Clique no link Nome do seu trabalho.

   A guia Execuções aparece com visualizações de matriz e lista de execuções ativas e concluídas.

A exibição de matriz mostra um histórico de execuções do trabalho, incluindo cada tarefa dele.

A linha da matriz Duração total da execução exibe a duração total da execução e o estado da execução. Para exibir detalhes da execução, incluindo a hora de início, a duração e o status, passe o mouse sobre a barra na linha Duração total da execução.

Cada célula na linha Tarefas representa uma tarefa e o status correspondente dela. Para exibir os detalhes de cada tarefa, incluindo a hora de início, a duração, o cluster e o status, passe o mouse sobre a célula dessa tarefa.

As barras de execução de trabalho e de tarefa são codificadas por cores para indicar o status da execução. As execuções bem-sucedidas são verdes. As execuções malsucedidas são vermelhas, as execuções ignoradas são rosa e as execuções que aguardam nova tentativa são amarelas. As opções pendentes, canceladas ou expiradas aparecem em cinza. A altura da execução de trabalho individual e das barras de execução de tarefa indica visualmente a duração da execução.

Se você tiver configurado um tempo de conclusão esperado, a exibição de matriz exibirá um aviso quando a duração de uma execução exceder o tempo configurado.

Por padrão, a exibição da lista de execuções mostra o seguinte:

• A hora de início da execução.
• O identificador de execução. Consulte a URL e a ID de execução do trabalho para saber como localizar e compartilhar a URL de execução.
• Se a execução foi disparada por um agendamento de trabalho ou por uma solicitação de API ou se foi iniciada manualmente.
• O tempo decorrido de um trabalho em execução ou o tempo total de execução de uma execução concluída. Um aviso será exibido se a duração exceder um tempo de conclusão esperado configurado.
• O status da execução, Enfileirada, Pendente, Em execução, Ignorada, Bem-sucedida, Falha, Expirada, Cancelando ou Cancelada.
• O código de erro com o qual a execução foi encerrada.
• Os parâmetros de execução.

Atualmente, as execuções ativas exibem um botão parar. Para interromper todas as execuções ativas e aquelas em espera, selecione Cancelar execuções ou Cancelar todas as execuções em espera no menu suspenso.

Para acessar ações específicas de contexto para a execução, clique no menu kebab (por exemplo, para interromper uma execução ativa ou excluir uma execução concluída).

Para alterar as colunas exibidas na visualização da lista de execuções, clique no e selecione ou desmarque as colunas.

Para exibir detalhes de uma execução de trabalho, clique no link da execução na coluna Hora de início na exibição de lista de execuções. Para exibir detalhes da execução bem-sucedida mais recente deste trabalho, clique em Ir para a última execução bem-sucedida.

O Azure Databricks mantém um histórico das execuções dos trabalhos por até 60 dias. Se você precisar preservar as execuções de trabalho, a Databricks recomenda exportar os resultados antes que eles expirem. Para saber mais, confira Exportar resultados da execução do trabalho.

Exibir detalhes da execução do trabalho

A página de detalhes da execução do trabalho contém a saída do trabalho e links para logs, incluindo informações sobre o sucesso ou a falha de cada tarefa na execução do trabalho. Você pode acessar os detalhes da execução do trabalho na guia Execuções do trabalho.

Para exibir os detalhes da execução do trabalho na guia Execuções, clique no link da execução na coluna Hora de início na exibição de lista de execuções. Para retornar à guia Execuções do trabalho, clique no valor ID do trabalho.

Trabalhos com várias tarefas possuem também um gráfico, uma linha do tempo e uma exibição de lista.

Exibição de gráfico

Clique em um nó de tarefa no grafo para exibir os detalhes da execução da tarefa, incluindo:

• Detalhes da tarefa, incluindo executar como, como o trabalho foi iniciado, hora de início, hora de término, duração e status.
• O código-fonte.
• O cluster que executou a tarefa e os links para seu histórico de consultas e logs.
• Métricas para a tarefa.

Visão do gráfico de vagas

Exibição da linha do tempo

Jobs que contêm várias tarefas têm uma exibição de linha do tempo para identificar tarefas que estão demorando muito para serem concluídas, entender dependências e sobreposições para ajudar a depurar e otimizar esses jobs.

Visualização da linha do tempo de trabalhos do

Para trabalhos sem servidor, consultas e perfis de consulta são integrados à exibição da linha do tempo. Clique na seta ao lado de um nome de tarefa para exibir as instruções de consulta e suas durações e clique em uma instrução para navegar até o perfil de consulta correspondente. Confira Exibir detalhes da consulta para execuções de trabalho.

Exibição Lista

Por padrão, a exibição de lista mostra o status, o nome, o tipo, o recurso, a duração e as dependências. Você pode adicionar e remover colunas nesse modo de exibição.

Você pode pesquisar uma tarefa por nome, filtrar por status de tarefa ou tipo de tarefa e classificar tarefas por status, nome ou duração.

Para retornar à guia Execuções do trabalho, clique no valor ID do Trabalho.

Como o Azure Databricks determina o status de execução do trabalho?

O Azure Databricks determina se uma execução de trabalho foi bem-sucedida com base no resultado das tarefas folha do trabalho. Uma tarefa folha é uma tarefa que não tem dependências downstream. A execução de um trabalho pode ter um dos seguintes resultados:

• Êxito: todas as tarefas foram bem-sucedidas.
• Êxito com falhas: algumas tarefas falharam, mas todas as tarefas folha foram bem-sucedidas.
• Falha: uma ou mais tarefas folha falharam.
• Ignorada: a execução do trabalho foi ignorada (por exemplo, uma atividade pode ser ignorada porque você excedeu o número máximo de execuções simultâneas para seu trabalho ou seu workspace).
• Tempo Limite Atingido: a execução do trabalho demorou demais para ser concluída e foi interrompida.
• Cancelado: a execução do trabalho foi cancelada (por exemplo, um usuário cancelou manualmente a execução em andamento).

Tarefas individuais também podem terminar com um status Disabled quando você as desabilita explicitamente nas configurações de tarefa, ou quando o Lakeflow Jobs as desabilita para uma execução porque uma tarefa anterior está desabilitada. As tarefas desabilitadas mostram um no canto superior direito do DAG. Consulte Tarefas desabilitadas em Jobs do Lakeflow.

Exibir métricas para tarefas de streaming

Importante

A observabilidade de streaming para Trabalhos do Lakeflow está em Versão Preliminar Pública.

Quando exibe detalhes da execução do trabalho, você pode obter dados sobre cargas de trabalho de streaming com métricas de observabilidade de streaming na interface do usuário de Trabalhos. Essas métricas incluem segundos de lista de pendências, bytes de lista de pendências, registros de lista de pendências e arquivos de lista de pendências para fontes compatíveis com o Spark Structured Streaming, incluindo Apache Kafka, Amazon Kinesis, Auto Loader, Google Pub/Sub e tabelas Delta. As métricas são exibidas como gráficos no painel direito quando você exibe os detalhes da execução de uma tarefa. As métricas mostradas em cada gráfico são valores máximos agregados por minuto e podem incluir até as 48 horas anteriores.

Cada fonte de streaming dá suporte apenas a métricas específicas. As métricas não compatíveis com uma fonte de streaming não estão disponíveis para exibição na interface do usuário. A tabela a seguir mostra as métricas disponíveis para fontes de streaming com suporte:

fonte	bytes da lista de pendências	registros de lista de pendências	segundos da lista de pendências	arquivos de lista de pendências
Kafka	✓	✓
Cinética	✓		✓
Delta	✓			✓
Carregador Automático	✓			✓
Google Pub/Sub	✓	✓

Você também pode especificar limites para cada métrica de streaming e configurar notificações se um fluxo exceder um limite durante uma execução de tarefa. Consulte Configurar notificações para trabalhos lentos.

Para exibir métricas de streaming para uma execução de tarefa que transmite dados de uma das fontes de streaming estruturadas com suporte:

1. Na página Detalhes da execução do trabalho, clique na tarefa para a qual você deseja exibir as métricas.
2. Clique na guia Métricas no painel Execução da tarefa.
3. Para abrir o grafo de uma métrica, clique em ao lado do nome da métrica.
4. Para exibir as métricas de um fluxo específico, insira a ID do fluxo na caixa de texto Filtrar por stream_id. Você pode encontrar o ID do fluxo na saída para a execução do trabalho.
5. Para alterar o período para os gráficos de métrica, use o menu suspenso de tempo.
6. Para rolar pelos fluxos, caso a execução contenha mais de dez fluxos, clique em Próximo ou Anterior.

Limitações de observabilidade de streaming

• As métricas são atualizadas a cada minuto, a menos que uma execução tenha mais de quatro fluxos. Se uma execução tiver mais de quatro fluxos, as métricas serão atualizadas a cada cinco minutos.
• As métricas são coletadas apenas para os primeiros 50 fluxos em cada execução.
• As métricas são coletadas em intervalos de um segundo. As métricas podem não estar visíveis se a configuração triggerInterval for inferior a um segundo.
• A maioria das fontes de dados coleta métricas de streaming por padrão. No entanto, para outras pessoas, você deve habilitar esse recurso. Se a fonte de dados não estiver coletando métricas de streaming, defina o spark.sql.streaming.metricsEnabled sinalizador como True.

Exibir métricas de desempenho de consulta para trabalhos sem servidor

Importante

Esse recurso está em Beta. Os administradores do workspace podem controlar o acesso a esse recurso na página Visualizações . Consulte Gerenciar visualizações do Azure Databricks.

Quando você executa um trabalho sem servidor, o Databricks exibe métricas selecionadas do Perfil da Consulta e informações sobre desempenho diretamente na interface da execução do trabalho, para que você possa identificar problemas de desempenho sem abrir um perfil de consulta separado para cada consulta. Use essas métricas para investigar por que uma execução é lenta ou para comparar o desempenho entre duas execuções.

Antes de exibir estas métricas:

• A visualização aprimorada da Observabilidade de Desempenho do Lakeflow deve ser habilitada para seu workspace. Os administradores do workspace podem habilitá-lo na página Visualizações.
• Seu espaço de trabalho deve ter acesso a informações sobre o desempenho da consulta. Sem ele, os indicadores de lâmpada não aparecerão, embora as métricas agregadas (linhas lidas, linhas gravadas e contagem total de consultas) ainda sejam exibidas.

O Databricks exibe as seguintes métricas, agregadas das consultas em uma execução de trabalho sem servidor:

• Linhas lidas e linhas gravadas por execução da tarefa.
• Número total de consultas por execução de tarefa.
• Um indicador de insights de desempenho (lâmpada) em uma tarefa quando uma ou mais consultas nessa tarefa têm insights de desempenho.

Essas métricas aparecem em locais diferentes, dependendo de como você está exibindo a execução:

Onde ele aparece	O que você vê
Barra lateral de execução da tarefa	Linhas lidas e escritas, número total de consultas e um indicador de insights para a execução da tarefa.
Visualização DAG	Um ícone de lâmpada em um nó de tarefa quando alguma das consultas da tarefa tiver insights de desempenho.
Exibição da linha do tempo	Um ícone de lâmpada ao lado do nome da tarefa com a contagem de insights em todas as consultas da tarefa, além de um ícone de lâmpada em cada consulta da tarefa que tenha insights.
Exibição Lista	Um ícone de lâmpada aparece na coluna Insights quando qualquer uma das consultas da tarefa apresenta informações de desempenho. Se você não vir essa coluna, adicione-a do seletor de coluna.

Observação

A exibição da linha do tempo agora está disponível para trabalhos de tarefa única como parte deste Beta. Antes, apenas trabalhos multitarefa tinham uma visualização em linha do tempo.

Comportamento de clique e de passagem do mouse:

• Na visualização da Linha do Tempo, passe o mouse sobre uma tarefa para ver suas métricas agregadas e os insights de desempenho das consultas da tarefa.
• Na exibição DAG ou na exibição de lista, clique no ícone de lâmpada de uma tarefa para abrir a exibição de linha do tempo com as consultas dessa tarefa expandidas.
• No modo de exibição Linha do Tempo, clique no texto da consulta de uma consulta que tenha uma lâmpada para abrir um painel lateral com uma visão geral dos insights de desempenho dessa consulta.

Para investigar por que um trabalho sem servidor é executado mais lentamente do que o esperado:

1. Abra a execução da tarefa.
2. Mude para a visualização Linha do Tempo.
3. Identifique tarefas demorando mais do que o esperado com base na distribuição de duração.
4. Passe o mouse sobre uma tarefa em execução há muito tempo para ver:
   • Linhas lidas e linhas gravadas – para verificar se a tarefa processou mais dados do que o normal.
   • Número total de consultas – para detectar alterações na forma da carga de trabalho.
   • O indicador de insights de desempenho – para detectar regressões ou alterações de código ineficientes.
5. Se a duração aumentada for explicada pelo maior volume de dados, a desaceleração poderá ser esperada. Caso contrário, expanda a tarefa na linha do tempo para ver suas consultas individuais. Consultas com insights detectados mostram uma lâmpada ao lado delas.
6. Clique no texto da consulta de uma consulta com um ícone de lâmpada para abrir um painel lateral com as informações de desempenho dessa consulta.
7. Aplique as alterações recomendadas e execute novamente o trabalho para confirmar se o problema foi resolvido.

Para obter a lista completa de insights e o que eles significam, consulte os insights sobre o desempenho da consulta. Para obter detalhes mais profundos sobre a execução da consulta, consulte o perfil de consulta.

Dica

Essas mesmas métricas facilitam a detecção de diferenças entre uma execução lenta e uma execução rápida anterior. Abra ambas as execuções lado a lado e compare:

• Compare as linhas lidas e as linhas gravadas para identificar alterações no volume de dados.
• Número total de consultas para identificar alterações na forma da carga de trabalho.
• Insights sobre desempenho para identificar ineficiências introduzidas desde a execução anterior.

Limitações das métricas de desempenho de consulta

• Essas métricas e informações se aplicam somente a Jobs do Lakeflow sem servidor. As execuções de trabalho na computação clássica não mostram essas informações.
• As métricas são agregadas nas primeiras 100 consultas em uma execução da tarefa. Se uma execução tiver mais consultas, somente as primeiras 100 serão consideradas nos totais.

Exibir o histórico de execuções de tarefa

Para exibir o histórico de execuções de uma tarefa, incluindo execuções bem-sucedidas e malsucedidas:

1. Clique em uma tarefa na página detalhes da execução do trabalho . A página Detalhes da execução de tarefa é exibida.
2. Selecione a execução de tarefa no menu suspenso do histórico de execuções.

Exibir o histórico de execução de uma tarefa For each

Acessar o histórico de execução de uma For each tarefa é o mesmo que para uma tarefa padrão do Lakeflow Jobs. Você pode clicar no nó da tarefa For each na página Detalhes da execução do trabalho ou na célula correspondente na exibição de matriz. No entanto, ao contrário de uma tarefa padrão, os detalhes da execução de uma tarefa For each são apresentados como uma tabela das iterações da tarefa secundária.

Para exibir apenas iterações com falha, clique em Somente iterações com falha.

Para exibir a saída de uma iteração, clique nos valores de Hora de início ou Hora de término da iteração.

Exibir execuções recentes em todos os trabalhos e pipelines

Você pode exibir uma lista de execuções atualmente em execução e concluídas recentemente para todos os trabalhos e pipelines em um workspace ao qual você tem acesso, incluindo execuções iniciadas por ferramentas de orquestração externas, como o Apache Airflow ou Azure Data Factory. Para exibir a lista de execuções recentes:

1. Clique em Trabalhos e Pipelines na barra lateral.
2. Clique na guia Execuções para exibir o gráfico de contagem de execuções concluídas e a lista de execuções de trabalho e de pipeline.
3. (Opcional) Clique em Trabalhos ou Pipelines para filtrar a lista por tipo.

A lista de execuções inclui opções de filtragem na parte superior, um grafo de execuções recém-concluídas e 5 principais erros e uma lista de execuções concluídas recentemente.

Você pode filtrar por:

• Nome da tarefa ou pipeline.
• Todos, trabalhos ou pipelines.
• Tipo de pipeline (ETL, Ingestão, MV/ST ou Sincronização de Tabela de Banco de Dados).
• O Executar como usuário.
• ID da execução para encontrar uma execução específica.
• A hora de início da execução (nas últimas 48 horas).
• O Status de execução.
• O código de erro para execuções com falha.

Os filtros se aplicam ao grafo, aos códigos de erro e à lista de execuções.

Grafo de contagem de execuções concluídas

O grafo de contagem de execuções concluídas mostra o número de execuções concluídas nas últimas 48 horas. Por padrão, o grafo mostra execuções com falha, ignoradas e bem-sucedidas. Você também pode filtrar o grafo para mostrar status de execução específicos ou restringir o grafo a um intervalo de tempo específico.

Observação

O gráfico de contagem de execuções concluídas aparece somente quando você aplica o filtro em Trabalhos ou Pipelines. Não é mostrado quando Tudo está selecionado. O grafo é mostrado para administradores para todas as execuções. Para usuários não administradores, você deve clicar em Executar como e selecionar me.

Os filtros na parte superior da guia Execuções se aplicam ao grafo.

Para limitar o intervalo de tempo exibido no grafo de contagem de execuções concluídas , defina um intervalo de tempo no filtro. Como alternativa, você pode clicar e arrastar o cursor no grafo para selecionar o intervalo de tempo. O gráfico e a tabela de execuções são atualizados para mostrar apenas as execuções do intervalo de tempo definido.

A tabela de tipos de erro top 5 mostra uma lista dos tipos de erro mais frequentes do intervalo de tempo selecionado, permitindo que você veja rapidamente as causas mais comuns de problemas em seu workspace.

Lista de execuções

A aba Execuções também inclui uma tabela com execuções de tarefas e pipelines dos últimos 60 dias. O Azure Databricks mantém o histórico de execuções durante 60 dias, tanto para trabalhos quanto para pipelines. Por padrão, a tabela inclui detalhes sobre execuções com falha, ignoradas e bem-sucedidas.

Os filtros na parte superior da guia Execuções se aplicam à lista.

Por padrão, a lista de execuções na tabela de execuções exibe o seguinte:

• A hora de início da execução.
• O nome da tarefa ou do pipeline associado à execução.
• O tipo (Tarefa ou Pipeline) da execução.
• O nome de usuário sob o qual a execução é executada.
• Como a execução foi iniciada, por agendamento, por uma solicitação de API ou manualmente.
• O tempo decorrido de um trabalho ou pipeline em execução ou o tempo total de uma execução concluída. Um aviso será exibido se a duração exceder um tempo de conclusão esperado configurado.
• O status da execução: Enfileirada, Pendente, Em execução, Ignorada, Bem-sucedida, Falha, Expirada, Cancelando ou Cancelada.
• Qualquer código de erro com o qual a execução terminou.
• Todos os parâmetros para a execução.
• Para interromper um trabalho ou pipeline em execução, clique no botão parar. Para acessar ações para a execução, clique no (por exemplo, para interromper uma execução ativa ou excluir uma execução concluída).

Para alterar as colunas exibidas na lista de execuções, clique no e selecione ou desmarque colunas.

Para exibir os detalhes de execução do trabalho, clique no link na coluna Hora de início da execução. Para exibir detalhes do trabalho ou do pipeline, clique no nome na coluna Trabalho .

Exibir informações de linhagem para um trabalho

Se o Unity Catalog estiver habilitado em seu workspace, você poderá exibir as informações de linhagem de qualquer tabela do Unity Catalog em seu fluxo de trabalho. Se houver informações de linhagem disponíveis para o seu fluxo de trabalho, você verá um link com a contagem de tabelas upstream e downstream no painel Detalhes do trabalho do seu trabalho, no painel Detalhes da execução do trabalho de uma execução de trabalho ou no painel Detalhes da execução da tarefa de uma execução de tarefa. Clique no link para mostrar a lista de tabelas. Clique uma tabela para ver informações detalhadas no Explorador de Catálogos.

Exibir e executar um trabalho criado com Pacotes de Automação Declarativa

Você pode usar a interface do usuário do Lakeflow Jobs para exibir e executar trabalhos implantados por Pacotes de Automação Declarativa. Por padrão, esses trabalhos são somente leitura na UI de trabalhos. Para editar uma tarefa implementada por um pacote configurável, altere o arquivo de configuração do pacote configurável e reimplemente a tarefa. Aplicar alterações somente à configuração do pacote configurável garante que os arquivos de origem do pacote configurável sempre capturem a configuração atual da tarefa.

No entanto, se for necessário fazer alterações imediatas em uma tarefa, você poderá desconectar a tarefa da configuração do pacote configurável para permitir a edição das configurações da tarefa na interface do usuário. Para desconectar o trabalho, clique em Desconectar da origem. Na caixa de diálogo Desconectar da fonte, clique em Desconectar para confirmar.

Quaisquer alterações feitas na tarefa na UI não serão aplicadas à configuração do pacote configurável. Para aplicar alterações feitas na UI ao pacote configurável, você deve atualizar manualmente a configuração do pacote configurável. Para reconectar a tarefa à configuração do pacote configurável, reimplante a tarefa usando o pacote configurável.

Exportar os resultados da execução do trabalho

Você pode exportar resultados de execução de notebook e logs de execução de trabalho para todos os tipos de trabalho.

Exportar resultados da execução de notebook

Você pode persistir as execuções de trabalho com a exportação de seus resultados. Para execuções de trabalho de notebook, você pode exportar um notebook renderizado que posteriormente pode ser importado para seu Workspace do Azure Databricks.

Para exportar os resultados da execução do notebook para um trabalho com uma única tarefa:

1. Na página de detalhes do trabalho, clique no link Exibir Detalhes da execução na coluna Execução da tabela Execuções Concluídas (últimos 60 dias).
2. Clique em Exportar para HTML.

Para exportar os resultados da execução do notebook para um trabalho com múltiplas tarefas:

1. Na página de detalhes do trabalho, clique no link Exibir Detalhes da execução na coluna Execução da tabela Execuções Concluídas (últimos 60 dias).
2. Clique na tarefa do notebook para exportar.
3. Clique em Exportar para HTML.

Exportar logs de execução de trabalho

Você também pode exportar os logs para a execução do trabalho. Você pode configurar seu trabalho para entregar automaticamente logs ao DBFS enquanto configura a computação dos trabalhos (consulte Referência de configuração de computação) ou por meio da API de Trabalho. Confira o objeto new_cluster.cluster_log_conf no corpo da solicitação transmitido à operação Criar um trabalho (POST /jobs/create) na API de Trabalhos.