Monitoramento e observabilidade para trabalhos Databricks

Este artigo descreve os recursos disponíveis na interface do usuário do Azure Databricks para exibir trabalhos aos quais você tem acesso, exibir um histórico de execuções de um trabalho e exibir detalhes de execuções de trabalho. Para configurar notificações para trabalhos, consulte Adicionar notificações por email e do sistema para eventos de trabalho.

Para saber mais sobre como usar a CLI do Databricks para exibir e executar trabalhos, execute os comandos databricks jobs list -hda CLI , databricks jobs get -he databricks jobs run-now -h. Para saber mais sobre como usar a API de Trabalhos, consulte a API de Trabalhos.

Se você tiver acesso ao system.lakeflow esquema, também poderá visualizar e consultar registros de execuções de tarefas e tarefas de toda a sua conta. Consulte Referência da tabela do sistema de trabalhos.

Ver vagas

Para exibir a lista de trabalhos aos quais você tem acesso, clique em Fluxos de trabalho na barra lateral. A guia Trabalhos na interface do usuário Fluxos de Trabalho lista informações sobre todos os trabalhos disponíveis, como o criador do trabalho, o gatilho para o trabalho, se houver, e o resultado da última execução.

Para alterar as colunas exibidas na lista de trabalhos, clique e selecione ou desmarque colunas.

Você pode filtrar trabalhos na lista Trabalhos:

• Utilização de palavras-chave. Se você tiver o recurso de limite de trabalhos aumentado habilitado para este espaço de trabalho, a pesquisa por palavras-chave será suportada apenas para os campos nome, ID do trabalho e marca do trabalho.
• Selecionando apenas os trabalhos que você possui.
• Selecionar todos os trabalhos que você tem permissões para acessar.
• Usando tags . Para procurar uma etiqueta criada apenas com uma chave, escreva a chave na caixa de pesquisa. Para pesquisar uma tag criada com uma chave e um valor, você pode pesquisar pela chave, pelo valor ou pela chave e pelo valor. Por exemplo, para uma tag com a chave department e o valor finance, você pode pesquisar department ou finance encontrar trabalhos correspondentes. Para pesquisar pela chave e valor, insira a chave e o valor separados por dois pontos; por exemplo, department:finance.

Você também pode clicar em qualquer cabeçalho de coluna para classificar a lista de trabalhos (decrescente ou crescente) por essa coluna. Quando o recurso de limite de trabalhos aumentado estiver habilitado, você poderá classificar somente por Name, Job IDou Created by. A classificação padrão é por Name ordem crescente.

Clique para acessar ações para o trabalho, por exemplo, excluir o trabalho.

Exibir execuções para um trabalho

Você pode exibir uma lista de execuções atualmente em execução e concluídas recentemente para todos os trabalhos aos quais você tem acesso, incluindo execuções iniciadas por ferramentas de orquestração externas, como Apache Airflow ou Azure Data Factory. Para exibir a lista de execuções de trabalho recentes:

1. Clique em Fluxos de trabalho na barra lateral.
2. Na coluna Nome, clique no nome de um trabalho. A guia Execuções aparece com exibições de matriz e lista de execuções ativas e concluídas.

A visualização de matriz mostra um histórico de execuções para o trabalho, incluindo cada tarefa de trabalho.

A linha Duração total da execução da matriz exibe a duração total da execução e o estado da execução. Para exibir detalhes da execução, incluindo a hora de início, a duração e o status, passe o mouse sobre a barra na linha Duração total da execução.

Cada célula na linha Tarefas representa uma tarefa e o status correspondente da tarefa. Para exibir detalhes de cada tarefa, incluindo a hora de início, duração, cluster e status, passe o mouse sobre a célula dessa tarefa.

As barras de execução de trabalho e de execução de tarefas são codificadas por cores para indicar o status da execução. As corridas bem-sucedidas são verdes, as corridas malsucedidas são vermelhas e as corridas ignoradas são rosas. A altura da execução do trabalho individual e as barras de execução da tarefa indicam visualmente a duração da execução.

Se você configurou um tempo de conclusão esperado, a exibição de matriz exibirá um aviso quando a duração de uma execução exceder o tempo configurado.

Por padrão, o modo de exibição de lista de execução exibe:

• A hora de início da corrida.
• O identificador de execução.
• Se a execução foi acionada por uma agenda de trabalho ou uma solicitação de API, ou se foi iniciada manualmente.
• O tempo decorrido para um trabalho em execução no momento ou o tempo total de execução para uma execução concluída. Um aviso será exibido se a duração exceder um tempo de conclusão esperado configurado.
• Links para os logs do Spark.
• O status da corrida, ou , , , , SkippedSucceeded, TerminatedTerminatingFailed, Internal Error, CancelingCanceledTimed Out, , ou .Waiting for RetryRunningPendingQueued
• Clique para acessar ações específicas do contexto para a execução, por exemplo, parar uma execução ativa ou excluir uma execução concluída.

Para alterar as colunas exibidas no modo de exibição de lista de execuções, clique e selecione ou desmarque colunas.

Para exibir detalhes de uma execução de trabalho, clique no link para a execução na coluna Hora de início na exibição de lista de execuções. Para exibir detalhes da execução bem-sucedida mais recente deste trabalho, clique em Ir para a última execução bem-sucedida.

O Azure Databricks mantém um histórico de execuções de trabalho por até 60 dias. Se você precisar preservar as execuções de trabalho, o Databricks recomenda exportar os resultados antes que eles expirem. Para obter mais informações, consulte Exportar resultados de execução de trabalho.

Ver detalhes da execução do trabalho

A página de detalhes da execução do trabalho contém a saída do trabalho e links para logs, incluindo informações sobre o sucesso ou falha de cada tarefa na execução do trabalho. Você pode acessar os detalhes da execução do trabalho na guia Execuções do trabalho. Para exibir os detalhes da execução do trabalho na guia Execuções, clique no link para a execução na coluna Hora de início na exibição de lista de execuções. Para retornar à guia Execuções do trabalho, clique no valor ID do trabalho.

Se o trabalho contiver várias tarefas, clique em uma tarefa para exibir os detalhes da execução da tarefa, incluindo:

• O cluster que executou a tarefa
  • a interface do usuário do Spark para a tarefa
  • logs para a tarefa
  • métricas para a tarefa

Clique no valor ID do trabalho para retornar à guia Execuções do trabalho.

Como o Azure Databricks determina o status de execução do trabalho?

O Azure Databricks determina se uma execução de trabalho foi bem-sucedida com base no resultado das tarefas folha do trabalho. Uma tarefa folha é uma tarefa que não tem dependências a jusante. Uma execução de trabalho pode ter um de três resultados:

• Êxito: Todas as tarefas foram bem-sucedidas.
• Sucesso com falhas: Algumas tarefas falharam, mas todas as tarefas da folha foram bem-sucedidas.
• Falha: Uma ou mais tarefas de folha falharam.

Ver histórico de execução de tarefas

Para exibir o histórico de execução de uma tarefa, incluindo execuções bem-sucedidas e malsucedidas:

1. Clique em uma tarefa na página Detalhes da execução do trabalho. A página Detalhes da execução da tarefa é exibida.
2. Selecione a tarefa executada no menu suspenso Histórico de execução.

Exibir histórico de execução de uma For each tarefa

Acessar o histórico de execução de uma For each tarefa é o mesmo que uma tarefa padrão do Azure Databricks Jobs. Você pode clicar no For each nó da tarefa na página Detalhes da execução do trabalho ou na célula correspondente no modo de exibição de matriz. No entanto, ao contrário de uma tarefa padrão, os detalhes de execução de uma For each tarefa são apresentados como uma tabela das iterações da tarefa aninhada.

Para exibir apenas iterações com falha, clique em Somente iterações com falha.

Para exibir a saída de uma iteração, clique nos valores Hora de início ou Hora de término da iteração.

Ver execuções de trabalho recentes

Você pode exibir uma lista de execuções atualmente em execução e concluídas recentemente para todos os trabalhos em um espaço de trabalho ao qual você tem acesso, incluindo execuções iniciadas por ferramentas de orquestração externas, como Apache Airflow ou Azure Data Factory. Para exibir a lista de execuções de trabalho recentes:

1. Clique em Fluxos de trabalho na barra lateral.
2. Clique na guia Execuções de trabalho para exibir a lista Execuções de trabalho.

O gráfico Contagem de execuções concluídas exibe o número de execuções de trabalho concluídas nas últimas 48 horas. Por padrão, o gráfico exibe as execuções de trabalho com falha, ignoradas e bem-sucedidas. Você também pode filtrar o gráfico para mostrar status de execução específicos ou restringir o gráfico a um intervalo de tempo específico. A guia Execuções de trabalho também inclui uma tabela de execuções de trabalho dos últimos 67 dias. Por padrão, a tabela inclui detalhes sobre execuções de trabalho com falha, ignoradas e bem-sucedidas.

Nota

O gráfico Contagem de execuções concluídas só é exibido quando você clica em Propriedade de mim.

Você pode filtrar a contagem de execuções concluídas por status de execução:

• Para atualizar o gráfico para mostrar trabalhos em execução ou aguardando execução, clique em Execuções ativas.
• Para atualizar o gráfico para mostrar apenas execuções concluídas, incluindo execuções falhadas, bem-sucedidas e ignoradas, clique em Execuções concluídas.
• Para atualizar o gráfico para mostrar apenas as execuções concluídas com êxito nas últimas 48 horas, clique em Execuções bem-sucedidas.
• Para atualizar o gráfico para mostrar apenas execuções ignoradas, clique em Execuções ignoradas. As execuções são ignoradas porque você excedeu o número máximo de execuções simultâneas em seu espaço de trabalho ou o trabalho excedeu o número máximo de execuções simultâneas especificado pela configuração do trabalho.
• Para atualizar o gráfico para mostrar apenas as execuções concluídas em um estado de erro, clique em Execuções com falha.

Quando você clica em qualquer um dos botões de filtro, a lista de execuções na tabela de execuções também é atualizada para mostrar apenas as execuções de trabalho que correspondem ao status selecionado.

Para limitar o intervalo de tempo exibido no gráfico Contagem de execuções concluídas, clique e arraste o cursor no gráfico para selecionar o intervalo de tempo. A atualização do gráfico e da tabela de execuções para exibição é executada apenas a partir do intervalo de tempo selecionado.

Por padrão, a lista de execuções na tabela de execuções exibe:

• A hora de início da corrida.
• O nome do trabalho associado à execução.
• O nome de usuário como o trabalho é executado.
• Se a execução foi acionada por uma agenda de trabalho ou uma solicitação de API, ou se foi iniciada manualmente.
• O tempo decorrido para um trabalho em execução no momento ou o tempo total de execução para uma execução concluída. Um aviso será exibido se a duração exceder um tempo de conclusão esperado configurado.
• O status da corrida, ou , , , , SkippedSucceeded, TerminatedTerminatingFailed, Internal Error, CancelingCanceledTimed Out, , ou .Waiting for RetryRunningPendingQueued
• Quaisquer parâmetros para a execução.
• Clique para acessar ações específicas do contexto para a execução, por exemplo, parar uma execução ativa ou excluir uma execução concluída.

Para alterar as colunas exibidas na lista de execuções, clique e selecione ou desmarque colunas.

A tabela Top 5 error types exibe uma lista dos tipos de erro mais frequentes do intervalo de tempo selecionado, permitindo que você veja rapidamente as causas mais comuns de problemas de trabalho em seu espaço de trabalho.

Para exibir os detalhes da execução do trabalho, clique no link na coluna Hora de início da execução. Para exibir os detalhes do trabalho, clique no nome do trabalho na coluna Trabalho .

Ver informações de linhagem para um trabalho

Se o Catálogo Unity estiver habilitado em seu espaço de trabalho, você poderá visualizar informações de linhagem para qualquer tabela do Catálogo Unity em seu fluxo de trabalho. Se as informações de linhagem estiverem disponíveis para seu fluxo de trabalho, você verá um link com uma contagem de tabelas upstream e downstream no painel Detalhes do trabalho para seu trabalho, no painel Detalhes da execução do trabalho para uma execução de trabalho ou no painel Detalhes da execução da tarefa para uma execução de tarefa. Clique no link para mostrar a lista de tabelas. Clique numa tabela para ver informações detalhadas no Explorador de Catálogos.

Exibir e executar um trabalho criado com um Databricks Asset Bundle

Você pode usar a interface do usuário de Trabalhos do Azure Databricks para exibir e executar trabalhos implantados por um Pacote de Ativos Databricks. Por padrão, esses trabalhos são somente leitura na interface do usuário de Trabalhos. Para editar um trabalho implantado por um pacote, altere o arquivo de configuração do pacote e reimplante o trabalho. A aplicação de alterações somente à configuração do pacote garante que os arquivos de origem do pacote sempre capturem a configuração de trabalho atual.

No entanto, se você precisar fazer alterações imediatas em um trabalho, poderá desconectá-lo da configuração do pacote para habilitar a edição das configurações do trabalho na interface do usuário. Para desconectar o trabalho, clique em Desconectar da origem. Na caixa de diálogo Desconectar da origem, clique em Desconectar para confirmar.

Quaisquer alterações feitas no trabalho na interface do usuário não são aplicadas à configuração do pacote. Para aplicar as alterações feitas na interface do usuário ao pacote, você deve atualizar manualmente a configuração do pacote. Para reconectar o trabalho à configuração do pacote, reimplante-o usando o pacote.

Exportar resultados de execução de trabalho

Você pode exportar resultados de execução de bloco de anotações e logs de execução de trabalho para todos os tipos de trabalho.

Exportar resultados de execução do bloco de notas

Você pode persistir as execuções de trabalho exportando seus resultados. Para execuções de trabalho de bloco de anotações, você pode exportar um bloco de anotações renderizado que pode ser importado posteriormente para seu espaço de trabalho do Azure Databricks.

Para exportar blocos de anotações executar resultados para um trabalho com uma única tarefa:

1. Na página de detalhes do trabalho, clique no link Exibir detalhes da execução na coluna Executar da tabela Execuções concluídas (últimos 60 dias ).
2. Clique em Exportar para HTML.

Para exportar blocos de anotações executar resultados para um trabalho com várias tarefas:

1. Na página de detalhes do trabalho, clique no link Exibir detalhes da execução na coluna Executar da tabela Execuções concluídas (últimos 60 dias ).
2. Clique na tarefa do bloco de notas a exportar.
3. Clique em Exportar para HTML.

Exportar logs de execução de tarefas

Você também pode exportar os logs para sua execução de trabalho. Você pode configurar seu trabalho para entregar automaticamente logs ao DBFS por meio da API de trabalho. Veja o new_cluster.cluster_log_conf objeto no corpo da solicitação passado para a operação Criar um novo trabalho (POST /jobs/create) na API de Trabalhos.