Enviar logs serverless para volumes do Unity Catalog

A entrega de logs serverless grava logs de aplicação de trabalhos serverless em um volume do Unity Catalog. Administradores de workspace configuram um destino para o workspace para que as equipes possam manter logs e processá-los com suas ferramentas de observabilidade. Os logs são entregues de forma assíncrona após a conclusão do job. A entrega pode levar vários minutos e varia conforme o tempo de processamento e envio.

Importante

Esse recurso está em Beta. Para usá-lo, um administrador de espaço de trabalho deve ativar a entrega de logs serverless para volumes do Unity Catalog a partir da página Previews. Consulte Gerenciar visualizações do Azure Databricks.

Requisitos

  • Um espaço de trabalho com computação serverless e Unity Catalog habilitados.
  • Serverless versão do ambiente 5 ou posterior.
  • É necessário ter a função de administrador de workspace para configurar a entrega de logs. Veja Atribuir o papel de administrador do workspace a um usuário.
  • A versão prévia de Entrega de logs sem servidor para volumes do Unity Catalog foi ativada para o workspace. Pode já estar ativado. Se estiver desativado, um administrador do espaço de trabalho pode habilitá-lo na página Previews. Ativar a pré-visualização torna a configuração disponível; ela não inicia a entrega.
  • Volume de destino. O administrador que configura a entrega precisa de USE CATALOG no catálogo, USE SCHEMA no schema e READ VOLUME e WRITE VOLUME no volume. Consulte Privileges para volumes do Unity Catalog.

Note

Configure a entrega apenas para um volume de armazenamento confiável com acesso restrito. Logs entregues podem conter informações sensíveis, incluindo e-mails de usuário, caminhos de armazenamento, rastreios de pilha, identificadores internos e URLs temporárias assinadas. Não há garantia de ausência de segredos em logs.

Usuários com acesso ao destino podem ler os logs entregues, incluindo logs de trabalhos de outros usuários. Restrinja o acesso ao volume de acordo.

Limitations

A entrega de logs sem servidor suporta apenas jobs serverless. Não suporta pipelines Lakeflow nem notebooks interativos.

Habilitar a entrega de logs

Um administrador de espaço de trabalho deve habilitar a entrega de logs para o espaço de trabalho.

  1. Abra Configurações a partir do seu menu de usuário.
  2. Em Administração do workspace, clique em Computação.
  3. Na seção Entrega de logs, ative Entrega de logs sem servidor.
  4. Em Configurar entrega de logs, insira um caminho de Volume, como /Volumes/observability/production/serverless_logs, ou clique no ícone da pasta para navegar pelos volumes.
  5. Clique em Salvar. Salvar o destino permite o envio.

A configuração se aplica ao nível do workspace. Você não precisa configurar cada trabalho separadamente.

Ler logs entregues

A saída da aplicação inclui saída padrão e erro padrão do código do usuário, incluindo funções definidas pelo usuário (UDFs). Use o Explorador de Catálogo para navegar pelo volume de destino e inspecionar arquivos entregues. Consulte Trabalho com arquivos nos volumes do Unity Catalog.

A entrega de logs não fornece métricas de cluster ou perfis de consulta. Use a página de execução do trabalho para investigar o status e o desempenho da execução junto com os logs da aplicação. Consulte Monitor Lakeflow Jobs.

Consultar logs entregues com SQL

Utilize read_files para consultar os arquivos de texto entregues. Substitua o caminho de volume neste exemplo pelo seu caminho de destino. Para ler os logs, você precisa USE CATALOG no catálogo, USE SCHEMA no esquema e READ VOLUME no volume.

Crie uma visualização temporária que extraia identificadores de trabalho e execução do caminho do arquivo e mantenha cada linha de saída de log:

CREATE OR REPLACE TEMPORARY VIEW serverless_job_logs AS
SELECT
  regexp_extract(_metadata.file_path, '/job_id=([^/]+)/', 1) AS job_id,
  regexp_extract(_metadata.file_path, '/job_run_id=([^/]+)/', 1) AS job_run_id,
  regexp_extract(_metadata.file_path, '/task_run_id=([^/]+)/', 1) AS task_run_id,
  _metadata.file_name AS file_name,
  value AS log_line
FROM read_files(
  '/Volumes/observability/production/serverless_logs/',
  format => 'text'
);

Encontre linhas contendo erros em execuções de trabalhos:

SELECT job_id, job_run_id, task_run_id, file_name, log_line
FROM serverless_job_logs
WHERE log_line LIKE '%ERROR%';

Identifique os trabalhos com mais linhas de erro:

SELECT
  job_id,
  count(*) AS error_lines,
  count(DISTINCT job_run_id) AS affected_runs
FROM serverless_job_logs
WHERE log_line LIKE '%ERROR%'
GROUP BY job_id
ORDER BY error_lines DESC;

Essas consultas buscam o texto ERRORliteral . Ajuste o filtro para corresponder ao formato de registro do seu aplicativo. Consulte TVF read_files.

Mude o destino ou desative a entrega

Para alterar o destino, abra Configurações > Compute > Entrega de logs, clique no ícone de lápis ao lado do nome do volume, insira ou navegue até um novo caminho e clique em Salvar. Salvar um destino habilita a entrega, inclusive quando a entrega foi desabilitada.

Para desabilitar a entrega, abra Configurações > Computação > Entrega de logs e desative Entrega de logs sem servidor. A configuração mantém o destino para que você possa ativar a entrega novamente sem precisar selecionar outro volume. Desativar a entrega não remove arquivos já escritos no volume. Gerencie o acesso e a retenção desses arquivos separadamente.

Solucionar problemas com logs ausentes

Se os registros não aparecerem após a conclusão do trabalho:

  1. Verifique se a entrega de logs serverless está ativada em Configurações > Compute > entrega de log. Apenas ativar a prévia não inicia a entrega.
  2. Verifique se o volume configurado existe e se o administrador que configurou a entrega mantém as permissões necessárias.
  3. Confirme que o trabalho usa computação serverless e produz a saída da aplicação. Reserve alguns minutos após a conclusão da tarefa para a entrega assíncrona ocorrer. O tempo de processamento e envio pode atrasar a entrega.

Para a entrega de logs de computação clássica, confira Entrega de logs de computação.