Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
A entrega de logs serverless grava logs de aplicação de trabalhos serverless em um volume do Unity Catalog. Administradores de workspace configuram um destino para o workspace para que as equipes possam manter logs e processá-los com suas ferramentas de observabilidade. Os logs são entregues de forma assíncrona após a conclusão do job. A entrega pode levar vários minutos e varia conforme o tempo de processamento e envio.
Importante
Esse recurso está em Beta. Para usá-lo, um administrador de espaço de trabalho deve ativar a entrega de logs serverless para volumes do Unity Catalog a partir da página Previews. Consulte Gerenciar visualizações do Azure Databricks.
Requisitos
- Um espaço de trabalho com computação serverless e Unity Catalog habilitados.
- Serverless versão do ambiente 5 ou posterior.
- É necessário ter a função de administrador de workspace para configurar a entrega de logs. Veja Atribuir o papel de administrador do workspace a um usuário.
- A versão prévia de Entrega de logs sem servidor para volumes do Unity Catalog foi ativada para o workspace. Pode já estar ativado. Se estiver desativado, um administrador do espaço de trabalho pode habilitá-lo na página Previews. Ativar a pré-visualização torna a configuração disponível; ela não inicia a entrega.
- Volume de destino. O administrador que configura a entrega precisa de
USE CATALOGno catálogo,USE SCHEMAno schema eREAD VOLUMEeWRITE VOLUMEno volume. Consulte Privileges para volumes do Unity Catalog.
Note
Configure a entrega apenas para um volume de armazenamento confiável com acesso restrito. Logs entregues podem conter informações sensíveis, incluindo e-mails de usuário, caminhos de armazenamento, rastreios de pilha, identificadores internos e URLs temporárias assinadas. Não há garantia de ausência de segredos em logs.
Usuários com acesso ao destino podem ler os logs entregues, incluindo logs de trabalhos de outros usuários. Restrinja o acesso ao volume de acordo.
Limitations
A entrega de logs sem servidor suporta apenas jobs serverless. Não suporta pipelines Lakeflow nem notebooks interativos.
Habilitar a entrega de logs
Um administrador de espaço de trabalho deve habilitar a entrega de logs para o espaço de trabalho.
- Abra Configurações a partir do seu menu de usuário.
- Em Administração do workspace, clique em Computação.
- Na seção Entrega de logs, ative Entrega de logs sem servidor.
-
Em Configurar entrega de logs, insira um caminho de Volume, como
/Volumes/observability/production/serverless_logs, ou clique no ícone da pasta para navegar pelos volumes. - Clique em Salvar. Salvar o destino permite o envio.
A configuração se aplica ao nível do workspace. Você não precisa configurar cada trabalho separadamente.
Ler logs entregues
A saída da aplicação inclui saída padrão e erro padrão do código do usuário, incluindo funções definidas pelo usuário (UDFs). Use o Explorador de Catálogo para navegar pelo volume de destino e inspecionar arquivos entregues. Consulte Trabalho com arquivos nos volumes do Unity Catalog.
A entrega de logs não fornece métricas de cluster ou perfis de consulta. Use a página de execução do trabalho para investigar o status e o desempenho da execução junto com os logs da aplicação. Consulte Monitor Lakeflow Jobs.
Consultar logs entregues com SQL
Utilize read_files para consultar os arquivos de texto entregues. Substitua o caminho de volume neste exemplo pelo seu caminho de destino. Para ler os logs, você precisa USE CATALOG no catálogo, USE SCHEMA no esquema e READ VOLUME no volume.
Crie uma visualização temporária que extraia identificadores de trabalho e execução do caminho do arquivo e mantenha cada linha de saída de log:
CREATE OR REPLACE TEMPORARY VIEW serverless_job_logs AS
SELECT
regexp_extract(_metadata.file_path, '/job_id=([^/]+)/', 1) AS job_id,
regexp_extract(_metadata.file_path, '/job_run_id=([^/]+)/', 1) AS job_run_id,
regexp_extract(_metadata.file_path, '/task_run_id=([^/]+)/', 1) AS task_run_id,
_metadata.file_name AS file_name,
value AS log_line
FROM read_files(
'/Volumes/observability/production/serverless_logs/',
format => 'text'
);
Encontre linhas contendo erros em execuções de trabalhos:
SELECT job_id, job_run_id, task_run_id, file_name, log_line
FROM serverless_job_logs
WHERE log_line LIKE '%ERROR%';
Identifique os trabalhos com mais linhas de erro:
SELECT
job_id,
count(*) AS error_lines,
count(DISTINCT job_run_id) AS affected_runs
FROM serverless_job_logs
WHERE log_line LIKE '%ERROR%'
GROUP BY job_id
ORDER BY error_lines DESC;
Essas consultas buscam o texto ERRORliteral . Ajuste o filtro para corresponder ao formato de registro do seu aplicativo. Consulte TVF read_files.
Mude o destino ou desative a entrega
Para alterar o destino, abra Configurações > Compute > Entrega de logs, clique no ícone de lápis ao lado do nome do volume, insira ou navegue até um novo caminho e clique em Salvar. Salvar um destino habilita a entrega, inclusive quando a entrega foi desabilitada.
Para desabilitar a entrega, abra Configurações > Computação > Entrega de logs e desative Entrega de logs sem servidor. A configuração mantém o destino para que você possa ativar a entrega novamente sem precisar selecionar outro volume. Desativar a entrega não remove arquivos já escritos no volume. Gerencie o acesso e a retenção desses arquivos separadamente.
Solucionar problemas com logs ausentes
Se os registros não aparecerem após a conclusão do trabalho:
- Verifique se a entrega de logs serverless está ativada em Configurações > Compute > entrega de log. Apenas ativar a prévia não inicia a entrega.
- Verifique se o volume configurado existe e se o administrador que configurou a entrega mantém as permissões necessárias.
- Confirme que o trabalho usa computação serverless e produz a saída da aplicação. Reserve alguns minutos após a conclusão da tarefa para a entrega assíncrona ocorrer. O tempo de processamento e envio pode atrasar a entrega.
Para a entrega de logs de computação clássica, confira Entrega de logs de computação.