无服务器日志传送会将无服务器作业的应用程序日志写入 Unity Catalog 卷。 工作区管理员为工作区配置目标,以便团队可以保留日志并使用可观测性工具处理这些日志。 日志在作业完成后异步传输。 送达可能需要几分钟,且会根据处理和上传时间有所不同。
Important
此功能在 Beta 版中。 要使用它,工作区管理员必须从预览页面开启将无服务器日志传送到 Unity Catalog 卷。 请参阅 Manage Azure Databricks 预览版。
要求
- 一个支持无服务器计算和 Unity Catalog 的工作区。
- 无服务器 环境版本 5 或更高版本。
- 需要有工作区管理员角色才能配置日志传送。 参见 将工作区管理员角色分配给用户。
- 工作区启用了 Unity 目录卷的无服务器日志交付 预览功能。 它可能已经被启用了。 如果此功能被禁用,工作区管理员可以在 预览 页面启用。 启用预览后,配置可用;但不会开始交付。
- 目标卷。 配置交付的管理员需要对其目录具有
USE SCHEMA、对其模式具有READ VOLUME,并对卷具有WRITE VOLUME和USE CATALOG。 请参阅 Unity Catalog 卷的特权。
Note
仅将交付配置到访问受限的受信任卷。 已交付日志可能包含敏感信息,包括用户电子邮件、存储路径、栈跟踪、内部标识符和临时签名URL。 日志不保证不包含敏感信息。
访问目的地的用户可以阅读已交付的日志,包括其他用户作业的日志。 相应限制对存储卷的访问。
Limitations
无服务器日志交付仅支持无服务器作业。 它不支持 Lakeflow 管道或交互式笔记本。
启用日志传送
工作区管理员必须启用工作区的日志传递功能。
- 在用户菜单中打开设置。
- 在 工作区管理员下,点击 计算资源。
- 在 日志交付 部分,开启 无服务器日志交付。
- 在 “配置日志传递”中,输入 卷路径,例如
/Volumes/observability/production/serverless_logs,或点击文件夹图标浏览卷。 - 单击“ 保存”。 保存目标即会启用传送。
该设置适用于工作区层面。 你不需要单独配置每个作业。
读取已传送的日志
应用输出包括用户代码的标准输出和标准错误,包括用户自定义函数(UDF)。 使用 Catalog Explorer 浏览目标卷并检查已交付的文件。 请参阅在 Unity Catalog 卷中处理文件。
日志传送不提供群集指标或查询配置文件。 使用作业运行页面来调查运行状态和性能,同时查看应用日志。 请参阅监视 Lakeflow 作业。
通过 SQL 查询已传送日志
使用 read_files 查询已交付的文本文件。 将此示例中的卷路径替换为你的目标。 要读取日志,你需要在目录上具有 USE CATALOG、在架构上具有 USE SCHEMA,并在卷上具有 READ VOLUME 权限。
创建一个临时视图,从文件路径中提取作业和运行标识符,并保留每行日志输出:
CREATE OR REPLACE TEMPORARY VIEW serverless_job_logs AS
SELECT
regexp_extract(_metadata.file_path, '/job_id=([^/]+)/', 1) AS job_id,
regexp_extract(_metadata.file_path, '/job_run_id=([^/]+)/', 1) AS job_run_id,
regexp_extract(_metadata.file_path, '/task_run_id=([^/]+)/', 1) AS task_run_id,
_metadata.file_name AS file_name,
value AS log_line
FROM read_files(
'/Volumes/observability/production/serverless_logs/',
format => 'text'
);
查找跨各次作业运行中包含错误的行:
SELECT job_id, job_run_id, task_run_id, file_name, log_line
FROM serverless_job_logs
WHERE log_line LIKE '%ERROR%';
识别错误线最多的作业:
SELECT
job_id,
count(*) AS error_lines,
count(DISTINCT job_run_id) AS affected_runs
FROM serverless_job_logs
WHERE log_line LIKE '%ERROR%'
GROUP BY job_id
ORDER BY error_lines DESC;
这些查询搜索的是字面文本 ERROR。 调整过滤器以匹配你的应用程序日志记录格式。 请参阅 read_files 表值函数。
更改目的地或禁用投递
要更改目标,请依次打开设置 > 计算 > 日志传送,点击卷名称旁的铅笔图标,输入或浏览到新路径,然后单击保存。 保存目标即会启用传送,即使之前禁用了传送。
要禁用传送,请依次打开设置 > 计算 > 日志传送并关闭无服务器日志传送。 该设置会保留目标,因此无需选择其他卷即可再次启用传送。 禁用传送并不会移除已经写入卷的文件。 分别管理这些文件的访问和保留期。
排查丢失的日志
如果作业完成后日志未出现:
- 检查是否已在设置 > 计算 日志传递下启用>。 仅启用预览并不能启动投递。
- 检查配置好的卷是否存在,并且负责配置交付的管理员是否保留所需的权限。
- 确认作业使用无服务器计算并产生应用输出。 作业完成后,请等待几分钟以进行异步传送。 处理和上传可能需要一些时间,因此交付可能会延迟。
关于经典的计算日志交付,请参见 计算日志交付。