Important
此功能在 Beta 版中。 工作区管理员可以从 预览 页控制对此功能的访问。 请参阅 Manage Azure Databricks 预览版。
该 FILE 类型表示非结构化文件,如文档、图片和音频。 内置的SQL函数可以创建、复制并读取文件作为 FILE 引用。
本页总结了这些功能,并附有常见操作的参考示例,例如:
- 在 Unity 目录卷
FILE中以引用list_files方式列出文件。 - 读取文件元数据,如
size和checksum(用于识别文件版本)。 - 通过元数据过滤文件。
- 用
ai_parse_document解析文档内容。
关于类型参考,请参见 FILE 类型。
关于概念概述,请参见 文件类型和非结构化数据。
要求
- 这些示例使用
samples.sec.contracts数据集,这是一组默认在所有工作区中可用的SEC提交的合同PDF合集。 要使用你自己的文件,可以把路径指向包含这些文件的 Unity 目录卷。
Examples
列表文件与捕获引用
要在路径上列出文件并将引用保存 FILE 在表中,可以使用 list_files 表值函数:
CREATE TABLE documents AS
SELECT path, size, modification_time, file
FROM list_files('/Volumes/samples/sec/contracts/');
读取文件元数据
要读取uri一个值的 FILE 、 size、 content_type和 checksum 字段,请使用点符号表示:
SELECT file.uri, file.size, file.content_type, file.checksum
FROM documents;
按元数据筛选文件
要使用文件元数据(如路径和大小)过滤行:
SELECT file.uri
FROM documents
WHERE file.uri ILIKE '%.pdf'
AND file.size > 100000;
解析文档内容
要从文档中提取结构化内容,将一个值传递 FILE 给 ai_parse_document 函数:
SELECT file.uri, ai_parse_document(file) AS parsed
FROM documents
WHERE file.uri ILIKE '%.pdf';
示例笔记本
以下笔记本对上述所有示例进行了对数据集 samples.sec.contracts 的运行: