FILE 函数快速启动

Important

此功能在 Beta 版中。 工作区管理员可以从 预览 页控制对此功能的访问。 请参阅 Manage Azure Databricks 预览版

FILE 类型表示非结构化文件,如文档、图片和音频。 内置的SQL函数可以创建、复制并读取文件作为 FILE 引用。

本页总结了这些功能,并附有常见操作的参考示例,例如:

  • 在 Unity 目录卷 FILE 中以引用 list_files方式列出文件。
  • 读取文件元数据,如 sizechecksum (用于识别文件版本)。
  • 通过元数据过滤文件。
  • ai_parse_document解析文档内容。

关于类型参考,请参见 FILE 类型

关于概念概述,请参见 文件类型和非结构化数据

要求

  • 这些示例使用 samples.sec.contracts 数据集,这是一组默认在所有工作区中可用的SEC提交的合同PDF合集。 要使用你自己的文件,可以把路径指向包含这些文件的 Unity 目录卷。

Examples

列表文件与捕获引用

要在路径上列出文件并将引用保存 FILE 在表中,可以使用 list_files 表值函数

CREATE TABLE documents AS
  SELECT path, size, modification_time, file
  FROM list_files('/Volumes/samples/sec/contracts/');

读取文件元数据

要读取uri一个值的 FILEsizecontent_typechecksum 字段,请使用点符号表示:

SELECT file.uri, file.size, file.content_type, file.checksum
  FROM documents;

按元数据筛选文件

要使用文件元数据(如路径和大小)过滤行:

SELECT file.uri
  FROM documents
  WHERE file.uri ILIKE '%.pdf'
    AND file.size > 100000;

解析文档内容

要从文档中提取结构化内容,将一个值传递 FILEai_parse_document 函数

SELECT file.uri, ai_parse_document(file) AS parsed
  FROM documents
  WHERE file.uri ILIKE '%.pdf';

示例笔记本

以下笔记本对上述所有示例进行了对数据集 samples.sec.contracts 的运行:

FILE 函数 快速入门笔记本

获取笔记本

后续步骤