使用非结构化数据

在Unity Catalog中存储、管理和处理非结构化文件，如文档、图片、音频和视频，以及结构化数据。

开始

试着用一个端到尾的例子，看看各个部分如何拼接在一起。

指南	说明
FILE 函数快速启动	创建一个带有 FILE 列的表格，并用 FILE 函数处理文件。
非结构化数据教程	使用Unity Catalog卷存储、查询、处理和共享非结构化文件。

存储和参考文件

根据你是通过路径访问还是以表中的值访问，选择如何存储和引用文件。

方法	说明
Unity Catalog 卷	管理非表格文件的存储。 通过路径上传、整理和访问卷内的文件。
文件类型	将引用文件及其元数据作为表中的一类值，其治理通过引用它们的行的访问权限实现。 关于类型定义，请参见 FILE 类型引用。
二进制数据源	将文件的原始字节存储在列 BINARY 中。
图像数据来源	将图像文件读取到DataFrame中。

进程文件

在你把文件存入 Unity 目录后，提取内容，运行自定义代码，构建管道。

任务	说明
解析文档	借助 ai_parse_document 和其他 AI 功能从文档中提取结构化内容。
带有UDF的进程文件	读取文件元数据和字节，并在 UDF 中使用你自己的代码生成新文件。
将文件作为 FILE 引用导入	将文件作为 FILE 引用加载到表中。
构建文件流水线	在管道中对文件进行端到端处理。
在卷中搜索文件	将文件卷中索引，方便用户和代理搜索。

治理文件

控制谁可以访问文件并管理其生命周期，使用 Unity Catalog。

能力	说明
音量访问控制	授予对卷的权限，以控制谁可以通过路径读取和写入文件。
文件管理生命周期	让 Azure Databricks 管理表所引用文件的存储和生命周期。
FILE 列上的行筛选器	通过对引用文件的行应用行过滤器来限制访问文件。