对 Unity Catalog 托管表进行向量优化

Important

此功能在 Beta 版中。

向量优化加速了在 Unity 目录管理的表格中对向量列的相似性搜索。 当你使用 APPROX NEAREST BY 运行向量搜索查询时,Azure Databricks 可以使用向量优化,将搜索范围缩小到可能包含最近匹配项的数据。 这减少了扫描的数据量,尤其是对于大型表。

要使用向量优化,可以在列上创建一个向量索引,并指定一个评分指标:余弦相似度、内积或L2距离。 预测优化 会随着数据变化自动刷新索引。 使用索引列和匹配比较函数的符合条件的查询使用优化;其他查询使用暴力搜索。 关于查询语法和示例,请参见 NEAREST BY子句。

Requirements

要在表上创建向量索引:

  • 使用Databricks Runtime 19及以上版本。
  • 你必须在表上拥有 USE CATALOG 和 USE SCHEMA 权限,在其目录上拥有 SELECT 权限,并在其模式上拥有 MODIFY 权限。
  • 该表必须是 Unity Catalog 管理的 Delta Lake 或 Iceberg 表。
  • 在与表相同的目录和模式中创建索引。
  • 表格上必须启用预测优化,才能自动刷新索引。
  • 创建索引前必须启用行追踪功能。 请参阅 Databricks 中的行跟踪。
  • 创建索引时,表必须包含数据。
  • 向量列必须具有数据类型 ARRAY<FLOAT>,所有向量的元素数必须相同。

要在APPROX NEAREST BY连接中使用向量优化,将带有向量索引的表放在右侧,并使用与索引评分指标匹配的比较函数。 左侧的查询向量表也必须启用行追踪。

创建矢量索引

使用 CREATE VECTOR INDEX 为列和评分指标创建索引。 例如,该语句为 embedding 列创建了一个使用余弦相似度的索引:

CREATE VECTOR INDEX main.analytics.documents_embedding_cosine_idx
ON main.analytics.documents (embedding)
OPTIONS (scoring_metric = 'cosine_similarity');

你可以在同一列创建多个向量索引,以支持不同的评分指标。

每个评分指标对应一个查询函数:

评分指标 查询函数
cosine_similarity vector_cosine_similarity
inner_product vector_inner_product
l2_distance vector_l2_distance

Important

在查询 APPROX NEAREST BY 中使用与索引评分指标匹配的查询函数。 如果不存在匹配的索引,查询将在没有向量优化的情况下运行。

使用向量优化查询数据

将带有向量索引的表放在 APPROX NEAREST BY 连接的右侧。 你可以在使用向量优化的同时过滤左侧的查询向量表。 以下批量联接操作每个查询向量最多返回 10 个文档:

SELECT
  q.query_id,
  d.document_id
FROM main.analytics.query_vectors AS q
INNER JOIN main.analytics.documents AS d
  APPROX NEAREST 10 BY SIMILARITY
    vector_cosine_similarity(q.embedding, d.embedding);

指数维护与状态

创建向量索引后,Predictive Optimization 会随着表的变化自动刷新它。 查询会立即包含新添加的行,甚至在这些行被索引之前。

要查找与表关联的索引,执行 DESCRIBE EXTENDED:

DESCRIBE EXTENDED main.analytics.documents;

# Indexes输出部分显示每个索引的名称和完全限定的名称。 例如:

# Indexes
documents_embedding_cosine_idx   main.analytics.documents_embedding_cosine_idx

要检查该索引,请使用其完全限定的名称:

DESCRIBE INDEX main.analytics.documents_embedding_cosine_idx;

输出包含索引列和评分指标的信息。 例如:

属性 value
Name documents_embedding_cosine_idx
Columns embedding
评分指标 cosine_similarity

预测优化 会刷新索引,但不会自动重新训练该索引。 如果表格中向量分布发生显著变化,重新训练可以帮助保持搜索质量。

要重新训练索引,只需丢弃并用相同的列和评分指标重新创建该索引。 例如:

DROP INDEX main.analytics.documents_embedding_cosine_idx;

CREATE VECTOR INDEX main.analytics.documents_embedding_cosine_idx
ON main.analytics.documents (embedding)
OPTIONS (scoring_metric = 'cosine_similarity');

删除一个向量索引

使用 DROP INDEX 移除向量索引:

DROP INDEX main.analytics.documents_embedding_cosine_idx;

在你删除索引后,依赖它的查询会在没有该索引加速的情况下运行。

Note

在重新命名、删除或更改索引列的类型之前,先删除该列上的每个向量索引。

Limitations

  • 创建索引时,表格最多可包含10亿行,向量最多可包含4096个元素。

  • 在以下情况下,查询使用暴力搜索代替向量优化:

    • 查询在索引表上使用 Time Travel。
    • 该表具有行筛选、列掩码或基于属性的访问控制(ABAC)策略。
    • 该表是 OpenSharing 的源或目标。

    即使你添加了这些策略,或者在创建索引后才开始共享表,这一点依然适用。