Important
此功能在 Beta 版中。
向量优化加速了在 Unity 目录管理的表格中对向量列的相似性搜索。 当你使用 APPROX NEAREST BY 运行向量搜索查询时,Azure Databricks 可以使用向量优化,将搜索范围缩小到可能包含最近匹配项的数据。 这减少了扫描的数据量,尤其是对于大型表。
要使用向量优化,可以在列上创建一个向量索引,并指定一个评分指标:余弦相似度、内积或L2距离。 预测优化 会随着数据变化自动刷新索引。 使用索引列和匹配比较函数的符合条件的查询使用优化;其他查询使用暴力搜索。 关于查询语法和示例,请参见 NEAREST BY子句。
Requirements
要在表上创建向量索引:
- 使用Databricks Runtime 19及以上版本。
- 你必须在表上拥有
USE CATALOG和USE SCHEMA权限,在其目录上拥有SELECT权限,并在其模式上拥有MODIFY权限。 - 该表必须是 Unity Catalog 管理的 Delta Lake 或 Iceberg 表。
- 在与表相同的目录和模式中创建索引。
- 表格上必须启用预测优化,才能自动刷新索引。
- 创建索引前必须启用行追踪功能。 请参阅 Databricks 中的行跟踪。
- 创建索引时,表必须包含数据。
- 向量列必须具有数据类型
ARRAY<FLOAT>,所有向量的元素数必须相同。
要在APPROX NEAREST BY连接中使用向量优化,将带有向量索引的表放在右侧,并使用与索引评分指标匹配的比较函数。 左侧的查询向量表也必须启用行追踪。
创建矢量索引
使用 CREATE VECTOR INDEX 为列和评分指标创建索引。 例如,该语句为 embedding 列创建了一个使用余弦相似度的索引:
CREATE VECTOR INDEX main.analytics.documents_embedding_cosine_idx
ON main.analytics.documents (embedding)
OPTIONS (scoring_metric = 'cosine_similarity');
你可以在同一列创建多个向量索引,以支持不同的评分指标。
每个评分指标对应一个查询函数:
| 评分指标 | 查询函数 |
|---|---|
cosine_similarity |
vector_cosine_similarity |
inner_product |
vector_inner_product |
l2_distance |
vector_l2_distance |
Important
在查询 APPROX NEAREST BY 中使用与索引评分指标匹配的查询函数。 如果不存在匹配的索引,查询将在没有向量优化的情况下运行。
使用向量优化查询数据
将带有向量索引的表放在 APPROX NEAREST BY 连接的右侧。 你可以在使用向量优化的同时过滤左侧的查询向量表。 以下批量联接操作每个查询向量最多返回 10 个文档:
SELECT
q.query_id,
d.document_id
FROM main.analytics.query_vectors AS q
INNER JOIN main.analytics.documents AS d
APPROX NEAREST 10 BY SIMILARITY
vector_cosine_similarity(q.embedding, d.embedding);
指数维护与状态
创建向量索引后,Predictive Optimization 会随着表的变化自动刷新它。 查询会立即包含新添加的行,甚至在这些行被索引之前。
要查找与表关联的索引,执行 DESCRIBE EXTENDED:
DESCRIBE EXTENDED main.analytics.documents;
# Indexes输出部分显示每个索引的名称和完全限定的名称。 例如:
# Indexes
documents_embedding_cosine_idx main.analytics.documents_embedding_cosine_idx
要检查该索引,请使用其完全限定的名称:
DESCRIBE INDEX main.analytics.documents_embedding_cosine_idx;
输出包含索引列和评分指标的信息。 例如:
| 属性 | value |
|---|---|
| Name | documents_embedding_cosine_idx |
| Columns | embedding |
| 评分指标 | cosine_similarity |
预测优化 会刷新索引,但不会自动重新训练该索引。 如果表格中向量分布发生显著变化,重新训练可以帮助保持搜索质量。
要重新训练索引,只需丢弃并用相同的列和评分指标重新创建该索引。 例如:
DROP INDEX main.analytics.documents_embedding_cosine_idx;
CREATE VECTOR INDEX main.analytics.documents_embedding_cosine_idx
ON main.analytics.documents (embedding)
OPTIONS (scoring_metric = 'cosine_similarity');
删除一个向量索引
使用 DROP INDEX 移除向量索引:
DROP INDEX main.analytics.documents_embedding_cosine_idx;
在你删除索引后,依赖它的查询会在没有该索引加速的情况下运行。
Note
在重新命名、删除或更改索引列的类型之前,先删除该列上的每个向量索引。
Limitations
创建索引时,表格最多可包含10亿行,向量最多可包含4096个元素。
在以下情况下,查询使用暴力搜索代替向量优化:
- 查询在索引表上使用 Time Travel。
- 该表具有行筛选、列掩码或基于属性的访问控制(ABAC)策略。
- 该表是 OpenSharing 的源或目标。
即使你添加了这些策略,或者在创建索引后才开始共享表,这一点依然适用。