预测I/O是一组Azure Databricks优化,可以加快数据的读取和更新速度:
- 加速读取 可加快选择性查询的速度,否则这类查询扫描的数据量会远大于返回的数据量。
- 当更新、删除或合并仅更改文件中的几行时,加速更新会减少重写的数据量。
预测性 I/O 专用于 Azure Databricks 上的 Photon 引擎。 请参阅什么是 Photon?。
当预测 I/O 适用时
Predictive I/O 自动运行。 不要为单个查询开启它。 受益:
- 可以在无服务器或 Pro SQL 仓库,或支持 Photon 的集群上运行查询。 参见 使用预测 I/O 加速读取。
- 在频繁
DELETE、MERGE或UPDATE操作的表上启用删除向量,以获得加速更新。 请参阅使用预测性 I/O 加快更新速度。
预测 I/O 还取代了 Bloom 筛选器索引。 请参阅 Bloom 筛选器索引(已弃用)。
使用预测性 I/O 加快读取速度
预测性 I/O 用于提高支持的计算类型上所有操作的数据扫描和筛选性能。
重要
无服务器和专业类型的 SQL 仓库以及运行 Databricks Runtime 11.3 LTS 及更高版本的 Photon 加速群集支持预测性 I/O 读取。
预测I/O通过应用深度学习技术提升扫描性能:
- 确定最有效的访问模式来读取数据,并只扫描真正需要的数据。
- 消除不需要用于生成查询结果的列和行的解码。
- 计算选择性查询中的搜索条件与某个行匹配的概率。 查询运行时,预测 I/O 利用这些概率预测下一个匹配行出现的位置,并仅从云存储读取该数据。
使用预测性 I/O 加快更新速度
所有在这些支持 Photon 的计算类型上启用删除向量的表,都会自动使用用于更新的预测 I/O:
- 无服务器 SQL 仓库。
- Pro SQL 仓库。
- 运行 Databricks Runtime 14.0 及更高版本的群集。
注意
Databricks Runtime 12.2 LTS 及更高版本支持预测性 I/O 更新,但 Databricks 建议使用 14.0 及更高版本以获得最佳性能。
请参阅 Databricks 中的删除向量。
重要
工作区管理员设置控制是否为新的 Delta Lake 表自动启用删除向量。 请参阅自动启用删除向量。
可以通过设置一个 Delta Lake 表属性来启用对 Delta Lake 表上向量删除的支持。 你可以在创建表时启用删除向量,或者修改现有表,例如:
CREATE TABLE <table-name> [options] TBLPROPERTIES ('delta.enableDeletionVectors' = true);
ALTER TABLE <table-name> SET TBLPROPERTIES ('delta.enableDeletionVectors' = true);
警告
启用删除向量时,表协议版本将会升级。 升级后,不支持删除向量的Delta Lake客户端无法读取该表。 请参阅 Delta Lake 功能兼容性和协议。
有关支持删除向量的客户端的列表,请参阅 客户端兼容性。
在 Databricks Runtime 14.1 及更高版本中,你可以将删除向量表功能删除以实现与其他 Delta 客户端的兼容性。 请参阅删除 Delta Lake 表功能并降级表协议。
预测I/O利用删除向量加快更新,减少Delta Lake表数据修改时整个文件重写的频率。 预测性 I/O 会优化 DELETE、MERGE 和 UPDATE 操作。
当更新或删除任何记录时,预测性 I/O 不会重写数据文件中的所有记录,而是使用删除向量来指示记录已从目标数据文件中删除。 补充数据文件用于标示更新。
后续读取该表时,会通过将已记录的更改应用到最新的表版本来确定当前表状态。
重要
预测性 I/O 更新与删除向量具有相同的所有限制。 在Databricks Runtime 12.2 LTS及更高版本中,以下限制适用:
- 启用了删除矢量的表不支持 OpenSharing。
- 无法为存在删除向量的表生成清单文件。 运行
REORG TABLE ... APPLY (PURGE)并确保没有任何并发写入操作正在运行,以生成清单。 - 无法为启用了删除向量的表以增量方式生成清单文件。