动态文件修剪

当查询将大型 Delta Lake 表连接到较小的过滤表时,过滤值要等到查询运行时才知道。 如果没有运行时剪枝,查询会扫描大表中的每一个文件,甚至是没有匹配行的文件。 动态文件剪枝解决了这个问题。 运行时,优化器会将连接一侧的过滤结果推送到Delta Lake表的扫描处,并跳过无法包含匹配行的文件。

动态文件剪枝默认启用。 你不需要更改查询内容才能受益。

当动态文件剪枝生效时

动态文件剪枝仅适用于Delta Lake表上的连接。 在 MERGE 语句中,当合并条件比较源列与目标列是否相等时,它会使用源的联接键值跳过目标文件。 在 UPDATE 和 DELETE 语句中,当条件包含进行相同类型比较的子查询时,它就适用。

在 MERGE、UPDATE 和 DELETE 语句中进行动态文件修剪需要启用 Photon 的计算资源。 对于 SELECT 语句,Photon 提供了更广泛且更可靠的动态文件剪枝功能。 没有 Photon,动态文件剪枝可能仍然适用于 SELECT 语句,具体取决于查询形状和执行计划。 请参阅什么是 Photon?。

动态文件剪枝对非分区表和基于非分区列的连接的性能提升最明显。 默认情况下,只有当连接中的大型 Delta Lake 表至少有 10 GB 且至少有 10 个文件时,它才会触发。 请参阅配置。

动态文件剪枝还能减少写冲突。 当 Delta Lake 在提交过程中检查冲突时,它会考虑被动态文件剪枝跳过的文件。 这减少了失败交易的数量。 请参阅 隔离级别和写入冲突。

最佳做法

动态文件修剪的性能效应与数据的聚类方式相关。 如果你连接的值分散在每个文件中,动态文件剪枝只能跳过少量文件。 为了帮助动态文件剪枝跳过更多文件,请遵循以下做法:

  • 在你经常联接的列上使用 liquid clustering,这样匹配的行会集中在更少的文件中。
  • 使用支持 Photon 的计算,MERGE、UPDATE 和 DELETE 语句需要此计算来进行动态文件修剪。

配置

大多数工作负载不需要更改这些设置。 如果与较小的 Delta Lake 表的连接可从剪枝中受益,但低于默认大小或文件数阈值,可以考虑调整阈值。

以下 Apache Spark 配置属性控制动态文件剪枝:

Property 类型 Default 说明
spark.databricks.optimizer.dynamicFilePruning Boolean true 可以开启或关闭动态文件剪枝功能。
spark.databricks.optimizer.deltaTableSizeThreshold Long 10000000000 (10 GB) 触发动态文件剪枝的连接中大型 Delta Lake 表的最小字节大小。 对于较小的表,扫描整个表通常比下推过滤条件更便宜。
要查找 Delta Lake 表的大小,可以运行 DESCRIBE DETAIL table_name 并检查 sizeInBytes 列。
spark.databricks.optimizer.deltaTableFilesThreshold Integer 10 触发动态文件修剪的联接内大 Delta Lake 表中的最小文件数。 如果表中的文件少于此阈值,则不会运行动态文件修剪,因为对于只有几个文件的表来说可能不值得。
要查找Delta Lake表中的文件数量,运行 DESCRIBE DETAIL table_name 并检查该 numFiles 列。