从云对象存储读取数据比从本地磁盘读取慢。 如果没有缓存,读取相同 Parquet 数据文件的查询和笔记本每次都会反复从云对象存储中获取这些文件。
Azure Databricks 使用磁盘缓存来加快数据读取速度。 当节点从远程存储获取Parquet数据文件时,它会自动以快速中间格式存储一份副本到本地存储。 后续对相同数据的读取则在本地进行,速度显著更快。 该缓存适用于所有 Parquet 数据文件,包括 Delta Lake 表。
注意
在 SQL 仓库和 Databricks Runtime 14.2 及更高版本中,CACHE SELECT 命令被忽略。 改用增强的磁盘缓存算法。
最佳做法
磁盘缓存最有助于处理多次读取相同数据的工作负载,例如对同一表进行重复或迭代查询。 Azure Databricks 会在支持该功能的辅助角色实例类型上自动启用它。 为了帮助磁盘缓存加快读取速度,请遵循以下做法:
- 选择支持磁盘缓存的工作实例类型。 请参阅《选择实例类型以使用磁盘缓存》。
- 在重复读取Parquet和Delta Lake数据时,使用磁盘缓存代替Apache Spark缓存。 参见 “比较磁盘缓存与Spark缓存”。
Delta 缓存已重命名为磁盘缓存
Azure Databricks 上的磁盘缓存以前称为 Delta 缓存和 DBIO 缓存。 磁盘缓存行为是 Azure Databricks 的一项专有功能。 此次名称更改旨在消除关于其属于 Delta Lake 协议一部分的误解。
比较磁盘缓存和Spark缓存
Azure Databricks 磁盘缓存不同于 Apache Spark 缓存。 Databricks 建议使用自动磁盘缓存。
下表汇总了磁盘缓存与 Apache Spark 缓存之间的主要差别,以方便你选择最适合你的工作流的工具:
| 功能 | 磁盘缓存 | Apache Spark 缓存 |
|---|---|---|
| 存储为 | 工作器节点上的本地文件。 | 内存中块,但取决于存储级别。 |
| 适用于 | ABFS 和其他文件系统上存储的任何 Parquet 表。 | 任何数据帧或 RDD。 |
| 触发 | 自动执行,第一次读取时(如果启用了缓存)。 | 手动执行,需要更改代码。 |
| 已评估 | 懒洋洋地。 | 懒洋洋地。 |
| 可用性 | 在某些节点类型上默认启用。 你可以通过配置标志来启用或禁用它。 | 始终可用。 |
| 逐出 | 以 LRU 方式或在任意文件发生更改时自动执行,重启群集时手动执行。 | 以 LRU 方式自动执行,使用 unpersist 手动执行。 |
在无服务器计算中,df.cache() 的工作方式与此表中的 Apache Spark 缓存不同。 参见 在无服务器计算上缓存 DataFrame。
磁盘缓存一致性
磁盘缓存自动检测何时创建、删除、修改或覆盖了数据文件,并相应地更新其内容。 可以写入、修改和删除表格数据,并且无需显式地使缓存数据失效。 所有过时项都将自动失效,并从缓存中逐出。
选择实例类型以使用磁盘缓存
建议的(也是最简单的)磁盘缓存使用方法是在配置群集时选择使用 SSD 卷的工作器类型。 此类工作器已启用并已配置为使用磁盘缓存。
将磁盘缓存配置为最多使用工作器节点随附的本地 SSD 的一半可用空间。 有关配置选项,请参阅配置磁盘缓存。
配置磁盘缓存
Databricks 建议你为计算资源选择具有缓存加速功能的辅助角色实例类型。 以最佳方式自动为磁盘缓存配置了此类实例。
注意
当工作器被停用时,存储在该工作器上的 Spark 缓存将丢失。 因此,如果启用了自动缩放,则缓存存在一定的不稳定性。 然后,Spark 需要根据需要从源中重新读取丢失的分区。
配置磁盘使用率
要配置磁盘缓存如何使用工作节点的本地存储,请在集群创建时指定以下 Spark 配置 设置:
-
spark.databricks.io.cache.maxDiskUsage:每个节点为缓存数据预留的磁盘空间(以字节为单位) -
spark.databricks.io.cache.maxMetaDataCache:每个节点为缓存元数据预留的磁盘空间(以字节为单位) -
spark.databricks.io.cache.compression.enabled:是否应以压缩格式存储缓存数据
示例配置:
spark.databricks.io.cache.maxDiskUsage 50g
spark.databricks.io.cache.maxMetaDataCache 1g
spark.databricks.io.cache.compression.enabled false
启用或禁用磁盘缓存
要查看当前磁盘缓存的设置,请执行:
spark.conf.get("spark.databricks.io.cache.enabled")
若要启用和禁用磁盘缓存,请运行:
spark.conf.set("spark.databricks.io.cache.enabled", "[true | false]")
禁用缓存不会删除本地存储中已有的数据。 相反,它会阻止查询向缓存添加新数据,以及从缓存读取数据。