Databricks 运行时维护更新

此页列出了支持的 Databricks Runtime 版本的维护更新。 要向现有群集添加维护更新，请重新启动群集。 有关不支持的 Databricks Runtime 版本的维护更新，请参阅 Databricks Runtime 的维护更新（已存档）。

发布过程是分阶段的。 Azure Databricks帐户在初始发布日期之后的几天内可能不会更新。

Note

从 Databricks Runtime 19 开始，维护更新直接在每个版本的统一发行说明页上发布。 此页面仅介绍 Databricks Runtime 18 及更早版本。 请参阅 Databricks Runtime 支持生命周期。

Databricks Runtime 版本

维护更新（按版本）：

Databricks 运行时 18 LTS

请参阅 Databricks Runtime 18 LTS。

  • 2026 年 9 月 29 日

    • [SPARK-57540][SQL] 在 StaxXmlGenerator 中直接实例化经过 shade 处理的 Woodstox WstxOutputFactory
    • 操作系统安全更新。

  • 2026 年 9 月 15 日

    • 操作系统安全更新。

  • 2026 年 9 月 1 日

    • （行为变化） RESTORECLONE 如果源表和目标表共享一个共同文件，则可能阻止更改表分区的命令。
    • [SPARK-58751][SPARK-58977] 向后移植 Python 工作进程清理和状态服务器关闭
    • [SPARK-58386][SS] 恢复SupportsRealTimeRead.nextWithTimeout的向后兼容性
    • [SPARK-51268][SQL] 解除 TreeNode 锁
    • [SPARK-58531][SQL][CONNECT] 将 spark.sql.artifact.copyFromLocalToFs.allowDestLocal 设为静态配置项
    • 操作系统安全更新。

  • 2026 年 8 月 18 日

    • [SPARK-58292][CORE] 当 worker 事件循环线程终止时，重新创建 Netty workerEventLoopGroup
    • 操作系统安全更新。

  • 2026 年 8 月 4 日

    • 更新了Java库：
      • io.delta.delta-sharing-client_2.13 从 1.4.0 到 1.4.1
    • 回退“[SPARK-57778][仅测试] 为不可选择的 Oracle JDBC 对象添加 HiFi 覆盖”
    • [SPARK-58107] 向后移植本地检查点去重封存 + MERGE 具体化源校验和验证
    • [SPARK-57547][SQL] 重新应用 InMemoryRelation 并发物化修复
    • 操作系统安全更新。

  • 2026 年 7 月 24 日

    • （行为变更）对于在 DStream 闭包中依赖自定义类型或第三方类型的用户，现在必须在检查点恢复之前将 spark.streaming.checkpoint.allowedClasses 设置为这些类型。
    • 修复了一个正确性 bug，其中具有滑动帧（任何 RANGE 帧，或大小为 10 或更大的 ROWS 帧）的 BinaryType 列上的窗口化 min/max 返回了正在运行的全局 min/max，而不是每个帧的值。
    • [SPARK-53454][SQL][回移植] 处理 JDBCSQLBuilder 中的 AlwaysTrue/AlwaysFalse
    • [SPARK-57778][SQL] 处理不可选择为表的 Oracle JDBC 对象
    • 操作系统安全更新。

  • 2026 年 7 月 10 日

    • [SPARK-57195][SQL] 在 CSV 架构推断过程中，抛出 MALFORMED_CSV_RECORD 而不是 ArrayIndexOutOfBoundsException
    • [SPARK-57593][SQL][PYTHON] 字节绑定并检测 pickle Python UDF 输入批
    • [SPARK-57243][18.3.2][SQL] 为 V2 SQL 构建器中的 IsNull 和 IsNotNull 添加括号
    • 杂项漏洞修复。
  • 2026 年 6 月 29 日
    • （行为变更）指标视图现在拒绝引用其他窗口度量的窗口度量。 以前，这种模式在 CREATE 时会成功，但在查询时会静默失败或产生不正确的结果。 现在，Azure Databricks 在 CREATE 或 ALTER 时返回清晰错误 (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE)。 若要禁用此验证，请设置为 spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse.
    • [SPARK-57088][SQL] 允许 EXACT NEAREST BY 的非确定性排名表达式
    • [SPARK-56652][SQL] 在 DESCRIBE EXTENDED 的约束信息输出中始终输出 RELY/NORELY
    • [SPARK-57355][PYTHON] 修复 udf 分析器中的模块检查
    • [SPARK-56720][SS] 在异步进度跟踪中先前失败后，使后续异步日志写入失败
    • [SPARK-56977][SQL] RewriteNearestByJoin 应在合成联接中遵循 joinType
    • [SPARK-57371][Connect] 修复 ArrowDeserializers 中的数据争用
    • 操作系统安全更新。

Databricks 运行时 18.2

请参阅 Databricks Runtime 18.2。

  • 2026 年 9 月 29 日

    • 操作系统安全更新。

  • 2026 年 9 月 15 日

    • 操作系统安全更新。

  • 2026 年 9 月 1 日

    • （行为变化） RESTORECLONE 如果源表和目标表共享一个共同文件，则可能阻止更改表分区的命令。
    • [SPARK-58386][SS] 恢复SupportsRealTimeRead.nextWithTimeout的向后兼容性
    • [SPARK-58531][SQL][CONNECT] 将 spark.sql.artifact.copyFromLocalToFs.allowDestLocal 设为静态配置项
    • [SPARK-58751][SPARK-58977] 向后移植 Python 工作进程清理和状态服务器关闭
    • 操作系统安全更新。

  • 2026 年 8 月 18 日

    • 操作系统安全更新。

  • 2026 年 8 月 4 日

    • 更新了Java库：
      • io.delta.delta-sharing-client_2.13 从 1.4.0 到 1.4.1
    • 回退“[SPARK-57778][仅测试] 为不可选择的 Oracle JDBC 对象添加 HiFi 覆盖”
    • [SPARK-58107] 向后移植本地检查点去重封存 + MERGE 具体化源校验和验证
    • [SPARK-57547][SQL] 将 InMemoryRelation 并发物化修复向后移植到 18.2（带熔断开关）
    • 操作系统安全更新。

  • 2026 年 7 月 24 日

    • （行为变更）对于在 DStream 闭包中依赖自定义类型或第三方类型的用户，现在必须在检查点恢复之前将 spark.streaming.checkpoint.allowedClasses 设置为这些类型。
    • 修复了一个正确性 bug，其中具有滑动帧（任何 RANGE 帧，或大小为 10 或更大的 ROWS 帧）的 BinaryType 列上的窗口化 min/max 返回了正在运行的全局 min/max，而不是每个帧的值。
    • [SPARK-53454][SQL][回移植] 在 JDBCSQLBuilder 中处理 AlwaysTrue/AlwaysFalse
    • [SPARK-57778][SQL] 处理不可选择为表的 Oracle JDBC 对象
    • [SPARK-57758][SQL] 恢复 O(1) 内置函数解析
    • 操作系统安全更新。

  • 2026 年 7 月 10 日

    • [SPARK-57593][SQL][PYTHON] 字节绑定并检测 pickle Python UDF 输入批
    • [SPARK-57243][SQL] 在 V2 SQL 构建器中为 IsNull 和 IsNotNull 加上括号
    • 杂项漏洞修复。
  • 2026 年 6 月 29 日
    • （行为变更）指标视图现在拒绝引用其他窗口度量的窗口度量。 以前，这种模式在 CREATE 时会成功，但在查询时会静默失败或产生不正确的结果。 现在，Azure Databricks 在 CREATE 或 ALTER 时返回清晰错误 (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE)。 若要禁用此验证，请设置为 spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse.
    • [SPARK-57355][PYTHON] 修复 udf 分析器中的模块检查
    • [SPARK-57371][Connect] 修复 ArrowDeserializers 中的数据争用
    • 操作系统安全更新。

  • 2026 年 6 月 18 日

    • （行为变更）对于 DBSQL Serverless，Spark UI 中的 “SQL / 数据框属性”部分已被移除。

  • 2026 年 6 月 9 日

    • [SPARK-56410][SQL][CORE] 在 UnsafeExternalSorter 中添加对有界 K 路归并的支持，以降低 OOM 风险
    • （行为更改）使用 SQL item_type 或 REST API 时，创建 Microsoft Fabric （OneLake） 外部目录现在需要LAKEHOUSE选项（WAREHOUSE或CREATE FOREIGN CATALOG）。 Databricks UI 会自动设置此选项。 现有的外部目录不会受到影响。
    • （行为变更）SET TAG 现已具有幂等性。 对已具有标记的资源重复操作 SET TAG 不再引发错误。
    • 操作系统安全更新。
  • 2026 年 5 月 26 日
    • 更新了Java库：
      • io.delta.delta-sharing-client_2.13 从 1.3.11 到 1.4.0
    • 操作系统安全更新。
  • 2026 年 5 月 13 日
    • 更新了Java库：
      • io.delta.delta-sharing-client_2.13，从 1.3.10 到 1.3.11
    • [SPARK-56511][CORE] 修复 ShuffleInMemorySorter.getMemoryUsage 在 reset 失败后出现的 NPE
    • [SPARK-56554][SQL] 将 XML 作为 variant 类型引入时遵循 inferSchema 选项
    • [SPARK-56302][CORE] 在执行器上进行序列化时及时释放任务结果内存
    • 回退“[SPARK-55356][SQL] 为 PIVOT 子句支持别名”
    • [SPARK-56502][CORE] 修复 DirectByteBufferOutputStream 容量检查中的整数溢出
    • [SPARK-56043][SQL] 将来自 Avro 1.12.x ParseContext.resolve() 的 NullPointerException 包装为 SchemaParseException
    • [SPARK-56652][SQL] 在 DESCRIBE EXTENDED 的约束信息输出中始终输出 RELY/NORELY
    • [SPARK-56328][SQL] 修复 INSERTVALUES 和 DEFAULT COLLATION 的内联表排序规则处理
    • 杂项漏洞修复。

Databricks 运行时 17.3 LTS

请参阅 Databricks Runtime 17.3 LTS。

  • 2026 年 9 月 29 日

    • 操作系统安全更新。

  • 2026 年 9 月 15 日

    • 操作系统安全更新。

  • 2026 年 9 月 1 日

    • （行为变化） RESTORECLONE 如果源表和目标表共享一个共同文件，则可能阻止更改表分区的命令。
    • 更新了Java库：
      • io.netty.netty-all 从 4.1.118.Final 升级到 4.1.137.Final
      • io.netty.netty-buffer 从 4.1.118.Final 到 4.1.137.Final
      • io.netty.netty-codec 从 4.1.118.Final 升级到 4.1.137.Final
      • io.netty.netty-codec-http 从 4.1.118.Final 到 4.1.137.Final
      • io.netty.netty-codec-http2 从 4.1.118.Final 到 4.1.137.Final
      • io.netty.netty-codec-socks 从 4.1.118.Final 升级到 4.1.137.Final
      • io.netty.netty-common 从 4.1.118.Final 升级到 4.1.137.Final
      • io.netty.netty-handler，从 4.1.118.Final 升级到 4.1.137.Final
      • io.netty.netty-handler-proxy 从 4.1.118.Final 到 4.1.137.Final
      • io.netty.netty-resolver 从 4.1.118.Final 升级到 4.1.137.Final
      • io.netty.netty-transport 从 4.1.118.Final 升级到 4.1.137.Final
      • io.netty.netty-transport-classes-epoll 从 4.1.118.Final 升级到 4.1.137.Final
      • io.netty.netty-transport-classes-kqueue 从 4.1.118.Final 升级到 4.1.137.Final
      • io.netty.netty-transport-native-epoll 从 4.1.118.Final、4.1.118.Final、4.1.118.Final、4.1.118.Final 到 4.1.137.Final、4.1.137.Final、4.1.137.Final、4.1.137.Final
      • io.netty.netty-transport-native-kqueue，从 4.1.118.Final、4.1.118.Final 到 4.1.137.Final、4.1.137.Final
      • io.netty.netty-transport-native-unix-common 从 4.1.118.Final 到 4.1.137.Final
      • org.eclipse.jetty.jetty-client 从 9.4.53.v20231009 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-续期，从9.4.53.v20231009到9.4.57.v20241219
      • org.eclipse.jetty.jetty-http 从 9.4.53.v20231009 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-io 从 9.4.53.v20231009 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-jndi 从 9.4.53.v20231009 升级到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-plus 从 9.4.53.v20231009 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-proxy 从 9.4.53.v20231009 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-security 从 9.4.53.v20231009 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-server 从 9.4.53.v20231009 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlet 从 9.4.53.v20231009 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlets 从 9.4.53.v20231009 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util 从 9.4.53.v20231009 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util-ajax 从 9.4.53.v20231009 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-webapp 从 9.4.53.v20231009 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-xml 从 9.4.53.v20231009 到 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-api 从 9.4.53.v20231009 到 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-client 从 9.4.53.v20231009 到 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-common 从 9.4.53.v20231009 到 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-server 从 9.4.53.v20231009 改为 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-servlet 从 9.4.53.v20231009 到 9.4.57.v20241219
    • [SPARK-58531][SQL][CONNECT] 将 spark.sql.artifact.copyFromLocalToFs.allowDestLocal 设为静态配置项
    • [SPARK-58751][SPARK-58977] 向后移植 Python 工作进程清理和状态服务器关闭
    • [SPARK-58292][CORE] 当工作器的事件循环线程终止时，重新创建 netty 工作器 EventLoopGroup
    • 操作系统安全更新。

  • 2026 年 8 月 18 日

    • 操作系统安全更新。

  • 2026 年 8 月 4 日

    • [SPARK-57778][仅测试] 修复 Oracle 专用 schema 下不稳定的不可选择 HiFi 测试
    • [SPARK-58107] 向后移植本地检查点去重封存 + MERGE 具体化源校验和验证
    • 操作系统安全更新。

  • 2026 年 7 月 24 日

    • 修复了一个正确性 bug，其中具有滑动帧（任何 RANGE 帧，或大小为 10 或更大的 ROWS 帧）的 BinaryType 列上的窗口化 min/max 返回了正在运行的全局 min/max，而不是每个帧的值。
    • [SPARK-57778][SQL] 处理不可选择为表的 Oracle JDBC 对象
    • [SPARK-57371][Connect] 修复 ArrowDeserializers 中的数据争用
    • 操作系统安全更新。

  • 2026 年 7 月 10 日

    • [SPARK-57547][SQL] 将 InMemoryRelation 并发物化修复移植到 17.3（带禁用开关）
    • 杂项漏洞修复。
  • 2026 年 6 月 29 日
    • （行为变更）指标视图现在拒绝引用其他窗口度量的窗口度量。 以前，这种模式在 CREATE 时会成功，但在查询时会静默失败或产生不正确的结果。 现在，Azure Databricks 在 CREATE 或 ALTER 时返回清晰错误 (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE)。 若要禁用此验证，请设置为 spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse.
    • 操作系统安全更新。
  • 2026 年 6 月 9 日
    • （行为变更）SET TAG 现已具有幂等性。 对已具有标记的资源重复操作 SET TAG 不再引发错误。
    • 操作系统安全更新。
  • 2026 年 5 月 26 日
    • [SPARK-34591][ML] 添加决策树修剪作为参数
    • 操作系统安全更新。
  • 2026 年 5 月 13 日
    • （行为变更）使用架构模式列出表时，不再刷新外部表的 Unity Catalog 元数据（例如，SQL Server、PostgreSQL 或 AWS Glue）。 此更改会影响 JDBC 驱动程序中传入架构模式时的 SHOW TABLES IN SCHEMA LIKE ... 和 getMetaData.getTables 调用，以及 Thrift SparkGetTablesOperation API。 如果工作负荷依赖于具有架构模式的元数据刷新，请联系 Databricks 支持部门。
    • 更新了Java库：
      • io.delta.delta-sharing-client_2.13，从 1.3.10 到 1.3.11
    • [SPARK-56361][SS] 在流-流联接的 NPE 中提供更好的错误日志
    • 杂项漏洞修复。

  • 2026 年 4 月 20 日

    • 修复了该 GEOMETRY(102100) 类型的 CRS 颁发机构。 现在报告为 ESRI:102100 而不是 EPSG:102100。
    • 修复了 MERGE、UPDATE 和流式处理写入查询中的数据正确性问题，其中源中的 NULL 结构在目标中被扩展为非 NULL 结构，但其字段为 NULL。 源代码中的 NULL 结构现在在目标中也保留为 NULL。 此修补程序适用于以下操作：
      • 使用 MERGE 操作的 UPDATE SET t.structCol = s.structCol，这些操作使用结构类型转换。
      • 使用 MERGE 的 UPDATE SET *，在启用架构演变且目标结构没有额外字段或最初为 NULL 时。
      • 使用 MERGE 的 UPDATE SET * EXCEPT，当结构在 EXCEPT 列表中没有字段时。
      • 使用 MERGE 操作的 INSERT (structCol) VALUES (s.structCol)，这些操作使用结构类型转换。
      • 使用 MERGE 操作的 INSERT * [EXCEPT]，这些操作使用结构类型转换。
      • 使用结构类型转换的 UPDATE 查询。
      • 使用结构类型转换的流式处理写入。

  • 2026 年 4 月 2 日

    • 更新了Java库：
      • io.delta.delta-sharing-client_2.13 从 1.3.9 到 1.3.10
    • [SPARK-55811] [ SQL] 调用 nodeWithOutputColumnsString 时捕获 NonFatal 而不是 UnresolvedException
    • [SPARK-55892][SS] 修复无法加载状态存储，因为维护删除了重复使用的 SST 文件
    • [Backports][OSS Cherrypick] [SPARK-55945][SDP] 在 SDP 急切分析原型中支持流的结构化标识符
    • 操作系统安全更新。

  • 2026 年 3 月 10 日

    • [SPARK-55493] [SS] 不在 StateDataSource 的流式处理检查点状态目录中执行 mkdirs
    • [SPARK-55111][SS] 在查询重启时重新检查未完成的重新分区检测
    • [SPARK-55701]ES-1694761[SS] 修复 CompactibleFileStreamLog.allFiles 中的竞态条件
    • 操作系统安全更新。

  • 2026 年 2 月 26 日

    • 更新了Java库：
      • org.mlflow.mlflow-spark_2.13 从 2.9.1 到 2.20.4
    • 操作系统安全更新。

  • 2026 年 2 月 19 日

    • 在推断Excel文件的架构时，字符串单元格现在被推断为 Spark StringType。 这遵循Excel中设置的单元格类型。 以前，具有数值的字符串被自动强制转换为更窄的类型，例如 Long 或 Decimal。
    • [SPARK-54887][CONNECT] 始终在 spark connect 客户端中设置 sql 状态
    • [SPARK-54887][CONNECT] 将可选的 sqlstate 添加到 sparkthrowables
    • [SPARK-55097][SQL] 修复重新添加缓存项目时静默丢弃块的问题
    • [SPARK-55282][PYTHON][CONNECT] 避免在驱动端使用 worker_util
    • [SPARK-49110][SQL] 简化 SubqueryAlias.metadataOutput 以始终传播元数据列
    • [SPARK-55243][CONNECT] 允许通过 Scala Connect 客户端中的 -bin 后缀设置二进制标头
    • 操作系统安全更新。

  • 2026 年 1 月 27 日

    • 更新了Java库：
      • io.delta.delta-sharing-client_2.13 从 1.3.8 到 1.3.9
    • 请参阅上面的内容
    • [SPARK-54768][SS]Python 如果返回的数据与配置的架构不匹配，流数据源应对错误进行分类
    • [SPARK-54803] 支持 BY NAME 与 INSERT ... REPLACE WHERE
    • [SPARK-53564][CORE] 避免由于 DAGSchedulerEventProcessLoop 中的 blockManager RPC 超时导致 DAGScheduler 退出
    • [SPARK-55015][SS][SQL] 修复 PrefixKeyScanStateEncoder 中的 decodeRemainingKey 字段数量计算
    • 操作系统安全更新。
  • 2026 年 1 月 9 日
    • 更新了Python库：
      • pmdarima 从 2.0.4 升级到 2.1.1
    • 更新了Java库：
      • io.delta.delta-sharing-client_2.13 从 1.3.6 到 1.3.8
    • 现在可以在指标视图维度和度量表达式中使用 SQL 窗口函数 作为标量函数。
    • [SPARK-54562][SDP][17.3 backport] 从服务器端阻止流函数内部的急切分析/执行
    • [SPARK-54679][SQL] 重命名spark.sql。（xml.legacyXMLParser.enabled -> legacy.useLegacyXMLParser）
    • [SPARK-54711][PYTHON] 为守护进程创建的辅助角色连接添加超时
    • [SPARK-53127][SQL] 修复使用 CTE 规范化时 LIMIT ALL 的无限递归问题
    • [SPARK-54708] 通过延迟目录创建机制优化 ML 缓存清理
    • [SPARK-54581][SQL] 使 Postgres 连接器中的 fetchsize 选项不区分大小写
    • [SPARK-41916] [ML] Torch 分发器：如果每个 task.gpu.amount > 1，则支持每个任务多个 torchrun 进程
    • [SPARK-54564] [SQL] 将 QueryPlanningTracker 设为 HybridAnalyzer 字段
    • [SPARK-54620][SQL] 在 ObservationManager 中添加安全检查以避免观测阻塞
    • 操作系统安全更新。
  • 2025 年 12 月 9 日
    • 更新了Java库：
      • io.delta.delta-sharing-client_2.13 从 1.3.5 到 1.3.6
    • [SPARK-50906][SQL] 修复重排后的结构字段的 Avro 空值属性检查
    • [SPARK-54180][SQL] 重写 BinaryFileFormat 的 toString
    • [SPARK-54427][SQL] 允许 ColumnarRow 使用变体类型进行调用copy
    • 操作系统安全更新。
  • 2025 年 11 月 18 日
    • [SPARK-54047][PYTHON] 当 kill-on-idle-timeout 时使用不同的错误
    • [SPARK-52762][SDP] 在 Spark Connect 查询执行期间添加 PipelineAnalysisContext 消息以支持管道分析
    • [SPARK-54156][PROTOBUF] 对 ProtobufOptions 转换失败的错误进行分类
    • [SPARK-54078][SS] 为 StateStoreSuite SPARK-40492: maintenance before unload 添加新测试并从旧测试中移除基础设施
    • [SPARK-54015][PYTHON] 放宽 Py4J 要求至py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-54099][SQL] XML 变体解析器在处理十进制解析错误时应使用字符串作为后备方案。
    • [SPARK-54191][17.3 Backport][SDP] 在 Defineflow 原型中添加 once
    • 操作系统安全更新。
  • 2025 年 11 月 4 日
    • [SPARK-53729][PYTHON][CONNECT] 修复 pyspark.sql.connect.window.WindowSpec 的序列化问题
    • [SPARK-46679][SQL] 修复 SparkUnsupportedOperationException 在使用参数化类时找不到类型 T 的编码器问题
    • [SPARK-53973][Avro] 对 AvroOptions 布尔值转换失败的错误进行分类
    • [SPARK-53794][SS] 添加用于限制与 rocksdb 状态存储关联的每次维护操作删除数量的选项
    • [SPARK-53908][CONNECT] 修复 Spark Connect 中带有计划缓存的观察结果
    • [SPARK-53972][SS] 修复经典 pyspark 中流式查询 recentProgress 的回归问题
    • 操作系统安全更新。

Databricks 运行时 16.4 LTS

请参阅 Databricks Runtime 16.4 LTS。

  • 2026 年 9 月 29 日

    • [SPARK-53069][SS] 通过虚拟列族修复错误的状态存储指标
    • 操作系统安全更新。

  • 2026 年 9 月 15 日

    • 更新了Java库：
      • org.apache.zookeeper.zookeeper 从 3.9.2 升级到 3.9.5
      • org.apache.zookeeper.zookeeper-jute 从 3.9.2 到 3.9.5
    • 操作系统安全更新。

  • 2026 年 9 月 1 日

    • （行为变化） RESTORECLONE 如果源表和目标表共享一个共同文件，则可能阻止更改表分区的命令。
    • 更新了Java库：
      • org.eclipse.jetty.jetty-client 从 9.4.52.v20230823 升级到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-延续，从9.4.52.v20230823到9.4.57.v20241219
      • org.eclipse.jetty.jetty-http 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-io 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-jndi 从 9.4.52.v20230823 升级到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-plus 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-proxy 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-security 从 9.4.52.v20230823 改为 9.4.57.v20241219
      • org.eclipse.jetty.jetty-server 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlet 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlets 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util-ajax 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-webapp 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-xml 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-API 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-client 从 9.4.52.v20230823 改为 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-common 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-server 从 9.4.52.v20230823 改为 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-servlet 从 9.4.52.v20230823 变为 9.4.57.v20241219
    • [SPARK-58292][CORE] 当 worker 事件循环线程终止时，重新创建 Netty workerEventLoopGroup
    • [SPARK-58531][SQL][CONNECT] 将 spark.sql.artifact.copyFromLocalToFs.allowDestLocal 设为静态配置项
    • 操作系统安全更新。

  • 2026 年 8 月 18 日

    • 操作系统安全更新。

  • 2026 年 8 月 4 日

    • [SPARK-57547][SQL] 将 InMemoryRelation 并发物化修复反向移植到 16.4（带禁用开关）
    • [SPARK-58107] 向后移植本地检查点去重封存 + MERGE 具体化源校验和验证
    • 操作系统安全更新。

  • 2026 年 7 月 24 日

    • 修复了一个正确性 bug，其中具有滑动帧（任何 RANGE 帧，或大小为 10 或更大的 ROWS 帧）的 BinaryType 列上的窗口化 min/max 返回了正在运行的全局 min/max，而不是每个帧的值。
    • 操作系统安全更新。

  • 2026 年 7 月 10 日

    • 杂项漏洞修复。

  • 2026 年 6 月 29 日

    • （行为变更）指标视图现在拒绝引用其他窗口度量的窗口度量。 以前，这种模式在 CREATE 时会成功，但在查询时会静默失败或产生不正确的结果。 现在，Azure Databricks 在 CREATE 或 ALTER 时返回清晰错误 (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE)。 若要禁用此验证，请设置为 spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse.

    • 修复了数据正确性问题，其中在 MERGE、UPDATE 和流式写入查询中，源中的 NULL 结构体值被错误地扩展为目标中的非 NULL 结构体，且字段为 NULL。 更改后，源中的 NULL 结构在目标中正确保留为 NULL。

      受影响的操作：

      • 使用 UPDATE SET t.structCol = s.structCol 操作且带有结构体类型转换的 MERGE 查询
      • 启用架构演变时使用 UPDATE SET * 的 MERGE 查询（当源结构体为 NULL 时，如果目标结构体没有额外字段或最初为 NULL，则用 NULL 覆盖目标）
      • 使用 UPDATE SET * EXCEPT 的 MERGE 查询（当源结构体为 NULL 时，如果目标结构体在 EXCEPT 列表中没有字段，则用 NULL 覆盖目标）
      • 使用 INSERT (structCol) VALUES (s.structCol) 操作且带有结构体类型转换的 MERGE 查询
      • 使用 INSERT * [EXCEPT] 操作且带有结构体类型转换的 MERGE 查询
      • 使用结构类型转换的 UPDATE 查询
      • 使用结构类型转换的流式处理写入

    • 操作系统安全更新。

  • 2026 年 6 月 9 日

    • （行为变更）SET TAG 现已具有幂等性。 对已具有标记的资源重复操作 SET TAG 不再引发错误。
    • 操作系统安全更新。
  • 2026 年 5 月 26 日
    • [SPARK-34591][ML] 添加决策树修剪作为参数
    • 操作系统安全更新。
  • 2026 年 5 月 13 日
    • （行为变更）使用架构模式列出表时，不再刷新外部表的 Unity Catalog 元数据（例如，SQL Server、PostgreSQL 或 AWS Glue）。 此更改会影响 JDBC 驱动程序中传入架构模式时的 SHOW TABLES IN SCHEMA LIKE ... 和 getMetaData.getTables 调用，以及 Thrift SparkGetTablesOperation API。 如果工作负荷依赖于具有架构模式的元数据刷新，请联系 Databricks 支持部门。
    • 更新了Java库：
      • （仅 Scala 2.12）io.delta.delta-sharing-client_2.12 从 1.2.11 升级到 1.2.12
      • （仅 Scala 2.13）io.delta.delta-sharing-client_2.13 从 1.2.11 升级到 1.2.12
    • [SPARK-56361][SS] 在流-流联接的 NPE 中提供更好的错误日志
    • 杂项漏洞修复。
  • 2026 年 4 月 29 日
    • 杂项漏洞修复。
  • 2026 年 4 月 20 日
    • 杂项漏洞修复。

  • 2026 年 4 月 2 日

    • 更新了Java库：
      • （仅 Scala 2.12）io.delta.delta-sharing-client_2.12 从 1.2.10 升级到 1.2.11
      • （仅 Scala 2.13）io.delta.delta-sharing-client_2.13 从 1.2.10 升级到 1.2.11
    • [SPARK-55701]ES-1694761[SS] 修复 CompactibleFileStreamLog.allFiles 中的竞态条件
    • [Backports][OSS Cherrypick] [SPARK-55945][SDP] 在 SDP 急切分析原型中支持流的结构化标识符
    • 操作系统安全更新。

  • 2026 年 3 月 10 日

    • [SPARK-55111][SS] 在查询重启时重新检查未完成的重新分区检测
    • [SPARK-55493] [SS] 不在 StateDataSource 的流式处理检查点状态目录中执行 mkdirs
    • 操作系统安全更新。

  • 2026 年 2 月 26 日

    • 操作系统安全更新。

  • 2026 年 2 月 19 日

    • [SPARK-55282][PYTHON][CONNECT] 避免在驱动端使用 worker_util
    • [SPARK-55243][CONNECT] 允许通过 Scala Connect 客户端中的 -bin 后缀设置二进制标头
    • 操作系统安全更新。
  • 2026 年 1 月 27 日
    • 更新了Java库：
      • （仅限 Scala 2.12）io.delta.delta-sharing-client_2.12 从 "1.2.9" 到 "1.2.10"
      • （仅限 Scala 2.12） org.mlflow.mlflow-spark_2.12 从 2.9.1 到 2.19.0
      • （仅限 Scala 2.13） io.delta.delta-sharing-client_2.13 从 1.2.9 到 1.2.10
      • （仅限 Scala 2.13） org.mlflow.mlflow-spark_2.13 从 2.9.1 到 2.19.0
    • [SPARK-55015][SS][SQL] 修复 PrefixKeyScanStateEncoder 中的 decodeRemainingKey 字段数量计算
    • 操作系统安全更新。
  • 2026 年 1 月 9 日
    • 更新了Java库：
      • （仅限 Scala 2.12） io.delta.delta-sharing-client_2.12 从 1.2.8 到 1.2.9
      • （仅 Scala 2.13）io.delta.delta-sharing-client_2.13 从 1.2.8 升级到 1.2.9
    • [SPARK-54620][SQL] 在 ObservationManager 中添加安全检查以避免观测阻塞
    • [SPARK-54711][PYTHON] 为守护进程创建的辅助角色连接添加超时
    • [SPARK-41916] [ML] Torch 分发器：如果每个 task.gpu.amount > 1，则支持每个任务多个 torchrun 进程
    • 操作系统安全更新。
  • 2025 年 12 月 9 日
    • 今后，分区 Delta 表的分区列将在数据 parquet 文件中具体化。 这可以更好地配合 Iceberg 和 UniForm 表的处理方式，并增强与外部非 Delta 读取器的兼容性。
    • 对于 Snowflake 连接器和 Snowflake Lakehouse Federation，TIMESTAMP_NTZ（无时区的时间戳）文本不再向下推送到 Snowflake。 此更改可防止因不兼容的时间戳处理导致的查询失败，并提高受影响查询的可靠性。
    • [SPARK-54427][SQL] 允许 ColumnarRow 使用变体类型进行调用copy
    • [SPARK-54180][SQL] 重写 BinaryFileFormat 的 toString
    • 操作系统安全更新。
  • 2025 年 11 月 18 日
    • [SPARK-54099][SQL] XML 变体解析器在处理十进制解析错误时应使用字符串作为后备方案。
    • [SPARK-54015][PYTHON] 放宽 Py4J 要求至py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-54078][SS] 为 StateStoreSuite SPARK-40492: maintenance before unload 添加新测试并从旧测试中移除基础设施
    • [SPARK-54156][PROTOBUF] 对 ProtobufOptions 转换失败的错误进行分类
    • [SPARK-54047][PYTHON] 当 kill-on-idle-timeout 时使用不同的错误
    • 操作系统安全更新。
  • 2025 年 11 月 4 日
    • 更新了 R 库：
      • 箭头从 16.1.0 到 21.0.0
    • [SPARK-53973][Avro] 对 AvroOptions 布尔值转换失败的错误进行分类
    • 操作系统安全更新。
  • 2025 年 10 月 21 日
    • 操作系统安全更新。
  • 2025 年 10 月 7 日
    • [SPARK-53568][CONNECT][PYTHON] 修复 Spark Connect Python客户端错误处理逻辑中的几个小 bug
    • [SPARK-53574] 修复嵌套计划解析期间 AnalysisContext 被丢失的问题
    • [SPARK-53623][SQL] 改进读取大表属性的性能…
    • [SPARK-53598][SQL] 在读取大型表属性之前检查 numParts 是否存在
    • [SPARK-53549][SS] 完成列表状态请求过程时始终关闭箭头分配器
    • 操作系统安全更新。
  • 2025 年 9 月 16 日
    • Snowflake 连接器现在使用 INFORMATION_SCHEMA 表而不是 SHOW SCHEMAS 命令列出架构。 此更改消除了上一种方法的 10,000 架构限制，并改进了对具有大量架构的数据库的支持。
    • 操作系统安全更新。
  • 2025 年 9 月 9 日
    • 修复了可能导致自动加载程序长时间挂起的问题。
    • 修复了自动加载程序中可能导致作业失败的暂时性错误
    • [SPARK-49872][CORE] 删除杰克逊 JSON 字符串长度限制
    • [SPARK-51821][CORE] 调用 interrupt() 而不持有不可中断的锁 以避免可能的死锁
    • 操作系统安全更新。
  • 2025 年 8 月 26 日
    • 更新了Java库：
      • （仅 Scala 2.12）io.delta.delta-sharing-client_2.12 从 1.2.7 升级到 1.2.8
      • （仅 Scala 2.13）io.delta.delta-sharing-client_2.13 从 1.2.7 升级到 1.2.8
    • [SPARK-52482][SQL][CORE] 改进了读取某些损坏的 zstd 文件的异常处理
    • [SPARK-53192][CONNECT] 始终在 Spark Connect 计划缓存中缓存数据源
    • 操作系统安全更新。
  • 2025 年 8 月 14 日
    • [SPARK-51011][CORE] 添加日志记录，指示任务在被终止时是否将被中断
    • [SPARK-52833][SQL] 修复 VariantBuilder.appendFloat
    • [SPARK-51505][SQL] 始终在 AQEShuffleReadExec 中显示空分区号指标
    • 操作系统安全更新。
  • 2025 年 7 月 29 日
    • [SPARK-52753][SQL] 使 parseDataType 二进制文件与以前的版本兼容
    • 操作系统安全更新。
  • 2025 年 7 月 15 日
    • 修复了使用 Spark 结构化流式处理从 Pulsar 流式传输数据时出现的非确定性的数据丢失问题。
    • [SPARK-52579][PYTHON] 为 Python 工作器设置定期回溯转储
    • [SPARK-52553][SS] 修复读取 v1 更改日志时的 NumberFormatException
    • [SPARK-52450] 提高架构深层复制的性能
    • [SPARK-52503][SQL][CONNECT] 修复 drop 输入列不存在的情况
    • [SPARK-52599][PYTHON] 支持驱动程序端工作器中的定期回溯转储
    • 操作系统安全更新。
  • 2025 年 7 月 1 日
    • 对文件数据源读取器（json、csv、xml 和 text）的 ZStandard 解压缩支持。
    • [SPARK-52521][SQL] Right#replacement 不应动态访问 SQLConf
    • [SPARK-52482][SQL][CORE] 对文件数据源读取器的 ZStandard 支持
    • [SPARK-52312][SQL] 缓存数据帧时忽略 V2WriteCommand
    • 操作系统安全更新。
  • 2025 年 6 月 17 日
    • 修复了 cloud_files_state 表值函数 (TVF) 不能用于跨管道读取流表的文件级状态的限制。
    • 修复了针对临时视图的查询的 Unity 目录授权问题。
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference 应保留该计划 ID
    • 操作系统安全更新。
  • 2025 年 6 月 3 日
    • [SPARK-52195][PYTHON][SS] 修复了Python TWS 的初始状态列删除问题
    • [SPARK-52159][SQL] 正确处理 jdbc 方言的表存在检查
    • 杂项漏洞修复。
  • 2025 年 5 月 7 日
    • 更新了Java库：
      • io.delta.delta-sharing-client_2.13 从 1.2.3 到 1.2.7
      • org.apache.avro.avro 从 1.11.3 到 1.11.4
      • org.apache.avro.avro-ipc 从 1.11.3 到 1.11.4
      • org.apache.avro.avro-mapred 已从 1.11.3 升级到 1.11.4
    • 在共享群集/无服务器环境中，流式处理克隆会话将在 foreachBatch 用户函数内部被使用。 这与经典（分配的群集）中的行为保持一致。
    • 在共享群集/无服务器环境中，流式处理克隆会话将在 foreachBatch 用户函数内部被使用。 这与经典（分配的群集）中的行为保持一致。
    • 在此更改之前，禁用 Photon 时，variant_get 表达式中路径的前导空格和制表符将被忽略。 例如， select variant_get(parse_json('{"key": "value"}'), '$['key']') 在提取值 "key"时不会有效。 但是，用户现在将能够提取此类密钥。
    • [SPARK-51935][SQL] 修复解释的 df.collect（） 中的迭代器的延迟行为
    • [SPARK-51921][SS][PYTHON] 在 transformWithState 中使用 TTL 持续时间长类型（以毫秒为单位）
    • [SPARK-51940][SS] 添加用于管理流检查点元数据的接口
    • [SPARK-52049] 修复了 XML 属性无法解析为 Variant 的 bug
    • [SPARK-51904][SS] 删除 StateSchemaV3 的异步元数据清除，并在列出 OperatorMetadata 文件时忽略非批处理文件
    • [SPARK-51869][SS] 为 Scala TransformWithState 的 UDF 中的用户错误创建分类
    • [SPARK-51889][PYTHON][SS] 修复了 Python TWS 中 MapState clear（） 的 bug
    • [SPARK-51922] [SS] 修复了 StateStoreChangelogReaderFactory 在处理 v1 版本时抛出的 UTFDataFormatException
    • [SPARK-51848][SQL] 修复了当 XML 记录中包含 Variant 类型的数组、结构体或映射，且已定义其架构时，解析出错的问题
    • 操作系统安全更新。

Databricks 运行时 15.4 LTS

请参阅 Databricks Runtime 15.4 LTS。

  • 2026 年 9 月 29 日

    • 操作系统安全更新。

  • 2026 年 9 月 15 日

    • 更新了Java库：
      • com.microsoft.sqlserver.mssql-jdbc 从 11.2.3.jre8， 11.2.3.jre8 到 11.2.3.jre8， 11.2.4.jre8
    • [SPARK-41246][CORE] RDD ID溢出时快速失效;解析负方块ID作为安全网（从Cherry-Pick到DBR-branch-15.4）
    • 操作系统安全更新。

  • 2026 年 9 月 1 日

    • （行为变化） RESTORECLONE 如果源表和目标表共享一个共同文件，则可能阻止更改表分区的命令。
    • 更新了Java库：
      • org.eclipse.jetty.jetty-client 从 9.4.52.v20230823 升级到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-延续，从9.4.52.v20230823到9.4.57.v20241219
      • org.eclipse.jetty.jetty-http 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-io 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-jndi 从 9.4.52.v20230823 升级到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-plus 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-proxy 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-security 从 9.4.52.v20230823 改为 9.4.57.v20241219
      • org.eclipse.jetty.jetty-server 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlet 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlets 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util-ajax 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-webapp 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-xml 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-API 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-client 从 9.4.52.v20230823 改为 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-common 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-server 从 9.4.52.v20230823 改为 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-servlet 从 9.4.52.v20230823 变为 9.4.57.v20241219
    • [SPARK-58292][CORE] 当 worker 事件循环线程终止时，重新创建 Netty workerEventLoopGroup
    • [SPARK-58531][SQL][CONNECT] 将 spark.sql.artifact.copyFromLocalToFs.allowDestLocal 设为静态配置项
    • 操作系统安全更新。

  • 2026 年 8 月 18 日

    • 更新了Java库：
      • com.microsoft.sqlserver.mssql-jdbc 从 11.2.2.jre8, 11.2.3.jre8 到 11.2.3.jre8, 11.2.3.jre8
    • 操作系统安全更新。

  • 2026 年 8 月 4 日

    • [SPARK-58107] 向后移植本地检查点去重封存 + MERGE 具体化源校验和验证
    • [SPARK-57547][SQL] 将 InMemoryRelation 并发物化修复反向移植到 15.4（带禁用开关）
    • 操作系统安全更新。

  • 2026 年 7 月 24 日

    • 操作系统安全更新。

  • 2026 年 7 月 10 日

    • 操作系统安全更新。

  • 2026 年 6 月 29 日

    • （行为变更）指标视图现在拒绝引用其他窗口度量的窗口度量。 以前，这种模式在 CREATE 时会成功，但在查询时会静默失败或产生不正确的结果。 现在，Azure Databricks 在 CREATE 或 ALTER 时返回清晰错误 (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE)。 若要禁用此验证，请设置为 spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse.

    • 修复了数据正确性问题，其中在 MERGE、UPDATE 和流式写入查询中，源中的 NULL 结构体值被错误地扩展为目标中的非 NULL 结构体，且字段为 NULL。 更改后，源中的 NULL 结构在目标中正确保留为 NULL。

      受影响的操作：

      • 使用 UPDATE SET t.structCol = s.structCol 操作且带有结构体类型转换的 MERGE 查询
      • 启用架构演变时使用 UPDATE SET * 的 MERGE 查询（当源结构体为 NULL 时，如果目标结构体没有额外字段或最初为 NULL，则用 NULL 覆盖目标）
      • 使用 UPDATE SET * EXCEPT 的 MERGE 查询（当源结构体为 NULL 时，如果目标结构体在 EXCEPT 列表中没有字段，则用 NULL 覆盖目标）
      • 使用 INSERT (structCol) VALUES (s.structCol) 操作且带有结构体类型转换的 MERGE 查询
      • 使用 INSERT * [EXCEPT] 操作且带有结构体类型转换的 MERGE 查询
      • 使用结构类型转换的 UPDATE 查询
      • 使用结构类型转换的流式处理写入

    • 操作系统安全更新。

  • 2026 年 6 月 9 日

    • 操作系统安全更新。
  • 2026 年 5 月 26 日
    • 操作系统安全更新。
  • 2026 年 5 月 13 日
    • （行为变更）使用架构模式列出表时，不再刷新外部表的 Unity Catalog 元数据（例如，SQL Server、PostgreSQL 或 AWS Glue）。 此更改会影响 JDBC 驱动程序中传入架构模式时的 SHOW TABLES IN SCHEMA LIKE ... 和 getMetaData.getTables 调用，以及 Thrift SparkGetTablesOperation API。 如果工作负荷依赖于具有架构模式的元数据刷新，请联系 Databricks 支持部门。
    • 操作系统安全更新。
  • 2026 年 4 月 29 日
    • 杂项漏洞修复。
  • 2026 年 4 月 20 日
    • 杂项漏洞修复。

  • 2026 年 4 月 2 日

    • 更新了Java库：
      • io.delta.delta-sharing-client_2.12，从 1.1.10 到 1.1.11
    • 自动加载程序包括两项与源位置管理和 DBR 16.3：1 中的可见性相关的新功能。 记录事件更改：通过此更改，客户将能够使用 cloud_files_state TVF 查看文件发现和处理详细信息，例如文件最初发现的时间、提交时间、存档时间等。 请参阅此处的此 TVF 的当前公共文档。 2. 清理源：使用此功能，客户可以指示自动加载程序自动删除已处理的文件。 客户可以通过选项cloudFiles.cleanSource“自动加载器”选择加入此功能。 在此处查看自动加载程序选项文档中的更多详细信息。
    • 操作系统安全更新。

  • 2026 年 3 月 10 日

    • [SPARK-55701]ES-1694761[SS] 修复 CompactibleFileStreamLog.allFiles 中的竞态条件
    • [SPARK-55111][SS] 在查询重启时重新检查未完成的重新分区检测
    • 操作系统安全更新。

  • 2026 年 2 月 26 日

    • 更新了Java库：
      • org.mlflow.mlflow-spark_2.12 从 2.9.1 到 2.11.3
    • 操作系统安全更新。

  • 2026 年 2 月 19 日

    • [SPARK-55243][CONNECT] 允许通过 Scala Connect 客户端中的 -bin 后缀设置二进制标头
    • [SPARK-55282][PYTHON][CONNECT] 避免在驱动端使用 worker_util
    • 操作系统安全更新。
  • 2026 年 1 月 27 日
    • 更新了Java库：
      • io.delta.delta-sharing-client_2.12 从 1.1.9 到 1.1.10
    • 操作系统安全更新。
  • 2026 年 1 月 9 日
    • 今后，分区 Delta 表的分区列将在数据 parquet 文件中具体化。 这可以更好地配合 Iceberg 和 UniForm 表的处理方式，并增强与外部非 Delta 读取器的兼容性。
    • [SPARK-54620][SQL] 在 ObservationManager 中添加安全检查以避免观测阻塞
    • [SPARK-54711][PYTHON] 为守护进程创建的辅助角色连接添加超时
    • 操作系统安全更新。
  • 2025 年 12 月 9 日
    • 更新了Java库：
      • io.delta.delta-sharing-client_2.12 从 1.1.7 到 1.1.9
    • [SPARK-54427][SQL] 允许 ColumnarRow 使用变体类型进行调用copy
    • [SPARK-52579][PYTHON] 为 Python 工作器设置定期回溯转储
    • [SPARK-54180][SQL] 重写 BinaryFileFormat 的 toString
    • 操作系统安全更新。
  • 2025 年 11 月 18 日
    • [SPARK-54078][SS] 为 StateStoreSuite SPARK-40492: maintenance before unload 添加新测试并从旧测试中移除基础设施
    • [SPARK-54047][PYTHON] 当 kill-on-idle-timeout 时使用不同的错误
    • 操作系统安全更新。
  • 2025 年 11 月 4 日
    • 更新了 R 库：
      • 从 14.0.0.2 指向 21.0.0 的箭头
    • 操作系统安全更新。
  • 2025 年 10 月 21 日
    • 扫描光子化标准已更新，以便在需要校验和验证时允许进行扫描光子化。
      现在是否需要进行校验和验证取决于 hadoop conf，而不是 SQLConf。
    • 操作系统安全更新。
  • 2025 年 10 月 7 日
    • [SPARK-53568][CONNECT][PYTHON] 修复 Spark Connect Python客户端错误处理逻辑中的几个小 bug
    • [SPARK-53574] 修复嵌套计划解析期间 AnalysisContext 被丢失的问题
    • 杂项漏洞修复。
  • 2025 年 9 月 16 日
    • Snowflake 连接器现在使用 INFORMATION_SCHEMA 表而不是 SHOW SCHEMAS 命令列出架构。 此更改消除了上一种方法的 10,000 架构限制，并改进了对具有大量架构的数据库的支持。
    • [SPARK-50870][SQL] 在 V2ScanRelationPushDown 中强制转换为时间戳时添加时区
    • 操作系统安全更新。
  • 2025 年 9 月 9 日
    • 修复了可能导致自动加载程序长时间挂起的问题。
    • 修复了自动加载程序中可能导致作业失败的暂时性错误
    • [SPARK-51821][CORE] 调用 interrupt() 而不持有不可中断的锁 以避免可能的死锁
    • [SPARK-49872][CORE] 删除杰克逊 JSON 字符串长度限制
    • 操作系统安全更新。
  • 2025 年 8 月 26 日
    • 更新了Java库：
      • io.delta.delta-sharing-client_2.12 从 1.1.6 到 1.1.7
    • [SPARK-52482][SQL][CORE] 改进了读取某些损坏的 zstd 文件的异常处理
    • [SPARK-53192][CONNECT] 始终在 Spark Connect 计划缓存中缓存数据源
    • 操作系统安全更新。
  • 2025 年 8 月 14 日
    • [SPARK-51011][CORE] 添加日志记录，指示任务在被终止时是否将被中断
    • 操作系统安全更新。
  • 2025 年 7 月 29 日
    • 操作系统安全更新。

  • 2025 年 7 月 21 日

    • 对于为 Photon 启用或使用基于 Arm64 的 CPU 的计算， mlflow-skinny 升级到 2.19.0， ray 升级到 2.37.0，并 databricks-feature-engineering 升级到 0.8.0。

  • 2025 年 7 月 15 日

    • 修复了使用 Spark 结构化流式处理从 Pulsar 流式传输数据时出现的非确定性的数据丢失问题。
    • [SPARK-52503][SQL][CONNECT] 修复 drop 输入列不存在的情况
  • 2025 年 7 月 1 日
    • 更新了Java库：
      • org.mlflow.mlflow-spark_2.12 从 2.9.1 到 2.11.3
      • 已删除 com.fasterxml.jackson.dataformat.jackson-dataformat-yaml 2.15.2
      • 已删除 org.slf4j.slf4j-simple 1.7.25
    • 对文件数据源读取器（json、csv、xml 和 text）的 ZStandard 解压缩支持。
    • 对文件数据源读取器（json、csv、xml 和 text）的 ZStandard 解压缩支持。
    • [SPARK-52521][SQL] Right#replacement 不应动态访问 SQLConf
    • [SPARK-52482][SQL][CORE] 对文件数据源读取器的 ZStandard 支持
    • [SPARK-52312][SQL] 缓存数据帧时忽略 V2WriteCommand
    • 操作系统安全更新。
  • 2025 年 6 月 17 日
    • 修复了 cloud_files_state 表值函数 (TVF) 不能用于跨管道读取流表的文件级状态的限制。
    • [SPARK-49646][SQL] 修复当 parentOuterReferences 的引用未包含在 collectedChildOuterReferences 中时，并集/集操作的子查询去相关问题
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference 应保留该计划 ID
  • 2025 年 6 月 3 日
    • 更新了Python库：
      • cryptography 已从 3.4.8、41.0.3 升级到 41.0.3
      • filelock 已从 3.13.4、3.15.4 升级到 3.13.4
      • importlib-metadata 已从 4.6.4、6.0.0 升级到 6.0.0
      • platformdirs 已从 3.10.0、3.11.0 升级到 3.10.0
      • pyparsing 已从 2.4.7、3.0.9 升级到 3.0.9
      • zipp 从 1.0.0、3.11.0 升级到 3.11.0
      • 添加了 pip 23.2.1
      • 添加了 setuptools 68.0.0
      • 添加了 wcwidth 0.2.5
      • 添加了 wheel 0.38.4
      • 已删除发行版 1.7.0
      • 已删除发行版信息 1.1+ubuntu0.2
      • 已删除 python-apt 2.4.0+ubuntu4
    • 更新了Java库：
      • com.github.fommil.netlib.native_ref-java 从 1.1、1.1-natives 更新到 1.1、1.1
      • com.github.fommil.netlib.native_system-java 从 1.1、1.1-natives 更新到 1.1、1.1
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 从 1.1-natives 更新到 1.1
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 从 1.1-natives 更新到 1.1
      • io.netty.netty-tcnative-boringssl-static 从 2.0.61.Final-db-r16-linux-aarch_64、2.0.61.Final-db-r16-linux-x86_64、2.0.61.Final-db-r16-osx-aarch_64、2.0.61.Final-db-r16-osx-x86_64、2.0.61.Final-db-r16-windows-x86_64 更新到 2.0.61.Final-db-r16、2.0.61.Final-db-r16、2.0.61.Final-db-r16、2.0.61.Final-db-r16、2.0.61.Final-db-r16
      • io.netty.netty-transport-native-epoll 从 4.1.96.Final、4.1.96.Final-linux-aarch_64、4.1.96.Final-linux-x86_64 更新到 4.1.96.Final、4.1.96.Final、4.1.96.Final
      • io.netty.netty-transport-native-kqueue 从 4.1.96.Final-osx-aarch_64、4.1.96.Final-osx-x86_64 更新到 4.1.96.Final、4.1.96.Final
      • org.apache.orc.orc-core 已从 1.9.2-shaded-protobuf 升级到 1.9.2
      • org.apache.orc.orc-mapreduce 已从 1.9.2-shaded-protobuf 升级到 1.9.2
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider 从 1.6.2-linux-x86_64 到 1.6.2
    • [SPARK-52159][SQL] 正确处理 jdbc 方言的表存在检查
    • 操作系统安全更新。
  • 2025 年 5 月 20 日
    • 更新了Java库：
      • io.delta.delta-sharing-client_2.12 从 1.1.5 到 1.1.6
    • 在共享群集/无服务器环境中，流式处理克隆会话将在 foreachBatch 用户函数内部被使用。 这与经典（分配的群集）中的行为保持一致。
    • 在此更改之前，禁用 Photon 时，variant_get 表达式中路径的前导空格和制表符将被忽略。 例如， select variant_get(parse_json('{"key": "value"}'), '$['key']') 在提取值 "key"时不会有效。 但是，用户现在将能够提取此类密钥。
    • [SPARK-51935][SQL] 修复解释的 df.collect（） 中的迭代器的延迟行为
    • 操作系统安全更新。
  • 2025 年 4 月 22 日
    • 更新了Java库：
      • org.apache.avro.avro 从 1.11.3 到 1.11.4
      • org.apache.avro.avro-ipc 从 1.11.3 到 1.11.4
      • org.apache.avro.avro-mapred 已从 1.11.3 升级到 1.11.4
    • 在 15.4、16.0、16.1、16.2 和 16.3 中还原“[SPARK-47895][SQL] 按别名分组应是幂等的”
    • [SPARK-50682][SQL] 内部别名应规范化
    • 操作系统安全更新。
  • 2025 年 4 月 9 日
    • （Behavioral change）若要应用关键安全修补程序，默认Python版本从 Python 3.11.0rc1 更新为 Python 3.11.11。 此更新可能会影响在 Databricks Runtime 15.4 LTS 上运行的某些负载，例如使用 Python 序列化来在执行间存储和恢复状态的负载，或固定使用 3.11.0 版本 Python 的负载。
    • 更新了Java库：
      • 删除了 io.starburst.openjson.openjson 1.8-e.12
      • 删除了 io.starburst.openx.data.json-serde 1.3.9-e.12
      • 删除了 io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
    • [SPARK-47895][SQL]group by alias 应保持幂等性
    • [SPARK-51624][SQL] 在 CreateNamedStruct.dataType 中传播 GetStructField 元数据
    • 操作系统安全更新。
  • 2025 年 3 月 31 日
    • 对于未启用 Photon 的计算任务，databricks-feature-engineering 已升级到 0.8.0。 对于已启用 Photon 的计算， databricks-feature-engineering 仍为 0.6.0。

  • 2025 年 3 月 11 日

    • Databricks Runtime 14.3 LTS 及以上版本解决了一个导致与实例化 SparkListenerApplicationEnd 类并针对 Apache Spark 编译的代码之间二进制不兼容的问题。 合并 SPARK-46399 到 Apache Spark 引起了这种不兼容。 此次合并包含一项更改，即向 SparkListenerApplicationEnd 构造函数添加了默认参数。 若要还原二进制兼容性，此修补程序会将单个参数构造函数添加到 SparkListenerApplicationEnd 类。
    • [SPARK-50985][SS] 对 Kafka 时间戳偏移量不匹配错误进行分类，而不是断言，并针对 KafkaTokenProvider 中缺少服务器的情况引发错误
    • [SPARK-50791][SQL] 修复状态存储错误处理中的 NPE
    • [SPARK-50310][PYTHON] 提高禁用 DQC 时的列性能
    • [SPARK-51222][SQL] 优化 ReplaceCurrentLike
    • [SPARK-49525][SS][CONNECT] 对服务器端流式处理查询 ListenerBus 侦听器的日志进行小幅改进
    • [SPARK-51084][SQL] 为 negativeScaleNotAllowedError 分配适当的错误类
    • 操作系统安全更新。

  • 2025 年 2 月 11 日

    • 此版本包括修复了序列化已获救 XML 数据列时影响某些数据类型转换的问题。 受影响的数据类型是日期、非 NTZ 时间戳和小数，当启用 prefersDecimal 时。 若要了解有关已获救数据列的详细信息，请参阅什么是已获救数据列？
    • [SPARK-50492][SS] 修复在使用 dropDuplicatesWithinWatermark 后删除事件时间列时出现的 java.util.NoSuchElementException
    • 操作系统安全更新。
    • 对于未启用 Photon 的计算， mlflow-skinny 已升级到 2.19.0。 对于已启用 Photon 的计算， mlflow-skinny 仍为 2.13.1。
  • 2024 年 12 月 10 日
    • USE CATALOG 语句现在支持 IDENTIFIER 子句。 借助此支持，可以根据字符串变量或参数标记参数化当前目录。
    • 此版本中修复了可能导致 Delta 表上的主键在与后台自动压缩相关的某些边缘情况下被删除的问题。
    • 在此版本中，Databricks 计算节点中 SSD 使用的缓存大小动态扩展到 SSD 的初始大小，并在必要时缩小到 spark.databricks.io.cache.maxDiskUsage 限制。 请参阅 使用 Azure Databricks 上的缓存来优化性能。
    • pyodbc 包从版本 4.0.38 更新到版本 4.0.39。 此更改是必需的，因为版本 4.0.38 中发现了 bug，并且该版本已从 PyPI 中删除。
    • [SPARK-50329][SQL] 修复 InSet$toString
    • [SPARK-47435][SQL] 修复 MySQL UNSIGNED TINYINT 的溢出问题
    • [SPARK-49757][SQL] 支持在 IDENTIFIERSET 语句中使用 CATALOG 表达式
    • [SPARK-50426][PYTHON] 使用内置数据源或Java数据源时避免静态Python数据源查找
    • [SPARK-48863][SQL] 在分析启用了 “spark.sql.json.enablePartialResults” 的 JSON 时修复 ClassCastException
    • [SPARK-50310][PYTHON] 添加标志以禁用 PySpark 的 DataFrameQueryContext
    • [15.3-15.4] [SPARK-50034][CORE] 修复 SparkUncaughtExceptionHandler 中将“致命错误”误报为“未捕获的异常”的问题
    • 操作系统安全更新。
  • 2024 年 11 月 26 日
    • 在此版本中，现在可以使用vector_search进行文本输入，或使用query_text进行嵌入输入来查询query_vector函数。
    • 现在可以使用 Spark 配置属性 spark.databricks.execution.timeout为 Spark Connect 查询设置超时。 对于在无服务器计算上运行的笔记本，默认值为 9000（秒）。 在无服务器计算和具有标准访问模式的计算上运行的作业没有超时，除非设置了此配置属性。 持续时间超过指定超时时间的执行会导致 QUERY_EXECUTION_TIMEOUT_EXCEEDED 错误。
    • [SPARK-50322][SQL] 修复子查询中的参数化标识符
    • [SPARK-49615] [ML] 使所有 ML 功能转换器数据集架构验证都符合“spark.sql.caseSensitive”配置。
    • [SPARK-50124][SQL] LIMIT/OFFSET 应保留数据排序
    • 操作系统安全更新。
  • 2024 年 11 月 5 日
    • （重大变更）在 Databricks Runtime 15.4 LTS 及更高版本中，Photon 的正则表达式处理已更新，以符合 Apache Spark 正则表达式处理的行为。 以前，Photon 运行的正则表达式函数（如 split() 和 regexp_extract()）接受 Spark 分析器拒绝的某些正则表达式。 为了保持 Apache Spark 的一致性，对于 Spark 认为无效的正则表达式，Photon 查询现在将失败。 由于此更改，如果 Spark 代码包含无效正则表达式，则可能会看到错误。 例如，表达式 split(str_col, '{')，它包含不匹配的大括号，之前会被 Photon 接受，但现在不会。 若要修复此表达式，可以转义大括号字符：split(str_col, '\\{')。 对于非 ASCII 字符的一些正则表达式匹配，Photon 和 Spark 行为也有所不同。 这也已更新，以便 Photon 特性与 Apache Spark 相匹配。
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns 规则解析具有子输出的 UnresolvedAttribute
    • [SPARK-49867][SQL] 在调用 GetColumnByOrdinal 时索引超出边界时改进错误消息
    • [SPARK-49863][SQL] 修复 NormalizeFloatingNumbers 以保留嵌套结构的可空性
    • [SPARK-49829] 修正优化在流与流联接中向状态存储添加输入时的 bug（更正修复）
    • [SPARK-49905] 将专用 ShuffleOrigin 用于有状态运算符，以防止从 AQE 修改混排
    • [SPARK-46632][SQL] 修复当等效三元表达式具有不同的子表达式时的子表达式消除
    • [SPARK-49443][SQL][PYTHON] 实现 to_variant_object 表达式，并使 schema_of_variant 表达式为 Variant 对象打印 OBJECT
    • [SPARK-49615] Bugfix：使 ML 列架构验证符合 spark 配置 spark.sql.caseSensitive。
  • 2024 年 10 月 22 日
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns 规则解析具有子输出的 UnresolvedAttribute
    • [SPARK-49867][SQL] 在调用 GetColumnByOrdinal 时索引超出边界时改进错误消息
    • [SPARK-49863][SQL] 修复 NormalizeFloatingNumbers 以保留嵌套结构的可空性
    • [SPARK-49829] 修正优化在流与流联接中向状态存储添加输入时的 bug（更正修复）
    • [SPARK-49905] 将专用 ShuffleOrigin 用于有状态运算符，以防止从 AQE 修改混排
    • [SPARK-46632][SQL] 修复当等效三元表达式具有不同的子表达式时的子表达式消除
    • [SPARK-49443][SQL][PYTHON] 实现 to_variant_object 表达式，并使 schema_of_variant 表达式为 Variant 对象打印 OBJECT
    • [SPARK-49615] Bugfix：使 ML 列架构验证符合 spark 配置 spark.sql.caseSensitive。
  • 2024 年 10 月 10 日
    • [SPARK-49743][SQL] 在修剪 GetArrayStructFields 时，OptimizeCsvJsonExpr 不应更改架构字段
    • [SPARK-49688][CONNECT] 修复中断和执行计划之间的数据争用问题
    • [BACKPORT] [SPARK-49474][SS] 为 FlatMapGroupsWithState 用户函数错误定义错误类分类
    • [SPARK-49460][SQL] 跟进：修复潜在的 NPE 风险
  • 2024 年 9 月 25 日
    • [SPARK-49628][SQL] 常量折叠应在计算前复制有状态的表达式
    • [SPARK-49000][SQL] 通过扩展“RewriteDistinctAggregates”修复“select count(distinct 1) from t”，其中 t 是空表。
    • [SPARK-49492][CONNECT] 尝试在处于非活动状态的 ExecutionHolder 上重新附加
    • [SPARK-49458][CONNECT][PYTHON] 通过 ReattachExecute 提供服务器端会话 ID
    • [SPARK-49017][SQL] 在使用多个参数时插入语句失败
    • [SPARK-49451] 允许parse_json中的重复键。
    • 杂项漏洞修复。
  • 2024 年 9 月 17 日
    • [SPARK-48463][ML] 使 Binarizer、Bucketizer、Vector Assembler、FeatureHasher、QuantizeDiscretizer、OnehotEncoder、StopWordsRemover、Imputer、Interactor 支持嵌套输入列
    • [SPARK-49409][CONNECT] 调整CONNECT_SESSION_PLAN_CACHE_SIZE的默认值
    • [SPARK-49526][CONNECT][HOTFIX-15.4.2] 支持 ArtifactManager 中的Windows样式路径
    • 还原“[SPARK-48482][PYTHON] dropDuplicates 和 dropDuplicatesWIthinWatermark 应接受可变长度参数”
    • [SPARK-43242][CORE] 修复了混排损坏诊断时抛出的“意外 BlockId 类型”错误
    • [SPARK-49366][CONNECT] 在数据帧列解析中将 Union 节点视为叶节点
    • [SPARK-49018][SQL] 修复 approx_count_distinct 无法正常使用排序规则的问题
    • [SPARK-49460][SQL] 从 EmptyRelationExec 中删除cleanupResource()
    • [SPARK-49056][SQL] ErrorClassesJsonReader 无法正确处理 null
    • [SPARK-49336][CONNECT] 截断 protobuf 消息时限制嵌套级别
  • 2024 年 8 月 29 日
    • SHOW CREATE TABLE 语句的输出现在包括在具体化视图或流式处理表上定义的任何行筛选器或列掩码。 请参阅 SHOW CREATE TABLE。 若要了解行筛选器和列掩码，请参阅 行筛选器和列掩码。
    • 在配置了共享访问模式的计算中，Kafka 批量读取和写入现在具有与结构化流相同的限制。 请参阅 流式处理限制。
    • [SPARK-48941][SPARK-48970] 向后移植 ML 写入器/读取器修复
    • [SPARK-49074][SQL] 使用df.cache()修复变体
    • [SPARK-49263][CONNECT] Spark Connect python 客户端：一致地处理布尔型数据帧读取器选项
    • [SPARK-48955][SQL] 在 15.4 版本中包含 ArrayCompact 更改
    • [SPARK-48937][SQL] 为 StringToMap 字符串表达式添加排序规则支持
    • [SPARK-48929] 修复视图内部错误并清理分析程序异常上下文
    • [SPARK-49125][SQL] 允许 CSV 写入中的重复列名
    • [SPARK-48934][SS] Python datetime 类型因在 applyInPandasWithState 中设置超时而转换不正确
    • [SPARK-48843] 使用 BindParameters 防止无限循环
    • [SPARK-48981] 修复 pyspark 中 StringType 的 simpleString 方法对排序规则的处理问题
    • [SPARK-49065][SQL] 旧版格式化器/解析器中重设基准必须支持非 JVM 默认的时区
    • [SPARK-48896][SPARK-48909][SPARK-48883] 向后移植 Spark ML 写入器修复
    • [SPARK-48725][SQL] 将 CollationAwareUTF8String.lowerCaseCodePoints 集成到字符串表达式中
    • [SPARK-48978][SQL] 在 UTF8_LCASE 的排序规则支持中实现 ASCII 快速通道
    • [SPARK-49047][PYTHON][CONNECT] 截断日志消息长度
    • [SPARK-49146][SS] 将由于附加模式流查询中水印缺失引起的断言错误转移到错误框架中
    • [SPARK-48977][SQL] 优化UTF8_LCASE排序规则下的字符串搜索
    • [SPARK-48889][SS] testStream 在完成之前卸载状态存储
    • [SPARK-48463] 使 StringIndexer 支持嵌套输入列
    • [SPARK-48954] try_mod（） 替换try_remainder（）
    • 操作系统安全更新。

Databricks 运行时 14.3 LTS

请参阅 Databricks Runtime 14.3 LTS。

  • 2026 年 9 月 29 日

    • 操作系统安全更新。

  • 2026 年 9 月 15 日

    • 操作系统安全更新。

  • 2026 年 9 月 1 日

    • （行为变化） RESTORECLONE 如果源表和目标表共享一个共同文件，则可能阻止更改表分区的命令。
    • 更新了Java库：
      • org.eclipse.jetty.jetty-client 从 9.4.52.v20230823 升级到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-延续，从9.4.52.v20230823到9.4.57.v20241219
      • org.eclipse.jetty.jetty-http 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-io 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-jndi 从 9.4.52.v20230823 升级到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-plus 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-proxy 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-security 从 9.4.52.v20230823 改为 9.4.57.v20241219
      • org.eclipse.jetty.jetty-server 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlet 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlets 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util-ajax 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-webapp 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-xml 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-API 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-client 从 9.4.52.v20230823 改为 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-common 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-server 从 9.4.52.v20230823 改为 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-servlet 从 9.4.52.v20230823 变为 9.4.57.v20241219
    • [SPARK-58531][SQL][CONNECT] 将 spark.sql.artifact.copyFromLocalToFs.allowDestLocal 设为静态配置项
    • 操作系统安全更新。

  • 2026 年 8 月 18 日

    • 更新了Java库：
      • com.microsoft.sqlserver.mssql-jdbc 从 11.2.2.jre8, 11.2.3.jre8 到 11.2.3.jre8, 11.2.3.jre8
    • 操作系统安全更新。

  • 2026 年 8 月 4 日

    • [SPARK-58107] 向后移植本地检查点去重封存 + MERGE 具体化源校验和验证
    • [SPARK-57547][SQL] 将 InMemoryRelation 并发物化修复反向移植到 14.3（带禁用开关）
    • 操作系统安全更新。

  • 2026 年 7 月 24 日

    • 操作系统安全更新。

  • 2026 年 7 月 10 日

    • 操作系统安全更新。
  • 2026 年 6 月 29 日
    • （行为变更）指标视图现在拒绝引用其他窗口度量的窗口度量。 以前，这种模式在 CREATE 时会成功，但在查询时会静默失败或产生不正确的结果。 现在，Azure Databricks 在 CREATE 或 ALTER 时返回清晰错误 (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE)。 若要禁用此验证，请设置为 spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse.
    • 操作系统安全更新。
  • 2026 年 6 月 9 日
    • 操作系统安全更新。
  • 2026 年 5 月 26 日
    • 操作系统安全更新。
  • 2026 年 5 月 13 日
    • （行为变更）使用架构模式列出表时，不再刷新外部表的 Unity Catalog 元数据（例如，SQL Server、PostgreSQL 或 AWS Glue）。 此更改会影响 JDBC 驱动程序中传入架构模式时的 SHOW TABLES IN SCHEMA LIKE ... 和 getMetaData.getTables 调用，以及 Thrift SparkGetTablesOperation API。 如果工作负荷依赖于具有架构模式的元数据刷新，请联系 Databricks 支持部门。
    • 操作系统安全更新。
  • 2026 年 4 月 29 日
    • 杂项漏洞修复。
  • 2026 年 4 月 20 日
    • 杂项漏洞修复。

  • 2026 年 4 月 2 日

    • 更新了Java库：
      • io.delta.delta-sharing-client_2.12，从 1.1.7 到 1.1.11
    • 自动加载程序包括两项与源位置管理和 DBR 16.3：1 中的可见性相关的新功能。 记录事件更改：通过此更改，客户将能够使用 cloud_files_state TVF 查看文件发现和处理详细信息，例如文件最初发现的时间、提交时间、存档时间等。 请参阅此处的此 TVF 的当前公共文档。 2. 清理源：使用此功能，客户可以指示自动加载程序自动删除已处理的文件。 客户可以通过选项cloudFiles.cleanSource“自动加载器”选择加入此功能。 在此处查看自动加载程序选项文档中的更多详细信息。
    • 操作系统安全更新。

  • 2026 年 3 月 10 日

    • [SPARK-55111][SS] 在查询重启时重新检查未完成的重新分区检测
    • [SPARK-55701]ES-1694761[SS] 修复 CompactibleFileStreamLog.allFiles 中的竞态条件
    • 操作系统安全更新。

  • 2026 年 2 月 26 日

    • 操作系统安全更新。

  • 2026 年 2 月 19 日

    • 操作系统安全更新。

  • 2026 年 1 月 27 日

    • 操作系统安全更新。

  • 2026 年 1 月 9 日

    • 今后，分区 Delta 表的分区列将在数据 parquet 文件中具体化。 这可以更好地配合 Iceberg 和 UniForm 表的处理方式，并增强与外部非 Delta 读取器的兼容性。
    • [SPARK-54711][PYTHON] 为守护进程创建的辅助角色连接添加超时
    • 操作系统安全更新。

  • 2025 年 12 月 9 日

    • [SPARK-52579][PYTHON] 为 Python 工作器设置定期回溯转储
    • [SPARK-54180][SQL] 重写 BinaryFileFormat 的 toString
    • 操作系统安全更新。
  • 2025 年 11 月 18 日
    • [SPARK-54078][SS] 为 StateStoreSuite SPARK-40492: maintenance before unload 添加新测试并从旧测试中移除基础设施
    • [SPARK-54047][PYTHON] 当 kill-on-idle-timeout 时使用不同的错误
    • 操作系统安全更新。
  • 2025 年 11 月 4 日
    • 更新了 R 库：
      • 箭头从 12.0.1 到 21.0.0
    • 操作系统安全更新。
  • 2025 年 10 月 21 日
    • 操作系统安全更新。
  • 2025 年 10 月 7 日
    • [SPARK-53568][CONNECT][PYTHON] 修复 Spark Connect Python客户端错误处理逻辑中的几个小 bug
    • [SPARK-53574] 修复嵌套计划解析期间 AnalysisContext 被丢失的问题
    • 杂项漏洞修复。
  • 2025 年 9 月 16 日
    • 操作系统安全更新。
  • 2025 年 9 月 9 日
    • 修复了可能导致自动加载程序长时间挂起的问题。
    • [SPARK-49872][CORE] 删除杰克逊 JSON 字符串长度限制
    • 操作系统安全更新。
  • 2025 年 8 月 26 日
    • 更新了Java库：
      • io.delta.delta-sharing-client_2.12 从 1.1.6 到 1.1.7
    • [SPARK-52482][SQL][CORE] 改进了读取某些损坏的 zstd 文件的异常处理
    • 操作系统安全更新。
  • 2025 年 8 月 14 日
    • 操作系统安全更新。
  • 2025 年 7 月 29 日
    • 操作系统安全更新。
  • 2025 年 7 月 15 日
    • [SPARK-52503][SQL][CONNECT] 修复 drop 输入列不存在的情况
    • 杂项漏洞修复。
  • 2025 年 7 月 1 日
    • 对文件数据源读取器（json、csv、xml 和 text）的 ZStandard 解压缩支持。
    • 对文件数据源读取器（json、csv、xml 和 text）的 ZStandard 解压缩支持。
    • [SPARK-52521][SQL] Right#replacement 不应动态访问 SQLConf
    • [SPARK-52482][SQL][CORE] 对文件数据源读取器的 ZStandard 支持
    • 操作系统安全更新。
  • 2025 年 6 月 17 日
    • 修复了 cloud_files_state 表值函数 (TVF) 不能用于跨管道读取流表的文件级状态的限制。
    • [SPARK-49646][SQL] 修复当 parentOuterReferences 的引用未包含在 collectedChildOuterReferences 中时，并集/集操作的子查询去相关问题
  • 2025 年 6 月 3 日
    • 更新了Python库：
      • 从 3.4.8、39.0.1 到 39.0.1 的加密
      • platformdirs 已从 2.5.2、2.6.2 升级到 2.5.2
      • pyparsing 已从 2.4.7、3.0.9 升级到 3.0.9
      • 添加了 pip 22.3.1
      • 添加了 setuptools 65.6.3
      • 添加了 tomli 2.0.1
      • 添加了 wcwidth 0.2.5
      • 添加了 wheel 0.38.4
      • 已删除发行版 1.7.0
      • 已删除发行版信息 1.1+ubuntu0.2
      • 已删除 python-apt 2.4.0+ubuntu4
    • 更新了Java库：
      • com.github.fommil.netlib.native_ref-java 从 1.1、1.1-natives 更新到 1.1、1.1
      • com.github.fommil.netlib.native_system-java 从 1.1、1.1-natives 更新到 1.1、1.1
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 从 1.1-natives 更新到 1.1
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 从 1.1-natives 更新到 1.1
      • io.netty.netty-tcnative-boringssl-static 从 2.0.61.Final-db-r16-linux-aarch_64、2.0.61.Final-db-r16-linux-x86_64、2.0.61.Final-db-r16-osx-aarch_64、2.0.61.Final-db-r16-osx-x86_64、2.0.61.Final-db-r16-windows-x86_64 更新到 2.0.61.Final-db-r16、2.0.61.Final-db-r16、2.0.61.Final-db-r16、2.0.61.Final-db-r16、2.0.61.Final-db-r16
      • io.netty.netty-transport-native-epoll 从 4.1.96.Final、4.1.96.Final-linux-aarch_64、4.1.96.Final-linux-x86_64 更新到 4.1.96.Final、4.1.96.Final、4.1.96.Final
      • io.netty.netty-transport-native-kqueue 从 4.1.96.Final-osx-aarch_64、4.1.96.Final-osx-x86_64 更新到 4.1.96.Final、4.1.96.Final
      • org.apache.orc.orc-core 已从 1.9.2-shaded-protobuf 升级到 1.9.2
      • org.apache.orc.orc-mapreduce 已从 1.9.2-shaded-protobuf 升级到 1.9.2
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider 从 1.6.1-linux-x86_64 到 1.6.1
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference 应保留该计划 ID
    • [SPARK-52159][SQL] 正确处理 jdbc 方言的表存在检查
    • 操作系统安全更新。
  • 2025 年 5 月 20 日
    • 更新了Java库：
      • io.delta.delta-sharing-client_2.12 从 1.1.5 到 1.1.6
    • [SPARK-51935][SQL] 修复解释的 df.collect（） 中的迭代器的延迟行为
    • 操作系统安全更新。
  • 2025 年 4 月 22 日
    • 操作系统安全更新。

  • 2025 年 4 月 9 日

    • [行为变更] Vacuum 操作现在执行与其他操作类似的写入协议检查，防止从不兼容的旧版 Databricks Runtime 版本运行具有较新功能的表时发生意外的清理。
    • [SPARK-51624][SQL] 在 CreateNamedStruct.dataType 中传播 GetStructField 元数据
    • 操作系统安全更新。

  • 2025 年 3 月 11 日

    • Databricks Runtime 14.3 LTS 及以上版本解决了一个导致与实例化 SparkListenerApplicationEnd 类并针对 Apache Spark 编译的代码之间二进制不兼容的问题。 合并 SPARK-46399 到 Apache Spark 引起了这种不兼容。 此次合并包含一项更改，即向 SparkListenerApplicationEnd 构造函数添加了默认参数。 若要还原二进制兼容性，此修补程序会将单个参数构造函数添加到 SparkListenerApplicationEnd 类。
    • [SPARK-50791][SQL] 修复状态存储错误处理中的 NPE
    • [SPARK-50705][SQL] 使 QueryPlan 无锁
    • [SPARK-49525][SS][CONNECT] 对服务器端流式处理查询 ListenerBus 侦听器的日志进行小幅改进
    • 操作系统安全更新。

  • 2025 年 2 月 11 日

    • 此版本包括修复了序列化已获救 XML 数据列时影响某些数据类型转换的问题。 受影响的数据类型是日期、非 NTZ 时间戳和小数，当启用 prefersDecimal 时。 若要了解有关已获救数据列的详细信息，请参阅什么是已获救数据列？
    • [SPARK-50492][SS] 修复在使用 dropDuplicatesWithinWatermark 后删除事件时间列时出现的 java.util.NoSuchElementException
    • [SPARK-51084][SQL] 为 negativeScaleNotAllowedError 分配适当的错误类
    • 操作系统安全更新。
  • 2024 年 12 月 10 日
    • 此版本中修复了可能导致 Delta 表上的主键在与后台自动压缩相关的某些边缘情况下被删除的问题。
    • [SPARK-50329][SQL] 修复 InSet$toString
    • 操作系统安全更新。
  • 2024 年 11 月 26 日
    • [SPARK-49615] [ML] 使所有 ML 功能转换器数据集架构验证都符合“spark.sql.caseSensitive”配置。
    • 操作系统安全更新。
  • 2024 年 11 月 5 日
    • [SPARK-48843] 使用 BindParameters 防止无限循环
    • [SPARK-49829] 修正优化在流与流联接中向状态存储添加输入时的 bug（更正修复）
    • [SPARK-49863][SQL] 修复 NormalizeFloatingNumbers 以保留嵌套结构的可空性
    • [BACKPORT] [SPARK-49326][SS] 对 Foreach 接收器用户函数错误的错误类进行分类
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns 规则解析具有子输出的 UnresolvedAttribute
    • [SPARK-46632][SQL] 修复当等效三元表达式具有不同的子表达式时的子表达式消除
    • [SPARK-49905] 将专用 ShuffleOrigin 用于有状态运算符，以防止从 AQE 修改混排
    • 操作系统安全更新。
  • 2024 年 10 月 22 日
    • [SPARK-48843] 使用 BindParameters 防止无限循环
    • [SPARK-49863][SQL] 修复 NormalizeFloatingNumbers 以保留嵌套结构的可空性
    • [SPARK-49905] 将专用 ShuffleOrigin 用于有状态运算符，以防止从 AQE 修改混排
    • [SPARK-46632][SQL] 修复当等效三元表达式具有不同的子表达式时的子表达式消除
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns 规则解析具有子输出的 UnresolvedAttribute
    • [BACKPORT] [SPARK-49326][SS] 对 Foreach 接收器用户函数错误的错误类进行分类
    • [SPARK-49829] 修正优化在流与流联接中向状态存储添加输入时的 bug（更正修复）
    • 操作系统安全更新。
  • 2024 年 10 月 10 日
    • [BACKPORT] [SPARK-49474][SS] 为 FlatMapGroupsWithState 用户函数错误定义错误类分类
    • [SPARK-49743][SQL] 在修剪 GetArrayStructFields 时，OptimizeCsvJsonExpr 不应更改架构字段
    • [SPARK-49688][CONNECT] 修复中断和执行计划之间的数据争用问题
  • 2024 年 9 月 25 日
    • [SPARK-48810][CONNECT] 会话停止（） API 应是幂等的，如果会话已由服务器关闭，则不会失败
    • [SPARK-48719][SQL] 修复了 `RegrS` 的计算 bug...
    • [SPARK-49000][SQL] 通过扩展“RewriteDistinctAggregates”修复“select count(distinct 1) from t”，其中 t 是空表。
    • [SPARK-49628][SQL] 常量折叠应在计算前复制有状态的表达式
    • [SPARK-49492][CONNECT] 尝试在处于非活动状态的 ExecutionHolder 上重新附加
    • 操作系统安全更新。
  • 2024 年 9 月 17 日
    • [SPARK-49336][CONNECT] 截断 protobuf 消息时限制嵌套级别
    • [SPARK-43242][CORE] 修复了混排损坏诊断时抛出的“意外 BlockId 类型”错误
    • [SPARK-48463][ML] 使 Binarizer、Bucketizer、Vector Assembler、FeatureHasher、QuantizeDiscretizer、OnehotEncoder、StopWordsRemover、Imputer、Interactor 支持嵌套输入列
    • [SPARK-49526][CONNECT] 支持 ArtifactManager 中的Windows样式路径
    • [SPARK-49409][CONNECT] 调整CONNECT_SESSION_PLAN_CACHE_SIZE的默认值
    • [SPARK-49366][CONNECT] 在数据帧列解析中将 Union 节点视为叶节点
  • 2024 年 8 月 29 日
    • [SPARK-49146][SS] 将由于附加模式流查询中水印缺失引起的断言错误转移到错误框架中
    • [SPARK-48862][PYTHON][CONNECT] 避免在未启用 INFO 级别时调用 _proto_to_string
    • [SPARK-49263][CONNECT] Spark Connect python 客户端：一致地处理布尔型数据帧读取器选项
  • 2024 年 8 月 14 日
    • [SPARK-48941][SPARK-48970] 向后移植 ML 写入器/读取器修复
    • [SPARK-48706][PYTHON] 高阶函数中的 Python UDF 不应引发内部错误
    • [SPARK-49056][SQL] ErrorClassesJsonReader 无法正确处理 null
    • [SPARK-48597][SQL] 在逻辑计划的文本表示形式中引入 isStreaming 属性的标记
    • [SPARK-49065][SQL] 旧版格式化器/解析器中重设基准必须支持非 JVM 默认的时区
    • [SPARK-48934][SS] Python datetime 类型因在 applyInPandasWithState 中设置超时而转换不正确
  • 2024 年 8 月 1 日
    • 此版本包括 Spark Java 接口中 ColumnVector 和 ColumnarArray 类的 bug 修复。 在修复之前，当其中一个类的实例包含 ArrayIndexOutOfBoundsException 值时，可能会抛出 null 或返回不正确的数据。
    • 在笔记本和作业的无服务器计算中，默认情况下会启用 ANSI SQL 模式。 请参阅 支持的 Spark 配置参数。
    • 在配置了共享访问模式的计算中，Kafka 批量读取和写入现在具有与结构化流相同的限制。 请参阅 流式处理限制。
    • SHOW CREATE TABLE 语句的输出现在包括在具体化视图或流式处理表上定义的任何行筛选器或列掩码。 请参阅 SHOW CREATE TABLE。 若要了解行筛选器和列掩码，请参阅 行筛选器和列掩码。
    • 在配置了共享访问模式的计算中，Kafka 批量读取和写入现在具有与结构化流相同的限制。 请参阅 流式处理限制。
    • SHOW CREATE TABLE 语句的输出现在包括在具体化视图或流式处理表上定义的任何行筛选器或列掩码。 请参阅 SHOW CREATE TABLE。 若要了解行筛选器和列掩码，请参阅 行筛选器和列掩码。
    • [SPARK-48896][SPARK-48909][SPARK-48883] 向后移植 Spark ML 写入器修复
    • [SPARK-48889][SS] testStream 在完成之前卸载状态存储
    • [SPARK-48705][PYTHON] 当 worker_main 通过 pyspark 启动时显式使用它
    • [SPARK-48047][SQL] 降低空 TreeNode 标记的内存压力
    • [SPARK-48544][SQL] 降低空 TreeNode BitSets 的内存压力
    • [SPARK-46957][CORE] 停用迁移的混排文件应该能够从执行程序中进行清理
    • [SPARK-48463] 使 StringIndexer 支持嵌套输入列
    • [SPARK-47202][PYTHON] 修复了由于拼写错误导致包含时区信息的日期时间损坏的问题
    • [SPARK-47713][SQL][CONNECT] 修复自联接失败
    • 操作系统安全更新。
  • 2024 年 7 月 11 日
    • （行为变更）如果源表被覆盖，则针对 Delta 表缓存的数据帧现在将失效。 此更改意味着对 Delta 表的所有状态更改现在都会使缓存结果无效。 使用 .checkpoint() 在 DataFrame 的整个生命周期中持久保存表状态。
    • Snowflake JDBC 驱动程序已更新到版本 3.16.1。
    • 此版本包括的修补程序修复了在 Databricks 容器服务中运行时阻止 Spark UI“环境”选项卡正确显示的问题。
    • 在笔记本和作业的无服务器计算中，默认情况下会启用 ANSI SQL 模式。 请参阅 支持的 Spark 配置参数。
    • 在读取数据时，如果要忽略无效的分区信息，可以将基于文件的数据源（如 Parquet、ORC、CSV 或 JSON）的 ignoreInvalidPartitionPaths 选项设置为 true。 例如：spark.read.format(“parquet”).option(“ignoreInvalidPartitionPaths”, “true”).load(…)。 也可以使用 SQL 配置 spark.sql.files.ignoreInvalidPartitionPaths。 但数据源选项优先于 SQL 配置。 默认情况下，此设置为 false。
    • [SPARK-48648][PYTHON][CONNECT] 使 SparkConnectClient.tags 正确设置为 threadlocal
    • [SPARK-48445][SQL] 不要将 UDF 与昂贵的子节点内联
    • [SPARK-48481][SQL][SS] 不要对流数据集应用 OptimizeOneRowPlan
    • [SPARK-48383][SS] 针对 Kafka 的 startOffset 选项中的不匹配分区引发更好的错误
    • [SPARK-48503][SQL] 修复由于错误允许而在非等效列上分组的无效标量子查询
    • [SPARK-48100][SQL] 修复了跳过架构中未选择的嵌套结构字段的问题
    • [SPARK-48273][SQL] 修复 PlanWithUnresolvedIdentifier 的后期重写
    • [SPARK-48252][SQL] 在必要时更新 CommonExpressionRef
    • [SPARK-48475][PYTHON] 优化 PySpark 中的_get_jvm_function。
    • [SPARK-48292][CORE] 还原 [SPARK-39195] [SQL] 当提交的文件与任务状态不一致时，Spark OutputCommitCoordinator 应中止阶段
    • 操作系统安全更新。
  • 2024 年 6 月 17 日
    • applyInPandasWithState() 在具有标准访问模式的计算中可用。
    • 修复了使用 Photon TopK 的排名窗口优化错误地处理具有结构的分区的 bug。
    • [SPARK-48310][PYTHON][CONNECT] 缓存的属性必须返回副本
    • [SPARK-48276][PYTHON][CONNECT] 为 __repr__ 添加缺少的 SQLExpression 方法
    • [SPARK-48294][SQL] 处理 nestedTypeMissingElementTypeError 中的小写问题
    • 操作系统安全更新。
  • 2024 年 5 月 21 日
    • （行为变更）现在支持 dbutils.widgets.getAll()，以获取笔记本中的所有小组件值。
    • 修复了 try_divide() 函数中的 bug，其中包含小数的输入导致意外异常。
    • [SPARK-48056][CONNECT][PYTHON] 如果引发SESSION_NOT_FOUND错误且未收到部分响应，则重新执行计划
    • [SPARK-48146][SQL] 修复 With 表达式子断言中的聚合函数
    • [SPARK-47986][CONNECT][PYTHON] 服务器关闭默认会话时无法创建新会话
    • [SPARK-48180][SQL] 修复使用 TABLE 参数的 UDTF 调用忘记多个 PARTITION/ORDER BY 表达式周围的括号的错误
    • [SPARK-48016][SQL] 修复了使用十进制时try_divide函数中的 bug
    • [SPARK-48197][SQL] 避免因无效的 lambda 函数而导致的断言错误
    • [SPARK-47994][SQL] 修复 SQLServer 中 CASE WHEN 列筛选器下推的 bug
    • [SPARK-48173][SQL] CheckAnalysis 应看到整个查询计划
    • [SPARK-48105][SS] 修复状态存储卸载和快照之间的争用条件
    • 操作系统安全更新。
  • 2024 年 5 月 9 日
    • （行为变更）applyInPandas 和 mapInPandas UDF 类型现在支持在运行 Databricks Runtime 14.3 LTS 及更高版本的共享访问模式计算上运行。
    • [SPARK-47739][SQL] 注册 Avro 逻辑类型
    • [SPARK-47941] [SS] [Connect] 将 ForeachBatch 辅助角色初始化错误传播给 PySpark 用户
    • [SPARK-48010][SQL] 避免在 resolveExpression 中重复调用 conf.resolver
    • [SPARK-48044][PYTHON][CONNECT] 缓存 DataFrame.isStreaming
    • [SPARK-47956][SQL] 对未解析的 LCA 引用进行健全性检查
    • [SPARK-47543][CONNECT][PYTHON] 从 Pandas DataFrame 将 dict 推断为 Mapype 以允许创建 DataFrame
    • [SPARK-47819][CONNECT][Cherry-pick-14.3] 使用异步回调进行执行清理
    • [SPARK-47764][CORE][SQL] 基于 ShuffleCleanupMode 清理混排依赖项
    • [SPARK-48018][SS] 修复在引发 KafkaException.couldNotReadOffsetRange 时，由于 null groupId 导致的参数缺失错误
    • [SPARK-47839][SQL] 修复 RewriteWithExpression 中的聚合 bug
    • [SPARK-47371] [SQL] XML：忽略 CDATA 中找到的行标记
    • [SPARK-47895][SQL] group by all 应保持幂等性
    • [SPARK-47973][CORE] 在 SparkContext.stop() 中以及稍后在 SparkContext.assertNotStopped() 中记录调用站点
    • 操作系统安全更新。
  • 2024 年 4 月 25 日
    • [SPARK-47543][CONNECT][PYTHON] 将 Pandas 数据帧中的dict推断为MapType，以允许创建数据帧
    • [SPARK-47694][CONNECT] 将最大消息大小设置为在客户端可配置
    • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] 验证具有缓存架构的列名称
    • [SPARK-47862][PYTHON][CONNECT] 修复 proto 文件生成错误
    • 还原“[SPARK-47543][CONNECT][PYTHON] 将 dict 推断为来自 Pandas 数据帧的 MapType，以允许创建数据帧”
    • [SPARK-47704][SQL] 启用 spark.sql.json.enablePartialResults 时，JSON 分析失败并出现“java.lang.ClassCastException”
    • [SPARK-47812][CONNECT] 支持 ForEachBatch 辅助角色的 SparkSession 序列化
    • [SPARK-47818][CONNECT][Cherry-pick-14.3] 在 SparkConnectPlanner 中引入计划缓存以提高分析请求的性能
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite 失败，计划无效
    • 操作系统安全更新。
  • 2024 年 4 月 11 日
    • （行为更改）为确保跨计算类型的行为一致，具有标准访问模式的计算上的 PySpark UDF 现在与无隔离和分配的群集上的 UDF 的行为匹配。 此更新包括以下可能会中断现有代码的更改：
      • 具有 string 返回类型的 UDF 不再隐式地将非 string 值转换为 string 值。 以前，具有 str 返回类型的 UDF 会使用 str() 函数包装返回值，而不考虑该返回值的实际数据类型。
      • 具有 timestamp 返回类型的 UDF 不再隐式地使用 timestamp 对 timezone 应用转换。
      • Spark 群集配置 spark.databricks.sql.externalUDF.* 对于在具有标准访问模式的计算环境中运行的 PySpark UDFs 不再适用。
      • Spark 集群配置 spark.databricks.safespark.externalUDF.plan.limit 不再影响 PySpark UDF，从而消除了公共预览版中 PySpark UDF 每个查询限制为 5 个 UDF 的限制。
      • Spark 群集配置 spark.databricks.safespark.sandbox.size.default.mib 不再适用于标准访问模式下的计算节点上的 PySpark UDF。 相反，将使用系统上的可用内存。 若要限制 PySpark UDF 的内存，请使用 spark.databricks.pyspark.udf.isolation.memoryLimit，其最小值为 100m。
    • 现在支持将 TimestampNTZ 数据类型用作具有 liquid 聚类分析的聚类分析列。 请参阅对表使用 liquid 聚类分析。
    • [SPARK-47511][SQL] 通过重新分配 ID 对表达式进行规范化
    • [SPARK-47509][SQL] 阻止 lambda 和高阶函数中的子查询表达式
    • [SPARK-46990][SQL] 修复加载事件中心发出的空 Avro 文件的问题
    • [SPARK-47638][PS][CONNECT] 跳过 PS 中的列名称验证
    • 操作系统安全更新。
  • 2024 年 3 月 14 日
    • [SPARK-47135][SS] 为 Kafka 数据丢失异常实现错误类别
    • [SPARK-47176][SQL] 具有 ResolveAllExpressionsUpWithPruning 辅助函数
    • [SPARK-47145][SQL] 将表标识符传递给 V2 策略的行数据源扫描执行模块。
    • [SPARK-47044][SQL] 为 JDBC 外部数据源添加执行的查询以解释输出
    • [SPARK-47167][SQL] 为 JDBC 匿名关系添加具体类
    • [SPARK-47070] 修复子查询重写后无效的聚合
    • [SPARK-47121][CORE] 在 StandaloneSchedulerBackend 关闭期间避免 RejectedExecutionExceptions
    • 还原“[SPARK-46861][CORE] 避免 DAGScheduler 中发生死锁”
    • [SPARK-47125][SQL] 如果 Univocity 从不触发分析，则返回 null
    • [SPARK-46999][SQL] ExpressionWithUnresolvedIdentifier 应在表达式树中包含其他表达式
    • [SPARK-47129][CONNECT][SQL] 正确制定 ResolveRelations 缓存连接计划
    • [SPARK-47241][SQL] 修复 ExtractGenerator 的规则顺序问题
    • [SPARK-47035][SS][CONNECT] 客户端侦听器的协议
    • 操作系统安全更新。
  • 2024 年 2 月 29 日
    • 修复了在 MERGE 命令中使用本地集合作为源可能会导致操作指标 numSourceRows 报告将正确的行数加倍的问题。
    • 创建具有已定义位置的架构现在要求用户对 ANY FILE 拥有 SELECT 和 MODIFY 权限。
    • [SPARK-47071][SQL] 当 With 表达式包含特殊表达式时将其内联
    • [SPARK-47059][SQL] 附加 ALTER COLUMN v1 命令的错误上下文
    • [SPARK-46993][SQL] 修复会话变量的常量折叠
    • 操作系统安全更新。
  • 2024 年 1 月 3 日
    • [SPARK-46933] 将查询执行时间指标添加到使用 JDBCRDD 的连接器。
    • [SPARK-46763] 修复了 ReplaceDeduplicateWithAggregate 中重复属性的断言失败。
    • [SPARK-46954] XML：将 InputStreamReader 用 BufferedReader 包装。
    • [SPARK-46655] 跳过 DataFrame 方法中的查询上下文捕获。
    • [SPARK-44815] 缓存 df.schema 以避免额外的 RPC。
    • [SPARK-46952] XML：限制损坏记录的大小。
    • [SPARK-46794] 从 LogicalRDD 约束中删除子查询。
    • [SPARK-46736] 在 protobuf 连接器中保留空消息字段。
    • [SPARK-45182] 在重试由校验和确定的父不确定阶段后忽略旧阶段的任务完成。
    • [SPARK-46414] 使用 prependBaseUri 呈现 javascript 导入。
    • [SPARK-46383] 通过减少驱动程序堆的 TaskInfo.accumulables()寿命来减少驱动程序堆使用量。
    • [SPARK-46861] 避免 DAGScheduler 中的死锁。
    • [SPARK-46954] XML：优化架构索引查找。
    • [SPARK-46676] dropDuplicatesWithinWatermark 不应在计划标准化过程中失败。
    • [SPARK-46644] 在 SQLMetric 中更改添加和合并以使用 isZero。
    • [SPARK-46731] 按状态数据源（读取器）管理状态存储提供程序实例。
    • [SPARK-46677] 修复 dataframe["*"] 分辨率。
    • [SPARK-46610] 当选项中没有键的值时，创建表应引发异常。
    • [SPARK-46941] 如果包含 SizeBasedWindowFunction，则无法为 top-k 计算插入窗口组限制节点。
    • [SPARK-45433] 修复 CSV/JSON 在时间戳不符合指定的 timestampFormat 时的模式推断问题。
    • [SPARK-46930] 为 Avro 中的 Union 类型字段添加对自定义前缀的支持。
    • [SPARK-46227] 回溯移植到 14.3。
    • [SPARK-46822] 在 jdbc 中将 jdbc 类型转换为 catalyst 类型时，遵循 spark.sql.legacy.charVarcharAsString。
    • 操作系统安全更新。

Databricks 运行时 9.1 LTS

  • 2025 年 4 月 9 日
    • 操作系统安全更新。
  • 2025 年 3 月 11 日
    • 操作系统安全更新。
  • 2025 年 2 月 11 日
    • 操作系统安全更新。
  • 2024 年 12 月 10 日
    • 操作系统安全更新。
  • 2024 年 11 月 26 日
    • 操作系统安全更新。
  • 2024 年 11 月 5 日
    • 操作系统安全更新。
  • 2024 年 10 月 22 日
    • 操作系统安全更新。
  • 2024 年 10 月 10 日
    • 操作系统安全更新。
  • 2024 年 9 月 25 日
    • [SPARK-49000][SQL] 通过扩展“RewriteDistinctAggregates”修复“select count(distinct 1) from t”，其中 t 是空表。
    • 操作系统安全更新。
  • 2024 年 9 月 6 日
    • 操作系统安全更新。
  • 2024 年 8 月 29 日
    • [SPARK-49065][SQL] 旧版格式化器/解析器中重设基准必须支持非 JVM 默认的时区
  • 2024 年 8 月 14 日
  • 2024 年 8 月 1 日
    • 操作系统安全更新。
  • 2024 年 7 月 11 日
    • 操作系统安全更新。
  • 2024 年 6 月 17 日
    • 操作系统安全更新。
  • 2024 年 5 月 21 日
    • [SPARK-48105][SS] 修复状态存储卸载和快照之间的争用条件
    • 操作系统安全更新。
  • 2024 年 5 月 9 日
    • [SPARK-47973][CORE] 在 SparkContext.stop() 中以及稍后在 SparkContext.assertNotStopped() 中记录调用站点
    • [SPARK-44251][SQL] 在完全外部 USING 联接中的联合联接键上正确设置“可为空”
    • 操作系统安全更新。
  • 2024 年 4 月 25 日
    • 杂项漏洞修复。
  • 2024 年 4 月 11 日
    • 操作系统安全更新。
  • 2024 年 4 月 1 日
    • 还原“[SPARK-46861][CORE] 避免 DAGScheduler 中发生死锁”
    • 操作系统安全更新。
  • 2024 年 3 月 14 日
    • 操作系统安全更新。
  • 2024 年 2 月 29 日
    • 修复了在 MERGE 命令中使用本地集合作为源可能会导致操作指标 numSourceRows 报告将正确的行数加倍的问题。
    • 操作系统安全更新。
  • 2024 年 2 月 13 日
    • [SPARK-46861] 避免 DAGScheduler 中的死锁。
    • 操作系统安全更新。
  • 2024 年 1 月 31 日
    • 操作系统安全更新。
  • 2023 年 12 月 25 日
    • 为了避免在通过 TLSv1.3 通信时增加延迟，此维护版本包括 JDK 8 安装的修补程序，以修复 JDK bug JDK-8293562。
    • [SPARK-46058] 为 privateKeyPassword 添加单独的标志。
    • [SPARK-39440] 添加配置以禁用事件时间线。
    • [SPARK-46132] 支持为 RPC SSL 的 JKS 密钥使用密钥密码。
  • 2023 年 12 月 14 日
    • 操作系统安全更新。
  • 2023 年 11 月 29 日
    • 安装了一个新包 pyarrow-hotfix 以修正 PyArrow RCE 漏洞。
    • [SPARK-45859] 将 ml.functions 中的 UDF 对象设为惰性。
    • [SPARK-45544] 已将 SSL 支持集成到 TransportContext.
    • [SPARK-45730] 改进了ReloadingX509TrustManagerSuite的时间限制。
    • 操作系统安全更新。
  • 2023 年 11 月 14 日
    • [SPARK-45545]SparkTransportConf 在创建时继承 SSLOptions。
    • [SPARK-45429] 添加了 SSL RPC 通信的帮助程序类。
    • [SPARK-45427] 添加了 RPC SSL 设置到SSLOptionsSparkTransportConf。
    • [SPARK-45584] 修复了 TakeOrderedAndProjectExec 子查询运行失败的问题。
    • [SPARK-45541] 已添加 SSLFactory。
    • [SPARK-42205] 在阶段和任务启动事件中移除了日志累加器。
    • 操作系统安全更新。
  • 2023 年 10 月 24 日
    • [SPARK-45426] 添加了对 ReloadingX509TrustManager 的支持。
    • 操作系统安全更新。
  • 2023 年 10 月 13 日
    • 操作系统安全更新。
  • 2023 年 9 月 10 日
    • 其他修复。
  • 2023 年 8 月 30 日
    • 操作系统安全更新。
  • 2023 年 8 月 15 日
    • 操作系统安全更新。
  • 2023 年 6 月 23 日
    • Snowflake-jdbc 库已升级到 3.13.29 以解决安全问题。
    • 操作系统安全更新。
  • 2023 年 6 月 15 日
    • [SPARK-43098] 修复在标量子查询具有 group by 子句时的正确性 COUNT bug。
    • [SPARK-43156][SPARK-43098] 扩展了关闭 decorrelateInnerQuery 时进行的标量子查询计数 bug 测试。
    • [SPARK-40862] 支持 RewriteCorrelatedScalarSubquery 中的非聚合子查询。
    • 操作系统安全更新。
  • 2023 年 6 月 2 日
    • failOnUnknownFields 模式下的 JSON 分析程序丢弃 DROPMALFORMED 模式下的记录，并在 FAILFAST 模式下直接失败。
    • 修复了 JSON 恢复数据解析中的问题，以防止出现 UnknownFieldException。
    • 修复了自动加载程序中当提供的架构不包含推断的分区时，不同的源文件格式不一致的问题。 在读取推断的分区架构中缺少列的文件时，此问题可能会导致意外失败。
    • [SPARK-37520] 添加startswith()和endswith()字符串函数
    • [SPARK-43413] 修复了 IN 子查询 ListQuery 的为 Null 性。
    • 操作系统安全更新。
  • 2023 年 5 月 17 日
    • 操作系统安全更新。
  • 2023 年 4 月 25 日
    • 操作系统安全更新。
  • 2023 年 4 月 11 日
    • 修复了在嵌套 JSON 对象的架构中检测到新列时，自动加载程序架构演变可能会进入无限失败循环的问题。
    • [SPARK-42967] 修复在阶段取消后启动任务时的 SparkListenerTaskStart.stageAttemptId 问题。
  • 2023 年 3 月 29 日
    • 操作系统安全更新。
  • 2023 年 3 月 14 日
    • [SPARK-42484] 改进了UnsafeRowUtils的错误消息。
    • 其他修复。
  • 2023 年 2 月 28 日
    • 用户现在可以使用 Databricks Runtime 9.1 LTS 或更高版本读取和写入需要读取器版本 3 和写入器版本 7 的特定 Delta 表。 要使操作成功，当前版本的 Databricks Runtime 必须支持表协议中列出的表功能。
    • 操作系统安全更新。
  • 2023 年 2 月 16 日
    • 操作系统安全更新。
  • 2023 年 1 月 31 日
    • JDBC 表的表类型现在默认为 EXTERNAL。
  • 2023 年 1 月 18 日
    • 操作系统安全更新。
  • 2022 年 11 月 29 日
    • 修复了当所有列保留为字符串（cloudFiles.inferColumnTypes 未设置或设置为 false）且 JSON 包含嵌套对象时自动加载程序中出现的 JSON 分析问题。
    • 操作系统安全更新。
  • 2022 年 11 月 15 日
    • 已将 Apache commons-text 升级到 1.10.0。
    • 操作系统安全更新。
    • 其他修复。
  • 2022 年 11 月 1 日
    • 修复了以下问题：如果 Delta 表具有名为 _change_type用户定义的列，但 更改数据馈送 已在该表上关闭，则该列中的数据在运行时 MERGE会错误地填充 NULL 值。
    • 修复了自动加载程序的以下问题：启用 allowOverwrites 时，文件可能在同一个微批处理内重复出现。
    • [SPARK-40596] 使用 ExecutorDecommissionInfo 中的消息填充 ExecutorDecommission
    • 操作系统安全更新。
  • 2022 年 10 月 18 日
    • 操作系统安全更新。
  • 2022 年 10 月 5 日
    • 其他修复。
    • 操作系统安全更新。
  • 2022 年 9 月 22 日
    • 用户可以设置 spark.conf.set（“spark.databricks.io.listKeysWithPrefix.azure.enabled”， “true”） 以重新启用 ADLS 上的自动加载程序内置列表。 内置列表以前因性能问题关闭，但可能已导致客户的存储成本增加。
    • [SPARK-40315] 为 ArrayBasedMapData 的文本添加 hashCode()
    • [SPARK-40089] 修复某些十进制类型的排序问题
    • [SPARK-39887] RemoveRedundantAliases 应保留使投影节点的输出独一无二的别名
  • 2022 年 9 月 6 日
    • [SPARK-40235] 使用可中断锁而不是在 Executor.updateDependencies（） 中同步
    • [SPARK-35542] 修复：为具有参数 splitsArray、inputCols 和 outputCols 的多个列创建的 Bucketizer 在保存后无法加载
    • [SPARK-40079] 针对输入为空的情况添加 Imputer inputCols 验证
  • 2022 年 8 月 24 日
    • [SPARK-39666] 在 ExpressionEncoder 中使用 UnsafeProjection.create 以遵循 spark.sql.codegen.factoryMode
    • [SPARK-39962] 当组属性为空时应用投影
    • 操作系统安全更新。
  • 2022 年 8 月 9 日
    • 操作系统安全更新。
  • 2022 年 7 月 27 日
    • 当源具有不确定性时，使 Delta MERGE 操作结果保持一致。
    • [SPARK-39689] 支持在 CSV 数据源中使用 2 个字符的 lineSep
    • [SPARK-39575] 在 ByteBuffer#rewind 中在 ByteBuffer#get 之后添加了 AvroDeserializer。
    • [SPARK-37392] 修复了催化剂优化器的性能错误。
    • 操作系统安全更新。
  • 2022 年 7 月 13 日
    • [SPARK-39419]ArraySort 当比较器返回 null 时引发异常。
    • 禁止了自动加载程序对 Azure 上的目录列表使用内置的云 API。
    • 操作系统安全更新。
  • 2022 年 7 月 5 日
    • 操作系统安全更新。
    • 其他修复。
  • 2022 年 6 月 15 日
    • [SPARK-39283] 修复 TaskMemoryManager 和 UnsafeExternalSorter.SpillableIterator 之间的死锁。
  • 2022 年 6 月 2 日
    • [SPARK-34554]在copy()中实现ColumnarMap方法。
    • 操作系统安全更新。
  • 2022 年 5 月 18 日
    • 修复了自动加载程序中潜在的内置内存泄漏。
    • 将 AWS SDK 版本从 1.11.655 升级到 1.11.678。
    • [SPARK-38918] 嵌套列修剪应筛选出不属于当前关系的属性
    • [SPARK-39084]通过使用df.rdd.isEmpty()在任务完成时停止迭代器来修复TaskContext
    • 操作系统安全更新。
  • 2022 年 4 月 19 日
    • 操作系统安全更新。
    • 其他修复。
  • 2022 年 4 月 6 日
    • [SPARK-38631] 使用基于 Java 的实现在 Utils.unpack 中解压缩 tar 文件。
    • 操作系统安全更新。
  • 2022 年 3 月 22 日
    • 更改了高并发群集上的笔记本的当前工作目录，对用户的主目录启用表访问控制或凭据直通。 以前，活动目录是 /databricks/driver。
    • [SPARK-38437] 对数据源中的日期/时间进行宽松的序列化
    • [SPARK-38180] 允许在相关的相等谓词中使用安全的向上转换表达式
    • [SPARK-38155] 禁止在包含不受支持的谓词的横向子查询中使用非重复聚合
    • [SPARK-27442] 移除了在 Parquet 中读取或写入数据时的检查字段。
  • 2022 年 3 月 14 日
    • [SPARK-38236] create/alter 表中指定的绝对文件路径被视为相对路径
    • [SPARK-34069] 如果本地属性 SPARK_JOB_INTERRUPT_ON_CANCEL 设置为 true，则中断任务线程。
  • 2022 年 2 月 23 日
    • [SPARK-37859] 使用 Spark 3.1 使用 JDBC 创建的 SQL 表不可通过 Spark 3.2 进行读取。
  • 2022 年 2 月 8 日
    • [SPARK-27442] 移除了在 Parquet 中读取或写入数据时的检查字段。
    • 操作系统安全更新。
  • 2022 年 2 月 1 日
    • 操作系统安全更新。
  • 2022 年 1 月 26 日
    • 修复了在某些极少数情况下，Delta 表上同时进行的事务可能会以非序列化顺序提交的问题。
    • 修复了启用 ANSI SQL 方言时 OPTIMIZE 命令可能失败的问题。
  • 2022 年 1 月 19 日
    • 小问题修复和安全增强。
    • 操作系统安全更新。
  • 2021 年 11 月 4 日
    • 修复了可能导致结构化流式处理数据流失败并显示 ArrayIndexOutOfBoundsException 的问题。
    • 修复了一个争用条件，它可能会导致查询失败并显示 IOException（例如 java.io.IOException: No FileSystem for scheme），或可能导致 sparkContext.hadoopConfiguration 被修改且在查询中不生效。
    • Apache Spark Delta Sharing 连接器已升级至 0.2.0。
  • 2021 年 10 月 20 日
    • 已将 BigQuery 连接器从 0.18.1 升级为 0.22.2。 这添加了对 BigNumeric 类型的支持。
  • Last updated on