无服务器计算发行说明

本文介绍笔记本和作业的无服务器计算当前可用和即将推出的功能和行为。

有关无服务器计算的详细信息,请参阅连接到无服务器计算。

Azure Databricks 定期发布对无服务器计算的更新,自动升级无服务器计算运行时以支持增强功能和升级到平台。 所有用户都会获得将在短时间内推出的相同更新。

无服务器环境版本

笔记本和作业的无服务器计算使用环境版本,这些版本基于 Spark Connect 提供稳定的客户端 API,以确保应用程序兼容性。 这样,Databricks 就可以独立升级服务器,从而提供性能改进、安全增强和 bug 修复,而无需对工作负载进行任何代码更改。

每个环境版本包括特定的 Python 版本和一组具有已定义版本的 Python 包。 Databricks 引入了最新环境版本中的新功能和修补程序,同时向所有受支持的环境版本应用安全更新。

关于无服务器环境版本的发布说明,请参见 环境版本。

发行说明

本部分包括无服务器计算的发行说明。 发行说明按年份和年度周次进行安排。 无服务器计算始终使用此处列出的最新发行版本来运行。

DataFrame在无服务器计算上的缓存现已进入公开预览阶段

2026年10月23日

DataFrame在无服务器计算上的缓存现已进入 公开预览阶段。 你可以在无服务器计算中使用 df.cache() 或 df.persist() 缓存 DataFrame,以便在当前会话的剩余时间内复用代价高昂的计算结果。 缓存需要无服务器环境版本 5 或更高版本、面向 Python 的 Databricks Connect 18.1.8 或更高版本,或面向 Scala 的 Databricks Connect 18.1.5 或更高版本。 大多数工作区默认启用了预览功能。 Workspace 管理员可以在 预览 页面禁用它。 参见 在无服务器计算上缓存 DataFrame。

2026 年 10 月 19 日

2026年10月19日

该无服务器计算版本包含了 Databricks 运行时 19 的更新。

行为更改

  • Spark Connect 执行指标隐藏行筛选和列掩码细节:DataFrame 执行指标现在隐藏与行筛选和列掩码相关的内部操作符和度量。 这可以在您检查 df.executionInfo.metrics 时保护有关策略执行的信息,包括其文本表示。 方案中受保护的部分的边界及其自身指标依然清晰可见。 查询结果保持不变。 依赖于受保护子计划中详细指标的笔记本或工具可能需要更新。

2026 年 9 月 21 日

2026 年 9 月 21 日

该无服务器计算版本包含了 Databricks 运行时 19 的更新。

新功能

  • truncate 函数:该 truncate 函数将数字截断到指定的刻度,无需四舍五入。

  • trim_array 函数:该 trim_array 函数从数组末端移除指定数量的元素。

2026 年 8 月 31 日

2026年8月31日

该无服务器计算版本包含了 Databricks 运行时 19 的更新。

新功能

  • 自动变更数据馈送已正式可用:自动变更数据馈送(Auto CDF)在查询时计算行级变更。 它支持批处理查询、结构化流和Delta共享,并且需要行跟踪。 请参阅 自动更改数据馈送。

  • parse_sql 函数:该 parse_sql 函数解析SQL语句,返回包含语句元数据、表引用、select-list表达式或解析器错误信息的结构化JSON。

行为更改

  • from_protobuf 启用模式剪枝时会跳过格式错误的未选中字段:启用 protobuf 模式剪枝后,from_protobuf 不再解码或验证查询未选中的字段。 格式错误的未选中字段在 PERMISSIVE 模式下不再将该行置为 null,在 FAILFAST 模式下也不再导致查询失败。

  • JDBC 下推可正确处理 NULL 字面量:Data Source v2 JDBC 下推现在会输出 SQL NULL 字面量,而不是字符串 'null'。 将表达式 NULLIF 分组的查询,现在生成的是空群,而不是单独 'null' 的字符串群。

  • HTTP 和 AI 功能不再遵循重定向: http_request AI 功能也不再遵循 HTTP 3xx 重定向。 接收到重定向的调用现在会针对该重定向状态返回远程 HTTP 失败。 文件源连接器的下载不受影响。

2026 年 8 月 24 日

2026年8月24日

该无服务器计算版本包含了 Databricks 运行时 19 的更新。

新功能

  • collect_union 聚合函数:collect_union 聚合函数返回每个组内数组中元素的去重后的并集。

行为更改

  • 在带有生成器的查询中,HAVING 会先于窗口函数进行求值:对于包含生成器的查询(如 explode),现在会在 HAVING 过滤器之后对窗口函数进行求值。 因此,窗口结果仅包含被 HAVING保留的行。

  • 策略逻辑默认隐藏在查询计划中:除非用户拥有 INSPECT_POLICY_EXECUTION 元存储权限,否则查询计划不再暴露行过滤和列掩码策略逻辑。

  • Delta API DML 使用策略定义权限: DeltaTable.delete、 DeltaTable.update, DeltaTable.merge 现在用策略定义者的权限解析行过滤和列遮罩策略函数,与 SQL DML 匹配。 调用者在获得所需的表权限后,不再需要对这些策略函数 EXECUTE。

2026 年 8 月 17 日

2026年8月17日

该无服务器计算版本包含了 Databricks 运行时 19 的更新。

新功能

  • is_valid_variant函数:如果输入是良构的 false 值,则该函数返回 VARIANT,否则返回 true。 用它来验证变异数据,然后再进行下游处理。

  • DataFrameGroupBy.cov 以及 SeriesGroupBy.describe 在 Spark 上的 pandas API 中:Spark 上的 pandas API 现在支持 DataFrameGroupBy.cov,该 计算每个组内列的两两协方差,以及 SeriesGroupBy.describe,生成每个组的描述性统计量。

  • pa.ChunkedArray支持:createDataFramecreateDataFrame()现在支持用PyArrowChunkedArray列处理pandas数据帧,防止使用Arrow支持的pandas数据时类型错误。

无服务器计算上的JAR任务现已普遍可用

2026年8月6日

把 Scala 或 Java 代码打包成 JAR,在无服务器计算的 Lakeflow 作业中作为任务运行。 你的 JAR 必须与无服务器环境版本所对应的 Scala、Java 开发工具包(JDK)和 Databricks Connect 版本相匹配。 参见在无服务器计算上创建并运行 JAR。

无服务器计算访问控制现已普遍可用

2026年8月3日

无服务器计算访问控制现已普遍可用。 工作区管理员可以通过两个内置的无服务器计算对象来管理谁运行无服务器工作负载:默认交互计算(管理笔记本和Databricks Connect的访问)和默认自动计算(管理Lakeflow上的作业和Spark声明式管道的访问)。 所有工作区用户默认在两个对象上都能 使用 ,因此现有工作负载可以继续运行,无需更改。

参见 管理无服务器计算。

2026 年 7 月 6 日

2026年7月6日

此无服务器计算版本包括 Databricks Runtime 18 中的更新。

新功能

  • Lakeflow上的Spark声明式管道查询ID:Lakeflow上的Spark声明式管道现在可以按需设置流查询ID。

  • IP地址函数(公开预览):新增SQL函数可用于处理IPv4和IPv6地址及CIDR块,包括ip_hostip_versionip_as_stringip_cidrip_networktry_*ip_prefix_lengthip_network_lastip_cidr_containsip_as_binary、及变体,用于实现空安全行为。 请参阅 ip_host 和相关函数。

  • 按需状态重划分(公开预览):结构化流现在支持更改有状态查询的洗牌分区数量,同时不丢失检查点状态。 请参阅针对有状态流查询的按需状态重新分区。

行为更改

  • CREATE OR REPLACE TABLE 保留注释: CREATE OR REPLACE TABLE 现在默认保留已有的列和表格注释。 以前,在重新创建表格时,注释会被删除。 托管表和视图现与具体化视图及流式表的现有行为保持一致。

  • DataFrame 按名称写入时会转换兼容的列:writeTo().append()、writeTo().overwrite()、writeTo().overwritePartitions() 和 write.mode("append").saveAsTable() 现在会自动转换类型兼容的列(例如,将 int 转换为 long),以匹配目标 Delta 表架构。 以前,当列类型兼容但不完全相同时,这些操作失败并出现 DELTA_FAILED_TO_MERGE_FIELDS 错误。 行为现在与 SQL INSERT INTO ... BY NAME匹配。

  • ALTER TABLE SET TBLPROPERTIES 对于 pipelines.pipelineId: ALTER TABLE <table> SET TBLPROPERTIES('pipelines.pipelineId' = '<pipeline-id>') 现在尝试使指定的表有资格被流水线写入。 以前,在常规表上设置此属性不起作用。 如果该表不符合管道写入条件,命令会抛出 SETTING_PIPELINES_PIPELINE_ID_NOT_SUPPORTED。

  • DESCRIBE EXTENDED AS JSON 包含预测优化结果: DESCRIBE EXTENDED ... AS JSON 现在其输出中包含预测优化评估结果。 以前,JSON 输出中未返回此信息。

  • 度量视图窗口度量返回正确结果:现在,当查询使用 GROUP BY 筛选器、IN/BETWEEN 筛选器,或在窗口的排序列上使用混合谓词时,度量视图窗口度量会返回正确结果。 以前,这些筛选器模式可能会生成不正确的结果。

  • 使用NaN键的 Structured Streaming 去重:现在,当使用double或float列作为去重键时,Structured Streaming 去重会将具有不同位模式的 NaN NaN(非数字)值视为重复项。 以前,具有不同内部表示形式的 NaN 值会被视为不同的值,并且不会被去重。

  • NATURAL JOIN 大小写不区分列匹配: NATURAL JOIN 现在对常见列进行大小写不区分匹配,这与等价 USING 的连接一致。 以前,列匹配区分大小写,导致仅大小写不同(例如 ID 与 id)的列无法被识别为公共列,从而导致静默交叉连接而非预期等值连接。

版本 18.2

2026年5月13日

此无服务器计算版本大致对应于 Databricks Runtime 18.2。

新功能

  • CREATE OR REPLACE 对临时表的支持:现在已支持 CREATE OR REPLACE TEMP TABLE 语法,允许你在单条语句中创建或替换 临时表。 这样就无需显式删除并重新创建临时表。

  • agg() 是 measure() 函数的别名:agg()现已可用作measure()函数的别名。 此更改完全向后兼容。 现有使用 measure() 的查询可以在无需修改的情况下继续工作,agg() 在使用相同参数时可生成相同的结果。

  • Snowflake JDBC 驱动升级:Snowflake JDBC 驱动从3.22.0升级到3.28.0。

  • pyspark.pipelines.testing 命名空间别名:pyspark.pipelines.testing 现可用作 dlt.testing API 的便捷别名。 通过任一命名空间在 Lakeflow 管道测试实用工具上导入 Spark 声明性管道。

  • Delta 表历史记录包含写入选项标志:Delta 表历史记录(DESCRIBE HISTORY)现在在 WRITE 列中包含用于 REPLACE TABLE 和 operationParameters 操作的写入选项标志。 当显式启用以下选项时,它们将在历史记录中显示为布尔标志(仅在 true 时包括):

    对于 WRITE 和 REPLACE TABLE 操作:

    • isDynamicPartitionOverwrite:使用动态分区覆盖模式时存在
    • canOverwriteSchema:当启用了架构覆盖(overwriteSchema)时存在
    • canMergeSchema:启用架构合并 (mergeSchema) 时存在

    对于 REPLACE TABLE 操作:

    • predicate:在使用 replaceWhere 时存在
    • isV1WriterSaveAsTableOverwrite:当替换由 .saveAsTable 覆盖触发时存在
  • 使用 replaceUsing 和 replaceOn DataFrame API 有选择地替换数据:Scala 和 Python DataFrame API 中的 replaceOn 和 replaceUsing 选项现已正式发布。 使用这些选项可将表格的一部分替换为 DataFrame 的结果。 replaceOn 替换符合用户自定义条件的行。 replaceUsing 替换指定列的值相等的行。 这些 API 是对 INSERT REPLACE ON 和 INSERT REPLACE USING SQL 语句的补充。 请参阅使用 Delta Lake 选择性地覆写数据。

行为更改

  • INSERT、MERGE 和使用模式演化的流写中的 NULL 结构保留:对于 INSERT、MERGE 以及使用模式演化的流写,源中的 NULL 结构现在在目标中被存储为 NULL。 以前,该值被错误地具体化为非 null 结构,每个字段都设置为 NULL,而没有架构演变的相同操作会正确保留 NULL 结构。 如果代码依赖于接收字段均为 NULL 的非 null 结构,请更新代码以处理 NULL 结构。

  • 修复了 LEFT OUTER JOIN LATERAL 丢弃行的问题:LEFT OUTER JOIN LATERAL 查询错误地丢弃行的漏洞现已修复。 使用此构造的查询现在返回正确的结果。 若要暂时还原到以前的行为,请设置为 spark.databricks.sql.optimizer.lateralJoinPreserveOuterSemantictrue。

  • NATURAL JOIN 支持列名不区分大小写匹配:NATURAL JOIN 现在在 spark.sql.caseSensitive 设置为 false(默认值)时,会正确使用列名不区分大小写匹配。 之前,NATURAL JOIN 使用区分大小写的比较来识别常见列,导致仅在大小写上不同的列(例如,ID 与 id)不会被识别为匹配。 这导致 NATURAL JOIN 以无提示方式生成交叉联接结果。 此修复将 NATURAL JOIN 行为与 USING 联接对齐,后者已经正确处理了不区分大小写的问题。 受此 bug 影响的查询现在返回具有正确联接列的正确结果。

  • Unity 目录中的 SQL UDF 依赖验证:Unity 目录现在对 SQL 用户自定义函数(UDF)强制依赖验证,以防止访问控制绕过。 以前,通过 REST API 创建的 SQL 函数可以引用用户无权访问的依赖项。 具有无效依赖项配置的 SQL UDF 现在被阻止执行。

  • AWS SDK v1 依赖被着色:随 Azure Databricks 运行时捆绑的 AWS SDK v1 依赖现在已被着色,不再直接在类路径上提供。 如果代码依赖于以前由 Azure Databricks 运行时提供的 AWS SDK v1 库,请在项目中将其添加为显式依赖项。 在 AWS 对 SDK v1 的支持结束后,此更改为迁移到 AWS SDK v2 做好准备。

  • 修正 ESRI 定义的 SRID 102100 的错误的 EPSG 授权机构标识:SRID 102100 的坐标参考系(CRS)映射现在正确使用 ESRI:102100,而非错误的 EPSG:102100。 此修补程序可确保地理空间数据由正确的授权机构存储,以增强与其他系统的互操作性。

版本 18.1

2026 年 4 月 20 日

此无服务器计算版本大致对应于 Databricks Runtime 18.1。

新功能

  • Microsoft Azure Synapse 的 DATETIMEOFFSET 数据类型支持:DATETIMEOFFSET 数据类型现已支持用于 Microsoft Azure Synapse 连接。

  • Google BigQuery 表注释:Google BigQuery 表描述被解析并作为表注释展示。

  • JDBC 连接:使用 JDBC 连接 ,通过 Spark Data Source API 或 Databricks 远程查询 SQL API 读写数据源。

  • 带 INSERT 语句的模式演化:在插入操作中,使用 WITH SCHEMA EVOLUTION 带有SQL INSERT 语句的子句自动演化目标表的模式。 支持 INSERT INTO、INSERT OVERWRITE 和 INSERT INTO ... REPLACE 形式的子句。 请参阅 架构演变。

  • 在操作中INSERT保留 NULL 结构值:INSERT当源表和目标表的结构体字段顺序不同时,具有模式演化或隐式铸造的操作会保留NULL NULL 结构值。

  • Delta Sharing 多语句事务支持:使用预签名 URL 或云令牌共享模式的 Delta Sharing 表支持多语句事务。 在事务中的首次访问时,表版本会被锁定,并用于该事务中后续的所有读取操作。 不支持时间旅行、更改数据馈送以及流式处理。

  • parse_timestamp SQL 函数: parse_timestamp SQL 函数通过多种模式解析时间戳字符串。 该函数在 Photon 引擎上运行,以提高性能。

  • max_by min_by 并且有可选的限制:聚合函数 max_by 和 min_by 现在接受可选的第三个参数 limit (最多100,000),返回一个由顶部或底部K值组成的数组,不含窗口函数或CTE。

  • 向量聚合和标量函数:新的SQL函数在 ARRAY<FLOAT> 嵌入和相似性工作负载上运行向量,包括 vector_avg、 vector_sum、 vector_cosine_similarity、 vector_inner_product、 vector_l2_distance、 vector_norm和 vector_normalize。 请参阅 内置函数。

  • 复合语句中的SQL光标支持: SQL脚本 复合语句现在支持光标处理。 使用 DECLARE CURSOR 定义游标,然后使用 OPEN 语句、FETCH 语句 和 CLOSE 语句 来运行查询,并逐行处理。

  • 近似top-k草图函数:新增函数支持构建和组合分布式top-K草图,用于分布式top-K聚合: approx_top_k_accumulate、 approx_top_k_combine和 approx_top_k_estimate。 请参阅 approx_top_k 聚合函数。

  • Tuple sketch 函数:新的 Tuple sketch 聚合和标量函数支持对键-摘要对进行去重计数和聚合。 请参阅 内置函数。

  • 新的地理空间函数:以下地理空间函数现已可用:

  • Photon 对地理空间功能的支持:st_intersection 函数、st_difference 函数和st_union 函数现在都运行在 Photon 引擎上,以提升性能。

行为更改

  • 观察指标错误不再导致查询失败:观察指标收集过程中的错误不再导致查询执行失败。 以前,OBSERVE 子句中的错误(例如除以零)可能会阻止整个查询或导致其失败。 现在,查询会成功完成,但当你调用observation.get时会引发错误。

  • DESCRIBE FLOW 保留关键字: DESCRIBE FLOW 命令现已可用。 如果有一个名为 flow 的表,请使用带反引号的 DESCRIBE schema.flow、DESCRIBE TABLE flow 或 DESCRIBE `flow` 。

  • SpatialSQL 布尔集合操作:ST_Difference、ST_Intersection 和 ST_Union 采用新的实现,性能大约提升 2 倍。 有效的输入几何图形始终生成结果。 结果针对一致的输出进行规范化,由于不同的公式和操作顺序,在行段交集的第 15 位小数点之后可能会有所不同。

  • SQLSTATE 的异常类型: 异常类型 已更新以支持 SQLSTATE。 如果代码按字符串匹配分析异常或捕获特定异常类型,请更新错误处理逻辑。

版本 18.0

2026年2月27日

此无服务器计算版本大致对应于 Databricks Runtime 18.0。

新功能

  • SQL 脚本现已普遍可用: SQL 脚本 现已公开可用。

  • Redshift JDBC 驱动升级至 2.1.0.28:Redshift JDBC 驱动已升级至 2.1.0.28 版本。

  • Unity Catalog Python UDF共享隔离执行环境:同一所有者的Unity Catalog Python UDF现在默认可以共享隔离环境,提升性能并减少内存占用。 若要确保 UDF 始终在完全隔离的环境中运行,请添加 STRICT ISOLATION 特征子句。 请参阅 环境隔离。

  • 度量视图中的SQL窗口函数:你现在可以在度量视图中使用 SQL窗口函数 来计算运行总量、排名及其他基于窗口的计算。

  • 无状态流查询中的动态洗牌分区调整:你现在可以在不重启查询的情况下更改无状态流查询中的洗牌分区数量。

  • 无状态流查询中的自适应查询执行和自动优化洗牌:无状态流查询现在支持自适应查询执行(AQE)和自动优化洗牌(AOS)。

  • 字面字符串可在任何位置合并:将连续的字符串字面量(如 'Hello' ' World')合并为 'Hello World' 的能力现已扩展到任何允许使用字符串字面量的位置。 请参阅 STRING 类型。

  • 参数标记无处不在:你现在几乎可以在任何可以使用适当类型文字值的地方使用命名(:param)和未命名(?)参数标记,包括DDL语句和列类型。 请参阅 参数标记。

  • IDENTIFIER 子句可在几乎任何地方使用:IDENTIFIER 子句可将字符串转换为 SQL 对象名称,现已扩展到几乎所有允许使用标识符的地方,包括列别名和列定义。 请参阅 IDENTIFIER 条款。

  • 新 BITMAP_AND_AGG 函数:现在已经有了新的 bitmap_and_agg 聚合函数 函数。

  • 新的Theta草图函数:一个新的函数库,用于利用Datasketches的Theta Sketch进行近似不同的计数和集合运算,包括 theta_sketch_agg、 theta_union_agg、 theta_intersection_agg及相关函数。

  • 新的KLL草图函数库:现已提供用于构建KLL草图以进行近似分位数计算的新函数库,包括 kll_sketch_agg_bigint、 kll_sketch_agg_double及相关函数。

  • Apache Parquet 库升级至 1.16.0: Apache Parquet 库已升级至 1.16.0 版本。

  • 新增地理空间函数:以下新增地理空间功能现已支持:

  • 提升空间连接性能:通过引入洗牌空间连接支持,空间连接性能得到了提升。

  • 提升地理空间功能性能:现已为 st_isvalid 功能、st_makeline 功能和 st_makepolygon 功能提供 Photon 实现。

  • EWKT 输入支持:try_to_geography、try_to_geometry、to_geography 和 to_geometry 功能现在接受扩展 Well-Known Text (EWKT) 作为输入。

行为更改

  • FSCK REPAIR TABLE 默认包含元数据修复:命令 FSCK REPAIR TABLE 现在包含一个初始元数据修复步骤,然后检查缺失的数据文件。 该命令可以处理具有损坏检查点或无效分区值的表。

  • 按比例因子在读取与自动优化写入之间对齐:分区大小的按比例因子现在在读取操作和自动优化写入中保持一致地使用分数值。 此更改可能会导致读取操作的任务数量不同。

  • Python UDF 执行在 PySpark 和 Unity 目录中统一:Unity 目录 Python UDF 现在使用 Apache Arrow 作为默认交换格式,提升整体性能。 作为此更改的一部分,TIMESTAMP传递给 Python UDF 的值不再在对象的datetime属性中包含tzinfo时区信息。 如果 UDF 依赖于时区信息,请使用 date = date.replace(tzinfo=timezone.utc). 关于逐行输入,请参见 时间戳时区行为。

  • 改进的 Kafka 连接器登录模块问题错误信息:当使用 Kafka 连接器与未着色的登录模块类时,Azure Databricks 现在会提示错误信息,建议使用正确的着色类前缀(kafkashaded.org.apache.kafka或 kafkashaded.software.amazon.msk.auth.iam)。

  • 时间旅行限制和VACUUM保留行为:Azure Databricks 现在阻止所有表超过deletedFileRetentionDuration阈值的时间旅行查询。 该 VACUUM 命令忽略保留期参数,但值为 0 小时除外。 不能设置 deletedFileRetentionDuration 大于 logRetentionDuration 或反之。

  • BinaryType在 PySpark 中默认映射到 bytes:在 PySpark 中,BinaryType现在一致地映射到 Python bytes。 以前,PySpark 会根据上下文将 BinaryType 映射到 bytes 或 bytearray。 若要还原旧行为,请设置为 spark.sql.execution.pyspark.binaryAsBytesfalse.

  • Parquet 文件中的分区列物化:分区 Delta 表现在会在新写入的 Parquet 数据文件中将分区列物化。 以前,分区值存储在 Delta 事务日志元数据中,并反映在目录路径中,但不作为列写入 Parquet 文件本身。 此更改可能会影响直接读取由 Delta 写入的 Parquet 文件的工作负载。

  • DESCRIBE TABLE 输出包含元数据列:输出 DESCRIBE TABLE [EXTENDED] 现在包含所有表类型的新 metadata 列,包含表上定义的语义元数据(显示名称、格式和同义词),以 JSON 字符串形式定义。

无服务器环境版本 5 现已推出

2026年2月25日

现在可以在无服务器笔记本和作业中使用无服务器环境版本 5。 这包括 CPU 和 GPU 环境版本。 参见 环境版本5。

版本 17.3

2025 年 10 月 28 日

此无服务器计算版本大致对应于 Databricks Runtime 17.3 LTS。

新功能

  • LIMIT 支持用于递归 CTE 的 ALL 子句:你现在可以将 LIMIT ALL 子句与递归公共表表达式(rCTE)一起使用,以明确指定查询结果不应施加行数限制。 请参阅通用表表达式(CTE)。

  • 附加到 Unity 目录卷中的文件会返回正确错误:尝试附加 Unity 目录卷中已有的文件时,现在会返回更详细的错误信息,帮助你理解和解决问题。

  • st_dump 函数支持:你现在可以用该 st_dump 函数将几何对象分解为其组成部分,返回一组更简单的几何体。 请参阅 st_dump 函数。

  • 现在支持多边形内环函数:你现在可以使用以下函数来处理多边形内环:

  • EXECUTE IMMEDIATE 使用常量表达式:该 EXECUTE IMMEDIATE 语句现在支持在查询字符串中使用常数表达式,从而实现更灵活的动态SQL执行。 请参阅 EXECUTE IMMEDIATE。

  • 允许 spark.sql.files.maxPartitionBytes 无服务器计算:你现在可以在无服务器计算中配置 spark.sql.files.maxPartitionBytes Spark 配置参数,以控制读取文件时单个分区中应打包的最大字节数。 请参阅 为无服务器笔记本和作业配置 Spark 属性。

行为更改

  • 在 DESCRIBE EXTENDED AS JSON 中支持 MV/ST 刷新信息:该 DESCRIBE EXTENDED AS JSON 命令现在包含了实体化视图和流表的刷新信息,提供对上次刷新时间和状态的可视化。

  • 将元数据列添加到 DESCRIBE QUERY 和 DESCRIBE TABLE:DESCRIBE QUERY 和 DESCRIBE TABLE 命令现在在输出中包含元数据列,提供关于每列属性和特性的额外信息。

  • 删除 NullType 列时正确处理空结构:Azure Databricks 现在在删除带有 NullType 的列时能够正确处理空结构值,防止潜在的数据损坏或异常行为。

  • Parquet 中对空结构的处理改进:本版本改进了 Parquet 文件中空结构值的处理方式,确保行为更加一致和正确。

  • 升级 Kafka 的 aws-msk-iam-auth 库: aws-msk-iam-auth 用于 Amazon MSK IAM 认证的库已升级至最新版本,提升安全性和兼容性。

版本 17.2

2025 年 9 月 25 日

此无服务器计算版本大致对应于 Databricks Runtime 17.2。

新功能

  • ST_ExteriorRing 函数现在支持:你现在可以用该 ST_ExteriorRing 函数提取多边形的外部边界,并以线条返回。 请参阅 st_exteriorring 函数。
  • 支持 TEMPORARY 创建度量视图的关键词:你现在可以在创建度量视图时使用该 TEMPORARY 关键词。 临时指标视图仅在创建临时指标视图的会话中可见,并在会话结束时被删除。 请参阅 CREATE VIEW。

  • 在 S3 上为 LokiFileSystem.getFileStatus 使用原生 I/O:LokiFileSystem.getFileStatus 现在对 Amazon S3 流量使用原生 I/O 栈,并返回 org.apache.hadoop.fs.FileStatus 对象而非 shaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatus。

  • 自动加载器在模式下推断分区列singleVariantColumn:现在,自动装载器在以半结构化变体singleVariantColumn类型摄取数据时,通过文件路径推断分区列。 以前,不会自动检测到分区列。 请参阅 自动加载程序。

行为更改

  • DESCRIBE CONNECTION显示 JDBC 连接的环境设置 :Azure Databricks 现在在 DESCRIBE CONNECTION 输出中包含了支持自定义驱动程序并可独立运行的 JDBC 连接用户自定义环境设置。 其他连接类型保持不变。

  • 在托管表迁移期间截断 Uniform 历史记录的选项:现在,使用 ALTER TABLE...SET MANAGED 迁移启用了 Uniform/Iceberg 的表时,可以截断 Uniform 历史记录。 这简化了迁移,减少了与手动禁用和重新启用 Uniform 相比的停机时间。

  • 使用空正则表达式且正限时的正确结果split:Azure Databricks 现在在使用空正则表达式且正限时返回正确结果split function。 以前,函数错误地截断了剩余的字符串,而不是在最后一个元素中包含它。

  • 在 Photon 中修复 url_decode 和 try_url_decode 错误处理:在 Photon 中,带有 failOnError = false 的 try_url_decode() 和 url_decode() 现在会针对无效的 URL 编码字符串返回 NULL,而不是导致查询失败。

  • Unity Catalog Python UDTFs的共享执行环境:Azure Databricks现在共享Python用户定义表函数(UDTF)的执行环境,该环境来自同一所有者和Spark会话。 可选 STRICT ISOLATION 子句可用于禁用 UDDF 的共享,其副作用包括修改环境变量或执行任意代码。

版本 17.1

2025年8月19日

此无服务器计算版本大致对应于 Databricks Runtime 17.1。

新功能

  • Photon writer 中宽架构的内存使用减少:Photon 引擎进行了改进,显著减少了宽架构的内存使用,解决了之前导致内存不足错误的场景。

行为更改

  • 因无效CHECK约束而抛出错误:Azure Databricks 现在如果在约束验证过程中无法解析一个CHECKAnalysisException约束表达式,就会抛出错误。

  • Pulsar连接器不再暴露 Bouncy Castle:Bouncy Castle 库现已在 Pulsar 连接器中进行了着色处理,以防止类路径冲突。 因此,Spark 作业无法再从连接器访问 org.bouncycastle.* 类。 如果代码依赖于 Bouncy Castle,请在无服务器环境中手动安装库。

  • 如果有,自动加载器默认使用文件事件:当加载路径是启用文件事件的外部位置时,自动加载器使用文件事件而非目录列表。 useManagedFileEvents默认值为现在if_available(是false)。 这可以提高引入性能,并在文件事件尚未启用时记录警告。

  • Teradata 连接器修复了大小写区分字符串比较的问题:Teradata 连接器现在默认为 TMODE=ANSI,通过使字符串比较行为与 Azure Databricks 保持一致,使其具有大小写区分。 此更改是可配置的,除非他们选择加入,否则不会影响现有用户。

无服务器环境版本 4

2025年8月13日

环境版本 4 现在可在您的无服务器笔记本和任务中使用。 此环境版本包括库升级和 API 更新。 参见 环境版本4。

版本 17.0

2025 年 7 月 24 日

此无服务器计算版本大致对应于 Databricks Runtime 17.0。

新功能

  • SQL 过程支持:SQL 脚本现在可以封装在存储于 Unity Catalog 中并作为可重用资产的过程中。 可以使用 CREATE PROCEDURE 命令创建过程,然后使用 CALL 命令调用过程。

  • 为 SQL 函数设置默认排序规则:在DEFAULT COLLATION命令中使用新的CREATE FUNCTION子句可定义用于函数体中的STRING参数、返回类型和STRING字面量的默认排序规则。

  • 递归公共表表达式(rCTE)支持:Azure Databricks 现在支持使用递归通用表表达式(rCTE)进行层级数据的导航。 使用自引用 CTE 与 UNION ALL 来遵循递归关系。

  • PySpark 和 Spark Connect 现在支持 DataFrames df.mergeInto API:PySpark 和 Spark Connect 现在支持 df.mergeInto API。

  • 支持 ALL CATALOGSSHOW SCHEMAS: SHOW SCHEMAS 语法更新为接受 ALL CATALOGS,允许你遍历所有支持命名空间的活跃目录。 输出属性现在包含一列 catalog ,指示相应命名空间的目录。

  • 液体聚类现在可以更高效地压缩删除向量:带有液体聚类的 Delta 表现在可以在 OPTIMIZE 运行时更高效地应用删除向量所产生的物理更改。 有关详细信息,请参阅将更改应用于 Parquet 数据文件。

  • 允许在MERGE操作的UPDATE/INSERT列值中使用非确定性表达式:Azure Databricks 现在允许在MERGE操作中更新和插入的列值中使用非确定性表达式。 例如,现在可以使用表达式(例如 rand())为列生成动态值或随机值。

  • 将 Delta MERGE Python API 改为返回 DataFrame 而非 Unit:Python MERGE API(如 DeltaMergeBuilder)现在也返回 DataFrame,类似于 SQL API 的 ,结果相同。

行为更改

  • Auto Loader 增量目录列表选项的行为变化:已弃用的 Auto Loader cloudFiles.useIncrementalListing选项的值现在设置为默认值 false。 因此,此更改会导致自动加载器在每次运行时执行完整的目录列表。 Databricks 不建议使用此选项。 而是将 文件通知模式与文件事件一起使用。

  • CREATE VIEW 列级子句现在在该子句仅适用于物化视图时会报错: CREATE VIEW 指定仅对 MATERIALIZED VIEW 有效的列级子句的命令现在会抛出错误。 受影响的子句包括 NOT NULL、指定的数据类型 DEFAULT和 COLUMN MASK。

无服务器性能目标已正式发布

2025 年 6 月 10 日

现在通常可以为作业和管道选择无服务器性能设置。

启用 “性能优化 ”设置后,工作负载会针对更快的启动和执行时间进行优化。 禁用后,无服务器工作负荷在标准性能模式下运行,该模式针对成本进行了优化,并且启动延迟略高。

有关详细信息,请参阅“选择性能模式”和“选择性能模式”。

版本 16.4

2025 年 5 月 28 日

此无服务器计算版本大致对应于 Databricks Runtime 16.4 LTS。

行为更改

  • 修复数据源缓存计划未遵循选项的问题:此更新确保对已缓存的数据源计划的表读取会遵循所设置的选项,而不仅仅是第一次缓存的表读取。 以前,数据源表读取缓存了第一个计划,但未能在后续查询中考虑不同的选项。

  • 启用要求 MERGE 操作进行源物质化的标志:此前,用户可以通过将 merge.materializeSource 设置为 none 来关闭 MERGE 中的源物质化。 启用新标志后,将始终需要进行源具体化,尝试禁用它将会导致错误。 Databricks 计划仅针对以前未更改此配置的客户启用此标志,因此大多数用户不应遇到任何行为更改。

新功能

  • Auto Loader 现在可以清理源目录中的已处理文件:你现在可以指示 Auto Loader 自动移动或删除已处理的文件。 使用 cloudFiles.cleanSource “自动加载”选项来启用此功能。 请参阅 下的 cloudFiles.cleanSource。

  • 为从 Delta 表流式传输添加类型拓宽支持:本版本新增了支持从具有类型拓宽列数据的 Delta 表进行流式传输,以及使用 Databricks-to-Databricks Delta Sharing 共享启用了类型拓宽的 Delta 表。 类型扩展功能目前处于公开预览阶段。 请参阅类型拓宽。

  • IDENTIFIER 对目录操作的支持现已在 DBSQL 中可用:您现在可以在执行以下目录操作时使用该 IDENTIFIER 子句:

    • CREATE CATALOG
    • DROP CATALOG
    • COMMENT ON CATALOG
    • ALTER CATALOG

    使用此新语法,可以使用为这些作定义的参数动态指定目录名称,从而实现更灵活和可重用的 SQL 工作流。 作为语法示例,请考虑 CREATE CATALOG IDENTIFIER(:param),其中 param 是一个为指定目录名称而提供的参数。 请参阅 IDENTIFIER 条款。

  • 整理表达式现在提供自动生成的瞬态别名:整理表达式的自动生成别名现在会以确定性方式纳入 COLLATE 信息。 自动生成的别名是暂时性的(不稳定的),不应依赖。 相反,最佳做法是一致且显式地使用 expression AS alias 。

  • 为 Python 数据源添加过滤下推 API 支持:无服务器计算现在支持将过滤下推到 Python 数据源的批量读取中,并以 API 形式提供,类似于 SupportsPushDownFilters 接口。 请参阅 16.4 LTS 发行说明。

  • Python UDF 回溯改进:Python UDF 回溯现在包含驱动和执行器的帧以及客户端的帧,从而产生更优质的错误信息,显示更丰富且相关的细节(如 UDF 内帧的行内容)。

  • 视图中的 UNION/EXCEPT/INTERSECT 和 EXECUTE IMMEDIATE现在都会返回正确结果:查询带有顶层UNION//EXCEPTINTERSECT以及未别名列的临时和持久视图定义,之前因INTERSECT UNION/EXCEPT/关键词被视为别名而返回错误结果。 现在,这些查询将正确执行整个集合操作。

  • 数据源缓存计划配置与迁移指南:从文件源表读取将正确尊重查询选项(例如分隔符)。 以前,缓存了第一个查询计划,并忽略了后续选项更改。 若要还原以前的行为,请将 spark.sql.legacy.readFileSourceTableCacheIgnoreOptions 设置为 true。

  • 新内容 listagg 和 string_agg 函数:从本版本开始,你可以使用 listagg 或 string_agg 函数来汇总 STRING 组内的 BINARY 值。 请参阅 string_agg。

性能模式现在可在无服务器作业上配置

2025年4月14日

现在,可以使用作业详细信息页中的 “性能优化 ”设置选择无服务器作业的性能模式。 以前,所有无服务器作业的性能都进行了优化。 现在,可以禁用 性能优化 设置,以在标准性能模式下运行工作负荷。 标准性能模式旨在降低可接受略高一些的启动延迟的工作负载的成本。

连续管道、使用 runs/submit 终结点创建的一次性运行或 SQL 仓库作业任务(包括具体化视图)不支持标准性能模式。

有关性能模式的详细信息,请参阅 “选择性能模式”。

版本 16.3

2025 年 4 月 9 日

此无服务器计算版本大致对应于 Databricks Runtime 16.3。

行为更改

  • *当 kafka.sasl.client.callback.handler.class 被赋予无效值时,改进的错误信息:本版本包含一项更改,当 kafka.sasl.client.callback.handler.class 被赋予无效值时,会返回更具描述性的错误信息。

新功能

  • 状态读取器支持正式发布:结构化流查询的状态信息读取支持现已在无服务器计算平台上正式可用。 请参阅读取结构化流式处理状态信息。

  • Delta 表协议降级(含检查点保护)已正式可用:DROP FEATURE 现已正式可用,以移除 Delta Lake 表功能并降级表协议。 默认情况下,DROP FEATURE 现在会创建受保护的检查点,以实现更优化和简化的降级体验,无需等待时间或历史记录截断。 请参阅删除 Delta Lake 表功能和降级表协议。

  • 基于 ANSI SQL/PSM 编写程序式 SQL 脚本(公开预览):你现在可以使用基于 ANSI SQL/PSM 的脚本功能编写带有 SQL 的过程逻辑,包括控制流程语句、本地变量和异常处理。 请参阅 SQL 脚本。

  • 表和视图级默认排序规则:你现在可以为表和视图指定默认排序规则。 这简化了表和视图的创建,其中所有或大多数列共享相同的排序规则。 请参阅排序规则。

  • 新的 H3 函数:新增了三个 H3 函数: h3_try_coverash3、 h3_try_coverash3string 和 h3_try_tessellateaswkb。

  • 在一个 ALTER TABLE 语句中修改多个表列:你现在可以在一个 ALTER TABLE 语句中修改多个列。 请参阅 ALTER TABLE ... COLUMN 子句。

版本 16.2

2025 年 3 月 13 日

此无服务器计算版本大致对应于 Databricks Runtime 16.2。

行为更改

  • 在Delta Sharing中,表历史默认启用:使用SQL命令 ALTER SHARE <share> ADD TABLE <table> 创建的共享默认启用了历史共享WITH HISTORY()。 请参阅 ALTER SHARE。

  • 当凭据类型不匹配时,凭证SQL语句会返回错误:如果凭证管理SQL语句中指定的凭证类型与凭证参数的类型不匹配,则返回错误,该语句不会被执行。

新功能

  • 在生成的列表达式中使用 timestampdiff & timestampadd 你 现在可以在 Delta Lake 生成的列表达式中使用 timestampdiff 和 timestampadd 函数。 请参阅 Delta Lake 生成的列。

  • 对 DESCRIBE TABLE 的更新会以结构化 JSON 返回元数据:你现在可以使用 DESCRIBE TABLE AS JSON 命令以 JSON 文档形式返回表元数据。 JSON 输出的结构比默认的可读报表更结构化,可用于以编程方式解释表的架构。 若要了解详细信息,请参阅 DESCRIBE TABLE AS JSON。

  • 尾随空格不敏感的排序规则:Serverless 现在支持尾随空格不敏感的排序规则。 例如,这些排序规则将 'Hello' 和 'Hello ' 视为相等。 若要了解详细信息,请参阅 RTRIM 排序规则。

错误修复

  • 改进的增量克隆处理:本版本修复了一种边缘情况,即增量 CLONE 克隆可能将已从源表复制到目标表的文件重新复制。 请参阅克隆 Azure Databricks 上的表。

在无服务器笔记本上提供高内存设置(公共预览版)

2025年2月7日

现在可以为无服务器计算笔记本工作负荷配置更高的内存大小。 此设置可以同时应用于交互式和计划的笔记本工作负载。

高内存无服务器计算的 DBU 发射率高于标准内存无服务器计算。

有关详细信息,请参阅 使用高内存无服务器计算。

版本 16.1

2025 年 2 月 5 日

此无服务器计算版本大致对应于 Databricks Runtime 16.0 和 Databricks Runtime 16.1。

新功能

  • Avro 对递归模式的支持: 你现在 recursiveFieldMaxDepth 可以使用函数 from_avro 和 avro 数据源的选项。 此选项设置 Avro 数据源上架构递归的最大深度。 请参阅读取和写入流 Avro 数据。
  • 扩展对 Avro Confluent Schema Registry 的支持: Serverless 现在支持 Confluent Schema Registry 的 Avro 模式引用。 请参阅向外部 Confluent 架构注册表进行身份验证。
  • 对启用了液体聚类的表强制执行重新聚类: 你现在可以使用 OPTIMIZE FULL 语法,对启用了液体聚类的表中的所有记录强制执行重新聚类。 请参阅 强制重组。
  • Python 的 Delta API 现在支持身份列:你现在可以使用 Python 的 Delta API 创建带有身份列的表。 请参阅标识列。
  • 在流式写入期间创建液态聚类表:现在,你可以在使用结构化流写入创建新表时使用clusterBy启用液态聚类。 请参阅启用液体聚类。
  • 对 OPTIMIZE FULL 子句的支持: 无服务器计算现在支持 OPTIMIZE FULL 子句。 此子句优化使用液态聚类的表中的所有记录,包括可能之前已进行过聚类的数据。
  • 支持在 INSERT 和表引用中指定 WITH 选项:无服务器计算现在支持为表引用和 语句中的表名指定INSERT,可用于控制数据源的行为。
  • 新增SQL函数: 以下SQL函数现已可在无服务器计算中支持:
    • try_url_decode 是 url_decode的容错版本。
    • zeroifnull() 函数如果输入表达式为 NULL,则返回 0;如果输入表达式为 ,则返回该输入表达式。
    • nullifzero 如果输入为 0,则返回 NULL;否则返回输入值。
    • dayname(expr) 返回给定日期对应的星期名称的英语三字母缩写。
    • uniform(expr1, expr2 [,seed]) 返回一个在指定数值范围内独立同分布的随机值。
    • randstr(length) 返回一个由 length 个字母数字字符组成的随机字符串。
  • 在将数据合并到Delta表时启用自动模式演化:已为类成员DeltaMergeBuilder添加withSchemaEvolution()支持。 使用 withSchemaEvolution() 可在 MERGE 操作期间启用自动架构演变。 例如,mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}。
  • Apache Spark 中对排序规则的支持现处于公开预览阶段:你现在可以为 STRING 列和表达式分配语言感知、大小写不敏感和重音不敏感的排序规则。 这些排序规则用于字符串比较、排序、分组操作,并且用在许多字符串函数中。 请参阅排序规则。
  • Delta Lake 中排序规则支持已进入公开预览阶段: 你现在可以在创建或修改 Delta 表时为列定义排序规则。 请参阅对 Delta Lake 的排序规则支持。
  • 用于 vacuum 的 LITE 模式已处于公开预览阶段: 你现在可以使用 VACUUM table_name LITE 执行一种更轻量级的真空操作,利用 Delta 事务日志中的元数据。 请参阅完整模式和精简模式VACUUM。
  • 支持参数化该USE CATALOG with IDENTIFIER子句:现在该USE CATALOG语句支持IDENTIFIER子句。 借助此支持,你可以根据字符串变量或参数标记来参数化当前目录。
  • COMMENT ON COLUMN 支持表和视图: 声明 COMMENT ON 现在支持修改视图和表列的注释。
  • 更多函数的命名参数调用:以下函数支持命名参数调用:
  • 对于SYNC METADATA命令,支持将REPAIR TABLE参数与 Hive 元存储配合使用:你现在可以将REPAIR TABLE参数与SYNC METADATA命令配合使用,以更新 Hive 元存储托管表的元数据。 请参阅 REPAIR TABLE。
  • 增强压缩Apache Arrow批次的数据完整性: 为了进一步防止数据损坏,每个 LZ4 压缩Arrow批次现在都包含 LZ4 内容和块校验和。 请参阅 LZ4 帧格式说明。
  • 内置Oracle JDBC驱动: 无服务器计算现在内置了Oracle JDBC驱动。 如果通过 DriverManager 使用客户上传的 JDBC 驱动程序 JAR,则必须重写脚本以显式使用自定义 JAR。 否则,将使用内置驱动程序。 此驱动程序仅支持 Lakehouse 联盟。 对于其他用例,您需要提供自己的驱动程序。
  • 通过路径访问 Delta 表时提供更详细的错误信息: 现在,可为通过路径访问的 Delta 表提供新的错误消息。 所有异常现在都转发给用户。 现在,DELTA_MISSING_DELTA_TABLE 异常被保留用于无法将基础文件读取为 Delta 表的情况。

行为更改

  • 重大变更:托管RStudio已终止支持:本版本中,Databricks托管的RStudio服务器已终止支持,且在任何运行于无服务器计算的Azure Databricks工作空间中均无法使用。 若要了解详细信息并查看 RStudio 的替代项列表,请参阅 连接到 Databricks 托管的 RStudio Server。
  • 重大变更:取消将 byte、short、int 和 long 类型更改为更宽的类型的支持:为确保 Delta 和 Apache Iceberg 表间行为一致,以下数据类型更改不再适用于启用 type widening 功能的表:

    • byte、short、int 和 long 到 decimal。
    • byte、short和int到double。
  • 在嵌套字符分组中正确解析带有否定的正则表达式模式: 本版本包含了支持在嵌套字符分组中正确解析带有否定的正则表达式模式的变更。 例如, [^[abc]] 将分析为“不是”abc“之一的任何字符。

    另外,Photon 行为与嵌套字符类的 Spark 不一致。 包含嵌套字符类的正则表达式将不再使用 Photon,而改为使用 Spark。 嵌套字符类是包含方括号内方括号的任何模式,例如 [[a-c][1-3]]。

  • 改进Delta Lake MERGE中的重复匹配检测:MERGE 现在考虑了条款 WHEN MATCHED 中指定的条件。 请参阅使用合并以更新插入的方式插入到 Delta Lake 表中。

  • addArtifact()功能现在在不同计算类型间保持一致:当你为addArtifact(archive = True)无服务器计算添加依赖时,归档会自动解压。

错误修复

  • 时区偏移现在在序列化为 CSV、JSON 和 XML 时包括秒数: 带有包含秒数的时区偏移的时间戳(这在 1900 年前的时间戳中很常见)在序列化为 CSV、JSON 和 XML 时会省略秒数。 默认时间戳格式化程序已修复,现在返回这些时间戳的正确偏移值。

其他更改

  • cloudFiles Structured Streaming 源的错误代码已重命名: 以下错误代码已重命名:
    • _LEGACY_ERROR_TEMP_DBR_0143 已重命名为 CF_INCORRECT_STREAM_USAGE。
    • _LEGACY_ERROR_TEMP_DBR_0260 已重命名为 CF_INCORRECT_BATCH_USAGE 。

版本 15.4

2024年10月28日

此无服务器计算版本大致对应于 Databricks Runtime 15.4

新功能

  • UTF-8 验证函数:本版本引入了以下用于验证 UTF-8 字符串的函数:
    • is_valid_utf8 验证字符串是否为有效的 UTF-8 字符串。
    • make_valid_utf8 通过替换字符将可能无效的 UTF-8 字符串转换为有效的 UTF-8 字符串。
    • validate_utf8 如果输入不是有效的 UTF-8 字符串,则会引发错误。
    • NULL 如果输入不是有效的 UTF-8 字符串,则返回 。
  • 使用 ALTER TABLE 启用 UniForm Iceberg: 您现在可以在现有表上启用 UniForm Iceberg,而无需重写数据文件。 请参阅现有表。
  • try_url_decode函数: 本版本引入了 try_url_decode 函数,用于解码一个 URL 编码的字符串。 如果字符串的格式不正确,该函数将返回 NULL,而不是引发错误。
  • 可选择允许优化器依赖未强制的外键约束:为了提高查询性能,你现在可以在RELY或FOREIGN KEY表时,在约束上指定关键字。
  • 选择性覆盖的作业并行运行:使用 replaceWhere 的选择性覆盖现在会并行运行删除数据和插入新数据的作业,从而提升查询性能和集群利用率。
  • 通过选择性覆盖改进变更数据流的性能: 在带有变更数据流的表上进行 replaceWhere 选择性覆盖,不再为插入数据单独写入变更数据文件。 这些操作使用基础 Parquet 数据文件中存在的隐藏 _change_type 列,在没有写入放大的情况下记录更改。
  • 改进了 COPY INTO 命令的查询延迟: 本版本包含一项变更,提高了 COPY INTO 命令的查询延迟。 此改进是通过使 RocksDB 状态存储的状态加载变为异步来实现的。 进行此更改后,你应会看到具有较大状态的查询(例如,具有大量已引入文件的查询)的启动时间有所改善。
  • 支持删除 check constraints 表功能:你现在可以使用checkConstraints从 Delta 表中删除ALTER TABLE table_name DROP FEATURE checkConstraints表功能。 请参阅 “删除检查约束”。

行为更改

  • 视图的模式绑定变更: 当视图底层查询中的数据类型与首次创建视图时所使用的数据类型不同时,Databricks 不再在无法进行安全类型转换时为对该视图的引用抛出错误。

    相反,视图将在可能的情况下使用常规强制转换规则进行补偿。 此更改使 Databricks 能够更好地容许表架构的更改。

  • 禁止对布尔逻辑之外的 ! 的未公开 NOT 语法容忍:Databricks 将不再容忍在布尔逻辑之外将 ! 用作 NOT 的同义写法。 此更改可减少混淆,与 SQL 标准保持一致,并使 SQL 更具可移植性。 例如:

    CREATE ... IF ! EXISTS、IS ! NULL、! NULL列或字段属性、! IN 和 ! BETWEEN 必须替换为:

    CREATE ... IF NOT EXISTS,IS NOT NULL,NOT NULL 列或字段属性,NOT IN 和 NOT BETWEEN。

    布尔前缀运算符!(例如 !is_mgr 或 !(true AND false))不受此更改的影响。

  • 禁止视图中未写入文档且未处理的列定义语法部分: Databricks 支持 CREATE VIEW 带命名列和列注释。

    语法中已容许列类型、NOT NULL 约束或 DEFAULT 的规范,但没有实际效果。 Databricks 将移除此语法容许。 这样做可减少混淆,与 SQL 标准保持一致,并可以在将来进行增强。

  • Spark 和 Photon 中 Base64 解码的一致错误处理: 本版本更改了 Photon 处理 Base64 解码错误的方式,使其与 Spark 处理这些错误保持一致。 在进行这些更改之前,Photon 和 Spark 的代码生成过程有时未能引发解析异常,而 Spark 在解释执行中则正确引发了 IllegalArgumentException 或 ConversionInvalidInputError。 此更新确保 Photon 在发生 Base64 解码错误时始终引发与 Spark 相同的异常,这样就提供了更可预测和更可靠的错误处理。

  • 现在,对无效列添加 CHECK 约束会返回 UNRESOLVED_COLUMN.WITH_SUGGESTION 错误类: 为了提供更实用的错误消息,在 Databricks Runtime 15.3 及以上版本中,包含引用无效列名的 CHECK 约束的 ALTER TABLE ADD CONSTRAINT 语句会返回 UNRESOLVED_COLUMN.WITH_SUGGESTION 错误类。 以前,会返回一个 INTERNAL_ERROR。

JDK 从 JDK 8 升级到 JDK 17

2024年8月15日

笔记本和工作流的无服务器计算已从服务器端的 Java 开发工具包 (JDK) 8 迁移至 JDK 17。 此升级包括以下行为变更:

  • 在嵌套字符分组中正确解析带有否定的正则表达式模式:通过此次升级,Azure Databricks 现在支持在嵌套字符分组中正确解析带有否定的正则表达式模式。 例如, [^[abc]] 将分析为“不是”abc“之一的任何字符。

    另外,Photon 行为与嵌套字符类的 Spark 不一致。 包含嵌套字符类的正则表达式将不再使用 Photon,而改为使用 Spark。 嵌套字符类是包含方括号内方括号的任何模式,例如 [[a-c][1-3]]。

版本 15.1

2024 年 7 月 23 日

此无服务器计算版本大致对应于 Databricks Runtime 15.1

新功能

支持在 * 子句中使用星号(WHERE)语法:你现在可以在 * 子句中使用星号(WHERE)语法来引用 SELECT 列表中的所有列。

例如,SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*)。

Changes

改进的JSON解析错误恢复:用于 from_json() 和JSON路径表达式的JSON解析器现在能更快地从语法变形中恢复,从而减少数据丢失。

当在结构字段、数组值、映射键或映射值中遇到格式错误的 JSON 语法时,JSON 分析程序现在将仅针对不可读字段、键或元素返回 NULL。 后续的字段、键或元素将会被正确解析。 在此更改之前,JSON 分析程序放弃了对数组、结构或映射进行分析,并对剩余内容返回了 NULL。

版本 14.3

2024年4月15日

这是初始无服务器计算版本。 此版本大致对应于 Databricks Runtime 14.3,某些修改会删除对某些非无服务器和旧功能的支持。

支持的Spark配置参数

若要在无服务器计算中自动配置 Spark,Azure Databricks 已删除对手动设置大多数 Spark 配置的支持。 若要查看支持的 Spark 配置参数的列表,请参阅 为无服务器笔记本和作业配置 Spark 属性。

如果设置不支持的 Spark 配置,则无服务器计算上运行的作业将失败。

已弃用 input_file 函数

已弃用 input_file_name()、input_file_block_length() 和 input_file_block_start() 函数。 强烈建议不要使用这些函数。

请改用文件元数据列来检索文件元数据信息。

行为更改

无服务器计算版本 2024.15 包括以下行为变更:

  • unhex(hexStr) 错误修复: 使用该 unhex(hexStr) 函数时,hexStr 总是被填充为整字节。 以前,unhex 函数会忽略第一个半字节。 例如:unhex('ABC') 现在会生成 x'0ABC' 而不是 x'BC'。
  • 自动生成的列别名现在是稳定的: 当表达式的结果没有用户指定的列别名时,这个自动生成的别名现在是稳定的。 新算法可能会导致具体化视图等功能中使用的、先前自动生成的名称发生更改。
  • 带有 CHAR 类型字段的表扫描现在总是填充的: Delta表、某些JDBC表和外部数据源以非填充形式存储CHAR数据。 读取时,Azure Databricks 现在会用空格将数据填充到声明的长度,以确保语义上的正确性。
  • 从 BIGINT/DECIMAL 到 TIMESTAMP 的 cast 会为溢出值抛出异常:Azure Databricks 允许从 BIGINT 和 DECIMAL 转换为 TIMESTAMP,方法是将该值视为 Unix 纪元的秒数。 以前,Azure Databricks 将返回溢出的值,但现在会在溢出时引发异常。 使用 try_cast 返回 NULL 而不是异常。
  • PySpark UDF 的执行已被改进,使其在专用计算中与 UDF 执行的行为完全一致: 进行了以下更改:
    • 采用字符串返回类型的 UDF 不再将非字符串值隐式转换为字符串。 以前,采用 str 返回类型的 UDF 会将 str(..) 包装器应用于结果,而不管返回值的实际数据类型如何。
    • 采用 timestamp 返回类型的 UDF 不再隐式将时区转换应用于时间戳。