2026 年发布了以下 Lakeflow Spark 声明性管道功能、功能改进和漏洞修复。
注释
由于 Lakeflow Spark 声明性管道通道版本遵循滚动升级过程,因此通道升级在不同时间部署到不同的区域。 你的版本(包括 Databricks Runtime 版本)可能在初始发布日期的一周或更长时间后才会更新。 若要查找某个管道的 Databricks Runtime 版本,请参阅运行时信息。
2026 年 1 月
这些功能和对 Lakeflow Spark 声明性管道的改进于 2025 年 11 月 14 日至 2026 年 1 月 13 日发布。
此版本使用的 Databricks Runtime 版本
渠道:
- CURRENT (默认值):Databricks Runtime 16.4
- 预览版:Databricks Runtime 17.3
新功能和改进
现在可以直接在 Unity 目录表中存储和管理数据质量预期,使用数据治理框架集中数据质量规则。 这样就可以跨多个管道共享版本控制的可审核质量规则。
这些运行时间超过 7 天的连续管道现在会从容重启,停机时间最小,并且出现显式的更新原因(
INFRASTRUCTURE_MAINTENANCE),而不是在需要刷新基础计算环境时突然重启。管道现在支持排队执行模式,其中多个更新请求会自动排队并按顺序执行,而不是因冲突而失败。 这简化了频繁更新触发的管道的操作,并且无需手动协调重试。
现在可以从单个更改数据源具体化多个 SCD 类型 2 视图,从而在创建相同数据的多个历史视图时提高效率。 这样就无需重新处理每个 SCD 类型 2 输出的源数据。
管道计划和配置现在可以从 Unity 目录表属性中存储和读取,从而通过数据管理实现集中设置管理。 这样,就可以与数据定义一起管理管道行为。
MANAGE权限现在会自动传播到 Unity Catalog 中的物化视图和流表,从而简化管道输出的权限管理。 这可确保在未经手动权限授予的情况下进行一致的访问控制。SCD 类型 2 操作现在会自动合并具有相同自然键的重复记录,确保数据一致性,并防止慢速变化维度表中的重复历史记录。
管道现在可以选择自动删除不再属于管道定义的非活动表。 这有助于维护干净的数据仓库,并降低过时表的存储成本。 请参阅 将 Unity Catalog 与管道结合使用。
管道定义、修补操作和以某身份运行的标识更改现在包含在审核日志中,为合规性和安全性监控提供配置更改的全面跟踪。 请参阅 管道事件日志。
故障修复
此版本期间未包含重大 bug 修复。 所有更改都是新功能和改进。