即将推出的功能

了解即将到来的 Azure Databricks 版本。

默认情况下在所有新的 Azure Databricks 帐户上启用预测优化

11 月 11 日,Databricks 将启用预测优化作为所有 新的 Azure Databricks 帐户的默认值。 以前,它默认处于禁用状态,并可由帐户管理员启用。 启用预测优化后,Azure Databricks 会自动运行 Unity 目录托管表的维护操作。 有关预测优化的详细信息,请参阅 Unity 目录托管表的预测优化。

降低对工作流工作负荷的无服务器计算的成本和对性能的控制

除了当前支持的自动性能优化之外,工作流优化功能的无服务器计算的增强功能还可以更好地控制工作负荷是针对性能还是成本进行优化。 若要了解详细信息,请参阅 笔记本、作业和管道的无服务器计算成本节省。

针对 AI/BI Genie 启用默认值的更改

2024 年 11 月 14 日,默认将打开选择加入 Genie 公共预览版的切换开关。 若要管理预览,请参阅 管理 Azure Databricks 预览版。 AI/BI Genie 将于 2024 年 12 月 9 日正式发布,此时拥有提升权限的用户(如帐户和工作区管理员)可以使用控制对 Azure AI 服务支持的 AI 辅助功能的访问开关来控制对 Genie 的访问。 请参阅使用 Databricks 助手

对旧版仪表板版本支持的更改

Databricks 建议使用 AI/BI 仪表板(以前称为 Lakeview 仪表板)。 早期版本的仪表板,以前称为 Databricks SQL 仪表板,现在称为旧仪表板。 Databricks 不建议创建新的旧版仪表板。 与旧版仪表板相比,AI/BI 仪表板提供了改进的功能,包括 AI 辅助创作、草稿和已发布模式以及交叉筛选。

为了帮助过渡到最新版本,可以在用户界面和 API 中使用升级工具。 有关如何在 UI 中使用内置迁移工具的说明,请参阅 将旧版仪表板克隆到 AI/BI 仪表板。 有关使用 Azure Databricks API 管理仪表板的 REST API 创建和管理仪表板的教程。

对无服务器计算工作负载属性的更改

目前,可计费使用系统表可能包括无服务器 SKU 计费记录,其中 run_asjob_idjob_run_idnotebook_id 为 null 值。 这些记录表示不直接归因于任何特定工作负载的共享资源的相关成本。

为帮助简化成本报告,Databricks 不久后会将这些共享成本归入产生这些成本的特定工作负载名下。 报告中将不再在工作负载标识符字段中显示值为 null 的计费记录。 随着无服务器计算的使用增加以及添加更多的工作负载,帐单上这些共享成本的比例会随着在更多工作负载之间共享而减少。

有关监视无服务器计算成本的详细信息,请参阅监视无服务器计算的成本

审核日志中的 sourceIpAddress 字段将不再包含端口号

由于 bug,某些授权和身份验证审核日志除了 sourceIPAddress 字段中的 IP(例如,"sourceIPAddress":"10.2.91.100:0"),还包括端口号。 端口号记录为 0,不提供任何实际值,并且与 Databricks 审核日志的其余部分不一致。 为了增强审核日志的一致性,Databricks 计划更改这些审核日志事件的 IP 地址格式。 此更改将从 2024 年 8 月初开始逐步推出。

如果审核日志包含 0.0.0.0sourceIpAddress,Databricks 可能会停止记录它。

旧 Git 集成的 EOL 为 1 月 31 日

2024 年 1 月 31 日之后,Databricks 将删除旧笔记本 Git 集成。 此功能两年多以来一直处于旧状态,自 2023 年 11 月以来,产品 UI 一直显示弃用通知。

有关从旧版 Git 集成迁移到 Databricks Git 文件夹(以前为 Repos)的详细信息,请参阅从旧版 Git 集成切换到 Databricks Repos。 如果受到此删除的影响,你需要进行扩展,请联系 Databricks 帐户团队。

不支持 JDK8 和 JDK11

当 Spark 4.0 发布时,Azure Databricks 计划通过下一个主要 Databricks Runtime 版本移除 JDK 8 支持。 Azure Databricks 计划通过下一个 LTS 版本的 Databricks Runtime 14.x 移除 JDK 11 支持。

为新工作区自动启用 Unity Catalog

Databricks 已开始为新工作区自动启用 Unity Catalog。 这样就无需帐户管理员在创建工作区后配置 Unity Catalog。 跨帐户逐步推出。

sqlite-jdbc 升级

Databricks Runtime 计划在所有 Databricks Runtime 维护版本中将 sqlite-jdbc 版本从 3.8.11.2 升级到 3.42.0.0。 版本为 3.42.0.0 的 API 与 3.8.11.2 不完全兼容。 请确认你的方法和返回类型使用版本 3.42.0.0。

如果在代码中使用 sqlite-jdbc,请检查 sqlite-jdbc 兼容性报告