这些功能和 Azure Databricks 平台改进于 2025 年 3 月发布。
注释
发布采用分阶段方式。 Azure Databricks 帐户可能要等到初始发布日期后的一周或更长时间才会更新。
Databricks Runtime 16.3 已正式发布
2025 年 3 月 31 日
Databricks Runtime 16.3 和 Databricks Runtime 16.3 ML 现已正式发布。
有关机器学习,请参阅 Databricks Runtime 16.3 和 Databricks Runtime 16.3。
禁用旧的 Hive 元存储(公共预览版)
2025 年 3 月 31 日
现在可以从工作区禁用对 Hive 元存储的直接访问,确保 Unity Catalog 提供所有访问和治理。 请参阅 “禁用对 Azure Databricks 工作区使用的 Hive 元存储的访问”。
Databricks 作业现在允许 1,000 个任务
2025 年 3 月 31 日
工作流中的单个作业现在可以包含多达 1,000 个任务。 请参阅 Lakeflow Jobs。
Mosaic AI 代理框架和 Mosaic AI 代理评估已正式发布 (GA)
2025 年 3 月 31 日
使用马赛克 AI 代理框架和马赛克 AI 代理评估生成和评估 AI 代理。 代理框架简化了高质量生成 AI 应用程序的创建和部署。 代理评估提供了用于评估 AI 应用程序的质量、成本和延迟的工具,有助于开发准确、安全且受治理的输出。 请参考在 Databricks 上构建生成式 AI 应用和Mosaic AI 代理评估(MLflow 2)。
托管 SaaS 连接器支持列级选择(仅限 API)
2025 年 3 月 28 日
适用于企业应用程序(例如 Salesforce、Workday 和 ServiceNow)的托管连接器现已支持列级选择和取消选择。 你还可以指定将来在源中添加列时是否自动引入这些列。 请参阅 Lakeflow Connect 中的托管连接器。
Meta Llama 3.3 70B Instruct 对基础模型微调的支持
2025 年 3 月 28 日
基础模型微调现在支持 Meta Llama 3.3 70B Instruct。 请参阅支持的模型。
Databricks Apps:通过代表用户授权,基于用户权限控制对资源的访问(公共预览版)
2025 年 3 月 26 日
Databricks 应用现在可以使用用户授权来确保应用使用分配给应用用户的权限与资源交互。 当对资源(例如 UC 托管表或模型服务端点)的访问应受到分配给用户的权限限制时,你可以使用用户授权。 请参阅 Databricks 应用中配置授权。
旧系统架构已弃用
2025 年 3 月 26 日
以下旧系统架构已弃用,将从 system
目录中删除。 有关当前系统架构和表的列表,请参阅使用系统表监视帐户活动。
operational_data
lineage
access_preview
billing_preview
Claude Sonnet 3.7 现在可用于 Mosaic AI 模型服务
2025 年 3 月 26 日
Anthropic 的 Claude Sonnet 3.7 现在可用于 Mosaic AI 模型服务。 Claude Sonnet 3.7 可通过以下方式使用:
- 基础模型 API(按令牌付费)
- 常规用途型 AI 功能:
ai_query
- 函数调用
Databricks Apps 事件的其他审核日志记录(公共预览版)
2025 年 3 月 25 日
Databricks Apps 的审核日志记录现在包括以下事件的记录:createApp
、installTemplateApp
、updateApp
、startApp
、stopApp
、deployApp
和 deleteApp
。 请参阅应用事件的审核日志。
组群集已正式发布 (GA)
2025 年 3 月 25 日
使用专用访问模式为组分配通用和作业计算资源的功能现已正式发布。 请参阅将计算资源分配给组。
Agent Bricks:信息提取处于 Beta 版
2025 年 3 月 25 日
Agent Bricks 提供了一种简单的无代码方法来生成和优化特定于域的高质量 AI 代理系统,用于常见 AI 用例。 在 Beta 版中,Agent Bricks 支持信息提取,并简化了将大量未标记的文本文档转换为结构化表格的过程,其中包含每个文档的提取信息。
SQL 仓库可用的新的“可查看”权限(公开预览版)
2025 年 3 月 25 日
“可查看”权限允许用户监视 SQL 仓库,包括关联的查询历史记录和查询配置文件。 这些用户无法在未被授予其他权限的情况下对 SQL 仓库运行查询。 请参阅 SQL 仓库 ACL。
新的列浏览器
2025 年 3 月 24 日
现在,在处理表格笔记本输出时,可以使用列浏览器。 使用列浏览器可以对列进行搜索、显示或隐藏、固定以及重新排列。 请参阅浏览列。
AI 网关现在支持按令牌付费终结点
2025 年 3 月 24 日
Mosaic AI 网关现在支持基础模型 API 按令牌付费终结点。
现在可以在按令牌付费的终结点上启用以下治理和监视功能:
- 权限和速率限制,用于控制谁有访问权限以及有多少访问权限。
- 载荷日志记录用于使用推理表监视和审核发送到模型 API 的数据。
- 使用情况跟踪,使用系统表监视终结点上的操作使用情况和相关成本。
- AI 护栏可防止请求和响应中出现不必要的数据和有风险的数据。
适用于 Google Sheets 的 Databricks 连接器(公共预览版)
2025 年 3 月 20 日
使用适用于 Google Sheets 的 Databricks 连接器,可以从 Google Sheets 连接到 Databricks 工作区。 请参阅 从 Google Sheets 连接到 Azure Databricks。
Web 终端活动现在被视为计算活动
2025 年 3 月 20 日
配置为在一段时间不活动后自动终止的计算机资源将继续运行(如果在连接到该计算的 Databricks Web 终端中 [包括通过笔记本] 检测到活动)。 请参阅自动终止。
预算策略已重命名为无服务器预算策略
2025 年 3 月 19 日
无服务器预算策略(公共预览版)已从预算策略重命名。 请参阅使用无服务器预算策略来归因使用量。
Delta Sharing 支持表重命名
2025 年 3 月 19 日
Delta Sharing 现在支持重命名共享表。 如果提供程序重命名共享表,则收件人端的表会自动协调,而不会出错。 请参阅更新共享。
Databricks-to-open Delta Sharing 的 OIDC 联合身份验证(公共预览版)
2025 年 3 月 17 日
Azure Databricks 中的数据提供者现在可以允许接收方使用他们自己的身份提供商 (IdP),以访问在 Azure Databricks 中创建的 Delta Sharing 共享。 此身份验证流使用 Open ID Connect (OIDC) 令牌联合来交换由收件人的 IdP 生成的 JSON Web 令牌 (JWT),以获取 Azure Databricks 生成的短期 OAuth 令牌。 此 Databricks-to-open 共享 身份验证流适用于没有使用 Unity Catalog 的 Databricks 工作区访问权限的收件人。
OIDC 联合是使用长期存在的 Azure Databricks 颁发的持有者令牌,将非 Databricks 接收者连接到提供程序的替代方法。 它支持精细的访问控制、支持 MFA,并消除收件人管理和保护共享凭据的需要,从而降低安全风险。
Databricks-to-open 共享通过 OIDC 联合身份验证支持 Power BI 和 Tableau 上的接收者使用用户到机器(U2M) 身份验证,以及通过在接收方 IdP 中注册的 Python 客户端应用程序进行机器到机器 (M2M) OAuth 客户端凭据身份验证。
此功能目前以公共预览版提供。 请联系 Azure Databricks 代表,以申请访问权限。
请参阅使用 Open ID Connect (OIDC) 联合身份验证启用对 Delta Sharing 共享(开放共享)的身份验证。
AutoML 支持在分配给组的专用访问模式下的群集
2025 年 3 月 17 日
分配到组后,AutoML 现在可以在专用访问中的群集上使用。 以前,AutoML 仅在单用户模式下的专用访问群集上可用。 请参阅 要求。
默认情况下,计算系统表处于启用状态
2025 年 3 月 17 日
system.compute
架构现已在所有 Unity Catalog 工作区中默认启用。 请参阅 计算系统表参考。
Hive 元存储联合已正式发布
2025 年 3 月 14 日
借助 Hive 元存储联合,可以使用 Unity Catalog 访问和管理 Hive 元存储中注册的数据。 这包括外部托管的 Hive 元存储和旧有的内部 Databricks Hive 元存储。
GA 添加了对以下项的支持:
- Hive 元数据存储 3.1(除公共预览版支持的 0.13 和 2.3 版本外)。
- Postgres 和 SQL Server(除了公共预览版中支持的 MySQL 外)。
- 访问存储防火墙后面的 DBFS 根支持的表。
- 将行筛选器和列级掩码应用于使用 Hive 元存储联合身份验证访问的 Hive 表。
此外,此版本还包括对以下版本的预览支持:
- 读取 Delta 浅克隆在 Hive 元存储(公共预览版)中定义。
- 跨工作区读取 DBFS 装载支持的表(私密预览版:请联系 Azure Databricks 帐户代表以注册)。
请参阅 Hive 元存储联盟:启用 Unity Catalog 管理在 Hive 元存储中注册的表。
计算日志现在可以传送到卷(公共预览版)
2025 年 3 月 13 日
现在可以将计算资源的驱动程序、辅助角色和事件日志传送到 Unity Catalog 卷。 请参阅 计算日志传递。
现在,连接到无服务器计算的笔记本支持以 Excel 格式下载
2025 年 3 月 13 日
对于连接到无服务器计算的笔记本,现在可以将表格单元格结果下载为 Excel 文件。 对于连接到 SQL 仓库的笔记本,也支持“下载为 Excel”。 请参阅下载结果。
将存储凭据、服务凭据和外部位置绑定到特定工作区(GA)
2025 年 3 月 12 日
现已正式提供将存储凭据、服务凭据和外部位置绑定到特定工作区的功能。 工作区绑定可防止从其他工作区访问这些对象。 如果你使用工作区来隔离用户数据访问(例如,如果你有单独的生产和开发工作区或用于处理敏感数据的专用工作区),则此功能特别有用。
有关详细信息,请参阅(可选)将外部位置分配给特定工作区,(可选)将存储凭据分配给特定工作区,以及(可选)向特定工作区分配服务凭据。
Databricks Runtime 16.3 (Beta)
2025 年 3 月 12 日
Databricks Runtime 16.3 和 Databricks Runtime 16.3 ML 现已作为 Beta 版本提供。
有关机器学习,请参阅 Databricks Runtime 16.3 和 Databricks Runtime 16.3。
Databricks JDBC 驱动程序 (OSS) 已正式发布
2025 年 3 月 11 日
Databricks JDBC 驱动程序(OSS)现已正式发布(正式版),即将开放源代码。 从 Maven 存储库下载 Databricks JDBC 驱动程序 (OSS)。
在帐户中监视和撤销个人访问令牌(公共预览版)
2025 年 3 月 11 日
令牌报告现为公共预览版。 令牌报告使帐户管理员能够在帐户控制台中监视和撤销个人访问令牌(PAT)。 Databricks 建议使用 OAuth 访问令牌而不是 PAT,以提高安全性和便利性。 请参阅监视和撤销帐户中的个人访问令牌。
Genie 对话 API 现在以公共预览版提供
2025 年 3 月 11 日
Genie 对话 API 现在以 公共预览版提供。 现在可以提问、检索生成的 SQL 和查询结果,或使用 Databricks REST API 获取与 Genie 空间关联的详细信息。 若要了解如何使用 API,请参阅 Genie REST API 参考。
若要了解如何使用 Mosaic AI Agent Framework 创建多代理系统,请参阅 在多代理系统中使用 Genie。
使用 AI 函数执行批处理推理(公共预览版)
2025 年 3 月 10 日
马赛克 AI 现在支持使用 AI 函数进行批量推理。 此功能以公共预览版提供。 有关更多详细信息,请参阅以下指南:
ServiceNow 连接器(公共预览版)
2025 年 3 月 10 日
现在可以使用 Databricks Lakeflow Connect 从 ServiceNow 导入数据。 请参阅配置 ServiceNow 以进行 Databricks 引入。 若要参与预览,请联系你的 Databricks 帐户团队。
外部模型现在支持 OpenAI 兼容的 LLM
2025 年 3 月 10 日
马赛克 AI 模型服务中的外部模型现在支持自定义提供者选项。 可以使用此选项来指定未显式列为模型提供商的备用提供商或与 OpenAI API 兼容的自定义代理后面的模型。 请参阅 模型提供程序。
代理框架监控功能处于 Beta 测试阶段
2025 年 3 月 10 日
代理框架监视处于 Beta 阶段。 现在可以在使用 马赛克 AI 代理框架部署的代理上设置监视。
请参阅使用 Agent Framework 部署的监视器应用(MLflow 2)。
Mosaic AI 代理框架已正式发布
2025 年 3 月 7 日
马赛克 AI 代理框架 现已正式发布。 使用代理框架生成和部署高质量的生产级代理。
Delta Sharing 对查询优化器统计信息的支持已正式发布
2025 年 3 月 4 日
访问通过 Delta Sharing 共享的 Delta 表的数据接收者现在可以利用优化器统计信息来提高查询性能。 数据提供程序必须启用预测优化,或在共享 Delta 表上手动运行 ANALYZE
命令。
性能改进包括:
同区域 Databricks 到 Databricks 查询的速度快 11%。
跨区域 Databricks 到 Databricks 查询的速度快 28%。
请参阅 Unity 目录托管表的预测优化 和 ANALYZE TABLE。
AI 网关现支持外部模型的回退
2025 年 3 月 4 日
现在,可以使用 AI 网关在模型服务终结点上启用回退。 如果对 外部模型 的请求失败,可以指定将请求重定向到在该终结点上提供的其他外部模型。 请参阅 使用 UI 配置 AI 网关。
使用新的停靠功能控制 Databricks 助手的位置
2025 年 3 月 4 日
现在,你可以更好地控制 Databricks 助手窗格的放置,并能够使用新的停靠功能将其最小化。
安全群集连接(无公共 IP)现在默认为新的 Azure Databricks 工作区
2025 年 3 月 3 日
从 2025 年 3 月 3 日起,新的 Azure Databricks 工作区将默认使用安全群集连接(无公共 IP),通过消除群集节点上的公共 IP 地址来提高安全性。 此更改不会影响现有工作区,但建议迁移以提高安全性。 确保防火墙允许出站流量流向控制平面(如果已配置)。