通过

2023 年 11 月

  • 项目

这些功能和 Azure Databricks 平台的改进已于 2023 年 11 月发布。

注意

发布分阶段进行。 Azure Databricks 工作区可能要等到初始发布日期后的一周或更长时间才会更新。

Mosaic AI 矢量搜索处于公共预览状态

2023 年 11 月 30 日

Mosaic AI 矢量搜索是一个无服务器相似度搜索引擎，可用于在矢量数据库中存储数据（包括元数据）的矢量表示形式。 作为此功能的一部分，可以从 Unity 目录中的数据创建自动更新矢量搜索索引，并使用简单的 API 查询它们，以将最相似的矢量作为 RAG 工作流的一部分返回。 请参阅 Mosaic AI 矢量搜索。

无法再禁用访问控制列表

2023 年 11 月 29 日

以下设置在所有高级计划工作区上启用，并且无法再从工作区管理设置页或工作区 Conf API 中禁用：

  • 工作区访问控制：允许用户配置对工作区对象的权限。
  • 群集、池、作业访问控制：允许用户配置对群集、池和作业的权限。
  • 群集可见性控制：避免群集对没有权限的用户可见。
  • 作业可见性控制：避免作业对没有权限的用户可见。
  • 工作区可见性控制设置：避免笔记本和文件夹对没有权限的用户可见。

自 2018 年 3 月起，新工作区默认启用访问控制设置，自 2020 年 12 月起，默认启用可见性控制设置。

有关详细信息，请参阅访问控制列表。

Cataolog Explorer 中卷的新行为和操作

2023 年 11 月 22 日

现在，如果“上传到卷”用户界面中不存在任何卷，则可以在目标架构中创建新卷。 请参阅将文件上传到 Unity Catalog 卷。

已针对卷中的文件向 Catalog 资源管理器添加“删除文件”和“下载文件”等操作。

Databricks Runtime 14.2 已正式发布

2023 年 11 月 22 日

Databricks Runtime 14.2 和 Databricks Runtime 14.2 ML 现已推出正式版。

请参阅 Databricks Runtime 14.2 和用于机器学习的 Databricks Runtime 14.2。

适用于 Python 的 Databricks SQL 连接器版本 3.0.0

2023 年 11 月 17 日

现在可以运行 pip install databricks-sql-connector==3.0.0。

新增功能：

  • 移除了对 Python 3.7 的支持
  • 添加了对本机参数化 SQL 查询的支持。 需要 DBR 14.2 及更高版本。 有关详细信息，请参阅 databricks-sql-python GitHub 存储库中的使用本机参数。
  • 包括完全重写的 SQLAlchemy 方言：
    • 添加对 SQLAlchemy >= 2.0 的支持，并删除对 SQLAlchemy 1.x 的支持
    • 对所有支持的功能进行全面的端到端测试
    • 此处提供详细的使用情况说明
    • 添加了对以下项的支持：
      • 新类型：TIME、TIMESTAMP、TIMESTAMP_NTZ、TINYINT
      • Numeric 类型缩放和精准率，如 Numeric(10,2)
      • 读取和写入 PrimaryKeyConstraint 和 ForeignKeyConstraint
      • 读取和写入组合键
      • 从视图读取和写入
      • 将 Identity 写入表（自动增加主键）
      • LIMIT 和 OFFSET 用于分页列出结果
      • 缓存元数据调用
  • 默认启用 Cloud Fetch。 若要禁用，请在生成 databricks.sql.client 时设置 use_cloud_fetch=False。
  • 为 Azure Databricks Unity Catalog 卷引入查询添加集成测试
  • 重试：
    • 添加 _retry_max_redirects 配置
    • 设置 _enable_v3_retries=True，并在用户替代它时发出警告。
  • 安全性：将最低 pyarrow 版本升级到 14.0.1 (CVE-2023-47248)

无隔离共享群集支持的工作区文件中的库

2023 年 11 月 15 日

现在可以在 Databricks Runtime 14.1 及更高版本中安装存储为工作区文件的库，以计算配置为无隔离共享访问模式。

弃用工作区库

2023 年 11 月 15 日

工作区库现已弃用，并且已禁用新建工作区库。 现有工作区库继续正常运行。 请注意，将库存储为工作区文件与存储为工作区库是不同的，但仍然完全受到支持。 可以将存储为工作区文件的库直接安装到计算或作业任务。 请参阅库。

对 Azure 机密计算 VM 类型的支持现已正式发布

2023 年 11 月 15 日

Azure Databricks 对 Azure 机密计算 VM 类型的支持现已正式发布。 Azure 机密计算有助于保护使用中的数据，防止云提供商访问敏感数据。 请参阅 Azure 机密计算 VM。

2023 年 11 月 13 日

现在，可以使用 Azure Databricks 工作区 UI 中的全局搜索栏在 Databricks 市场中查找数据集、AI 模型和 Databricks 解决方案加速器。 请参阅什么是 Databricks 市场？和搜索工作区对象。

通过外部平台使用 Databricks 市场中的数据产品

2023 年 11 月 10 日

未启用 Unity Catalog 的 Azure Databricks 工作区的使用者现在可以访问 Databricks 市场中的数据产品。 可以使用 Delta Sharing 开放共享连接器通过多个常见平台（包括 Microsoft Power BI、Microsoft Excel、pandas、Apache Spark 和非 Unity Catalog Databricks 工作区）访问市场数据。 外部平台上仅可使用表格数据集（例如，不是 Databricks 笔记本或模型）。 请参阅使用外部平台在 Databricks 市场中访问数据产品。

为若干 Azure 区域添加了对无服务器 SQL 仓库的支持

2023 年 11 月 9 日

以下 Azure 区域现在支持无服务器 SQL 仓库：

  • 巴西南部
  • 印度中部 (centralindia)
  • 日本东部 (japaneast)
  • 美国中北部
  • 英国南部

请参阅 Azure Databricks 区域和启用无服务器 SQL 仓库。

为新工作区自动启用 Unity Catalog

2023 年 11 月 9 日

Databricks 已开始为新工作区自动启用 Unity Catalog。 这样就无需帐户管理员在创建工作区后配置 Unity Catalog。 跨帐户逐步推出。 请参阅 Unity Catalog 的自动启用。

Databricks Runtime 14.2（beta 版本）

2023 年 11 月 8 日

Databricks Runtime 14.2 和 Databricks Runtime 14.2 ML 现已作为 Beta 版本发布。

请参阅 Databricks Runtime 14.2 和用于机器学习的 Databricks Runtime 14.2。

Databricks 市场包括 Databricks 解决方案加速器

2023 年 11 月 7 日

Databricks 市场现提供对 Databricks 解决方案加速器的访问权限和包括功能齐全的笔记本、最佳做法指导和示例数据的专门指南，以便快速设置 Azure Databricks 上的许多常用用例。 请参阅“获取对 Databricks 解决方案加速器的访问权限”。

Lakehouse Federation 添加了对 Google BigQuery 的支持

2023 年 11 月 3 日

现在可以将 Lakehouse Federation 配置为使用 BigQuery 连接器类型运行联合查询。 Pro、无服务器 SQL 仓库和 Databricks Runtime 13.3 LTS 及更高版本支持新的 BigQuery 连接器。 请参阅在 Google BigQuery 上运行联合查询。