分享方式:


2025年1月

這些功能和 Azure Databricks 平臺改良功能於 2025 年 1 月發行。

注意

發行是分階段進行的。 您的 Azure Databricks 帳戶可能要等到初始發行日期一周以上才會更新。

Azure Databricks 的額外連接埠

2025 年 1 月 31 日

網路安全群組現在需要埠 3306 和 8443-8451,才能從已啟用 vnet 注入的工作區對 Azure Databricks 服務進行出站存取。 請參閱工作區 網路安全組規則。

狀態存放區讀取器現在是 GA

2025 年 1 月 31 日

在 Databricks Runtime 14.3 LTS 和更新版本中,查詢結構化串流狀態數據和元數據的支援現已正式推出,適用於專用且沒有隔離存取模式。 請參閱 讀取結構化串流狀態資訊

預測性優化現在可以在目錄或架構層級啟用

2025 年 1 月 31 日

您現在可以在目錄或架構層級啟用預測優化,而不需要先在帳戶層級啟用。 請參閱 Unity 目錄受控資料表的預測性優化

現在支援大型資料表的完整資料集篩選功能

2025 年 1 月 30 日

篩選大型數據表中截斷的數據時(輸出大於 2MB 或包含超過 10,000 行),您現在可以選擇將篩選應用至整個數據集。 請參閱 篩選結果

Meta Llama 3.1 405B 模型系列已不再用於基礎模型微調

2025 年 1 月 30 日

Meta Llama 3.1 405B 模型系列在基礎模型微調方面已停止使用。 如需建議的替代模型,請參閱 淘汰的模型

「Clean Rooms」功能已達到一般可用性(GA)

2025 年 1 月 29 日

Azure Databricks Clean Rooms 現已正式推出。 請參閱 什麼是 Azure Databricks Clean Rooms?

  • 管理 API:已引進 新的 API,可將清理室設定、協調流程和監視自動化。 請參閱 無塵室
  • 自我共同作業: 您現在可以在單一中繼資料儲存庫中建立「數據潔淨室」,以在完整部署之前測試您的數據潔淨室。 請參閱步驟 2 建立乾淨的房間。
  • 輸出資料表: 託管於 Azure 的中央無塵室現在支援輸出資料表。 先前,它們僅支援在AWS上託管的集中式無塵室。 不過,這三個雲端的 Databricks 共同作業者—AWS、Azure 和 Google Cloud—都可以共用筆記本,這些筆記本可在執行共用筆記本時建立輸出數據表,並讀取所產生的輸出數據表。 Google Cloud 共同作業者必須是 Clean Rooms 私人預覽版的參與者。 請參閱 在 Databricks Clean Rooms中建立和使用的輸出數據表。
  • HIPAA 合規性: 您現在可以建立符合 HIPAA 合規性安全配置的無塵室。 請參閱步驟 2 建立乾淨的房間。
  • 同盟共用(預覽): 利用新的查詢同盟功能,在雲端和數據平台之間順暢地與合作夥伴共同作業,而不需要復寫或移轉所有數據。 請參閱 什麼是湖屋聯盟?

將 AI 代理程式工具連線到外部服務 (公開預覽)

2025 年 1 月 29 日

AI 代理程式工具現在可以使用 HTTP 要求,連線到 Slack、Google Calendar 或任何具有 API 服務的外部應用程式。 代理程式可以使用外部連線的工具,將工作自動化、傳送訊息,以及從第三方平臺擷取數據。 請參閱 將 AI 代理程式工具連線到外部服務

DLT 現在可以將資料發佈至多個目錄和架構中的表格。

2025 年 1 月 27 日 - 2025 年 2 月 5 日

根據預設,DLT 中建立的新管線現在支援在多個目錄和架構中建立和更新具體化檢視和串流數據表。

管線組態的新預設行為需要使用者指定成為管線默認架構的目標架構。 不再需要 LIVE 虛擬架構和相關聯的語法。 如需詳細資訊,請參閱下列各項:

Databricks Runtime 16.2 (Beta)

2025 年 1 月 27 日

Databricks Runtime 16.2 和 Databricks Runtime 16.2 ML 現在可作為 Beta 版本使用。

請參閱 Databricks Runtime 16.2Databricks Runtime 16.2 for Machine Learning

評論現在提供電子郵件通知和 @ 提及功能

2025 年 1 月 25 日

您現在可以直接在批注中提及使用者,方法是輸入 “@” ,後面接著用戶名稱。 使用者將會透過電子郵件收到相關批注活動的通知。 請參閱 程式碼註釋

調整字型大小的快捷方式

2025 年 1 月 25 日

您現在可以使用快捷方式快速調整筆記本、檔案和 SQL 編輯器中的字型大小。 針對 Windows/Linux 使用 Alt +Alt -,或 macOS 使用 Opt +Opt -

還有開發人員設定可控制編輯器字型大小。 流覽至 [設定] > [開發人員 > 編輯器] 字型大小,然後選取字型大小。

OAuth 令牌同盟現已可在公開預覽中使用

2025 年 1 月 24 日

帳戶管理員現在可在公開預覽版中取得 OAuth 令牌同盟。

Databricks OAuth 令牌同盟可讓您使用身分識別提供者 (IdP) 的令牌安全地存取 Databricks API。 OAuth 令牌同盟不需要管理 Databricks 秘密,例如個人存取令牌和 Databricks OAuth 客戶端密碼。

除非 Databricks 帳戶管理員修改原則,否則不會變更目前的身分識別設定和許可權。 這項功能可以套用至整個帳戶或特定服務主體,這可讓系統管理員在管理 Databricks 工作區資源的存取權時彈性。

如需使用 Databricks OAuth 令牌同盟來授權工作區資源存取權的詳細資訊,請參閱 使用 OAuth 令牌同盟驗證對 Azure Databricks 的存取

注意

Microsoft Azure 使用者也可以使用 MS Entra 令牌安全地使用 Azure Databricks CLI 命令和 API 呼叫。

自定義 Python AI 代理程式現在支援 AI 閘道和串流輸出

2025 年 1 月 24 日

Mosaic AI 代理程式架構現在支援已部署的自訂 Python 代理程式的串流輸出,改善使用者體驗和縮短獲取第一個令牌的時間。

AI Gateway 推理資料表現在會自動為自訂 Python 代理啟用,提供對增強型日誌元數據的存取。 請參閱程式代碼 撰寫 AI 代理程式

使用拖放功能匯入工作區檔案

2025 年 1 月 24 日

您現在可以拖放檔案和資料夾,將它們匯入工作區。 拖放功能適用於主要檔案瀏覽器頁面和工作區檔案瀏覽器端面板,可在筆記本、查詢和檔案編輯器中使用。 請參閱 匯入檔案

Meta Llama 3.3 現在提供使用基礎模型 API 的 AI 函式

2025 年 1 月 24 日

使用基礎模型 API 的 AI 函式 現在由 Meta Llama 3.3 70B Instruct 提供支援,用於聊天任務。

筆記本輸出改善

2025 年 1 月 23 日

筆記本輸出體驗已完成下列改善:

  • 這是其中一個篩選: 在結果數據表中,您現在可以使用 [是其中一個] 來篩選數據行,然後選擇您想要篩選的值。 若要這樣做,請按一下資料行旁的選單,然後按一下 [篩選]。 篩選對話框會開啟,讓您新增要篩選的條件。 若要深入瞭解篩選結果,請參閱 篩選結果
  • 結果數據表複製為: 您現在可以將結果數據表複製為 CSV、TSV 或 Markdown。 選取您要複製的數據,然後按下滑鼠右鍵,選取 [ 複製為],然後選擇您想要的格式。 結果已複製到剪貼簿。 請參閱 將數據複製到剪貼簿
  • 下載命名: 當您下載儲存格的結果時,下載名稱會與筆記本名稱對應。 請參閱 下載結果

筆記型電腦載入時間更快

2025 年 1 月 23 日

當您第一次開啟筆記本時,一個含有 99 個單元格的筆記本初始載入時間現在最多快 26%,而含有 10 個單元格的筆記本則快 6%。

現在筆記本文件可支援作為工作區檔案

2025 年 1 月 23 日

筆記本現在在 Databricks Runtime 16.2 及以上版本中作為工作區檔案得到支援,並且在無伺服器環境 2 及以上版本中得到支援。 您現在可以像任何其他檔案一樣,以程式設計方式撰寫、讀取和刪除筆記本。 這使您可以從工作區檔案系統的任何位置以程式化方式與 notebook 互動。 如需詳細資訊,請參閱 以程序設計方式建立、更新和刪除檔案和目錄

連續作業中的失敗工作現在會自動重試

2025 年 1 月 22 日

此版本包含對 Databricks 作業的更新,以改善連續作業的失敗處理。 透過這項變更,任務會在持續執行的作業中自動重試,當執行失敗時立即重新嘗試。 工作執行會以指數遞增的延遲進行重試,直到達到允許的重試次數上限為止。 請參閱 如何處理連續作業的失敗?

筆記本:只有啟動 Databricks Assistant 聊天記錄的使用者才能查看歷史記錄。

2025 年 1 月 22 日

在筆記本中,Databricks Assistant 的聊天記錄僅限於發起聊天的使用者查看。 如需 Assistant 信任和安全性的詳細資訊,請參閱 Databricks AI 功能信任和安全性

統計數據收集現在由預測性優化自動化

2025 年 1 月 22 日 - 4 月 30 日

預測性優化現在會在寫入受控數據表和自動化維護作業期間自動計算 Unity 目錄受控數據表的統計數據。 請參閱 Unity 目錄受控資料表的預測性優化

更新至 Databricks Marketplace 和 Partner Connect 介面

2025 年 1 月 21 日

我們已將 Partner ConnectMarketplace 合併成單一 Marketplace 連結,來簡化側邊欄。 新的 Marketplace 連結位於側邊欄的更高位置,方便存取。

市集與夥伴連結。

EXPLAIN 現在會顯示查詢規劃中使用的統計數據

2025 年 1 月 20 日

在 Databricks Runtime 16.0 和更新版本中,EXPLAIN 命令的輸出會列出遺漏、部分和完整統計數據的參考數據表。請參閱 EXPLAIN 命令。

Databricks JDBC 驅動程式 2.7.1

2025 年 1 月 16 日

Databricks JDBC Driver 2.7.1 版現在可從 JDBC 驅動程式下載頁面下載,

此版本包含下列增強功能和新功能:

  • 新增了新的 OAuthEnabledIPAddressRanges 屬性,可讓用戶端覆寫預設的 OAuth 回呼埠,以利在網路埠限制的環境中取得 OAuth 令牌。
  • 現已支援刷新令牌。 這可讓驅動程式使用 Auth_RefreshToken 屬性自動重新整理驗證令牌。
  • 已新增支援透過新 UseSystemTrustStore 屬性使用系統的信任存放區。 啟用 時 ,UseSystemTrustStore=1驅動程式會使用來自系統受信任存放區的憑證來驗證連線。
  • 已新增 UseServerSSLConfigsForOAuthEndPoint 啟用時的屬性,可讓用戶端共用 OAuth 端點的驅動程式 SSL 組態。
  • BASIC 驗證現在預設為停用。 若要重新啟用,請將 allowBasicAuthentication 屬性設定為 1。

此版本可解決下列問題:

  • 使用IBM JRE 搭配箭頭結果集串行化功能時,Unicode 字元現在已正確處理。
  • 現在會傳回錯誤碼 401 的完整錯誤訊息和原因。
  • 雲端擷取下載處理程序現在會在完成後釋出。
  • 使用 DataSource 類別建立連線時,心跳線程不會再流失。
  • 已解決驅動程式記錄檔中潛在的 OAuth2Secret 洩漏問題。
  • 驅動程式記錄檔中的查詢標識碼已不再遺失。
  • 使用 OAuth 令牌快取不會再遇到標籤不符錯誤。

此版本包含升級至數個第三方函式庫,以修正漏洞。

  • arrow-memory-core 17.0.0 (之前版本為 14.0.2)
  • arrow-vector 17.0.0 (先前為 14.0.2)
  • 箭頭格式 17.0.0 (先前為 14.0.2)
  • arrow-memory-netty 17.0.0 (先前為 14.0.2)
  • arrow-memory-unsafe 17.0.0 (先前版本為 14.0.2)
  • commons-codec 1.17.0 (先前為 1.15)
  • flatbuffers-java 24.3.25 (先前為 23.5.26)
  • jackson-annotations-2.17.1 (先前為 2.16.0)
  • jackson-core-2.17.1 (先前為 2.16.0)
  • jackson-databind-2.17.1 (先前為 2.16.0)
  • jackson-datatype-jsr310-2.17.1 (先前為 2.16.0)
  • netty-buffer 4.1.115 (先前為 4.1.100)
  • netty-common 4.1.115 (先前為 4.1.100)

如需完整的組態資訊,請參閱隨驅動程式下載套件一起安裝的 Databricks JDBC 驅動程式指南

Lakehouse 同盟支援 Teradata (公開預覽)

2025 年 1 月 15 日

您現在可以對 Teradata 所管理的數據執行同盟查詢。 請參閱 在 Teradata上執行同盟查詢。

databricks-agents SDK 0.14.0 版本:自定義評估指標

2025 年 1 月 14 日

databricks-agents==0.14.0Mosaic AI 代理評估 現在支援 自訂指標,讓使用者定義專為其特定生成式 AI 商業應用情境量身打造的評估指標。

此版本也會新增下列項目的支援:

  • ChatAgentChatModelmlflow.evaluate(model_type='databricks-agent') 線束中取下。
  • 從 Databricks Notebook 外部使用 mlflow.evaluate(model_type='databricks-agent'),並通過 databricks CLI 進行驗證。
  • 支援代理程序追蹤中的巢狀 RETRIEVAL 範圍。
  • 支援簡單的字典陣列作為 data 的參數傳給 mlflow.evaluate()
  • 執行 mlflow.evaluate() 時,stdout 的輸出更簡單。

AI 閘道現在支援預配置的吞吐量(公開預覽版)

2025 年 1 月 10 日

馬賽克 AI 閘道 現在支援 基礎模型 API 所分配的輸送量 工作負載在模型服務端點上的運行。

您現在可以在使用配置吞吐量的模型服務端點上啟用以下治理和監控功能:

  • 許可權和流量限制 以控制誰有存取權以及存取的範圍。
  • 載荷記錄,以透過推理表監控和審查傳送至模型 API 的數據。
  • 使用使用狀況追蹤,使用系統數據表監控端點上的操作情況和相關成本。
  • AI 防護,以防止要求和回應中的不需要的資料和不安全的資料。
  • 流量路由,旨在將部署期間及之後的生產中斷降到最低。

Databricks Runtime 15.2 系列支持結束

2025 年 1 月 7 日

Databricks Runtime 15.2 和 Databricks Runtime 15.2 for Machine Learning 的支援已於 1 月 7 日結束。 請參閱 Databricks 支援週期

Databricks Runtime 15.3 系列支持結束

2025 年 1 月 7 日

Databricks Runtime 15.3 和用於機器學習的 Databricks Runtime 15.3 的支援已於 1 月 7 日結束。 請參閱 Databricks 支援週期

Meta Llama 2、3,以及 Code Llama 模型系列將在基礎模型微調的過程中逐步停止使用。

2025 年 1 月 7 日

下列模型系列已停用,不再於 基礎模型微調獲得支援。 如需建議的替代模型,請參閱 淘汰的模型

  • Meta-Llama-3
  • Meta-Llama-2
  • Code Llama