分享方式:


2024 年 5 月

這些功能和 Azure Databricks 平臺改良功能於 2024 年 5 月發行。

注意

分階段發行。 你的 Azure Databricks 帳戶可能要到初始發行日期後一週以上才會更新。

無伺服器防火牆組態現在支援更多計算類型

2024 年 5 月 31 日

Azure Databricks 現在支援使用網路連線設定組態(NCC)來為無伺服器作業、筆記本、DLT 管線以及模型服務的 CPU 端點存取設定防火牆。 帳戶管理員可以建立 NCC,並將其連結至工作區,以確保透過穩定子網的安全和控制存取。

請參閱設定供無伺服器計算存取的防火牆

Databricks Runtime 15.0 系列支援結束

2024 年 5 月 31 日

Databricks Runtime 15.0 及其機器學習版的支援已於 5 月 31 日終止。 請參閱 Databricks 支援生命週期

Databricks Runtime 15.3 (Beta)

2024 年 5 月 30 日

Databricks Runtime 15.3 和 Databricks Runtime 15.3 ML 現在可作為 Beta 版本使用。

請參閱 Databricks Runtime 15.3 (EoS)Databricks Runtime 15.2 for Machine Learning (EoS)

所有 Databricks Runtime 版本現在都可使用計算計量 UI

2024 年 5 月 30 日

計算計量 UI 已推出至所有 Databricks Runtime 版本。 先前,這些計量僅適用於 Databricks Runtime 13.3 和更新版本的計算資源。 請參閱 檢視計算計量

改善筆記本和 SQL 編輯器結果數據表中的搜尋和篩選

2024 年 5 月 28 日

您現在可以輕鬆地搜尋數據行,並從筆記本和 SQL 編輯器中結果數據表中現有值的下拉式清單中選取篩選值。

新的儀錶板可協助 Databricks Marketplace 提供者監視清單使用量

2024 年 5 月 28 日

新的提供者分析儀錶板可讓 Databricks Marketplace 提供者監視清單檢視、要求和安裝。 儀錶板會從 Marketplace 系統數據表提取數據。 請參閱使用儀表板監控使用指標

Query Profile 中查看系統生成的聯邦查詢

2024年5月24日

Lakehouse 聯邦現在支援在查詢配置檔中檢視系統生成的聯邦查詢及其指標。 單擊圖形檢視中的聯邦掃描節點,以顯示推送至數據源的查詢。 請參閱<檢視系統產生的同盟查詢>。

計算平臺的輸出IP位址必須新增至工作區的IP允許清單

2024年5月24日

如果您在工作區上使用安全的叢集連線和IP存取清單,您必須將計算平面用來存取控制平面的所有公用IP新增至允許清單,或設定 後端 Private Link。 這項變更會影響 2024 年 7 月 29 日的所有新工作區,以及 2024 年 8 月 26 日的現有工作區。 如需詳細資訊,請參閱 Databricks 社群貼文

例如,如果您在使用 VNet 插入的工作區上啟用安全的叢集連線,Databricks 建議您的工作區具有穩定的輸出公用 IP。 該公用IP和任何其他IP都必須出現在允許清單中。 請參閱使用安全叢集連線時的輸出 IP 位址。 或者,如果您使用 Azure Databricks 管理的 VNet,並設定受控 NAT 閘道來存取公用 IP,這些 IP 必須出現在允許清單中。

請參閱設定工作區的 IP 存取清單

Lakehouse Federation for Snowflake 支援 OAuth 功能

2024年5月24日

Unity 目錄現在可讓您使用 OAuth 建立 Snowflake 連線。 請參閱在 Snowflake 上執行同盟查詢(OAuth)。

從工作區瀏覽器大量移動和刪除工作區物件

2024年5月24日

您現在可以選取工作區中的多個項目來移動或刪除。 選取多個物件時,動作列隨即出現,並有移動或刪除項目的選項。 此外,您可以使用滑鼠選取多個項目,並將其拖曳至新的位置。 對於物件的現有權限仍可在大量移動和刪除作業期間套用。

Unity 目錄中的物件可在「最近」和「我的最愛」中找到。

2024年5月23日

您現在可以在最近的清單中找到 Unity Catalog 物件,例如目錄和架構。 您也可以在目錄總管和架構瀏覽器中將 Unity 目錄物件設為我的最愛,並在工作區首頁上尋找我的最愛物件。

新的 dbt-databricks 連接器 1.8.0 採用解耦合的 dbt 架構

2024年5月23日

DBT-Databricks 連接器 1.8.0 是採用新分離 dbt 架構的第一個版本。 連接器現在不再依賴 dbt-core 來免除客戶指定這兩個庫版本的需求,而是依賴於配接器與 dbt-core 之間的 共享抽象層。 因此,連接器不再需要將 Databricks 功能版本與 dbt 核心版本相符,而且可以自由採用 語意版本控制。 這表示連接器開發人員不再需要將例如按模型計算這樣的重要功能發佈為修補程式。

此版本也會帶來下列內容:

  • 改善 具現化檢視表和串流資料表的定義和操作,包括排程自動更新的功能。
  • 支援 Unity Catalog 可保護的物件 標籤。 為了區分它們與經常用於在 dbt 作業中選取模型的元數據(即 dbt 標籤),這些標籤在模型組態中被命名為databricks_tags
  • 元數據處理效能的數項改善。

新的合規性和安全性設定 API (公開預覽)

2024年5月23日

Databricks 引進了合規性安全性配置檔的新 API、增強的安全性監視,以及工作區中的自動叢集更新設定。 請參閱:

Databricks Runtime 15.2 已正式發行

2024年5月22日

Databricks Runtime 15.2 和 Databricks Runtime 15.2 ML 現已正式推出。

請參閱 Databricks Runtime 15.2 (EoS)Databricks Runtime 15.2 for Machine Learning (EoS)

適用於 Delta Sharing 的全新 Tableau 連接器

2024年5月22日

最新的 Tableau Delta Sharing Connector 可簡化透過 Tableau Desktop 存取透過 Delta Sharing 開放共享協議與您共享的資料。 請參閱 Tableau:讀取共享數據

新的深度學習建議模型範例

2024年5月22日

Databricks 已發佈兩個新的範例,說明現代深度學習建議模型,包括 雙塔模型 和Meta的 DLRM。 若要進一步了解深度學習推薦模型,請參閱 推薦模型訓練

將記憶體認證和外部位置系結至特定工作區 (公開預覽)

2024年5月22日

您現在可以將記憶體認證和外部位置系結至特定工作區,以防止從其他工作區存取這些物件。 如果您使用工作區來隔離用戶數據存取,則這項功能特別有用,例如,如果您有個別的生產與開發工作區或專用工作區來處理敏感數據。

如需詳細資訊,請參閱 (選擇性) 將外部位置指派給特定工作區 ,以及 (選擇性) 將記憶體認證指派給特定工作區

Git 資料夾已進入一般可用階段

2024年5月22日

Git 資料夾現已正式推出。 請參閱 Databricks Git 資料夾的 Git 整合。 如果您是前 「Repos」 功能的使用者,請參閱 Databricks Repos 發生什麼事?

Unity 目錄中的預訓練模型(公開預覽)

2024年5月21日

Databricks 現在在 Unity Catalog 中包含了一系列高品質、預訓練的生成式 AI 模型。 這些預先定型的模型可讓您存取推斷工作流程的最先進的 AI 功能,以節省建置您自己的自定義模型的時間和費用。 請參閱 從 Unity Catalog 和 Marketplace 取得生成式 AI 與 LLM 模型

Mosaic AI 向量搜尋已正式發行

2024年5月21日

馬賽克 AI 向量搜尋現已正式推出。 請參閱 馬賽克 AI 向量搜尋

Databricks Assistant 自動補全 (公開預覽)

2024年5月20日

Databricks Assistant 自動完成功能在您輸入筆記本、查詢和檔案內容時,能即時提供 AI 驅動的建議。 若要啟用它,請移至 設定>開發人員>實驗功能,然後開啟 Databricks Assistant 自動完成。 如需詳細資訊,請參閱 以 AI 為基礎的自動完成

在基礎模型訓練中支援 Meta Llama 3

2024年5月20日

基礎模型訓練現在支援Meta Llama 3。 請參閱 基礎模型微調

Git 資料夾 UI 的新變更

2024 年 5 月 17 日

您可能會注意到 Git 資料夾互動的使用者介面有一些變更。 我們已新增下列專案:

  • 當您共用 Git 資料夾時,您會在橫幅中看到新的警示,提示您複製 連結以建立 Git 資料夾。 當您按鍵時,URL 會複製到本機剪貼簿,您可以傳送至其他使用者。 當該收件者使用者在瀏覽器中載入該 URL 時,系統會將使用者帶到工作區,以便從相同的遠端 Git 存放庫複製自己的 Git 資料夾。 當收件者存取 URL 時,他們會在 UI 中看到 [建立 Git 資料夾] 對話框,該對話框會預先填入從 Git 資料夾擷取的值。

    按兩下 Git 資料夾的 [複製] 連結按鈕橫幅,將資料夾的 Git 存放庫設定與 Databricks 組織中的其他用戶共用

  • 同樣地,當您檢視其他使用者建立的 Git 資料夾時,新的按鈕 [建立 Git] 資料夾會出現在新的警示橫幅上。 點擊此按鈕,根據 建立 Git 資料夾 對話框中預先填入的值,為相同的 Git 存放庫建立您自己的 Git 資料夾。

    檢視其他使用者的 Git 資料夾時,按兩下橫幅中的 [建立 Git 資料夾] 按鈕,在您自己的工作區中建立該資料夾的複本

Foundation Model Training (公開預覽)

2024年5月13日

Databricks 現在支持基礎模型定型。 使用基礎模型訓練,您可以使用自己的數據來自定義基礎模型,以優化其在特定應用的效能。 對基礎模型進行微調或持續訓練後,相較於從頭訓練模型,自行訓練模型耗用的資料、時間和運算資源可大幅減少。 定型數據、檢查點和微調模型全都位於 Databricks 平臺上,並與其治理和生產力工具整合。

如需詳細資訊,請參閱 基礎模型微調

允許使用者從結果數據表將數據複製到剪貼簿

2024年5月9日

系統管理員現在可以啟用或停用使用者能夠從結果表格將數據複製到剪貼簿的能力 。 先前,此功能僅限於筆記本。 現在,此設定適用於下列介面:

  • Notebooks
  • 儀表板​​
  • 精靈空間
  • 目錄檢視器
  • 檔案編輯器
  • SQL 編輯器

Unity 目錄物件的屬性值現在可以是 1000 個字元長 (公開預覽)

2024 年 5 月 8 日

Unity 目錄中的屬性標記值現在可以長達 1000 個字元。 標記索引鍵的字元限制會維持 255。 請參閱 將標籤套用至 Unity Catalog 的可安全物件

新的預覽頁面

2024 年 5 月 8 日

在新的預覽頁面上啟用及管理 Databricks 預覽的存取權。 請參閱管理 Azure Databricks 預覽版

2024 年 5 月 8 日

新功能包括下列各項:

請參閱 馬賽克 AI 向量搜尋

認證傳遞和 Hive metastore 數據表訪問控制已被棄用

2024年5月7日

認證傳遞Hive 中繼存放區表訪問控制 在 Databricks Runtime 15.0 上已被棄用,且未來的 DBR 版本中將會移除支援。

升級至 Unity 目錄,藉由提供集中位置來管理和稽核帳戶中多個工作區的數據存取,以簡化數據的安全性和治理。 請參閱 什麼是 Unity 目錄?

Databricks JDBC 驅動程式 2.6.38

2024年5月6日

我們已發行 Databricks JDBC 驅動程式 2.6.38 版(下載)。 此版本新增下列功能和改進:

  • 如果伺服器使用 SPARK_CLI_SERVICE_PROTOCOL_V8,則原生參數化查詢支援。 查詢中的參數數目限制是在原生查詢模式中 256
  • 使用 Unity Catalog 磁碟區支持進行資料擷取。 查看有關 Unity Catalog 磁碟區的更多資訊,請參閱 使用 Unity Catalog 連線到雲端物件儲存體。 若要使用此專案,請將 UseNativeQuery 設定為 1
  • QueryProfile 新增至 IHadoopStatement 的 介面可讓應用程式擷取查詢的 query idquery id可用來使用 Databricks REST API 擷取查詢的元數據。
  • 如果伺服器使用 SPARK_CLI_SERVICE_PROTOCOL_V9,則進行元數據的 Thrift 呼叫的異步操作。 若要使用這項功能,請將 EnableAsyncModeForMetadataOperation 屬性設定為 1
  • JWT 宣告支援。 連接器現在支援使用客戶端憑證的 JWT 聲明 OAuth。 若要這樣做,請將 UseJWTAssertion 屬性設定為 1

此版本也會解決下列問題:

  • Jackson 圖書館的更新。 連接器現在會針對 Jackson JSON 剖析器使用下列連結庫:jackson-annotations 2.16.0 (先前為 2.15.2)、jackson-core 2.16.0 (先前為 2.15.2)、jackson-databind-2.16.0 (先前為 2.15.2)
  • 連接器包含META-INF目錄中的未遮蔽類別檔案。

工作區儲存體帳戶的防火牆支援已正式發行

2024年5月6日

當您建立新的 Azure Databricks 工作區時,會在受控資源群組中建立 Azure 記憶體帳戶,稱為工作區記憶體帳戶。 您現在可以啟用防火牆,以限制僅授權資源和網路能存取您的工作區儲存帳戶。 查看啟用工作區儲存帳戶防火牆支援

Databricks Runtime 15.2 (Beta)

2024年5月2日

Databricks Runtime 15.2 和 Databricks Runtime 15.2 ML 現在可作為 Beta 版本使用。

請參閱 Databricks Runtime 15.2 (EoS)Databricks Runtime 15.2 for Machine Learning (EoS)

筆記本現在會辨識並自動完成 Spark Connect DataFrame 的欄位名稱

2024年5月1日

Databricks 筆記本現在會自動偵測並顯示 Spark Connect DataFrames 中的數據行名稱,並可讓您使用自動完成來選取數據行。