這些功能及 Azure Databricks 平台的改進於 2023 年 8 月發布。
注意
分階段發行。 您的 Azure Databricks 工作區可能要在初始發布日期後一週或更久才會更新。
表格現在會出現在導航搜尋中
2021 年 8 月 13 日
在 Unity 目錄中註冊的數據表現在會出現在頂端列中的導覽搜尋中。 請參閱搜尋工作區物件。
Databricks CLI 已更新至 0.203.3 版 (公開預覽)
2023 年 8 月 30 日
Databricks 命令列介面 (Databricks CLI) 已更新至 0.203.3 版。 如需詳細資訊,請參閱 0.203.3 版本的變更記錄。
Databricks JDBC 驅動程式 2.6.34
2023 年 8 月 30 日
我們已發行 Databricks JDBC 驅動程式 2.6.34 版 (下載)。 此版本藉由升級協力廠商連結庫來解決許多弱點問題。 此外,此版本還修正了下列問題:
- 當查詢無法連線到伺服器時,執行緒外洩。
- 表格元數據的
REMARKS列中缺少批註。 - 當結果集關閉作業傳回錯誤時,連接器不會從活動訊號執行緒清除操作控制代碼項目。
此版本還通過遵循 SQLState 和伺服器發出的錯誤碼來改善錯誤訊息處理,並正確檢查伺服器通訊協定版本。
適用於 Go 的 Databricks SDK 已更新至 0.18.0 版 (搶鮮版 (Beta))
2023 年 8 月 29 日
適用於 Go 的 Databricks SDK 0.18.0 版引進了 17 個重大 API 變更、新增 30 個 API,並新增十幾個欄位。 如需詳細資訊,請參閱 0.18.0 版本的變更記錄。
Databricks SDK for Python 更新至 0.7.0 版本(測試版)
2023 年 8 月 29 日
Databricks SDK for Python0.7.0 版本引入了檔案 API 的重大變更,以及另外 17 項破壞性變更。 此版本也會新增 14 個欄位,並新增 27 個資料類別。 如需詳細資訊,請參閱 0.7.0 版本的變更記錄。
Databricks Terraform 提供者已更新至 1.24.1 版
2023 年 8 月 29 日
Databricks Terraform 提供者 1.24.1 版包含驗證工作區可連線性的修正程式。 如需詳細資訊,請參閱 1.24.1 版本的變更記錄。
DBFS 終止生命週期的 Init 指令延長至 2023 年 12 月 1 日
2023 年 8 月 29 日
Databricks 此前宣佈,DBFS 上的 init 指令碼將於 2023 年 9 月 1 日結束。 生命周期結束日期已延長至 2023 年 12 月 1 日。
Databricks Runtime 14.0 (Beta 版)
2023 年 8 月 29 日
Databricks Runtime 14.0 和 Databricks Runtime 14.0 ML 現在可作為搶鮮版 (Beta) 使用。
請參見 Databricks Runtime 14.0 (EoS) 及 Databricks Runtime 14.0 for 機器學習 (EoS)。
統一瀏覽體驗已正式發行
2023 年 8 月 28 日
統一的 Azure Databricks 導航體驗現已正式開放。 使用者無法再還原為舊版瀏覽體驗。 如需詳細資訊,請參閱 工作區 UI。
Databricks Terraform 提供者已更新至 1.24.0 版
2023 年 8 月 25 日
Databricks Terraform 提供者 1.24.0 版會新增 Unity 目錄物件的帳戶層級 API 支援、將 acl_principal_id 新增至數個數據源等等。 如需詳細資訊,請參閱 1.24.0 版本的變更記錄。
已從工作區管理員設定頁面移除適用於 Genomics 的 Databricks Runtime 設定
2023 年 8 月 25 日
工作區系統管理員無法再從工作區系統管理員設定頁面或工作區設定 API 啟用或停用適用於 Genomics 的 Databricks Runtime。 Databricks Genomics 執行階段已被棄用,並且於 2022 年 9 月 24 日停止對 Genomics 的 Databricks Runtime 提供支援。
Databricks 基因體學執行階段已被棄用。 就開源對應項目,請參見genomics-pipelines和Glow的倉庫。
欲了解更多關於 Databricks 執行時棄用政策與排程的資訊,請參閱 支援的 Databricks 執行版本。
已從工作區管理員設定頁面移除容器服務設定
2023 年 8 月 25 日
工作區系統管理員無法再從工作區管理員設定頁面啟用或停用容器服務。 容器服務可讓您在叢集上使用客戶容器。 預設會在所有新的工作區上啟用它。 容器服務仍然可以使用工作區設定 API 來啟用或停用。 如需詳細資訊,請參閱啟用容器服務。
Databricks CLI 已更新至 0.203.2 版 (公開預覽)
2023 年 8 月 24 日
Databricks 命令列介面 (Databricks CLI) 已更新至 0.203.2 版。 如需詳細資訊,請參閱 0.203.2 版本的變更記錄。
跳至 Python 筆記本中函式與變數的定義
2023 年 8 月 24 日
在 Databricks Runtime 12.2 LTS 及以上版本中,當 Python 筆記本連接到叢集時,你可以自動導航到該筆記本中定義的變數或函式定義。 如需詳細資訊,請參閱移至定義。
Databricks Runtime 13.3 LTS 已正式發行
2023 年 8 月 22 日
Databricks Runtime 13.3 LTS 和 Databricks Runtime 13.3 LTS ML 現已正式發行。
請參閱 Databricks Runtime 13.3 LTS (EoS) 及 Databricks Runtime 13.3 LTS 以了解 機器學習 (EoS)。
使用 Unity Catalog 的標籤介紹
2023 年 8 月 22 日
您現在可以將標籤套用至 Unity Catalog 中的可安全管理的物件。 標籤可協助您組織安全性物件,並簡化資料資產的搜尋和探索。 請參閱 將標籤套用至 Unity Catalog 的可控安全物件。
Unity Catalog 共用叢集上的 init 腳本、JAR 和 Maven 座標的允許清單正處於公測狀態。
2023 年 8 月 23 日
現在,您可以使用 Unity Catalog allowlist 來控制在執行 Databricks Runtime 13.3 及以上版本且採用共用存取模式的計算上安裝 init 腳本、JAR 和 Maven 座標。 請參閱 使用標準存取模式計算的 Allowlist 連結庫和 init 命令稿(先前稱為共用存取模式)。
init 腳本和 JAR 的磁碟區支援目前處於公開預覽階段。
2023 年 8 月 23 日
您現在可以使用 Unity 目錄卷,在運算環境中使用指定或共用訪問模式來儲存 init 腳本和 JAR,這需執行 Databricks Runtime 13.3 及以上版本。 請參閱 計算範疇的函式庫 和 從磁碟區安裝函式庫。
更簡單的 Databricks Repos .ipynb 檔案輸出提交
2023 年 8 月 21 日
Databricks Repos 新增了功能,使 .ipynb 檔案的輸出提交更容易控制與查看:
- Repos可以幫你建立一個commit_output設定檔。
- UI 中的通知可讓您知道輸出提交的狀態。
- 從檔案功能表中,您可以控制是否提交 noteook 輸出。
Databricks Repos 中的 IPYNB 筆記本支援已開放
2023 年 8 月 21 日
Databricks Repos 中對 IPYNB 筆記本檔案的支援現已正式推出。 欲了解更多關於 Repos 的資訊,請參閱:
適用於 Go 的 Databricks SDK 已更新至 0.17.0 版 (Beta)
2023 年 8 月 18 日
適用於 Go 的 Databricks SDK 0.17.0 版會新增超過 30 個 API,並重新命名大約 10 個 API。 如需詳細資訊,請參閱 0.17.0 版本的變更記錄。
Databricks SDK for Python 更新至 0.6.0(測試版)
2023 年 8 月 18 日
Databricks SDK for Python0.6.0 版本新增約 20 個資料類別、約 10 個 API,並包含約 20 個重新命名。 如需詳細資訊,請參閱 0.6.0 版本的變更記錄。
Databricks CLI 已更新至 0.203.1 版 (公開預覽)
2023 年 8 月 16 日
Databricks 命令列介面 (Databricks CLI) 已更新至 0.203.1 版。 如需詳細資訊,請參閱 0.203.1 版本的變更記錄。
整合架構瀏覽器現在是 GA
2023 年 8 月 16 日
瀏覽數據的統一方式現在可供筆記本、SQL 編輯器和目錄總管使用,包括下列新功能:
- 樹狀結構的壓縮版本。
- 篩選時,在架構層級顯示 Unity Catalog 物件計數。
- 在選單上按右鍵以查看動作。
如果您在指令或範本中編碼 ID,伺服器無子網路的變更可能會影響到您。
2023 年 8 月 15 日
如果你使用 Azure 儲存體 防火牆,直到八月底之前,有些子網 ID 會變動。 這不會影響大多數客戶,因為 Azure 會自動遷移現有儲存防火牆規則中的子網 ID。 此移轉不會影響現有的工作負載。
如果你在更新 Azure 儲存防火牆規則的範本或腳本中編碼無伺服器子網清單,必須先取得最新的子網路 ID 清單,才能嘗試更新規則。 關於各區域的最新識別碼,請參見 Azure Databricks regions。
適用於 Go 的 Databricks SDK 已更新至 0.16.0 版 (Beta)
2023 年 8 月 14 日
適用於 Go 的 Databricks SDK 0.16.0 版會新增大約十幾個欄位、移除大約六個欄位,並變更大約六十個 API 的簽名。 如需詳細資訊,請參閱 0.16.0 版本的變更記錄。
Partner Connect 支援 Census
2023 年 8 月 14 日
你現在可以使用 Partner Connect 將你的 Azure Databricks 工作空間連接到人口普查。 如需詳細資訊,請參閱連線至 Census。
Azure Key Vault 管理的 HSM 金鑰現已支援客戶管理的金鑰
2023 年 8 月 14 日
部分 Azure Databricks 服務與資料支援新增客戶管理的金鑰,以協助保護與控制加密資料的存取。 Azure Databricks 有三個由客戶管理的關鍵功能,涉及不同類型的資料與地點。 這三項功能現在都支援來自 Azure Key Vault Managed HSM(硬體安全模組)的客戶管理金鑰,以及 Azure Key Vault 的存取庫。 請參閱適用於加密的客戶自控金鑰。
Databricks SDK for Python 更新至 0.5.0 版本(測試版)
2023 年 8 月 11 日
Databricks SDK for Python0.5.0 版本更改了六個 API 的簽名,新增十幾個欄位,移除了半打欄位,並新增了幾個資料類別。 如需詳細資訊,請參閱 0.5.0 版本的變更記錄。
工作區檔案的程式化寫入支援
2023 年 8 月 11 日
使用 Databricks Runtime 11.2 和更新版本之叢集支援寫入工作區檔案。 您可以透過程式設計方式在工作區內建立、更新和刪除檔案和目錄。
Databricks CLI 已更新至 0.203.0 版 (公開預覽)
2023 年 8 月 10 日
Databricks 命令列介面 (Databricks CLI) 版本 0.203.0 改善了auth login命令,並增加更多功能。 如需詳細資訊,請參閱 0.203.0 版本的變更記錄。
Databricks Terraform 提供者已更新至 1.23.0 版
2023 年 8 月 9 日
Databricks Terraform 提供者 1.23.0 版擴充了 RunJobTask,增加了 databricks_job 的支援欄位,並新增 databricks_model_serving 的匯出程式支援等。 如需詳細資訊,請參閱 1.23.0 版本的變更記錄。
現在可以重新命名群組
2023 年 8 月 8 日
您現在可以重新命名現有的帳戶群組和工作區本機群組。 請參閱變更群組名稱。
適用於 Go 的 Databricks SDK 已更新至 0.15.0 版 (Beta)
2023 年 8 月 7 日
適用於 Go 的 Databricks SDK 0.15.0 版參考權限相關 API,使其更容易理解且更容易使用。 如需詳細資訊,請參閱 0.15.0 版本的變更記錄。
Databricks SDK for Python 更新至 0.4.0(測試版)
2023 年 8 月 7 日
Databricks SDK for Python版本 0.4.0 重構了權限相關 API,使其更易理解且易於使用。 如需詳細資訊,請參閱 0.4.0 版本的變更記錄。
已移除第三方 iFraming 預防配置設定
2023 年 8 月 7 日
Azure Databricks 透過加入適當的 HTTP 標頭,降低第三方網域因 iFraming Azure Databricks 的風險。 第三方 iFraming 防範預設仍是啟用的,但 Azure Databricks 移除了工作區管理員設定來停用它。 如果您先前已停用工作區的第三方 iFraming 功能,該工作區的該功能將繼續保持停用狀態。 若要重新啟用第三方 iFraming,請聯絡您的 Azure Databricks 帳戶團隊。
Visual Studio Code 的 Databricks 擴充套件已更新至 1.1.1 版本
2023 年 8 月 4 日
Databricks 擴充套件 Visual Studio Code 1.1.1 版本提供了多項小修補,例如正確處理 Windows 上的環境變數 HOME,以及更多其他改進。 如需詳細資訊,請參閱 1.1.1 版本的變更記錄。
LangChain 現已推出 13.1 和更新版本
2023 年 8 月 4 日
LangChain 作為實驗性 MLflow 版本,讓 LangChain 客戶能直接從 Azure Databricks 環境利用 MLflow 強大的工具與實驗追蹤功能。
LangChain 是一種軟體架構,旨在協助建立利用大型語言模型 (LLM) 的應用程式,並將其與外部資料結合,為 LLM 帶來更多的訓練內容。
Databricks Runtime for 機器學習 在 Databricks Runtime 13.1 ML 及以上版本中包含 langchain。
Unity 目錄中的特徵工程正在公開預覽
2023 年 8 月 3 日
在 Unity 類別目錄中進行功能工程,Unity 類別目錄會成為您的特徵存儲。 您可以使用任何 Delta 資料表搭配主鍵作為模型定型或推斷的功能數據表。 Unity 目錄提供功能探索和控管。
已改善對於連續重複工作失敗的錯誤處理
2023 年 8 月 3 日
當連續作業失敗次數超過閾值時,現在會使用指數退避結構來有效地重試作業執行,並允許作業從暫時性問題中恢復。 先前,已暫停超過失敗閾值的連續作業,而不會重試。
更多區域現已推出無伺服器 SQL 倉儲
2023 年 8 月 3 日
其他區域中提供的無伺服器 SQL 倉儲:澳洲東部、加拿大中部、美國西部 2、美國中南部和東南亞。 參見Azure Databricks區域。
如果你打算使用 Azure 儲存體 防火牆,請設定防火牆允許從無伺服器的 SQL 倉庫子網存取。 參見Azure Databricks區域。
使用 Delta Sharing 共用結構描述 (公開預覽)
2023 年 8 月 2 日
您現在可以使用 Delta Sharing 來共用整個架構,讓收件者在共用架構時存取架構中的所有數據表和檢視,以及未來新增至架構的任何數據表和檢視。 使用 SQL 命令將資料結構新增至共同使用需要 SQL 倉儲或執行 Databricks Runtime 13.2 或更新版本的叢集。 使用目錄總管執行相同的作業沒有計算需求。 請參閱 將模式新增至共用。
在你的 Azure Databricks jobs 中以條件方式執行任務
2023 年 8 月 2 日
你可以利用新的 Run if 條件根據任務相依狀態執行工作任務,這在你實作 Azure Databricks 工作時能提供更多彈性。 例如,當部分或所有工作的相依性失敗時,您可以使用 Run if 條件來執行工作。 請參閱設定任務相依性。
Databricks Terraform 提供者已更新至 1.22.0 版
2023 年 8 月 1 日
Databricks Terraform 提供者 1.22.0 版會新增 databricks_access_control_rule_set 資源、新增 databricks_metastore 和 databricks_metastore 資料來源等等。 如需詳細資訊,請參閱 1.22.0 版本的變更記錄。
增強的安全性與合規性功能
2023 年 8 月 1 日
您可以啟用合規性安全性設定檔,在工作區上提供額外的監視、強化的計算映像和其他功能。 合規安全設定檔必須使用Azure Databricks處理受PCI-DSS規範的資料,但如果您未處理此類資料,也可以選擇啟用該設定檔。 您應承擔全部責任,確保您自己遵守所有適用法令規定。
或者,您可以個別啟用增強的安全性監視,以提供額外的監視和強化的計算映像。
這兩項功能都是新附加元件增強的安全性與合規性的一部分。 如果您在工作區上啟用其中一項功能,您將需要支付新的附加元件費用,如定價頁面上所述。 這兩項功能需要進階定價層。
Lakehouse Monitoring 目前處於公開預覽階段
2023 年 8 月 1 日
Databricks Lakehouse Monitoring 會將資料和模型品質監視整合到 Databricks 平台。 它提供現成的品質計量,例如摘要統計資料、隨時間分佈的變化,以及模型效能,包括公平性和偏差。 Lakehouse 監視會自動產生摘要儀錶板,以幫助您隨時間檢視資料品質。 您也可以根據資料設定警示。
Databricks Runtime 13.3 LTS (Beta)
2023 年 8 月 1 日
Databricks Runtime 13.3 LTS 和 Databricks Runtime 13.3 LTS ML 現在可作為 搶鮮版 (Beta) 版本使用。
請參閱 Databricks Runtime 13.3 LTS (EoS) 及 Databricks Runtime 13.3 LTS 以了解 機器學習 (EoS)。
新的 Git 作業已正式發行:合併分支、重整基底和拉取並解決衝突
2023 年 8 月 1 日
以下 Git 操作現已在 Databricks Repos 中普遍提供:
- 合併與重新基底:你現在可以在 Azure Databricks 直接Git 合併或 重新基底兩個分支。 這可簡化合併分支的流程,並提供解決作業期間發生的衝突的能力。
- Pull with conflict resolution:現在,你可以使用 Databricks Repos 來管理及解決當使用 Azure Databricks 從遠端 Git 儲存庫拉取時所發生的衝突。
有了這些強大的新衝突解決工具,使用 Databricks Repos 進行程式碼協作變得更加流暢且高效。