這些功能和 Azure Databricks 平台改善功能於 2024 年 7 月發行。
備註
發行是分階段進行的。 你的 Azure Databricks 帳戶可能要到初始發行日期後一週以上才會更新。
同時工作的限制增加
2024 年 7 月 31 日
同時執行之工作的工作區限制已提升至 2000。 請參閱資源限制。
在筆記本內嵌和拖放影像
2024 年 7 月 31 日
您現在可以將影像直接內嵌在 Markdown 儲存格中,以在筆記本中顯示影像。 將桌面上的影像直接拖放到 markdown 儲存格中,即可自動上傳並顯示圖片。 請參閱顯示影像和拖放影像。
筆記本中可用的命令選擇區
2024 年 7 月 31 日
您現在可以使用命令選擇區快速在筆記本中執行動作。 在筆記本中,按下 MacOS 上的 Cmd + Shift + P 或 Ctrl + Shift + P 以存取常用動作。 請參閱命令選擇區
工作流程系統架構已重新命名為 lakeflow
2024 年 7 月 31 日
workflow
架構正在更新為 lakeflow
。 建議您切換至 lakeflow
,因為它會包含所有目前的數據表,以及未來的新數據表,例如管線。 客戶必須選擇加入 lakeflow
架構,使其顯示在中繼資料存放區中。 請參閱 工作系統資料表參考。
Lakeflow Connect (封閉公開預覽版)
2024 年 7 月 31 日
Lakeflow Connect 提供原生連接器,可讓您從資料庫和企業應用程式擷取數據,並將其載入 Azure Databricks。 Lakeflow Connect 利用有效率的累加式讀取和寫入,讓數據擷取更快、可調整且更具成本效益,而您的數據仍可供下游取用。
目前支援 Salesforce、Microsoft Azure SQL Database、Amazon RDS for SQL Server 和 Workday。 請參閱 Lakeflow Connect 中的受控連接器。
Cloudflare R2 儲存體的支援已正式發行
2024 年 7 月 30 日
現在已正式推出使用 Cloudflare R2 作為在 Unity Catalog 中已註冊數據的雲端儲存。 Cloudflare R2 主要適用於 Delta Sharing 的使用案例,尤其是在您想避免雲提供者因資料跨越區域而收取的資料傳輸費用時。 R2 記憶體支援 AWS S3、Azure Data Lake Storage 和 Google Cloud Storage 中支援的所有 Databricks 數據和 AI 資產。 支援 R2 需要 SQL 倉儲或 Databricks Runtime 14.3 或以上版本。 請參閱使用 Cloudflare R2 複本或將儲存體移轉至 R2 和建立儲存體認證以便連線至 Cloudflare R2。
使用系統資料表監控 Databricks 助理活動(公開預覽版)
2024 年 7 月 30 日
您現在可以透過使用系統表格在儀錶板中監控 Databricks Assistant 活動。 如需詳細資訊,請參閱 Databricks Assistant 系統數據表參考。
使用 Delta Sharing 共用結構方案現已正式推出
2024 年 7 月 30 日
使用 Delta Sharing 來共用結構描述的功能已正式發行。 共用整個架構可讓收件者存取您共享架構中的所有數據表和檢視,以及未來新增至架構的任何數據表和檢視。 使用 SQL 命令將資料結構新增至共同使用需要 SQL 倉儲或執行 Databricks Runtime 13.2 或更新版本的叢集。 使用目錄總管執行相同的作業沒有計算需求。 請參閱 將結構新增至共用。
Mosaic AI 代理程式架構可在 northcentral
和 centralus
中使用
2024 年 7 月 29 日
Mosaic AI 代理程式架構現已在 northcentral
和 centralus
區域中提供。 請參閱區域可用性有限的功能。
Databricks Assistant 可以診斷工作的問題 (公開預覽)
2024 年 7 月 29 日
Databricks 助手現在可以診斷失敗的任務問題。 請參閱診斷工作中的錯誤。
Databricks Git 資料夾驗證和共用行為的更新
2024 年 7 月 29 日
-
Git 資料夾對話方塊式驗證處理:現在已簡化使用者體驗,以協助使用者在開啟 Git 資料夾對話方塊時從驗證錯誤中復原。 在對話框中,您可以直接更新 Git 認證,以觸發自動重試。 您可以使用此方法來協助解決驗證錯誤。
- 發生驗證錯誤時,Git 資料夾對話框現在會在錯誤中顯示 Git 資料夾的提供者和 URL。 先前是隱藏的,因此很難知道應該使用哪個 Git 認證來解決錯誤。
-
Git 資料夾共用:使用者現在可以與其他工作區使用者共用URL連結。 在收件者的瀏覽器中開啟 URL 時,Databricks 會開啟並啟動現有的 [ 新增 Git 資料夾 ] 對話方塊,其中包含預先填入的值(例如 Git 提供者和 Git 存放庫 URL)。 這可簡化工作區使用者中常用 Git 存放庫的 Git 資料夾複製作業。
如需詳細資訊,請參閱最佳做法:在 Git 資料夾中共同作業。
- 現在系統會提示使用者在自己的工作區中建立自己的 Git 資料夾,而不是在另一位使用者的 Git 資料夾中共同作業。
- Git 資料夾對話方塊狀態現在會儲存在您的網址中。 如果您在開啟 Git 資料夾對話方塊時,從瀏覽器複製網址,則可以稍後開啟或與其他使用者共用,而且會顯示相同的資訊。
-
Git 資料夾差異檢視:在 Git 資料夾差異檢視中,已針對已取代的文字及多行變更新增更深的紅色和綠色醒目提示,使您能更輕鬆判斷未提交變更中的修改內容。
- 從筆記本或檔案編輯器開啟 Git 資料夾對話方塊會選取 Git 資料夾對話方塊中的筆記本或檔案,並預設顯示變更 (diffs)。
叢集程式庫安裝逾時
2024 年 7 月 29 日
叢集上的程式庫安裝現在有 2 小時的超時限制。 安裝超過 2 小時的程式庫將會標示為失敗。 如需叢集連結庫的資訊,請參閱 計算範圍連結庫。
計算平台的輸出 IP 位址必須新增至工作區的 IP 允許清單中。
2024 年 7 月 29 日
當您在新的工作區設定安全叢集連線和IP存取清單時,您必須將計算平面用來存取控制平面的所有公用IP地址新增到允許清單,或設定 後端 Private Link。 這項變更會影響 2024 年 7 月 29 日的所有新工作區,以及 2024 年 8 月 26 日的現有工作區。 如需詳細資訊,請參閱 Databricks 社群貼文
例如,如果您在使用 VNet 插入的工作區上啟用安全的叢集連線,Databricks 建議您的工作區具有穩定的輸出公用 IP。 該公用 IP 和任何其他 IP 都必須包含在允許清單中。 請參閱使用安全叢集連線時的輸出 IP 位址。 或者,如果您使用 Azure Databricks 管理的 VNet,並設定受控 NAT 閘道來存取公用 IP,則這些 IP 必須位於允許清單中。
請參閱設定工作區的 IP 存取清單。
Databricks Runtime 9.1 系列支援延伸
2024 年 7 月 26 日
Databricks Runtime 9.1 LTS 和適用於機器學習的 Databricks Runtime 9.1 LTS 的支援已從 2024 年 9 月 23 日延伸至 2024 年 12 月 19 日。
Lakehouse Federation for SQL Server 支援單一登入 (SSO)
2024 年 7 月 25 日
Unity 目錄現在可讓您使用 SSO 驗證來建立 SQL Server 連線。 請參閱在 Microsoft SQL Server 上執行同盟查詢。
使用 Delta Sharing 的模型共享現已正式發行
2024 年 7 月 26 日
Delta Sharing 對 AI 模型共享的支援現已正式推出。 提供者和接收者的工作區必須啟用 Unity Catalog,並且模型必須註冊在 Unity Catalog 中。
請參閱將模型新增至共用。
使用 Delta Sharing 分享評論和主鍵約束條件
2024 年 7 月 25 日
Delta Sharing 現在支援共用物件中繼資料,包括註解和主鍵約束條件。
模型批註和模型版本批註已經包含在 Databricks 間的分享中有一段時間了,但並未公開宣布。
在 2024 年 7 月 25 日或之後與收件者共用的 Databricks 共用中,資料表註釋、欄位註釋、主鍵約束和容量註釋現在都已包含在內。
如果您想要將評論或限制條件納入在該日期之前已共用的資料中,您必須撤銷並重新授予收件者存取權,以便重新共用評論和限制條件。
新的 Databricks JDBC 驅動程式 (OSS)
2024 年 7 月 25 日
公開預覽版已發行新的開放原始碼 Databricks JDBC 驅動程式。 此驅動程式已實作 JDBC API,並提供其他核心功能,包括 OAuth、雲端擷取,以及 Unity 目錄磁碟區擷取等功能。 如需詳細資訊,請參閱 Databricks JDBC Driver (OSS)。
Databricks Runtime 15.4 LTS (搶鮮版 (Beta))
2024 年 7 月 23 日
Databricks Runtime 15.4 LTS 和 Databricks Runtime 15.4 LTS ML 現在可作為 搶鮮版 (Beta) 版本使用。
請參閲 Databricks Runtime 15.4 LTS 和 Databricks Runtime 15.4 LTS for Machine Learning。
Scala 已在 Unity Catalog 標準計算上正式可用
2024 年 7 月 23 日
在 Databricks Runtime 15.4 LTS 和更新版本中,Scala 在標準存取模式(前稱共用存取模式)的 Unity Catalog 資源上已全面提供,包括支援純量使用者定義函數(UDF)。 不支援結構化串流、Hive UDF 和 Hive 使用者定義聚合函數。 如需限制的完整清單,請參閱 Unity 目錄的計算存取模式限制
專用計算資源(先前為單一使用者)支援精細訪問控制、實體化檢視和串流資料表
2024 年 7 月 23 日
只要工作區已啟用無伺服器計算,Databricks Runtime 15.4 LTS 就引進了對專用計算進行精細訪問控制的支援。 當查詢存取下列任一項時,Databricks Runtime 15.4 LTS 上的專用計算資源會將查詢傳遞至無伺服器計算以執行數據篩選:
- 在用戶沒有
SELECT
許可權的數據表上建立的檢視 - 動態視圖
- 套用列篩選或行遮罩的數據表
- 實體化視圖和流式表
在 Databricks Runtime 15.3 和以下版本的專用計算上不支持這些查詢。
如需詳細資訊,請查看 專用計算的精細存取控制。
節點時間軸系統表格現已可用(公開預覽)
2024 年 7 月 23 日
system.compute
架構現在包含 node_timeline
數據表。 此表記錄了在您帳戶中執行的通用和任務計算資源的逐分鐘使用量指標。 請參閱 節點時間軸資料表架構。
備註
若要存取此資料表,如果您尚未啟用 compute
架構,系統管理員就必須啟用此架構。 請參閱 存取系統數據表。
模型服務現在支援 Meta Llama 3.1
2024 年 7 月 23 日
馬賽克 AI 模型服務已與 Meta 合作,支援由 Meta 建置和訓練的模型架構 Meta Llama 3.1,並透過 Azure Machine Learning 使用 AzureML 模型目錄進行分發。 作為基礎模型 API 的一部分,Llama 3.1 受到支持。 請參閱使用基礎模型 API。
- Meta-Llama-3.1-405B-Instruct 和 Meta-Llama-3.1-70B-Instruct 可在按每個權杖計費的服務端點區域中取得。
- 目前在美國,完整的 Llama 3.1 系列型號 (8B、70B 和 405B) 可以在佈建的吞吐量配置下投入生產使用。
從 2024 年 7 月 23 日起,Meta-Llama-3.1-70B-Instruct 會取代基礎模型 API 中依權杖付費端點中對 Meta-Llama-3-70B-Instruct 的支援。
筆記本:切換顯示更多儲存格標題
2024 年 7 月 18 日
使用者可以在其開發人員設定中啟用顯示提升的儲存格標題,讓筆記本儲存格標題在 UI 中更明顯。 請參閱升級的儲存格標題
工作區資產名稱中的 /
已遭取代
2024 年 7 月 17 日
為了避免路徑字串中的模棱兩可,新工作區資產名稱中的 『/』 用法已被取代(例如筆記本、資料夾和查詢)。 名稱中有 『/』 的現有資產不會受到影響,但重新命名現有資產會遵循與新資產相同的規則。
Delta Sharing 可讓您共用使用液態叢集技術的資料表。
2024 年 7 月 16 日
Delta Sharing 現在可讓您共用啟用了 Liquid Clustering 的資料表,而接收者可以對其執行批次查詢。 Liquid 叢集可簡化資料配置決策,並將查詢效能最佳化。 請參閱 使用液體聚集於表格 和 Delta Lake 功能支持矩陣。
查詢歷程記錄系統表已提供(公開預覽)
2024 年 7 月 16 日
Azure Databricks 系統數據表現在包含查詢記錄數據表。 此數據表會記錄帳戶中 SQL 倉儲上執行之每個查詢的詳細記錄。 若要存取數據表,系統管理員必須啟用新的 query
系統架構。 請參閱 查詢記錄系統資料表參考。
弱點掃描報告現已透過電子郵件傳送給管理員
2024 年 7 月 16 日
弱點掃描報告現在會透過電子郵件傳送給工作區系統管理員,以啟用增強的安全性監視。 先前,工作區系統管理員必須向 Azure Databricks 提出需求。 請參閱增強的安全性監視。
Unity Catalog 外部表的分區元數據記錄
2024 年 7 月 15 日
在 Databricks Runtime 13.3 LTS 和以上版本中,您可以選擇為使用 Parquet、ORC、CSV 或 JSON 的外部表啟用註冊至 Unity Catalog 的分區元數據記錄。 分區元數據記錄是與 Hive metastore 一致的分區探索策略。 請參閱外部資料表的分割發現。
工作流程的無伺服器計算已正式發行
2024 年 7 月 15 日
無伺服器計算功能已普遍適用於工作流程。 工作流程的無伺服器計算可讓您執行 Azure Databricks 工作,而不需設定及部署基礎結構。 使用工作流程的無伺服器計算,Azure Databricks 可有效率地管理執行工作的計算資源,包括最佳化和調整工作負載的計算。 請參閱 使用適用於工作流程的無伺服器計算執行 Lakeflow 作業。
電子筆記本的無伺服器計算已正式發行
2024 年 7 月 15 日
筆記本的無伺服器計算現已正式推出。 筆記本中的無伺服器計算服務讓您能隨選取得可擴展的計算資源,並立即在筆記本中撰寫和執行 Python 或 SQL 程式碼。 請參閱筆記本的無伺服器計算。
適用於 Python 的 Databricks Connect 現在支援無伺服器計算
2024 年 7 月 15 日
適用於 Python 的 Databricks Connect 現在支援連線至無伺服器計算。 此功能目前以公開預覽版的形式提供。 請參閱設定與無伺服器計算的連線。
使用自然語言提示篩選資料輸出
2024 年 7 月 11 日
您現在可以使用 Databricks Assistant,使用自然語言提示來篩選資料輸出。 例如,若要篩選泰坦尼克號倖存者數據表,您可以輸入「只顯示超過 70 名男性」。 請參閱使用自然語言提示篩選資料。
外部模型的純文字祕密支援
2024 年 7 月 11 日
您現在可以將 API 金鑰直接輸入為純文字字串,以建立裝載外部模型的端點模型化模型。 請參閱設定端點的提供者。
使用 ai_forecast()
預測時間序列資料
2024 年 7 月 11 日
AI Functions 現在支援 ai_forecast()
,這是分析師和資料科學家的新 Databricks SQL 函式,其設計目的是將時間序列資料推斷到未來。 請參閱 ai_forecast
函式。
對具有多重陳述式 SQL 查詢的檔案的 SQL 檔案工作支援已正式發行
2024 年 7 月 10 日
支援使用包含多重陳述式 SQL 查詢的檔案的 SQL 檔案任務現已正式推出。 這項變更可讓您從單一檔案執行多個 SQL 陳述式。 先前,您需要為每個陳述式新增個別檔案。 若要深入瞭解 SQL 檔案工作,請參閱工作的 SQL 任務。
Lakehouse Federation 支援 Salesforce Data Cloud (公開預覽)
2024 年 7 月 10 日
您現在可以對 Salesforce Data Cloud 所管理的資料執行同盟查詢。 請參閱 在 Salesforce Data Cloud 上執行同盟查詢。
Databricks Assistant 系統表格已經推出(公開預覽)
2024 年 7 月 10 日
Databricks Assistant 事件現在會記錄在位於 system.access.assistant_events
的系統數據表中。 請參閱 Databricks Assistant 系統數據表參考。
帳戶 SCIM API v2.1 (公開預覽)
2024 年 7 月 10 日
帳戶 SCIM API 會從 v2.0 更新為 v2.1,以取得速度和可靠性。 您可以下載帳戶 SCIM v2.1 API 參考手冊的 PDF 檔案。
每個 Unity 目錄中繼存放區數據表的資源配額增加
2024 年 7 月 3 日
您的 Unity 目錄中繼存放區現在可以註冊最多一百萬個數據表。 請參閱資源配額。
Databricks Assistant 可以自動診斷筆記本錯誤
2024 年 7 月 2 日
Databricks Assistant 現在可以在偵測到錯誤訊息時自動在筆記本中執行 /fix
。 助理會使用生成式 AI 來分析您的程式碼和錯誤訊息,並直接在筆記本中提出修改建議。 如需詳細資訊,請參閱偵錯程式碼: Python 和 SQL 範例。
對 SQL 檔案工作 :param
語法的支援已達到一般可用 (GA) 版本
2024 年 7 月 1 日
支援在 Azure Databricks 作業的 SQL 檔案任務中搭配參數化查詢使用 :param
語法已正式發行。 您現在可以在查詢參數名稱前面加上冒號來參考查詢參數(:parameter_name
)。 此語法是對現有雙大括弧 ({{parameter_name}}
) 語法支援的補充。 若要深入瞭解如何搭配 SQL 檔案工作使用參數化查詢,請參閱 設定工作參數。