這些功能和 Azure Databricks 平臺改良功能於 2022 年 2 月發行。
注意
發布是分階段進行的。 您的 Azure Databricks 帳戶可能要到初始發行日期後一週或以上才會更新。
讓 DLT 管線的排程更輕鬆(公開預覽)
2022 年 2 月 28 日 - 3 月 2 日
您現在可以直接從 DLT UI 為您的觸發管線建立一個排程的 Azure Databricks 作業。 您先前需要在作業的使用者介面中建立作業並排程以執行作業。
輕鬆瀏覽 DLT 管線更新的歷程記錄 (公開預覽)
2022 年 2 月 28 日 - 3 月 2 日
您現在可以在 DLT UI 中看到管線更新的歷程記錄,包括更新狀態、詳細數據和事件,以及 更新歷程記錄 下拉式清單。
確保 Jobs API 的即時執行請求具有工作等冪性
2022 年 2 月 22-28 日:版本 3.66
您現在可以使用可選的 idempotency_token
參數搭配作業 API 的 立即執行 操作,來確保僅啟動一個作業運行。 先前,提交相同作業的多個 Run now
要求時,可能會啟動多個執行。
若要深入瞭解作業等冪性,請參閱 如何確保作業的等冪性。
工作服務的穩定性與可擴縮性改善
2022 年 2 月 22-28 日:版本 3.66
下列變更提高了作業服務的穩定性和可擴縮性:
- 每個新作業都會指派較長、唯一、數位、非循序標識碼。 使用 作業 API 的客戶,如果依賴固定的識別碼長度或循序或單調增加的識別碼,則需要進行修改,以便能夠接受更長的、非循序和未排序的識別碼。
int64
的標識碼類型維持不變,且使用 IEEE 754 64 位浮點數的用戶端會保留相容性,例如 JavaScript 用戶端。 -
number_in_job
欄位的值,包含在對某些作業 API 要求的回應中,現在會設定為與run_id
相同的值。
比較來自不同實驗的 MLflow 運行
2022 年 2 月 22-28 日:版本 3.66
您現在可以顯示和比較來自多個實驗的運行數據。 請參閱 比較多個實驗的運行結果。
MLflow 比較執行結果顯示的改進
2022 年 2 月 22-28 日:版本 3.66
比較回合顯示已改善。 視覺效果現在會出現在頁面頂端。 您現在可以捲動或折疊顯示執行資訊、參數和計量的數據表。 您現在可以藉由隱藏不因執行而異的參數和計量來簡化顯示。
如需比較執行頁面的相關信息,請參閱 比較執行。 如需有關如何比較執行的指示,請參閱 比較執行。
改善叢集 UI 中對工作執行者的可視性
2022 年 2 月 22-28 日:版本 3.66
計算 UI 中的 作業叢集 索引標籤已更新,以顯示 以使用者身分執行作業,而非 作業擁有者。 此更新是以作業許可權模型的變更為基礎,並可改善作業執行擁有者的可見度。 請參閱 檢視運算。
在 AutoML 中卸除數據集數據行
2022 年 2 月 22-28 日:版本 3.66
在 Databricks Runtime 10.3 ML 和更新的版本中,針對分類和回歸問題,您現在可以在數據集中指定 AutoML 不應該用於訓練的欄。 請參閱 AutoML Python API 參考。
實驗頁面已正式發行
2022 年 2 月 22-28 日:版本 3.66
實驗功能頁面 現已正式推出。
支援 DLT Python 介面中的臨時表
2022 年 2 月 22-28 日:版本 3.66
您現在可以在宣告具有 DLT Python 介面的數據表時,使用 temporary
屬性。 定義臨時表會指示 DLT 不要保存數據表的元數據,並防止在設定 target
設定時發佈數據表。 如需定義 Python 數據表的相關信息,請參閱 Python 規格。
DLT 的使用者介面改善 (公開預覽)
2022 年 2 月 22-28 日:版本 3.66
此版本包含 DLT UI 的下列增強功能:
- 您現在可以在 DLT UI 的 [設定] 對話框中編輯管線設定,提供更方便使用的介面。 先前,您只能藉由編輯 JSON 規格來變更設定。 若要選取要編輯管線設定的UI或 JSON 檢視,請按兩下 [ 設定] 對話方塊上的 [UI] 或 [JSON] 按鈕。
- [管線詳細數據] 頁面上的事件記錄檔現在會醒目提示錯誤記錄,讓您更輕鬆地識別和解決管線中的錯誤。
- 已改善執行管線的進度顯示效果。 現在,當您檢視管線的圖形時,
RUNNING
狀態中的節點會有動畫化的進入邊緣和動畫化的上邊框。
Databricks Runtime 9.0 系列支援結束
2022年2月17日
Databricks Runtime 9.0 和專為機器學習而設的 Databricks Runtime 9.0 的支援已於 2 月 17 日結束。 請參閱 Databricks 支援生命週期。
資料科學與工程登陸頁面更新
2022年2月10日
我們已更新 資料科學 與工程登陸頁面的外觀和風格。 某些鏈接已變更,但沒有任何其他值得注意的功能變更。
Databricks Repos 現在支援 AWS CodeCommit 進行 Git 整合
2022 年 2 月 7-14 日:版本 3.65
您現在可以搭配 Databricks Repos 使用 AWS CodeCommit 存放庫。
您的 DLT 工作流程的視覺效果已優化(公測版)
2022 年 2 月 7-14 日:版本 3.65
管線 DAG 視覺效果經過重新設計,以改善可用性和流覽。 改善包括將圖表的顯示方式從上至下改為從左至右,更直觀地呈現您的管線執行。
已更新 Markdown 剖析器
2022 年 2 月 7-14 日:版本 3.65
Azure Databricks 筆記本中使用的 Markdown 剖析器已更新。 部分在先前更新 中發現的問題已經得到解決。 具體而言,不再需要在主題標籤與標題文字之間放置空格,而且現在會正確轉譯具有空格的連結。
DLT 現在支援異動資料擷取處理 (公開預覽)
2022 年 2 月 7-14 日:版本 3.65
您現在可以在 DLT 管線中實作異動數據擷取 (CDC) 處理。 SQL 和 Python 介面支援 CDC 處理。 請參閱 AUTO CDC API:使用 Lakeflow 宣告式管線簡化異動數據擷取。
其他中繼存放區現在可在多個區域中使用
2022 年 2 月 8 日
下列中繼存放區現在可在下列區域中使用:
brazilsouth
:
consolidated-brazilsouth-prod-metastore.mysql.database.azure.com
centralus
:
consolidated-centralus-prod-metastore-addl-2.mysql.database.azure.com
consolidated-centralus-prod-metastore-addl-3.mysql.database.azure.com
eastus
:
consolidated-eastus-prod-metastore-addl-2.mysql.database.azure.com
consolidated-eastus-prod-metastore-addl-3.mysql.database.azure.com
consolidated-eastus-prod-metastore-addl-4.mysql.database.azure.com
eastus2
consolidated-eastus2-prod-metastore-addl-2.mysql.database.azure.com
consolidated-eastus2-prod-metastore-addl-3.mysql.database.azure.com
francecentral
consolidated-francecentral-prod-metastore.mysql.database.azure.com
northeurope
consolidated-northeurope-prod-metastore-addl-2.mysql.database.azure.com
consolidated-northeurope-prod-metastore-addl-3.mysql.database.azure.com
southeastasia
consolidated-southeastasia-prod-metastore-addl-1.mysql.database.azure.com
switzerlandnorth
consolidated-switzerlandnorth-prod-metastore-0.mysql.database.azure.com
switzerlandwest
consolidated-switzerlandwest-prod-metastore-0.mysql.database.azure.com
uksouth
consolidated-uksouth-prod-metastore-addl-1.mysql.database.azure.com
westeurope
consolidated-westeurope-prod-metastore-addl-2.mysql.database.azure.com
consolidated-westeurope-prod-metastore-addl-3.mysql.database.azure.com
您應始終在使用者定義的路由 (UDR) 中包含您使用的每個區域的所有相關主機名稱。 請參閱 Azure Databricks 的使用者定義路由設定。
選取要與 AutoML 搭配使用的演算法架構
2022 年 2 月 7-14 日:版本 3.65
在 Databricks Runtime 10.3 ML 和更新版本中,您可以指定演算法架構,例如 scikit-learn,AutoML 不應將其視為開發模型。 根據預設,AutoML 會將 scikit-learn、XGBoost 和 LightGBM 的模型視為分類和回歸問題,以及來自先知和 Auto-ARIMA 的模型來預測問題。 請參閱 AutoML Python API 參考。
Databricks 託管的 MLflow 模型現在可以從線上資料庫查詢特徵
2022 年 2 月 3 日
使用特徵存儲元數據封裝的模型可以在模型運行時自動查閱線上存儲的特徵值。
Databricks Runtime 10.3 和 10.3 ML 已正式發行;10.3 Photon 為公開預覽
2022年2月2日
Databricks Runtime 10.3 和 Databricks Runtime 10.3 ML 現已正式推出。 Databricks Runtime 10.3 Photon 處於公開預覽狀態。