這些功能和 Azure Databricks 平臺改良功能於 2020 年 6 月發行。
注意
分階段發行。 您的 Azure Databricks 帳戶可能要到初始發行日期後至多一週才會更新。
Databricks Connect 現在支援 Databricks Runtime 6.6
2020 年 6 月 26 日
Databricks Connect 現在支援 Databricks Runtime 6.6。
Databricks Runtime 7.0 ML GA 已正式發行
2020 年 6 月 22 日
Databricks Runtime 7.0 ML 建置在 Databricks Runtime 7.0 之上,並包含下列新功能:
- 限定於筆記本的 Python 庫和由 conda 和 pip 命令管理的自定義環境。
- 主要 Python 套件的更新,包括 tensorflow、tensorboard、pytorch、xgboost、sparkdl 和 hyperopt。
- 新增的 Python 套件 lightgbm、nltk、petastorm 和 plotly。
- RStudio Server 開放原始碼 v1.2。
如需詳細資訊,請參閱完整的 Databricks Runtime 7.0 ML (EoS) 版本資訊。
Databricks Runtime 7.0 已正式發行,由 Apache Spark 3.0 提供
2020 年 6 月 18 日
Databricks Runtime 7.0 是由 Apache Spark 3.0 提供電源,現在支援 Scala 2.12。
Spark 3.0 帶來許多額外的功能和改善,包括:
- 自適應查詢執行是一個靈活的框架,能夠在Spark SQL中進行自適應執行,並支持在運行過程中調整歸約器的數量。
- 重新設計了 pandas UDF,並加入了類型提示。
- 結構化串流 Web UI。
- 與 ANSI SQL 標準更好的相容性。
- 聯結提示。
Databricks Runtime 7.0 新增:
- 改善 自動載入器 ,以便在 ETL 期間抵達雲端 Blob 存放區時,以累加方式處理新的數據檔。
- 已改善 COPY INTO 命令,以便通過等冪重試將數據載入 Delta Lake。
- 許多改進、連結庫新增和升級,以及 Bug 修正。
如需詳細資訊,請參閱完整的 Databricks Runtime 7.0 (EoS) 版本資訊。
適用於 Genomics 的 Databricks Runtime 7.0 已正式發行
2020 年 6 月 18 日
Databricks Runtime 7.0 for Genomics 建置在 Databricks Runtime 7.0 之上,並包含下列連結庫變更:
- ADAM 連結庫已從 0.30.0 版更新為 0.32.0。
- Hail 連結庫不包含在適用於 Genomics 的 Databricks Runtime 7.0 中,因為沒有以 Apache Spark 3.0 為基礎的版本。
MLflow 模型的依階段存取控制
2020 年 6 月 16 日至 23 日:版本 3.22
您現在可以將取決於階段的訪問控制分配給使用者或群組,允許他們管理 在預備或生產階段註冊於 MLflow 模型註冊表中的 MLflow 模型。 我們引進了兩個新的許可權等級:CAN MANAGE STAGING VERSIONS 和 CAN MANAGE PRODUCTION VERSIONS。 具有這些許可權的用戶可以在層級允許的階段之間執行轉換。
如需詳細資訊,請參閱 MLflow 模型 ACL。
筆記本現在可以停用自動捲動功能
2020 年 6 月 16 日至 23 日:版本 3.22
當您按shift+enter鍵執行筆記本的程式單元時,如果無法看到該程式單元,預設的筆記本行為是自動捲動到下一個儲存格。 您現在可以在 >使用者設定> 編輯器設定 中停用自動捲動。 如果您停用自動捲動,在shift+Enter鍵時,焦點會移至下一個儲存格,但筆記本頁面不會捲動至該儲存格。
中繼存放區 IP 位址於 2020 年 6 月 30 日變更
2020 年 6 月 11 日
Azure Databricks 的預設的中繼資料庫使用 Azure Database for MySQL。 Azure Databricks 中繼存放區的所有適用於 MySQL 的 Azure 資料庫 IP 位址都會在 2020 年 6 月 30 日變更。 如果您的 Azure Databricks 工作區部署在您自己的虛擬網路中,則該部署的路由表可能包含 Azure Databricks 備援存放區的 IP 位址,或路由至包含該位址的存取清單的防火牆或代理伺服器。 如果是這種情況,您必須在 2020 年 6 月 30 日之前,使用新的 MySQL IP 更新 Azure Databricks 路由表或防火牆,以避免中斷。
Internet Explorer 11 支援於 8 月 15 日結束
2020 年 6 月 9 日
為了符合業界趨勢,並確保客戶的穩定且一致的用戶體驗,Azure Databricks 將於 2020 年 8 月 11 日終止對 Internet Explorer 11 的支援。
Databricks Runtime 6.2 系列支援結束
2020 年 6 月 3 日
支援 Databricks Runtime 6.2、Databricks Runtime 6.2 for 機器學習,以及 Databricks Runtime 6.2 for Genomics 於 6 月 3 日結束。 請參閱 Databricks 支援週期。
使用叢集原則簡化和控制叢集建立 (公開預覽)
2020 年 6 月 2 日至 9 日:版本 3.21
叢集原則是系統管理定義的可重複使用叢集範本,可在叢集屬性上強制執行規則,因此確保使用者建立符合這些規則的叢集。 身為 Azure Databricks 系統管理員,您現在可以建立叢集原則,並提供使用者原則許可權。 如此一來,您可以更充分掌控所建立的資源、為使用者提供執行其工作所需的彈性層級,並大幅簡化叢集建立體驗。
如需詳細資訊,請參閱 建立和管理計算原則。
SCIM Me 端點現在會傳回符合 SCIM 規範的回覆
2020 年 6 月 2 日至 9 日:版本 3.21
SCIM Me 端點現在會傳回與 /users/{id}
端點相同的資訊,包括群組和權利等資訊。
請參閱 CurrentUser API。
使用 IP 存取清單限制對 Azure Databricks 的存取權 (公開預覽)
2020 年 6 月 1 日
現在可以設定 Azure Databricks 工作區,讓使用者只能透過具有安全周邊的現有公司網路連線到服務。 Azure Databricks 系統管理員可以使用IP存取清單 API 來定義一組已核准的IP位址,包括允許和封鎖清單。 對 Web 應用程式和 REST API 的所有傳入存取都要求使用者從經授權的 IP 位址進行連線,從而保證使用者只有使用 VPN 才能從咖啡店或機場等公用網路存取工作區。
此功能需要進階版方案。
如需詳細資訊,請參閱設定工作區的 IP 存取清單。