共用方式為


Fabric Runtime 2.0 (預覽)

這很重要

這項功能目前處於預覽階段。

Fabric Runtime 與 Microsoft Fabric 生態系統進行無縫整合,為由 Apache Spark 驅動的資料工程與資料科學專案提供穩健環境。

本文介紹 Fabric Runtime 2.0 公開預覽版,這是為 Microsoft Fabric 大數據運算設計的最新執行環境。 它突顯了使本次版本成為可擴展分析與先進工作負載重要進展的關鍵功能與元件。

Fabric Runtime 2.0 包含以下元件與升級,旨在提升您的資料處理能力:

  • Apache Spark 4.0
  • 作業系統:Azure Linux 3.0 (Mariner 3.0)
  • 爪哇:21
  • Scala:2.13
  • Python:3.12
  • 三角洲湖:4.0
  • R:4.5.2

小提示

Fabric Runtime 2.0 支援原生 執行引擎(Native Execution Engine),能大幅提升效能且不需額外成本。 你可以在環境層啟用原生執行引擎,讓所有工作和筆記本自動繼承增強的效能能力。

啟用運行環境 2.0

你可以在工作區層級或環境項目層級啟用 Runtime 2.0。 使用 workspace 設定,將 Runtime 2.0 作為你工作區中所有 Spark 工作負載的預設值。 或者,你可以用 Runtime 2.0 建立一個環境項目,用於特定筆記本或 Spark 工作定義,這樣會覆蓋工作區的預設值。

在 Workspace 設定中啟用 Runtime 2.0

要將 Runtime 2.0 設為整個工作區的預設:

  1. 請前往 Fabric 工作區內的 Workspace 設定 頁面。

    截圖顯示在 Workspace 設定中選擇執行階段版本的位置。

  2. 選擇 資料工程/科學 標籤,然後選擇 Spark 設定

  3. 選取環境索引標籤。

  4. 在執行 時版本 下拉選單中,選擇 2.0 公開預覽(Spark 4.0、Delta 4.0), 並儲存你的變更。

  5. 你的工作區的預設運行時環境設定為 Runtime 2.0。

在環境項目中啟用執行時 2.0

要使用 Runtime 2.0 搭配特定的筆記本或 Spark 工作定義:

  1. 建立一個新的環境項目或開啟一個現有的環境項目。

  2. 執行時間下拉選單中,選擇 2.0 公開預覽(Spark 4.0、Delta 4.0),SavePublish選擇你的變更。

    截圖顯示在哪裡選擇環境項目的執行版本。

  3. 接著,你可以將這個 環境元素與你的 NotebookSpark Job Definition 搭配使用。

你現在可以開始嘗試 Fabric Runtime 2.0 引入的最新改進與功能(Spark 4.0 和 Delta Lake 4.0)。

備註

通用 v2(GPv2)Azure 儲存帳號的 WASB 協定已被棄用。 你應該改用最新的 ABFS 協議來對 GPv2 儲存帳戶進行讀寫。

公開預覽

Fabric Runtime 2.0 公開預覽階段讓你能使用來自 Spark 4.0 和 Delta Lake 4.0 的新功能與 API。 預覽版讓你能立即使用最新的 Spark 和 Delta 強化功能,並確保你能順利準備並過渡到像是較新的 Java、Scala 和 Python 版本等增強與改進的變更。

小提示

如需最新資訊、變更的詳細清單,以及 Fabric 執行時間的特定版本資訊,請檢查並訂閱 Spark 執行階段版本和更新

重點摘要

Apache Spark 4.0

Apache Spark 4.0 作為 4.x 系列的首個版本,標誌著一個重要的里程碑,體現了充滿活力的開源社群的集體努力。

在此版本中,Spark SQL 大幅擴充了強大的新功能,旨在提升 SQL 工作負載的表現力與多樣性,例如 VARIANT 資料型別支援、SQL 使用者定義函式、會話變數、管道語法及字串排序。 PySpark 持續致力於功能廣度與整體開發體驗,帶來原生繪圖 API、新的 Python 資料來源 API、對 Python UDTF 的支援,以及 PySpark UDF 的統一剖析,並有許多其他改進。 結構化串流隨著關鍵新增功能而演進,提供更強的控制與易於除錯,特別是引入了 Arbitrary State API v2,以提供更靈活的狀態管理,以及 State Data Source,使除錯更為便利。

您可以在這裡檢查完整清單和詳細變更:https://spark.apache.org/releases/spark-release-4-0-0.html

備註

在 Spark 4.0 中,SparkR 已被棄用,未來版本可能會被移除。

三角洲湖 4.0

Delta Lake 4.0 標誌著大家共同承諾讓 Delta Lake 能跨平台互通、更易操作且效能提升。 Delta 4.0 是一個里程碑式的版本,包含強大的新功能、效能優化及未來開放資料湖屋的基礎強化。

你可以在這裡查看完整清單及 Delta Lake 3.3 與 4.0 引入的詳細變更: https://github.com/delta-io/delta/releases/tag/v3.3.0 https://github.com/delta-io/delta/releases/tag/v4.0.0

這很重要

Delta Lake 4.0 專屬功能仍屬實驗性質,僅適用於 Spark 體驗,如筆記本和 Spark 工作定義。 如果你需要在多個 Microsoft Fabric 工作負載中使用相同的 Delta Lake 資料表,就不要啟用那些功能。 想了解更多哪些協定版本與功能在所有 Microsoft Fabric 體驗中相容,請閱讀 Delta Lake 表格格式互通性