共用方式為

Fabric Runtime 1.3 （GA）

  • 發行項

網狀架構執行階段提供與 Azure 的無縫整合。 它為使用 Apache Spark 的資料工程和資料科學項目提供複雜的環境。 本文概述 Fabric Runtime 1.3 的基本功能和元件，這是巨量資料計算的最新執行階段。

Microsoft Fabric Runtime 1.3 是最新的 GA 運行時間版本，併入下列元件和升級，旨在增強數據處理功能：

  • Apache Spark：3.5
  • 操作系統：Mariner 2.0
  • Java: 11
  • Scala：2.12.17
  • Python 3.11
  • Delta Lake：3.2
  • R：4.4.1

提示

Fabric Runtime 1.3 包含原生執行引擎的支援，可大幅提升效能，而不需要額外的成本。 若要在環境中的所有作業和筆記本上啟用原生執行引擎，請流覽至您的環境設定、選取 [Spark 計算]、移至 [加速] 索引卷標，然後核取 [啟用原生執行引擎]。 儲存和發佈之後，此設定會套用到整個環境，因此所有新的作業和筆記本都會自動繼承並受益於增強的效能功能。

使用下列指示，將執行階段 1.3 整合到您的工作區，並使用其新功能：

  1. 流覽至網狀架構 工作區內的 工作區設定索引卷標。
  2. 移至資料工程師/科學 索引標籤，然後選取Spark 設定。
  3. 選取環境索引標籤。
  4. 在 [ 運行時間版本] 下展開下拉式清單。
  5. 選取 1.3（Spark 3.5、Delta 3.2） 並儲存變更。 此動作會將 1.3 設定為工作區的預設執行階段。

顯示選取執行階段版本位置的螢幕擷取畫面。

您現在可以開始使用 Fabric 運行時間 1.3 中引進的最新改進和功能（Spark 3.5 和 Delta Lake 3.2）。

重點摘要

Apache Spark：3.5

Apache Spark 3.5.0 是 3.x 系列中的第六個版本。 此版本是開放原始碼社群中廣泛共同作業的產物，可解決 Jira 中所記錄的 1,300 多個問題。

在此版本中，結構化串流有相容性的升級。 此外，此版本會擴大 PySpark 和 SQL 中的功能。 它會新增 SQL 標識符子句、SQL 函數調用中的具名自變數，以及包含 HyperLogLog 近似彙總的 SQL 函式等功能。 其他新功能還包括 Python 使用者定義資料表函式、透過 DeepSpeed 簡化分散式定型，以及浮浮浮水印傳播和 dropDuplicatesWithinWatermark 作業等新的結構化串流功能。

您可以在這裡檢查完整清單和詳細變更：https://spark.apache.org/releases/spark-release-3-5-0.html。

Delta Spark

Delta Lake 3.2 標誌著一項集體承諾，讓 Delta Lake 跨格式互通、更容易使用，且效能更高。 Delta Spark 3.2 建置在 Apache Spark™ 3.5 之上。 Delta Spark maven 成品已從 delta-core 重新命名為 delta-spark。

您可以在這裡檢查完整清單和詳細變更：https://docs.delta.io/3.2.0/index.html。

提示

如需最新資訊、變更的詳細清單，以及 Fabric 執行時間的特定版本資訊，請檢查並訂閱 Spark 執行階段版本和更新。

相關內容