Fabric Runtime 1.3

網狀架構運行時間提供與 Azure 的無縫整合。 它為使用 Apache Spark 的數據工程和數據科學專案提供複雜的環境。 本文概述 Fabric Runtime 1.3 的基本功能和元件，這是巨量數據計算的最新運行時間。

Fabric Runtime 1.3，併入下列元件和升級，旨在增強數據處理功能：

• Apache Spark 3.5
• 操作系統：Mariner 2.0
• Java：11
• Scala：2.12.17
• Python：3.11
• Delta Lake：3.1
• R：4.3.3

注意

Fabric Runtime 1.3 目前處於公開預覽階段。 公開預覽版本中不支援與 VSCode 和低隨機合併的整合。

使用下列指示，將運行時間 1.3 整合到您的工作區，並使用其新功能：

1. 流覽至 [網狀架構] 工作區內的 [ 工作區設定 ] 索引卷標。
2. 移至 [資料工程師/科學] 索引標籤，然後選取 [Spark 設定]。
3. 選取環境索引標籤。
4. 在 [ 運行時間版本] 下拉式清單中，選取 [1.3 公開預覽]（Spark 3.5、Delta 3.1） 並儲存變更。 此動作會將 1.3 設定為工作區的預設運行時間。

您現在可以開始使用 Fabric 運行時間 1.3 中引進的最新改進和功能（Spark 3.5 和 Delta Lake 3.1）。

提示

如需最新資訊、變更的詳細清單，以及 Fabric 執行時間的特定版本資訊，請檢查並訂閱 Spark 運行時間版本和 更新。

重點摘要

Apache Spark 3.5

Apache Spark 3.5.0 是 3.x 系列中的第六個版本。 此版本是開放原始碼社群中廣泛共同作業的產物，可解決 Jira 中所記錄的 1,300 多個問題。

在此版本中，結構化串流有相容性的升級。 此外，此版本會擴大 PySpark 和 SQL 中的功能。 它會新增 SQL 標識符子句、SQL 函數調用中的具名自變數，以及包含 HyperLogLog 近似匯總的 SQL 函式等功能。 其他新功能還包括 Python 使用者定義數據表函式、透過 DeepSpeed 簡化分散式定型，以及浮浮浮水印傳播和 dropDuplicatesWithinWatermark 作業等新的結構化串流功能。

您可以在這裏檢查完整清單和詳細變更： https://spark.apache.org/releases/spark-release-3-5-0.html。

Delta Spark

Delta Lake 3.1 標誌著一項集體承諾，讓 Delta Lake 跨格式互通、更容易使用，且效能更高。 Delta Spark 3.1.0 建置在 Apache Spark™ 3.5 之上。 Delta Spark maven 成品已從 delta-core 重新命名為 delta-spark。

您可以在這裏檢查完整清單和詳細變更： https://docs.delta.io/3.1.0/index.html。

注意

在 Ideas 平臺中分享您在 Fabric 執行時間的意見反應。 請務必提及您所參考的版本和發行階段。 我們重視社群意見反應，並根據投票排定改善的優先順序，以確保我們符合使用者需求。

相關內容

• 閱讀 Fabric 中的 Apache Spark 運行時間 - 概 觀、版本控制、多個運行時間支援和升級 Delta Lake 通訊協定
• Spark Core 移轉指南
• SQL、數據集和數據框架移轉指南
• 結構化串流移轉指南
• MLlib （機器學習） 移轉指南
• PySpark （Spark 上的 Python） 移轉指南
• SparkR （Spark 上的 R） 移轉指南