共用方式為


Fabric Runtime 1.1 (EOSA)

Microsoft Fabric 執行階段是以 Apache Spark 為基礎的 Azure 整合平臺,可讓您在 Fabric 中執行和管理 資料工程師 和 資料科學 體驗。 本文件涵蓋 Fabric Runtime 1.1 元件和版本。

警告

Runtime 1.1 的支援日期已於 2024 年 7 月 12 日公佈。 根據 Apache Spark 3.3 的 Runtime 1.1 將於 2025 年 3 月 31 日淘汰並停用。 將您的工作區 和環境升級至 Runtime 1.2 或 Runtime 1.3。 如需 Fabric 中 Apache Spark 執行階段的完整生命週期和支持原則,請參閱 Fabric 中的 Apache Spark 執行階段生命週期。

Microsoft Fabric Runtime 1.1 是 Microsoft Fabric 平臺內提供的其中一個執行階段。 Runtime 1.1 主要元件如下:

  • Apache Spark:3.3
  • 作業系統:Ubuntu 18.04
  • Java:1.8.0_282
  • Scala:2.12.15
  • Python 3.10
  • Delta Lake: 2.2
  • R:4.2.2

提示

請一律針對目前為 Runtime 1.3 的生產工作負載使用最新的 GA 運行時間版本。

Microsoft Fabric Runtime 1.1 隨附預設層級套件的集合,包括完整的 Anaconda 安裝,以及 Java/Scala、Python 和 R 的常用連結庫。在 Microsoft Fabric 平臺中使用筆記本或作業時,會自動包含這些連結庫。 如需社群程式庫清單,請參閱 OpenAI 文件。

Microsoft Fabric 會定期發行 Runtime 1.1 的維護更新,並提供錯誤修正、效能增強和安全性修補程式。 確保使用這些更新保持最新狀態,可保證資料處理工作的最佳效能和可靠性。 如果您目前使用 Runtime 1.1,您可以流覽至工作區設定 > 資料工程師/科學 > Spark 設定>環境,升級至 Runtime 1.3 或 Runtime 1.2。

顯示選取執行階段版本位置的螢幕擷取畫面。

新功能和改善 - Apache Spark 3.3.1

流覽 Spark 3.3.0Spark 3.3.1,以閱讀特定 Apache Spark 版本的完整版本資訊。

新功能和改進 - Delta Lake 2.2

檢查 Delta Lake 2.2.0 的來源和完整版本資訊

Java/Scala 的預設層級套件

如需 Java、Scala、Python 及其各自版本之所有預設層級套件的清單,請參閱 版本資訊

在不同 Apache Spark 版本之間移轉

將工作負載從舊版 Apache Spark 移轉至 Fabric Runtime 1.1(Apache Spark 3.3),牽涉到一系列步驟,以確保順利移轉。 本指南概述可協助您有效率且有效率地移轉的必要步驟。

  1. 檢閱 Fabric Runtime 1.1 版本資訊,包括檢查執行階段中包含的元件和預設層級套件,以瞭解新功能和改進功能。

  2. 檢查您目前設定和所有相關連結庫的相容性,包括相依性和整合。 檢閱移轉指南,以識別潛在的重大變更:

  3. 將您的工作負載移至 Fabric,並確定您有資料與組態檔的備份,以防您需要還原為舊版。

  4. 更新新版 Apache Spark 或其他 Fabric Runtime 1.1 相關元件可能會影響的任何相依性,包括第三方連結庫或連接器。 在部署到生產環境之前,請務必先測試預備環境中的更新相依性。

  5. 更新工作負載上的 Apache Spark 組態,包括更新組態設定、調整儲存體配置,以及修改任何已淘汰的組態。

  6. 修改 Apache Spark 應用程式(筆記本和 Apache Spark 作業定義),以使用 Fabric Runtime 1.1 和 Apache Spark 3.3 中引進的新 API 和功能。 您可能需要更新程序代碼,以容納任何已被取代或移除的 API,並重構您的應用程式,以利用效能改善和新功能。

  7. 在預備環境中徹底測試更新的應用程式,以確保Apache Spark 3.3的相容性與穩定性。 執行效能測試、功能測試和回歸測試,以識別並解決移轉程式期間可能發生的任何問題。

  8. 在預備環境中驗證應用程式之後,請將更新的應用程式部署到生產環境。 在移轉之後監視應用程式的效能和穩定性,以找出需要解決的任何問題。

  9. 更新您的內部文件和訓練材料,以反映 Fabric Runtime 1.1 中匯入的變更。 請確定您的小組成員熟悉新功能和改進功能,以充分發揮移轉的優點。