Fabric Runtime 1.1 (EOSA)
Microsoft Fabric 執行階段是以 Apache Spark 為基礎的 Azure 整合平臺,可讓您在 Fabric 中執行和管理 資料工程師 和 資料科學 體驗。 本文件涵蓋 Fabric Runtime 1.1 元件和版本。
警告
Runtime 1.1 的支援日期已於 2024 年 7 月 12 日公佈。 根據 Apache Spark 3.3 的 Runtime 1.1 將於 2025 年 3 月 31 日淘汰並停用。 將您的工作區 和環境升級至 Runtime 1.2 或 Runtime 1.3。 如需 Fabric 中 Apache Spark 執行階段的完整生命週期和支持原則,請參閱 Fabric 中的 Apache Spark 執行階段生命週期。
Microsoft Fabric Runtime 1.1 是 Microsoft Fabric 平臺內提供的其中一個執行階段。 Runtime 1.1 主要元件如下:
- Apache Spark:3.3
- 作業系統:Ubuntu 18.04
- Java:1.8.0_282
- Scala:2.12.15
- Python 3.10
- Delta Lake: 2.2
- R:4.2.2
提示
請一律針對目前為 Runtime 1.3 的生產工作負載使用最新的 GA 運行時間版本。
Microsoft Fabric Runtime 1.1 隨附預設層級套件的集合,包括完整的 Anaconda 安裝,以及 Java/Scala、Python 和 R 的常用連結庫。在 Microsoft Fabric 平臺中使用筆記本或作業時,會自動包含這些連結庫。 如需社群程式庫清單,請參閱 OpenAI 文件。
Microsoft Fabric 會定期發行 Runtime 1.1 的維護更新,並提供錯誤修正、效能增強和安全性修補程式。 確保使用這些更新保持最新狀態,可保證資料處理工作的最佳效能和可靠性。 如果您目前使用 Runtime 1.1,您可以流覽至工作區設定 > 資料工程師/科學 > Spark 設定>環境,升級至 Runtime 1.3 或 Runtime 1.2。
新功能和改善 - Apache Spark 3.3.1
流覽 Spark 3.3.0 和 Spark 3.3.1,以閱讀特定 Apache Spark 版本的完整版本資訊。
新功能和改進 - Delta Lake 2.2
檢查 Delta Lake 2.2.0 的來源和完整版本資訊。
Java/Scala 的預設層級套件
如需 Java、Scala、Python 及其各自版本之所有預設層級套件的清單,請參閱 版本資訊。
在不同 Apache Spark 版本之間移轉
將工作負載從舊版 Apache Spark 移轉至 Fabric Runtime 1.1(Apache Spark 3.3),牽涉到一系列步驟,以確保順利移轉。 本指南概述可協助您有效率且有效率地移轉的必要步驟。
檢閱 Fabric Runtime 1.1 版本資訊,包括檢查執行階段中包含的元件和預設層級套件,以瞭解新功能和改進功能。
檢查您目前設定和所有相關連結庫的相容性,包括相依性和整合。 檢閱移轉指南,以識別潛在的重大變更:
- 檢閱 Spark Core 移轉指南。
- 檢閱 SQL、資料集和資料框架移轉指南。
- 如果您的解決方案與 Apache Spark 結構串流相關,請檢閱 結構化串流移轉指南。
- 如果您使用 PySpark,請檢閱 Pyspark 移轉指南。
- 如果您將程式碼從 Koalas 移轉至 PySpark,請檢閱 Koalas 到 Spark 移轉指南上的 pandas API。
將您的工作負載移至 Fabric,並確定您有資料與組態檔的備份,以防您需要還原為舊版。
更新新版 Apache Spark 或其他 Fabric Runtime 1.1 相關元件可能會影響的任何相依性,包括第三方連結庫或連接器。 在部署到生產環境之前,請務必先測試預備環境中的更新相依性。
更新工作負載上的 Apache Spark 組態,包括更新組態設定、調整儲存體配置,以及修改任何已淘汰的組態。
修改 Apache Spark 應用程式(筆記本和 Apache Spark 作業定義),以使用 Fabric Runtime 1.1 和 Apache Spark 3.3 中引進的新 API 和功能。 您可能需要更新程序代碼,以容納任何已被取代或移除的 API,並重構您的應用程式,以利用效能改善和新功能。
在預備環境中徹底測試更新的應用程式,以確保Apache Spark 3.3的相容性與穩定性。 執行效能測試、功能測試和回歸測試,以識別並解決移轉程式期間可能發生的任何問題。
在預備環境中驗證應用程式之後,請將更新的應用程式部署到生產環境。 在移轉之後監視應用程式的效能和穩定性,以找出需要解決的任何問題。
更新您的內部文件和訓練材料,以反映 Fabric Runtime 1.1 中匯入的變更。 請確定您的小組成員熟悉新功能和改進功能,以充分發揮移轉的優點。
相關內容
- 閱讀 Fabric 中的 Apache Spark 執行階段 - 概 觀、版本控制、多個執行階段支援和升級 Delta Lake 通訊協定
- Runtime 1.2(Spark 3.4、Java 11、Python 3.10、Delta Lake 2.4)