適用於 Apache Spark 3.3 的 Azure Synapse Runtime (EOSA)
Azure Synapse Analytics 支援 Apache Spark 的多個運行時間。 本文件涵蓋適用於 Apache Spark 3.3 的 Azure Synapse Runtime 的運行時間元件和版本。
警告
Azure Synapse Runtime for Apache Spark 3.3 的支援通知結束
- 2024 年 7 月 12 日,已針對 Apache Spark 3.3 的 Azure Synapse Runtime 宣佈終止支援。
- 自 2025 年 3 月 31 日起,Azure Synapse 將會停止對 Spark 3.3 運行時間的官方支援。
- 強烈建議您將 Apache Spark 3.3 型工作負載升級至適用於 Apache Spark 3.4 的 Azure Synapse Runtime(GA)。
- 如需最新資訊、詳細的變更清單,以及 Spark 執行時間的特定版本資訊,請檢查並訂閱 Spark 運行時間版本和更新。
元件版本
元件 | 版本 |
---|---|
Apache Spark | 3.3.1 |
作業系統 | Ubuntu 18.04 |
Java | 1.8.0_282 |
Scala | 2.12.15 |
Hadoop | 3.3.3 |
Delta Lake | 2.2.0 |
Python | 3.10 |
R (預覽) | 4.2.2 |
Synapse-Python310-CPU.yml包含 Azure Synapse Spark 中預設 Python 3.10 環境中隨附的連結庫清單。
重要
適用於 Apache Spark 的 .NET
. NET for Apache Spark 是 .NET Foundation 下的開放原始碼專案,目前需要 .NET 3.1 連結庫,且已達到支援不足的狀態。 我們想要通知 Azure Synapse Spark 的使用者移除適用於 Apache Spark 的 Azure Synapse Runtime 3.3 版中的 .NET for Apache Spark 連結庫。 使用者可能會參考 .NET 支持原則 ,以取得有關此事的詳細數據。
因此,使用者將無法再透過 C# 和 F# 利用 Apache Spark API,或透過 Synapse 中的 Notebook 或 Synapse 中的 Apache Spark 作業定義來執行 C# 程式代碼。 請務必注意,這項變更只會影響Apache Spark 3.3和更新版本適用的 Azure Synapse Runtime。
我們會根據舊版 Azure Synapse Runtime 的生命週期階段,繼續支援適用於 Apache Spark 的 .NET。 不過,我們還沒有在適用於 Apache Spark 3.3 和未來版本的 Azure Synapse Runtime 中支援適用於 Apache Spark 的 .NET。 我們建議使用 C# 或 F# 撰寫的現有工作負載的使用者移轉至 Python 或 Scala。 建議用戶記下這項資訊並據以規劃。
程式庫
若要檢查適用於 Java/Scala、Python 和 R 的 Azure Synapse Runtime for Apache Spark 3.3 中包含的連結庫,請移至 適用於 Apache Spark 3.3 的 Azure Synapse Runtime
下一步
- 在 Azure Synapse Analytics 中管理 Apache Spark 集區的連結庫
- 安裝工作區套件滾輪 (Python)、jar (Scala/Java),或tar.gz (R)
- 透過 Azure PowerShell 和 REST API 管理套件
- 管理工作階段範圍的套件
- Apache Spark 3.3.1 檔
- Apache Spark 概念
Apache Spark 版本之間的移轉 - 支援
如需從舊版運行時間移轉至適用於 Apache Spark 3.3 或 3.4 的 Azure Synapse Runtime 的指引,請參閱 Apache Spark 的運行時間概觀。