分享方式:


適用於 Apache Spark 3.3 的 Azure Synapse Runtime (EOSA)

Azure Synapse Analytics 支援 Apache Spark 的多個運行時間。 本文件涵蓋適用於 Apache Spark 3.3 的 Azure Synapse Runtime 的運行時間元件和版本。

警告

Azure Synapse Runtime for Apache Spark 3.3 的支援通知結束

元件版本

元件 版本
Apache Spark 3.3.1
作業系統 Ubuntu 18.04
Java 1.8.0_282
Scala 2.12.15
Hadoop 3.3.3
Delta Lake 2.2.0
Python 3.10
R (預覽) 4.2.2

Synapse-Python310-CPU.yml包含 Azure Synapse Spark 中預設 Python 3.10 環境中隨附的連結庫清單。

重要

適用於 Apache Spark 的 .NET

  • . NET for Apache Spark 是 .NET Foundation 下的開放原始碼專案,目前需要 .NET 3.1 連結庫,且已達到支援不足的狀態。 我們想要通知 Azure Synapse Spark 的使用者移除適用於 Apache Spark 的 Azure Synapse Runtime 3.3 版中的 .NET for Apache Spark 連結庫。 使用者可能會參考 .NET 支持原則 ,以取得有關此事的詳細數據。

  • 因此,使用者將無法再透過 C# 和 F# 利用 Apache Spark API,或透過 Synapse 中的 Notebook 或 Synapse 中的 Apache Spark 作業定義來執行 C# 程式代碼。 請務必注意,這項變更只會影響Apache Spark 3.3和更新版本適用的 Azure Synapse Runtime。

  • 我們會根據舊版 Azure Synapse Runtime 的生命週期階段,繼續支援適用於 Apache Spark 的 .NET。 不過,我們還沒有在適用於 Apache Spark 3.3 和未來版本的 Azure Synapse Runtime 中支援適用於 Apache Spark 的 .NET。 我們建議使用 C# 或 F# 撰寫的現有工作負載的使用者移轉至 Python 或 Scala。 建議用戶記下這項資訊並據以規劃。

程式庫

若要檢查適用於 Java/Scala、Python 和 R 的 Azure Synapse Runtime for Apache Spark 3.3 中包含的連結庫,請移至 適用於 Apache Spark 3.3 的 Azure Synapse Runtime

下一步

Apache Spark 版本之間的移轉 - 支援

如需從舊版運行時間移轉至適用於 Apache Spark 3.3 或 3.4 的 Azure Synapse Runtime 的指引,請參閱 Apache Spark 的運行時間概觀