Teilen über

Azure Synapse Runtime für Apache Spark 3.3 (EOSA)

  • Artikel

Azure Synapse Analytics unterstützt mehrere Laufzeiten für Apache Spark. In diesem Dokument werden die Runtimekomponenten und -versionen für die Azure Synapse-Runtime für Apache Spark 3.3 behandelt.

Warnung

Ende des Supports für Azure Synapse Runtime für Apache Spark 3.3 12. Juli 2024 angekündigt.

Es wird dringend empfohlen, Ihre Apache Spark 3.3-basierten Workloads auf Azure Synapse Runtime für Apache Spark 3.4 (GA) zu aktualisieren. Für aktuelle Informationen, eine detaillierte Liste der Änderungen und spezifische Versionshinweise für Spark-Runtimes, überprüfen und abonnieren Sie Spark Runtimes-Versionen und -Updates.

Komponentenversionen

Komponente Version
Apache Spark 3.3.1
Betriebssystem Ubuntu 18.04
Java 1.8.0_282
Scala 2.12.15
Hadoop 3.3.3
Delta Lake 2.2.0
Python 3.10
R (Preview) 4.2.2

Synapse-Python310-CPU.yml enthält die Liste der Bibliotheken, die mit der Python 3.10-Standardumgebung in Azure Synapse Spark ausgeliefert werden.

Wichtig

.NET für Apache Spark

  • .NET für Apache Spark ist ein Open-Source-Projekt der .NET Foundation, das derzeit die .NET 3.1-Bibliothek erfordert, die den Status „Nicht mehr unterstützt“ erreicht hat. Wir möchten Benutzer von Azure Synapse Spark über die Entfernung der .NET für Apache Spark-Bibliothek in der Azure Synapse Runtime für Apache Spark Version-3.3 informieren. Weitere Informationen zu diesem Thema finden Benutzer in der .NET-Supportrichtlinie.

  • Daher ist es Benutzern nicht mehr möglich, Apache Spark-APIs über C# und F# zu verwenden oder C#-Code in Notebooks in Synapse oder über Apache Spark-Auftragsdefinitionen in Synapse auszuführen. Beachten Sie, dass sich diese Änderung nur auf Azure Synapse Runtime für Apache Spark 3.3 und höher auswirkt.

  • Die Unterstützung von .NET für Apache Spark wird in allen früheren Versionen der Azure Synapse Runtime entsprechend ihren Lebenszyklusphasen fortgesetzt. Es ist jedoch nicht geplant, .NET für Apache Spark in Azure Synapse Runtime für Apache Spark 3.3 und zukünftige Versionen zu unterstützen. Es wird empfohlen, dass Benutzer mit vorhandenen Workloads, die in C# oder F# geschrieben wurden, zu Python oder Scala migrieren. Den Benutzern wird empfohlen, diese Informationen zur Kenntnis zu nehmen und entsprechend zu planen.

Bibliotheken

Um die bibliotheken zu überprüfen, die in Azure Synapse Runtime für Apache Spark 3.3 für Java/Scala, Python und R enthalten sind, wechseln Sie zu Azure Synapse Runtime für Apache Spark 3.3

Nächste Schritte

Migration zwischen Apache Spark-Versionen – Unterstützung

Anleitungen zum Migrieren von älteren Laufzeitversionen zu Azure Synapse Runtime für Apache Spark 3.3 oder 3.4 finden Sie unter Runtime für Apache Spark Overview.