Share via

Azure Synapse Runtime voor Apache Spark 3.3 (EOSA)

  • Artikel

Azure Synapse Analytics ondersteunt meerdere runtimes voor Apache Spark. In dit document worden de runtimeonderdelen en -versies voor de Azure Synapse Runtime voor Apache Spark 3.3 behandeld.

Waarschuwing

Einde van de ondersteuning aangekondigd voor Azure Synapse Runtime voor Apache Spark 3.3 12 juli 2024.

We raden u ten zeerste aan om uw apache Spark 3.3-workloads te upgraden naar Azure Synapse Runtime voor Apache Spark 3.4 (GA). Voor actuele informatie, een gedetailleerde lijst met wijzigingen en specifieke releaseopmerkingen voor Spark-runtimes, controleert en abonneert u op releases en updates van Spark Runtimes.

Onderdeelversies

Onderdeel Versie
Apache Spark 3.3.1
Besturingssysteem Ubuntu 18.04
Java 1.8.0_282
Scala 2.12.15
Hadoop 3.3.3
Delta Lake 2.2.0
Python 3.10
R (preview) 4.2.2

Synapse-Python310-CPU.yml bevat de lijst met bibliotheken die zijn verzonden in de standaardomgeving van Python 3.10 in Azure Synapse Spark.

Belangrijk

.NET voor Apache Spark

  • . NET voor Apache Spark is een opensource-project onder de .NET Foundation waarvoor momenteel de .NET 3.1-bibliotheek is vereist, die de status van de ondersteuning heeft bereikt. We willen gebruikers informeren over Azure Synapse Spark over het verwijderen van de .NET voor Apache Spark-bibliotheek in de Azure Synapse Runtime voor Apache Spark versie 3.3. Gebruikers kunnen het .NET-ondersteuningsbeleid raadplegen voor meer informatie over deze kwestie.

  • Als gevolg hiervan is het niet langer mogelijk voor gebruikers om Apache Spark-API's te gebruiken via C# en F#, of C#-code uit te voeren in notebooks binnen Synapse of via Apache Spark-taakdefinities in Synapse. Het is belangrijk te weten dat deze wijziging alleen van invloed is op Azure Synapse Runtime voor Apache Spark 3.3 en hoger.

  • We blijven .NET voor Apache Spark ondersteunen in alle vorige versies van de Azure Synapse Runtime op basis van hun levenscyclusfasen. We hebben echter geen plannen om .NET voor Apache Spark te ondersteunen in Azure Synapse Runtime voor Apache Spark 3.3 en toekomstige versies. We raden gebruikers aan met bestaande workloads die zijn geschreven in C# of F# te migreren naar Python of Scala. Gebruikers worden aangeraden deze informatie te noteren en dienovereenkomstig te plannen.

Bibliotheken

Als u de bibliotheken wilt controleren die zijn opgenomen in Azure Synapse Runtime voor Apache Spark 3.3 voor Java/Scala, Python en R, gaat u naar Azure Synapse Runtime voor Apache Spark 3.3

Volgende stappen

Migratie tussen Apache Spark-versies - ondersteuning

Raadpleeg het overzicht van Runtime voor Apache Spark 3.3 of 3.4 voor hulp bij het migreren van oudere runtimeversies naar Azure Synapse Runtime voor Apache Spark.