Azure Synapse Runtime för Apache Spark 3.3 (EOSA)
Azure Synapse Analytics stöder flera körningar för Apache Spark. Det här dokumentet beskriver körningskomponenter och versioner för Azure Synapse Runtime för Apache Spark 3.3.
Varning
Supportmeddelande för Azure Synapse Runtime för Apache Spark 3.3 upphör
- Den 12 juli 2024 meddelades att supporten upphör för Azure Synapse Runtime för Apache Spark 3.3.
- Från och med den 31 mars 2025 upphör Azure Synapse det officiella stödet för Spark 3.3 Runtimes.
- Vi rekommenderar starkt att du uppgraderar dina Apache Spark 3.3-baserade arbetsbelastningar till Azure Synapse Runtime för Apache Spark 3.4 (GA).
- För uppdaterad information, en detaljerad lista över ändringar och specifika viktig information för Spark-körningar, kontrollerar och prenumererar du på Spark Runtimes-versioner och -uppdateringar.
Komponentversioner
| Komponent | Version |
|---|---|
| Apache Spark | 3.3.1 |
| Operativsystem | Ubuntu 18.04 |
| Java | 1.8.0_282 |
| Scala | 2.12.15 |
| Hadoop | 3.3.3 |
| Data Lake | 2.2.0 |
| Python | 3,10 |
| R (förhandsversion) | 4.2.2 |
Synapse-Python310-CPU.yml innehåller listan över bibliotek som levereras i python 3.10-standardmiljön i Azure Synapse Spark.
Viktigt!
.NET för Apache Spark
.NET för Apache Spark är ett projekt med öppen källkod under .NET Foundation som för närvarande kräver .NET 3.1-biblioteket, som har nått statusen out-of-support. Vi vill informera användare av Azure Synapse Spark om borttagningen av .NET för Apache Spark-biblioteket i Azure Synapse Runtime för Apache Spark version 3.3. Användare kan referera till .NET-supportpolicyn för mer information om detta.
Därför är det inte längre möjligt för användare att använda Apache Spark-API:er via C# och F#, eller köra C#-kod i notebook-filer i Synapse eller via Apache Spark-jobbdefinitioner i Synapse. Observera att den här ändringen endast påverkar Azure Synapse Runtime för Apache Spark 3.3 och senare.
Vi kommer att fortsätta att stödja .NET för Apache Spark i alla tidigare versioner av Azure Synapse Runtime enligt deras livscykelsteg. Vi har dock inga planer på att stödja .NET för Apache Spark i Azure Synapse Runtime för Apache Spark 3.3 och framtida versioner. Vi rekommenderar att användare med befintliga arbetsbelastningar som skrivits i C# eller F# migrerar till Python eller Scala. Användarna uppmanas att notera denna information och planera i enlighet med detta.
Bibliotek
Om du vill kontrollera biblioteken som ingår i Azure Synapse Runtime för Apache Spark 3.3 för Java/Scala, Python och R går du till Azure Synapse Runtime för Apache Spark 3.3
Nästa steg
- Hantera bibliotek för Apache Spark-pooler i Azure Synapse Analytics
- Installera arbetsytepakethjulet (Python), jar (Scala/Java) eller tar.gz (R)
- Hantera paket via Azure PowerShell och REST API
- Hantera paket med sessionsomfattning
- Dokumentation om Apache Spark 3.3.1
- Apache Spark-begrepp
Migrering mellan Apache Spark-versioner – stöd
Information om hur du migrerar från äldre körningsversioner till Azure Synapse Runtime för Apache Spark 3.3 eller 3.4 finns i Översikt över Körning för Apache Spark.