Azure Synapse Runtime for Apache Spark 3.3 (EOSA)
Az Azure Synapse Analytics több futtatókörnyezetet is támogat az Apache Sparkhoz. Ez a dokumentum az Apache Spark 3.3-hoz készült Azure Synapse Runtime futtatókörnyezeti összetevőit és verzióit ismerteti.
Figyelmeztetés
Az Apache Spark 3.3-hoz készült Azure Synapse Runtime támogatási értesítésének megszűnése
- 2024. július 12-én bejelentették, hogy megszűnik a támogatás az Apache Spark 3.3-hoz készült Azure Synapse Runtime-hoz.
- 2025. március 31-én az Azure Synapse megszünteti a Spark 3.3-futtatókörnyezetek hivatalos támogatását.
- Határozottan javasoljuk, hogy frissítse Apache Spark 3.3-alapú számítási feladatait az Azure Synapse Runtime for Apache Spark 3.4 (GA) rendszerre.
- A Spark-futtatókörnyezetek változásainak részletes listája és konkrét kibocsátási megjegyzései naprakész információkért tekintse meg és iratkozzon fel a Spark-futtatókörnyezetek kiadásaira és frissítéseire.
Összetevők verziói
| Összetevő | Verzió |
|---|---|
| Apache Spark | 3.3.1 |
| Operációs rendszer | Ubuntu 18.04 |
| Java | 1.8.0_282 |
| Scala | 2.12.15 |
| Hadoop | 3.3.3 |
| Delta Lake | 2.2.0 |
| Python | 3,10 |
| R (előzetes verzió) | 4.2.2 |
Synapse-Python310-CPU.yml tartalmazza az Azure Synapse Spark alapértelmezett Python 3.10-környezetében szállított kódtárak listáját.
Fontos
.NET az Apache Sparkhoz
Az Apache Sparkhoz készült .NET egy nyílt forráskódú projekt a .NET Foundation alatt, amelyhez jelenleg a .NET 3.1 kódtárra van szükség, amely elérte a nem támogatott állapotot. Tájékoztatni szeretnénk az Azure Synapse Spark felhasználóit az Apache Sparkhoz készült .NET-kódtár eltávolításáról az Azure Synapse Runtime for Apache Spark 3.3-ban. A felhasználók további részletekért tekintse meg a .NET támogatási szabályzatát .
Ennek eredményeképpen a felhasználók már nem használhatják az Apache Spark API-kat C# és F# használatával, vagy C# kódot hajthatnak végre a Synapse-ban lévő jegyzetfüzetekben vagy a Synapse Apache Spark-feladatdefinícióiban. Fontos megjegyezni, hogy ez a változás csak az Apache Spark 3.3-hoz és újabb verziókhoz készült Azure Synapse Runtime-ra van hatással.
Továbbra is támogatjuk az Apache Sparkhoz készült .NET-t az Azure Synapse Runtime összes korábbi verziójában az életciklusuk szakaszainak megfelelően. Az Apache Sparkhoz készült .NET-et azonban nem tervezzük támogatni az Azure Synapse Runtime for Apache Spark 3.3-hoz és a jövőbeli verziókhoz. Javasoljuk, hogy a C# vagy F# nyelven írt meglévő számítási feladatokkal rendelkező felhasználók áttelepüljenek a Pythonba vagy a Scalába. A felhasználóknak javasoljuk, hogy jegyezze fel ezeket az információkat, és ennek megfelelően tervezze meg őket.
Kódtárak
Az Azure Synapse Runtime for Apache Spark 3.3 for Java/Scala, Python és R kódtárainak ellenőrzéséhez nyissa meg az Azure Synapse Runtime for Apache Spark 3.3-at
Következő lépések
- Apache Spark-készletek kódtárainak kezelése az Azure Synapse Analyticsben
- Munkaterület-csomagcsomagok (Python), jar (Scala/Java) vagy tar.gz (R) telepítése
- Csomagok kezelése az Azure PowerShell és a REST API használatával
- Munkamenet-hatókörű csomagok kezelése
- Az Apache Spark 3.3.1 dokumentációja
- Apache Spark-fogalmak
Migrálás az Apache Spark-verziók között – támogatás
A régebbi futtatókörnyezeti verziókról az Azure Synapse Runtime for Apache Spark 3.3-ra vagy 3.4-re való migrálással kapcsolatos útmutatásért tekintse meg az Apache Spark futtatókörnyezetének áttekintését.