Azure Synapse Runtime untuk Apache Spark 3.3 (EOSA)
Azure Synapse Analytics mendukung beberapa runtime untuk Apache Spark. Dokumen ini mencakup komponen dan versi runtime untuk Azure Synapse Runtime untuk Apache Spark 3.3.
Peringatan
Pemberitahuan akhir dukungan untuk Azure Synapse Runtime untuk Apache Spark 3.3
- Pada 12 Juli 2024, akhir dukungan diumumkan untuk Azure Synapse Runtime untuk Apache Spark 3.3.
- Mulai 31 Maret 2025, Azure Synapse akan menghentikan dukungan resmi untuk Runtime Spark 3.3.
- Kami sangat menyarankan Anda meningkatkan beban kerja berbasis Apache Spark 3.3 Anda ke Azure Synapse Runtime untuk Apache Spark 3.4 (GA).
- Untuk informasi terbaru, daftar perubahan terperinci, dan catatan rilis tertentu untuk runtime Spark, periksa dan berlangganan Rilis dan Pembaruan Runtime Spark.
Versi komponen
| Komponen | Versi |
|---|---|
| Apache Spark | 3.3.1 |
| Sistem Operasi | Ubuntu 18.04 |
| Java | 1.8.0_282 |
| Scala | 2.12.15 |
| Hadoop | 3.3.3 |
| Delta Lake | 2.2.0 |
| Python | 3.10 |
| R (Pratinjau) | 4.2.2 |
Synapse-Python310-CPU.yml berisi daftar pustaka yang dikirim di lingkungan Python 3.10 default di Azure Synapse Spark.
Penting
.NET untuk Apache Spark
.NET untuk Apache Spark adalah proyek sumber terbuka di bawah .NET Foundation yang saat ini memerlukan pustaka .NET 3.1, yang telah mencapai status di luar dukungan. Kami ingin memberi tahu pengguna Azure Synapse Spark tentang penghapusan pustaka .NET untuk Apache Spark di Azure Synapse Runtime for Apache Spark versi 3.3. Pengguna dapat merujuk ke Kebijakan Dukungan .NET untuk detail selengkapnya tentang masalah ini.
Akibatnya, pengguna tidak akan lagi dapat menggunakan API Apache Spark melalui C# dan F#, atau menjalankan kode C# di notebook dalam Synapse atau melalui definisi Pekerjaan Apache Spark di Synapse. Penting untuk dicatat bahwa perubahan ini hanya memengaruhi Azure Synapse Runtime untuk Apache Spark 3.3 ke atas.
Kami akan terus mendukung .NET untuk Apache Spark di semua versi Azure Synapse Runtime sebelumnya sesuai dengan tahap siklus hidupnya. Namun, kami tidak memiliki rencana untuk mendukung .NET untuk Apache Spark di Azure Synapse Runtime untuk Apache Spark 3.3 dan versi mendatang. Sebaiknya pengguna dengan beban kerja yang ada yang ditulis dalam C# atau F# bermigrasi ke Python atau Scala. Pengguna disarankan untuk mencatat informasi ini dan merencanakannya.
Pustaka
Untuk memeriksa pustaka yang disertakan dalam Azure Synapse Runtime untuk Apache Spark 3.3 untuk Java/Scala, Python, dan R buka Azure Synapse Runtime untuk Apache Spark 3.3
Langkah berikutnya
- Mengelola pustaka untuk kumpulan Apache Spark di Azure Synapse Analytics
- Menginstal roda paket ruang kerja (Python), jar (Scala/Java), atau tar.gz (R)
- Mengelola paket melalui Azure PowerShell dan REST API
- Mengelola paket dengan cakupan sesi
- Dokumentasi Apache Spark 3.3.1
- Konsep Apache Spark
Migrasi antara versi Apache Spark - dukungan
Untuk panduan tentang migrasi dari versi runtime yang lebih lama ke Azure Synapse Runtime untuk Apache Spark 3.3 atau 3.4, lihat Ringkasan Runtime for Apache Spark.