Bagikan melalui


Runtime Azure Synapse untuk Apache Spark 3.4 (EOSA)

Peringatan

Pengumuman Akhir Dukungan

  • Akhir dukungan diumumkan untuk Azure Synapse Runtime untuk Apache Spark 3.4.
  • Azure Synapse Runtime untuk Apache Spark 3.4 akan ditolak dan dinonaktifkan 31 Maret 2026. 

Azure Synapse Analytics mendukung beberapa runtime untuk Apache Spark. Dokumen ini mencakup komponen dan versi runtime untuk Azure Synapse Runtime untuk Apache Spark 3.4.

Versi komponen

Komponen Versi
Apache Spark 3.4.1
Sistem Operasi Pelaut 2.0
Java 11
Scala 2.12.17
Danau Delta 2.4.0
Phyton 3.10
R 4.2.2

Petunjuk / Saran

Untuk informasi terbaru, daftar perubahan terperinci, dan catatan rilis tertentu untuk runtime Spark, periksa dan berlangganan Rilis dan Pembaruan Runtime Spark.

Pustaka

Untuk memeriksa pustaka yang disertakan dalam Azure Synapse Runtime untuk Apache Spark 3.4 untuk Java/Scala, Python dan R, buka Azure Synapse Runtime untuk Catatan Rilis Apache Spark 3.4.

Petunjuk / Saran

spark.memoryOverheadFactor.preferred: Jika diatur ke true, Spark akan memprioritaskan spark.driver.memoryOverheadFactor dan spark.executor.memoryOverheadFactor di atas nilai eksplisit yang ditentukan oleh spark.driver.memoryOverhead dan spark.executor.memoryOverhead. Saat diaktifkan, overhead selalu dihitung menggunakan faktor, dan pengaturan overhead eksplisit diabaikan. Defaultnya adalah false untuk kompatibilitas mundur.