Поделиться через


Среда выполнения Azure Synapse для Apache Spark 3.4 (EOSA)

Предупреждение

Объявление о завершении поддержки

  • Прекращение поддержки, объявленное для среды выполнения Azure Synapse для Apache Spark 3.4.
  • Среда выполнения Azure Synapse для Apache Spark 3.4 будет устарела и отключена 31 марта 2026 г. 

Azure Synapse Analytics поддерживает несколько сред выполнения для Apache Spark. В этом документе рассматриваются компоненты и версии среды выполнения Для среды выполнения Azure Synapse для Apache Spark 3.4.

Версии компонентов

Компонент Версия
Apache Spark 3.4.1
Операционная система Mariner 2.0
Ява 11
язык программирования Scala 2.12.17
Delta Lake 2.4.0
Питон 3,10
Р 4.2.2

Совет

Актуальные сведения см. в подробном списке изменений и конкретных заметках о выпуске для сред выполнения Spark, проверке и подписке на выпуски и обновления Spark Runtimes.

Библиотеки

Чтобы проверить библиотеки, включенные в среду выполнения Azure Synapse для Apache Spark 3.4 для Java/Scala, Python и R, перейдите в заметки о выпусках Azure Synapse для Apache Spark 3.4.

Совет

spark.memoryOverheadFactor.preferred: Если установлен true, Spark будет отдавать приоритет spark.driver.memoryOverheadFactor и spark.executor.memoryOverheadFactor по сравнению с явными значениями, определёнными spark.driver.memoryOverhead и spark.executor.memoryOverhead. При включении накладные расходы всегда вычисляются с помощью фактора, а явные настройки накладных расходов игнорируются. По умолчанию это ложно для обратной совместимости.