Бөлісу құралы:

Среда выполнения Azure Synapse для Apache Spark 3.3 (EOSA)

  • Мақала

Azure Synapse Analytics поддерживает несколько сред выполнения для Apache Spark. В этом документе рассматриваются компоненты и версии среды выполнения Azure Synapse runtime для Apache Spark 3.3.

Предупреждение

Прекращение поддержки, объявленное для среды выполнения Azure Synapse для Apache Spark 3.3 июля 12 июля 2024 г.

Настоятельно рекомендуем обновить рабочие нагрузки на основе Apache Spark 3.3 до среды выполнения Azure Synapse для Apache Spark 3.4 (GA). Актуальные сведения см. в подробном списке изменений и конкретных заметках о выпуске для сред выполнения Spark, проверке и подписке на выпуски и обновления Spark Runtimes.

Версии компонентов

Компонент Версия
Apache Spark 3.3.1
Операционная система Ubuntu 18.04
Java 1.8.0_282
Scala 2.12.15
Hadoop 3.3.3
Delta Lake 2.2.0
Python 3,10
R (предварительная версия) 4.2.2

Synapse-Python310-CPU.yml содержит список библиотек, отправленных в среду Python 3.10 по умолчанию в Azure Synapse Spark.

Внимание

.NET для Apache Spark

  • .NET для Apache Spark — это проект с открытым исходным кодом в .NET Foundation, который в настоящее время требует библиотеки .NET 3.1, которая достигла состояния вне поддержки. Мы хотели бы сообщить пользователям Azure Synapse Spark об удалении библиотеки .NET для Apache Spark в среде выполнения Azure Synapse для Apache Spark версии 3.3. Пользователи могут обратиться к политике поддержки .NET для получения дополнительных сведений об этом вопросе.

  • В результате пользователи больше не смогут использовать API Apache Spark через C# и F#, или выполнить код C# в записных книжках в Synapse или с помощью определений заданий Apache Spark в Synapse. Важно отметить, что это изменение влияет только на среду выполнения Azure Synapse для Apache Spark 3.3 и выше.

  • Мы будем продолжать поддерживать .NET для Apache Spark во всех предыдущих версиях среды выполнения Azure Synapse в соответствии с их этапами жизненного цикла. Однако у нас нет планов поддержки .NET для Apache Spark в Среде выполнения Azure Synapse для Apache Spark 3.3 и будущих версий. Рекомендуется перенести пользователей с существующими рабочими нагрузками, написанными на C# или F#, на Python или Scala. Пользователям рекомендуется учитывать эти сведения и планировать их соответствующим образом.

Библиотеки

Чтобы проверить библиотеки, включенные в среду выполнения Azure Synapse для Apache Spark 3.3 для Java/Scala, Python и R, перейдите в Среду выполнения Azure Synapse для Apache Spark 3.3

Следующие шаги

Миграция между версиями Apache Spark — поддержка

Рекомендации по миграции из старых версий среды выполнения в Azure Synapse Runtime для Apache Spark 3.3 или 3.4 см. в обзоре среды выполнения Для Apache Spark.