Compartir vía

Azure Synapse Runtime para Apache Spark 3.3 (EOSA)

  • Artículo

Azure Synapse Analytics admite varios entornos de ejecución para Apache Spark. En este documento se describen los componentes y versiones del entorno de ejecución de Azure Synapse para Apache Spark 3.3.

Advertencia

Fin del soporte técnico anunciado para Azure Synapse Runtime para Apache Spark 3.3 12 de julio de 2024.

Se recomienda encarecidamente actualizar las cargas de trabajo basadas en Apache Spark 3.3 a Azure Synapse Runtime para Apache Spark 3.4 (GA). Para obtener información actualizada, una lista detallada de cambios y notas de la versión específicas para los entornos de ejecución de Spark, compruebe y suscríbase a las versiones y actualizaciones de Spark Runtimes.

Versiones de componentes

Componente Versión
Spark de Apache 3.3.1
Sistema operativo Ubuntu 18.04
Java 1.8.0_282
Scala 2.12.15
Hadoop 3.3.3
Delta Lake 2.2.0
Python 3.10
R (versión preliminar) 4.2.2

Synapse-Python310-CPU.yml contiene la lista de bibliotecas enviadas en el entorno de Python 3.10 predeterminado en Azure Synapse Spark.

Importante

.NET para Apache Spark

  • .NET para Apache Spark es un proyecto de código abierto en .NET Foundation que actualmente requiere la biblioteca de .NET 3.1, que ya no tiene compatibilidad con el estado de asistencia. Nos gustaría informar a los usuarios de Azure Synapse Spark de la eliminación de la biblioteca de .NET para Apache Spark en la versión 3.3 de Azure Synapse Runtime para Apache Spark. Los usuarios pueden consultar la directiva de soporte técnico de .NET para obtener más detalles sobre este asunto.

  • Como resultado, ya no será posible que los usuarios usen las API de Apache Spark a través de C# y F#, o bien ejecuten código de C# en cuadernos de Synapse o mediante definiciones de trabajos de Apache Spark en Synapse. Es importante tener en cuenta que este cambio solo afecta a Azure Synapse Runtime para Apache Spark 3.3 y versiones posteriores.

  • Se seguirá admitiendo .NET para Apache Spark en todas las versiones anteriores de Azure Synapse Runtime según sus fases de ciclo de vida. Sin embargo, no tenemos planes para admitir .NET para Apache Spark en Azure Synapse Runtime para Apache Spark 3.3 y versiones futuras. Se recomienda que los usuarios con cargas de trabajo existentes escritas en C# o F# migren a Python o Scala. Se recomienda a los usuarios tomar nota de esta información y planear en consecuencia.

Bibliotecas

Para comprobar las bibliotecas incluidas en Azure Synapse Runtime para Apache Spark 3.3 para Java/Scala, Python y R, vaya a Azure Synapse Runtime para Apache Spark 3.3.

Pasos siguientes

Migración entre versiones de Apache Spark: compatibilidad

Para obtener instrucciones sobre la migración desde versiones anteriores del entorno de ejecución a Azure Synapse Runtime para Apache Spark 3.3 o 3.4, consulte Introducción al entorno de ejecución para Apache Spark.