Compartilhar via


Azure Synapse Runtime para Apache Spark 3.3 (EOSA)

O Azure Synapse Analytics dá suporte a vários runtimes para o Apache Spark. Este documento abrange os componentes e as versões de runtime do Azure Synapse para o Apache Spark 3.3.

Aviso

Notificação de fim do suporte para o Azure Synapse Runtime para Apache Spark 3.3

  • Em 12 de julho de 2024, foi anunciado o fim do suporte para o Azure Synapse Runtime para Apache Spark 3.3.
  • A partir de 31 de março de 2025, o Azure Synapse descontinuará o suporte oficial para Runtimes do Spark 3.3.
  • É altamente recomendável que você atualize suas cargas de trabalho baseadas no Apache Spark 3.3 para o Azure Synapse Runtime para Apache Spark 3.4 (GA).
  • Para obter informações atualizadas, uma lista detalhada de alterações e notas de versão específicas para tempos de execução do Spark, verifique e assine Versões e Atualizações de Tempos de Execução do Spark.

Versões do componente

Componente Versão
Apache Spark 3.3.1
Sistema operacional Ubuntu 18.04
Java 1.8.0_282
Scala 2.12.15
O Hadoop 3.3.3
Delta Lake 2.2.0
Python 3.10
R (Versão prévia) 4.2.2

O Synapse-Python310-CPU.yml contém a lista de bibliotecas enviadas no ambiente padrão do Python 3.10 no Azure Synapse Spark.

Importante

.NET para Apache Spark

  • O .NET para Apache Spark é um projeto de código-fonte aberto no .NET Foundation que atualmente requer a biblioteca .NET 3.1, que atingiu o status fora de suporte. Gostaríamos de informar os usuários do Azure Synapse Spark sobre a remoção da biblioteca .NET para Apache Spark no Azure Synapse Runtime para Apache Spark versão 3.3. Os usuários podem consultar a Política de Suporte do .NET para obter mais detalhes sobre esse assunto.

  • Como resultado, não será mais possível para os usuários utilizar APIs do Apache Spark por meio de C# e F# ou executar código C# em notebooks no Synapse ou por meio das definições de trabalho do Apache Spark no Synapse. É importante observar que essa alteração afeta apenas o Azure Synapse Runtime para Apache Spark 3.3 e superior.

  • Continuaremos a dar suporte a .NET para Apache Spark em todas as versões anteriores do Azure Synapse Runtime de acordo com seus estágios de ciclo de vida. No entanto, não temos planos para dar suporte a .NET para Apache Spark no Azure Synapse Runtime para Apache Spark 3.3 e versões futuras. Recomendamos que os usuários com cargas de trabalho existentes escritas em C# ou F# migrem para Python ou Scala. Os usuários são aconselhados a tomar nota dessa informação e planejar adequadamente.

Bibliotecas

Para verificar as bibliotecas incluídas no Azure Synapse Runtime para Apache Spark 3.3 para Java/Scala, Python e R, acesse Azure Synapse Runtime para Apache Spark 3.3

Próximas etapas

Migração entre versões do Apache Spark – suporte

Para obter diretrizes sobre como migrar de versões de runtime mais antigas para o Azure Synapse Runtime para Apache Spark 3.3 ou 3.4, consulte Visão geral do Runtime para Apache Spark.