Partilhar via

Azure Synapse Runtime para Apache Spark 3.3 (EOSA)

  • Artigo

O Azure Synapse Analytics dá suporte a vários tempos de execução para o Apache Spark. Este documento aborda os componentes e versões de tempo de execução para o Azure Synapse Runtime for Apache Spark 3.3.

Aviso

Fim do suporte anunciado para o Azure Synapse Runtime for Apache Spark 3.3 em 12 de julho de 2024.

É altamente recomendável que você atualize suas cargas de trabalho baseadas no Apache Spark 3.3 para o Azure Synapse Runtime for Apache Spark 3.4 (GA). Para obter informações atualizadas, uma lista detalhada de alterações e notas de versão específicas para tempos de execução do Spark, verifique e assine as versões e atualizações do Spark Runtimes.

Versões de componentes

Componente Versão
Apache Spark 3.3.1
Sistema operativo Ubuntu 18.04
Java 1.8.0_282
Scala 2.12.15
Hadoop 3.3.3
Delta Lake 2.2.0
Python 3,10
R (Pré-visualização) 4.2.2

Synapse-Python310-CPU.yml contém a lista de bibliotecas fornecidas no ambiente padrão do Python 3.10 no Azure Synapse Spark.

Importante

.NET para Apache Spark

  • O .NET para Apache Spark é um projeto de código aberto sob o .NET Foundation que atualmente requer a biblioteca .NET 3.1, que atingiu o status de fora do suporte. Gostaríamos de informar os usuários do Azure Synapse Spark sobre a remoção da biblioteca .NET for Apache Spark no Azure Synapse Runtime for Apache Spark versão 3.3. Os usuários podem consultar a Política de Suporte do .NET para obter mais detalhes sobre esse assunto.

  • Como resultado, não será mais possível para os usuários utilizar APIs do Apache Spark via C# e F#, ou executar código C# em notebooks dentro do Synapse ou através de definições do Apache Spark Job no Synapse. É importante observar que essa alteração afeta apenas o Azure Synapse Runtime para Apache Spark 3.3 e superior.

  • Continuaremos a oferecer suporte ao .NET para Apache Spark em todas as versões anteriores do Azure Synapse Runtime de acordo com seus estágios de ciclo de vida. No entanto, não temos planos de oferecer suporte ao .NET para Apache Spark no Azure Synapse Runtime para Apache Spark 3.3 e versões futuras. Recomendamos que os usuários com cargas de trabalho existentes escritas em C# ou F# migrem para Python ou Scala. Os utilizadores são aconselhados a tomar nota desta informação e planear em conformidade.

Bibliotecas

Para verificar as bibliotecas incluídas no Azure Synapse Runtime for Apache Spark 3.3 for Java/Scala, Python e R, vá para Azure Synapse Runtime for Apache Spark 3.3

Próximos passos

Migração entre versões do Apache Spark - suporte

Para obter orientação sobre como migrar de versões de tempo de execução mais antigas para o Azure Synapse Runtime for Apache Spark 3.3 ou 3.4, consulte Visão geral do Runtime for Apache Spark.