Partager via

Runtime Azure Synapse pour Apache Spark 3.3 (EOSA)

  • Article

Azure Synapse Analytics prend en charge plusieurs runtimes pour Apache Spark. Ce document présente les composants et les versions du runtime Azure Synapse pour Apache Spark 3.3.

Avertissement

Fin du support annoncé pour Azure Synapse Runtime pour Apache Spark 3.3 juillet 12 juillet 2024.

Nous vous recommandons vivement de mettre à niveau vos charges de travail basées sur Apache Spark 3.3 vers Azure Synapse Runtime pour Apache Spark 3.4 (GA). Pour obtenir des informations à jour, une liste détaillée des modifications et des notes de publication spécifiques pour les runtimes Spark, vérifiez et abonnez-vous aux versions et mises à jour des runtimes Spark.

Versions des composants

Composant Version
Apache Spark 3.3.1
Système d’exploitation Ubuntu 18.04
Java 1.8.0_282
Scala 2.12.15
Hadoop 3.3.3
Delta Lake 2.2.0
Python 3.10
R (préversion) 4.2.2

Synapse-Python310-CPU.yml contient la liste des bibliothèques fournies dans l’environnement Python 3.10 par défaut dans Azure Synapse Spark.

Important

.NET pour Apache Spark

  • NET pour Apache Spark est un projet open source sous .NET Foundation qui nécessite actuellement la bibliothèque .NET 3.1 qui a atteint l’état de non prise en charge. Nous tenons à informer les utilisateurs d’Azure Synapse Spark de la suppression de la bibliothèque .NET pour Apache Spark dans Runtime Azure Synapse pour Apache Spark version 3.3. Les utilisateurs peuvent se référer à la Stratégie de prise en charge .NET pour obtenir d’autres informations à ce sujet.

  • Par conséquent, il ne sera plus possible pour les utilisateurs d’utiliser les API Apache Spark via C# et F# ou d’exécuter du code C# dans des notebooks dans Synapse ou via des définitions de tâche Apache Spark dans Synapse. Il est important de noter que cette modification affecte uniquement Runtime Azure Synapse pour Apache Spark 3.3 et versions ultérieures.

  • Nous continuerons à prendre en charge .NET pour Apache Spark dans toutes les versions antérieures de Runtime Azure Synapse en fonction de leurs phases de cycle de vie. Toutefois, nous ne prévoyons pas de prendre en charge .NET pour Apache Spark dans Runtime Azure Synapse pour Apache Spark 3.3 et versions ultérieures. Nous recommandons aux utilisateurs disposant de charges de travail existantes écrites en C# ou F# de migrer vers Python ou Scala. Nous invitons les utilisateurs à prendre note de ces informations et à planifier en conséquence.

Bibliothèques

Pour vérifier les bibliothèques incluses dans Le runtime Azure Synapse pour Apache Spark 3.3 pour Java/Scala, Python et R, accédez à Azure Synapse Runtime pour Apache Spark 3.3

Étapes suivantes

Migration entre les versions d’Apache Spark - prise en charge

Pour obtenir des conseils sur la migration d’anciennes versions du runtime vers Azure Synapse Runtime pour Apache Spark 3.3 ou 3.4, reportez-vous à Runtime pour Apache Spark Overview.