Partage via


Runtime Azure Synapse pour Apache Spark 3.3 (EOSA)

Azure Synapse Analytics prend en charge plusieurs runtimes pour Apache Spark. Ce document présente les composants et les versions du runtime Azure Synapse pour Apache Spark 3.3.

Avertissement

Notification de fin de prise en charge pour Azure Synapse Runtime pour Apache Spark 3.3

  • Le 12 juillet 2024, la fin du support a été annoncée pour Azure Synapse Runtime pour Apache Spark 3.3.
  • À compter du 31 mars 2025, Azure Synapse interrompt la prise en charge officielle des runtimes Spark 3.3.
  • Nous vous recommandons vivement de mettre à niveau vos charges de travail basées sur Apache Spark 3.3 vers Azure Synapse Runtime pour Apache Spark 3.4 (GA).
  • Pour obtenir des informations à jour, une liste détaillée des modifications et des notes de publication spécifiques pour les runtimes Spark, vérifiez et abonnez-vous aux versions et mises à jour des runtimes Spark.

Versions des composants

Composant Version
Apache Spark 3.3.1
Système d’exploitation Ubuntu 18.04
Java 1.8.0_282
Scala 2.12.15
Hadoop 3.3.3
Delta Lake 2.2.0
Python 3.10
R (préversion) 4.2.2

Synapse-Python310-CPU.yml contient la liste des bibliothèques fournies dans l’environnement Python 3.10 par défaut dans Azure Synapse Spark.

Important

.NET pour Apache Spark

  • NET pour Apache Spark est un projet open source sous .NET Foundation qui nécessite actuellement la bibliothèque .NET 3.1 qui a atteint l’état de non prise en charge. Nous tenons à informer les utilisateurs d’Azure Synapse Spark de la suppression de la bibliothèque .NET pour Apache Spark dans Runtime Azure Synapse pour Apache Spark version 3.3. Les utilisateurs peuvent se référer à la Stratégie de prise en charge .NET pour obtenir d’autres informations à ce sujet.

  • Par conséquent, il ne sera plus possible pour les utilisateurs d’utiliser les API Apache Spark via C# et F# ou d’exécuter du code C# dans des notebooks dans Synapse ou via des définitions de tâche Apache Spark dans Synapse. Il est important de noter que cette modification affecte uniquement Runtime Azure Synapse pour Apache Spark 3.3 et versions ultérieures.

  • Nous continuerons à prendre en charge .NET pour Apache Spark dans toutes les versions antérieures de Runtime Azure Synapse en fonction de leurs phases de cycle de vie. Toutefois, nous ne prévoyons pas de prendre en charge .NET pour Apache Spark dans Runtime Azure Synapse pour Apache Spark 3.3 et versions ultérieures. Nous recommandons aux utilisateurs disposant de charges de travail existantes écrites en C# ou F# de migrer vers Python ou Scala. Nous invitons les utilisateurs à prendre note de ces informations et à planifier en conséquence.

Bibliothèques

Pour vérifier les bibliothèques incluses dans Le runtime Azure Synapse pour Apache Spark 3.3 pour Java/Scala, Python et R, accédez à Azure Synapse Runtime pour Apache Spark 3.3

Étapes suivantes

Migration entre les versions d’Apache Spark - prise en charge

Pour obtenir des conseils sur la migration d’anciennes versions du runtime vers Azure Synapse Runtime pour Apache Spark 3.3 ou 3.4, reportez-vous à Runtime pour Apache Spark Overview.