Partager via

Fabric Runtime 2.0 (préversion)

Important

Cette fonctionnalité est en version préliminaire.

Fabric Runtime offre une intégration transparente au sein de l’écosystème Microsoft Fabric, offrant un environnement robuste pour l’ingénierie des données et les projets de science des données optimisés par Apache Spark.

Cet article présente la préversion publique de Fabric Runtime 2.0, le dernier runtime conçu pour les calculs Big Data dans Microsoft Fabric. Il met en évidence les principales fonctionnalités et composants qui font de cette version une étape importante pour l’analytique évolutive et les charges de travail avancées.

Fabric Runtime 2.0 intègre les composants et mises à niveau suivants conçus pour améliorer vos fonctionnalités de traitement des données :

  • Apache Spark 4.0
  • Système d’exploitation : Azure Linux 3.0 (Mariner 3.0)
  • Java : 21
  • Scala : 2.13
  • Python : 3.12
  • Delta Lake : 4.0
  • R : 4.5.2

Conseil / Astuce

Fabric Runtime 2.0 inclut la prise en charge du moteur d’exécution natif, ce qui peut améliorer considérablement les performances sans plus de coûts. Vous pouvez activer le moteur d’exécution natif au niveau de l’environnement afin que tous les travaux et notebooks héritent automatiquement des fonctionnalités de performances améliorées.

Activer Runtime 2.0

Vous pouvez activer Runtime 2.0 au niveau de l’espace de travail ou au niveau de l’élément d’environnement. Utilisez le paramètre d’espace de travail pour appliquer Runtime 2.0 comme valeur par défaut pour toutes les charges de travail Spark de votre espace de travail. Vous pouvez également créer un élément d’environnement fonctionnant sur Runtime 2.0, conçu pour être utilisé avec des notebooks spécifiques ou des définitions de travaux Spark, ce qui permet de remplacer le paramètre par défaut de l’espace de travail.

Activer Runtime 2.0 dans les paramètres de l’espace de travail

Pour définir Runtime 2.0 comme valeur par défaut pour l’ensemble de votre espace de travail :

  1. Accédez à la page paramètres de l’espace de travail dans votre espace de travail Fabric.

    Capture d’écran montrant où sélectionner la version du runtime pour les paramètres de l’espace de travail.

  2. Sélectionnez l’onglet Ingénierie/Science des données , puis sélectionnez Paramètres Spark.

  3. Sélectionnez l’onglet Environnement.

  4. Dans la liste déroulante Version du runtime, sélectionnez 2.0 Aperçu public (Spark 4.0, Delta 4.0) et enregistrez vos modifications.

  5. Le runtime 2.0 est défini comme runtime par défaut pour votre espace de travail.

Activer Runtime 2.0 dans un élément d’environnement

Pour utiliser Runtime 2.0 avec des notebooks spécifiques ou des définitions de tâches Spark :

  1. Créez un élément d’environnement ou ouvrez-en un existant.

  2. Dans la liste déroulante Runtime, sélectionnez 2.0 Préversion publique (Spark 4.0, Delta 4.0)Save et Publish vos modifications.

    Capture d’écran montrant où sélectionner la version du runtime pour l’élément Environnement.

  3. Ensuite, vous pouvez utiliser cet élément d’environnement avec votre Notebook ou Spark Job Definition.

Vous pouvez maintenant commencer à expérimenter les dernières améliorations et fonctionnalités introduites dans Fabric Runtime 2.0 (Spark 4.0 et Delta Lake 4.0).

Note

Le protocole WASB pour les comptes de stockage Azure à usage général v2 (GPv2) est déconseillé. Vous devez utiliser le dernier protocole ABFS à la place pour lire et écrire dans des comptes de stockage GPv2.

Aperçu public

La phase de préversion publique fabric Runtime 2.0 vous donne accès à de nouvelles fonctionnalités et API à partir de Spark 4.0 et Delta Lake 4.0. La préversion vous permet d’utiliser immédiatement les dernières améliorations basées sur Spark et Delta, et assure une préparation et une transition fluides pour des optimisations telles que les versions plus récentes de Java, Scala et Python.

Conseil / Astuce

Pour obtenir des informations à jour, une liste détaillée des modifications et des notes de publication spécifiques pour les Fabric runtimes, consultez et abonnez-vous aux versions et mises à jour de Spark Runtimes.

Points clés

Apache Spark 4.0

Apache Spark 4.0 marque une étape importante comme la version inaugurale de la série 4.x, qui incarne l’effort collectif de la communauté open source dynamique.

Dans cette version, Spark SQL est considérablement enrichi avec de puissantes nouvelles fonctionnalités conçues pour améliorer l’expressivité et la polyvalence des charges de travail SQL, telles que la prise en charge des types de données VARIANT, les fonctions définies par l’utilisateur SQL, les variables de session, la syntaxe de canal et le classement de chaîne. PySpark voit un dévouement continu tant à l'égard de son étendue fonctionnelle qu'à l'expérience globale des développeurs, en apportant une API de traçage, une nouvelle API de source de données Python, une prise en charge des fonctions définies par l'utilisateur (UDTF) Python et un profilage unifié pour les fonctions définies par l'utilisateur (UDF) PySpark, ainsi que de nombreuses autres améliorations. Structured Streaming évolue avec des ajouts clés qui offrent un meilleur contrôle et une facilité de débogage, notamment l’introduction de l’API d’état arbitraire v2 pour une gestion d’état plus flexible et la source de données d’état pour faciliter le débogage.

Vous pouvez consulter la liste complète et les changements précis ici : https://spark.apache.org/releases/spark-release-4-0-0.html.

Note

Dans Spark 4.0, SparkR est déconseillé et peut être supprimé dans une version ultérieure.

Delta Lake 4.0

Delta Lake 4.0 marque un engagement collectif à rendre Delta Lake interopérable entre les formats, plus facile à utiliser et plus performant. Delta 4.0 est une version majeure avec de puissantes nouvelles fonctionnalités, des optimisations de performance et des améliorations fondamentales pour l'avenir des open data lakehouses.

Vous pouvez consulter la liste complète et les modifications détaillées introduites avec Delta Lake 3.3 et 4.0 ici : https://github.com/delta-io/delta/releases/tag/v3.3.0. https://github.com/delta-io/delta/releases/tag/v4.0.0.

Important

Les fonctionnalités spécifiques de Delta Lake 4.0 sont expérimentales et fonctionnent uniquement sur des expériences Spark, telles que notebooks et définitions de travaux Spark. Si vous devez utiliser les mêmes tables Delta Lake sur plusieurs charges de travail Microsoft Fabric, n’activez pas ces fonctionnalités. Pour en savoir plus sur les versions et fonctionnalités de protocole compatibles dans toutes les expériences Microsoft Fabric, lisez l’interopérabilité du format de table Delta Lake.

Contenu connexe

  • Last updated on