Mode de concurrence élevée dans Apache Spark for Fabric

Le mode de concurrence élevée permet aux utilisateurs de partager les mêmes sessions Spark dans Spark for Fabric pour l’ingénierie des données et les charges de travail de science des données. Un élément comme le notebook utilise une session Spark standard pour son exécution. En mode de concurrence élevée, la session Spark peut prendre en charge l’exécution indépendante de plusieurs éléments au sein de cœurs REPL (read-eval-print loop) individuels qui existent dans l’application Spark. Ces cœurs REPL fournissent une isolation pour chaque élément et empêchent les variables de notebook locales d’être remplacées par des variables portant le même nom que d’autres notebook partageant la même session.

Comme la session est déjà en cours d’exécution, cela fournit aux utilisateurs une expérience d’exécution instantanée lors de la réutilisation de la session sur plusieurs notebooks.

Remarque

Dans le cas de pools personnalisés avec un mode de concurrence élevé, les utilisateurs bénéficient d’une expérience de démarrage de session 36 fois plus rapide par rapport à une session Spark standard.

Important

Les conditions de partage de session sont les suivantes :

• Les sessions doivent se trouver dans une limite d’utilisateur unique.
• Les sessions doivent avoir la même configuration de lakehouse par défaut.
• Les sessions doivent avoir les mêmes propriétés de calcul Spark.

Dans le cadre de l’initialisation de session Spark, un cœur REPL est créé. Chaque fois qu’un nouvel élément commence à partager la même session, les exécuteurs sont alloués de manière équitable à ces notebooks s’exécutant dans ces cœurs REPL à l’intérieur de l’application Spark, ce qui empêche les scénarios d’insuffisance.

Contenu connexe

• Pour commencer à utiliser le mode de concurrence élevée dans les notebooks, consultez Configurer le mode de concurrence élevée pour les notebooks Fabric.