Paramètres de configuration du calcul Spark dans les environnements Fabric

Les expériences d’engineering et de science des données de Microsoft Fabric fonctionnent sur une plateforme de calcul Spark complètement managée. Cette plateforme est conçue pour offrir une vitesse et une efficacité inégalées. Il inclut des pools de démarrage et des pools personnalisés.

Un environnement Fabric contient une collection de configurations, y compris les propriétés du calcul Spark, qui permettent aux utilisateurs de configurer la session Spark une fois attachée aux notebooks et aux travaux Spark. Un environnement vous offre un moyen flexible de personnaliser les configurations du calcul pour l’exécution de vos travaux Spark. Dans un environnement, la section de calcul vous permet de configurer les propriétés de la session Spark afin de personnaliser la mémoire et les cœurs des exécuteurs en fonction des exigences de charge de travail.

Les administrateurs d’espace de travail peuvent activer ou désactiver les personnalisations du calcul en utilisant le commutateur Personnaliser les configurations du calcul pour les éléments, qui est disponible dans l’onglet Pool de la section Engineering données/Science des données de la page Paramètres de l’espace de travail.

Les administrateurs d’espace de travail peuvent déléguer aux membres et aux contributeurs la modification des configurations du calcul au niveau de la session par défaut dans l’environnement Fabric en activant ce paramètre.

Si l’administrateur de l’espace de travail désactive cette option dans les paramètres de l’espace de travail, la section de calcul de l’environnement est désactivée, et les configurations du calcul du pool par défaut pour l’espace de travail sont utilisées pour exécuter les travaux Spark.

Personnalisation des propriétés de calcul au niveau de la session dans un environnement

En tant qu’utilisateur, vous pouvez sélectionner un pool pour l’environnement, dans la liste des pools disponibles dans l’espace de travail Fabric. L’administrateur de l’espace de travail Fabric crée le pool de démarrage par défaut et les pools personnalisés.

Après avoir sélectionné un pool dans la section Calcul, vous pouvez ajuster les cœurs et la mémoire des exécuteurs dans les limites de taille et de nombre de nœuds du pool sélectionné.

Par exemple : vous sélectionnez un pool personnalisé avec une taille de nœud de grande taille, qui correspond à 16 cœurs virtuels Spark, en tant que pool d’environnements. Vous pouvez ensuite définir le cœur du pilote/exécuteur sur 4, 8 ou 16, en fonction de vos besoins de niveau de travail. Pour la mémoire allouée au pilote et aux exécuteurs, vous pouvez choisir 28 g, 56 g ou 112 g, qui se trouvent toutes dans les limites de mémoire des nœuds de grande taille.

Pour plus d’informations sur les tailles de calcul Spark et leurs options de cœurs ou de mémoire, consultez Qu’est-ce que le calcul Spark dans Microsoft Fabric ?.

Contenu connexe

• Créer, configurer et utiliser un environnement dans Microsoft Fabric.