Admission de projet dans Microsoft Fabric Spark

S’applique à : l’engineering et la science des données dans Microsoft Fabric

Fabric Spark utilise la technique d’admission des travaux optimiste pour déterminer la configuration minimale requise pour les travaux Spark. Ce processus s’applique aux travaux interactifs ou par lots à partir de notebooks, de lakehouses ou de définitions de travaux Spark. Il s’appuie sur le paramètre de nœud minimal du pool Spark choisi dans les paramètres de l’espace de travail ou l’environnement attaché. Si des cœurs disponibles sont trouvés dans la capacité Fabric liée à l’espace de travail, le travail est accepté et l’exécution commence. Les travaux se lancent avec leur paramètre de nœud minimal et peuvent effectuer un scale-up dans leurs limites de nœud maximales en fonction des phases de travail. Si le nombre total de cœurs utilisés par l’exécution de travaux utilisant la capacité Fabric est inférieur au nombre maximal de cœurs de rafale attribués, l’admission des travaux et la couche de limitation sur Fabric Spark permettent au travail d’effectuer un scale-up.

Pour plus d'informations, consultez Limites de simultanéité et mise en file d'attente dans Microsoft Fabric Spark.

Comment fonctionne l'admission optimiste de projet ?

Dans Fabric, les pools de démarrage sont fournis avec un minimum d’un nœud par défaut, tandis que les pools personnalisés vous permettent de définir un nombre minimal de nœuds en fonction des besoins de la charge de travail. La mise à l’échelle automatique ajuste les exigences de calcul pour les travaux Spark pendant les phases d’exécution, dans les nœuds minimum et maximal configurés. L’admission d’un travail optimiste évalue les soumissions de travaux en fonction des cœurs disponibles et les exécute avec des cœurs minimum. Les travaux tentent de croître en fonction du nombre maximal de nœuds alloués pendant l’exécution. Les demandes de montée en puissance sont approuvées si le nombre total de cœurs Spark utilisés se trouve dans des limites de capacité allouées.

Remarque

Si l’utilisation atteint la limite maximale et que tous les cœurs de la capacité totale de Fabric sont en cours d’utilisation, toutes les demandes de scale-up sont refusées. Les travaux actifs doivent être terminés ou annulés pour libérer des cœurs.

Comment cela affecte-t-il la concurrence des travaux ?

L'exigence minimale de base pour chaque projet détermine si le projeti peut être accepté. Si la capacité est entièrement utilisée et qu’il ne reste aucun cœur pour répondre aux besoins minimaux d’un travail, le travail est rejeté. Les projets de Notebook interactifs ou les opérations de Lakehouse seront bloqués et afficheront l'erreur impossible de soumettre cette demande, car toute la capacité disponible est actuellement utilisée. Annulez un projet en cours, augmentez votre capacité disponible ou réessayez plus tard. Les travaux batch sont mis en file d’attente et exécutés une fois les cœurs disponibles.

Par exemple, envisagez un scénario avec un utilisateur utilisant la référence SKU de capacité Fabric F32. En supposant que tous les travaux utilisent la configuration par défaut du pool de démarrage sans admission optimiste des travaux, la capacité supporterait une concurrence maximale de trois travaux. Le nombre maximal de cœurs par travail est alloué en fonction de la configuration maximale des nœuds.

Avec l’admission de travaux optimiste avec la même capacité que ci-dessus, 24 travaux peuvent être admis et exécutés à l’aide de leur configuration de nœud minimale pendant le scénario d’accès concurrentiel maximal. Étant donné que chaque travail nécessite 8 VCores Spark où une configuration de nœud minimale est de taille moyenne.

Mettre à l’échelle des travaux avec la mise à l’échelle automatique Spark

Lorsque vous activez la mise à l’échelle automatique pour les pools Spark, les travaux exuecutent avec leur configuration de nœud minimale. Pendant l’exécution, la mise à l’échelle peut se produire. Ces demandes passent par le contrôle d’admission du travail. Les demandes approuvées sont mises à l’échelle jusqu’aux limites maximales en fonction du nombre total de cœurs disponibles. Les demandes rejetées n’affectent pas les travaux actifs ; ils continuent à s’exécuter avec leur configuration actuelle jusqu’à ce que les cœurs soient disponibles.

Remarque

Pour garantir l’allocation maximale de cœurs pour un travail en fonction de sa configuration maximale de nœuds, désactivez la mise à l’échelle automatique et définissez les nœuds maximal au sein de la référence SKU de capacité fabric. Dans ce cas, étant donné que le travail n’a pas de configuration minimale requise pour les cœurs, il commence à s’exécuter une fois que les cœurs gratuits sont disponibles, avec un scale-up jusqu’au total configuré. Si la capacité est entièrement utilisée, les travaux interactifs de notebook peuvent ralentir ou mettre en file d’attente. Les travaux en attente sont automatiquement relancés au fur et à mesure de la disponibilité des cœurs.

Contenu connexe

• Prise en main des paramètres d’administration de l’espace de travail Spark dans Microsoft Fabric.
• Découvrez les expériences d’engineering et de science des données de Spark compute pour Fabric.
• Plus de détails sur les Limites de concurrence et de mise en file d'attente pour Fabric Spark