Limites de concurrence et mise en file d’attente dans Microsoft Fabric Spark

  • Article

S’applique à : Ingénieurs de données et Science des données dans Microsoft Fabric

Microsoft Fabric permet l’allocation d’unités de calcul via la capacité, qui est un ensemble dédié de ressources disponibles à un moment donné pour être utilisées. La capacité définit la possibilité d’une ressource à effectuer une activité ou à produire une sortie. Différents éléments consomment une capacité différente à un moment donné. Microsoft Fabric offre une capacité via les références SKU et les versions d’évaluation de Fabric. Pour plus d’informations, consultez Qu’est-ce que la capacité ?

Important

Microsoft Fabric est actuellement en préversion. Certaines informations portent sur un produit en préversion susceptible d’être substantiellement modifié avant sa publication. Microsoft ne donne aucune garantie, expresse ou implicite, concernant les informations fournies ici.

Lorsque les utilisateurs créent une capacité Microsoft Fabric sur Azure, ils peuvent choisir une taille de capacité en fonction de la taille de leur charge de travail analytique. Dans Spark, les utilisateurs obtiennent deux VCores Spark pour chaque unité de capacité qu’ils sont réservés dans le cadre de leur référence SKU.

Une unité de capacité = deux VCores Spark

Une fois la capacité achetée, les administrateurs peuvent créer des espaces de travail dans la capacité dans Microsoft Fabric. Les VCores Spark associés à la capacité sont partagés entre tous les éléments spark tels que les notebooks, les définitions de travail Spark et le lakehouse créé dans ces espaces de travail.

Limitation et mise en file d’attente de concurrence

La section suivante répertorie différentes limites numériques pour les charges de travail Spark basées sur les références SKU de capacité Microsoft Fabric :

Capacité SKU Référence SKU Power BI équivalente Unités de capacité VCores Spark équivalents Nombre maximal de travaux simultanés Limite de file d’attente
F2 - 2 4 1 4
F4 - 4 8 1 4
F8 - 8 16 2 8
F16 - 16 32 5 20
F32 - 32 64 10 40
F64 P1 64 128 20 80
Version d’évaluation de Fabric P1 64 128 5 -
F128 P2 128 256 40 160
F256 P3 256 512 80 320
F512 P4 512 1 024 160 640

Le mécanisme de mise en file d’attente est une file d’attente simple basée sur FIFO, qui vérifie les emplacements de travail disponibles et les réessaye automatiquement une fois que la capacité est devenue disponible. Comme il existe différents éléments comme les notebooks, la définition de travail Spark et lakehouse que les utilisateurs peuvent utiliser dans n’importe quel espace de travail. Comme l’utilisation varie d’une équipe d’entreprise à l’autre, les utilisateurs peuvent se trouver dans des scénarios de famine où il n’y a de dépendance que sur le type d’élément, tel qu’une définition de travail Spark. Cette situation peut entraîner le partage par les utilisateurs de la capacité de l’exécution d’un travail basé sur un bloc-notes ou d’une opération basée sur lakehouse, telle que la charge dans une table.

Pour éviter ces scénarios de blocage, Microsoft Fabric applique une limitation basée sur la réserve dynamique pour les travaux de ces éléments. Les travaux basés sur des notebooks et des lakehouses, plus interactifs et en temps réel, sont classés comme interactifs. Tandis que la définition du travail Spark est classée comme lot. Dans le cadre de cette réserve dynamique, les limites de réserve minimale et maximale sont conservées pour ces types de travaux. Les réserves sont principalement destinées à traiter les cas d’usage où une équipe d’entreprise peut faire face à des scénarios d’utilisation de pointe dont la capacité entière est consommée par lots. Pendant ces heures de pointe, les utilisateurs ne peuvent pas utiliser des éléments interactifs tels que des notebooks ou lakehouse. Avec cette approche, chaque capacité obtient une réserve minimale de 30 % du total des travaux alloués aux travaux interactifs (5 % pour lakehouse et 25 % pour les notebooks) et une réserve minimale de 10 % pour les travaux par lots.

Type de travail Élément % min. % maximal
Batch Définition d’un travail Spark 10 70
Interactive Min et max interactifs 30 90
Notebook 25 85 %
Lakehouse 5 65

Lorsqu’ils dépassent ces réserves et que la capacité est à son maximum d’utilisation, les travaux interactifs tels que les notebooks et lakehouse sont limités avec le message http response code 430: Impossible d’envoyer cette demande, car toute la capacité disponible est actuellement utilisée. Annulez un travail en cours d’exécution, augmentez votre capacité disponible ou réessayez plus tard.

Une fois la file d’attente activée, les travaux par lots comme les définitions de travaux Spark sont ajoutés à la file d’attente et sont automatiquement retentés lorsque la capacité est libérée.

Notes

Les travaux ont une période d’expiration de file d’attente de 24 heures, après quoi ils sont annulés et les utilisateurs doivent les renvoyer pour l’exécution du travail.

Étapes suivantes