Partager via

Mise en file d’attente des travaux dans Apache Spark pour Microsoft Fabric

  • Article

S’applique à : l’engineering et la science des données dans Microsoft Fabric

Microsoft Fabric prend en charge la mise en file d’attente des travaux en arrière-plan lorsque vous avez atteint vos limites de calcul Spark pour votre capacité Fabric. Le système de mise en file d’attente des travaux permet de réessayer automatiquement les travaux qui sont ajoutés à la file d’attente jusqu’à ce qu’ils atteignent le délai d’expiration de la file d’attente. Lorsque les utilisateurs créent une capacité Microsoft Fabric sur Azure, ils choisissent une taille de capacité en fonction de la taille de leur charge de travail d’analyse. Une fois la capacité achetée, les administrateurs peuvent créer des espaces de travail dans la capacité dans Microsoft Fabric. Les travaux Spark qui s’exécutent dans ces espaces de travail peuvent utiliser jusqu’au nombre maximum de cœurs alloués pour une capacité donnée, et une fois la limite maximale atteinte, les travaux sont soit limités, soit mis en file d’attente.

En savoir plus sur les limites de simultanéité de Spark dans Microsoft Fabric

La mise en file d’attente de travaux est prise en charge pour les travaux Notebook déclenchés par des pipelines ou par le biais du planificateur, ainsi que pour les définitions de travaux Spark. La mise en file d'attente n'est pas prise en charge pour les projets de notebook interactifs et les projets de notebook déclenchés par le biais de l'API publique de notebook.

La file d’attente fonctionne selon le mode FIFO (First-In-First-Out), dans lequel les travaux sont ajoutés à la file d’attente en fonction de l’heure de leur soumission et qu’ils sont constamment réessayés et commencent à s’exécuter lorsque la capacité est libérée.

Remarque

La mise en file d'attente des projets Spark n'est pas prise en charge lorsque votre capacité Fabric est dans son état limité. Tous les nouveaux projets envoyés seront rejetés.

Illustration animée du processus de mise en file d’attente des travaux dans Microsoft Fabric.

Une fois qu’un travail est ajouté à la file d’attente, son état est mis à jour sur Non démarré dans le hub de surveillance. Lorsque les blocs-notes et les définitions de travaux Spark sont sélectionnés dans la file d’attente et commencent à s’exécuter, leur état est mis à jour de Non démarré à En cours.

Remarque

Le délai d’expiration de la file d’attente est de 24 heures pour tous les travaux à partir du moment où ils ont été admis dans la file d’attente. Une fois que le délai d’expiration est atteint, les travaux doivent être soumis à nouveau.

Tailles de file d’attente

Fabric Spark applique des tailles de file d’attente en fonction de la taille de SKU de capacité attachée à un espace de travail, fournissant un mécanisme de limitation et de mise en file d’attente dans lequel les utilisateurs peuvent soumettre des travaux en fonction des SKU de capacité Fabric achetés.

La section suivante répertorie diverses tailles de file d’attente pour les charges de travail Spark en fonction des SKU de capacité Microsoft Fabric :

Capacité SKU de Fabric Référence SKU Power BI équivalente Limite de la file d'attente
F2 - 4
F4 - 4
F8 - 8
F16 - 16
F32 - 32
F64 P1 64
F128 P2 128
F256 P3 256
F512 P4 512
F1024 - 1 024
F2048 - 2 048
Capacité d'essai P1 NA

Remarque

La mise en file d’attente n’est pas prise en charge pour les capacités d’essai Fabric. Les utilisateurs doivent passer à un SKU Fabric F ou P payant pour utiliser la mise en file d’attente pour les travaux Spark.

Une fois la limite maximale de file d'attente atteinte pour une capacité Fabric, les nouveaux projets envoyés sont limités par un message d'erreur [TooManyRequestsForCapacity] Ce projet Spark ne peut pas être exécuté, car vous avez atteint une limite de débit de calcul Spark ou d'API. Pour exécuter ce projet Spark, annulez un projet Spark actif via le hub de surveillance, choisissez une SKU de capacité plus grande ou réessayez ultérieurement. Code d'état HTTP: 430 {En savoir plus} Code d'état HTTP: 430.

Contenu connexe