Paramètres de mise en file d’attente et de concurrence des projets Databricks

Cet article contient des instructions et des recommandations relatives à la configuration des paramètres avancés dans les projets Databricks.

Activer la mise en file d'attente des exécutions de tâches

Remarque

La mise en file d’attente est activée par défaut pour les projets créés via l’IU après le 15 avril 2024.

Pour empêcher les exécutions d’un travail d’être ignorées en raison de limites de concurrence, vous pouvez désormais activer la mise en file d’attente pour le travail. Lorsque la mise en file d’attente est activée, l’exécution est mise en file d’attente jusqu’à 48 heures si les ressources ne sont pas disponibles pour l’exécution d’un projet. Quand la capacité est disponible, l’exécution de travail est annulée de la file d’attente et est exécutée. Les exécutions mises en file d’attente s’affichent dans la liste des exécutions pour le travail et la liste des exécutions du travail récent.

Une exécution est mise en file d’attente lorsque l’une des limites est atteinte :

• Exécutions actives simultanées maximales dans l’espace de travail.
• Exécutions de tâche simultanées maximales Run Job dans l’espace de travail.
• Exécutions simultanées maximales du travail.

La mise en file d’attente est une propriété au niveau du travail dont les files d’attente s’exécutent uniquement pour ce travail.

Pour activer ou désactiver la file d’attente, cliquez sur Paramètres avancés, puis cliquez sur le bouton bascule File d’attente dans le volet latéral Travail.

Configurer le nombre maximal d'exécutions simultanées

Par défaut, le nombre maximal d’exécutions simultanées pour tous les nouveaux projets est de 1.

Cliquez sur Modifier les exécutions simultanées sous Paramètres avancés pour définir le nombre maximum d’exécutions parallèles pour ce projet.

Azure Databricks ignore l’exécution si le travail a déjà atteint son nombre maximal d’exécutions actives lors de la tentative de démarrage d’une nouvelle exécution.

La valeur définie doit être supérieure à 1 pour permettre plusieurs exécutions simultanées d’un même projet. Il est utile de définir cette valeur si, par exemple, vous déclenchez votre projet à intervalles fréquents et que vous souhaitez permettre à des exécutions consécutives de se chevaucher ou de déclencher plusieurs exécutions qui diffèrent par leurs paramètres d'entrée.