Automatisation des travaux avec des planifications et des déclencheurs

Dans Les travaux Lakeflow, il est possible de configurer des travaux pour qu’ils se déclenchent automatiquement dans l’une des situations suivantes :

• Selon une planification basée sur le temps
• À l’arrivée des fichiers à un emplacement de stockage du catalogue Unity
• Continuellement

Vous pouvez également déclencher des exécutions de travail manuellement ou via des outils d’orchestration externes.

Planifications et déclencheurs de travail

Type de déclencheur	Comportement
Planifié	Déclenche une exécution de travail en fonction d’une planification basée sur le temps. Consultez Exécuter des travaux selon une planification.
Arrivée de fichiers	Déclenche une exécution de travail lorsque de nouveaux fichiers arrivent dans un emplacement de stockage Unity Catalog surveillé. Voir Déclencher des tâches lorsque de nouveaux fichiers arrivent.
Continue	Pour que le travail soit toujours en cours d’exécution, déclenchez une autre exécution de travail chaque fois qu’une exécution du travail se termine ou échoue. Consultez Exécuter des travaux en continu.
Aucun (manuel)	Les exécutions sont déclenchées manuellement à l’aide du bouton Exécuter maintenant ou par programmation à l’aide d’autres outils d’orchestration. Voir Déclencher une seule exécution de travail

Par défaut, une seule exécution d’un travail peut être active à la fois. Toutefois, il est possible d’augmenter cette limite dans les paramètres Avancés. Les exécutions sont ignorées lorsqu’elles dépassent la concurrence maximale configurée pour un travail. Consultez Configurer le nombre maximal d’exécutions simultanées.

Configurer un déclencheur sur une tâche

1. Ouvrez le travail sur lequel vous souhaitez configurer un déclencheur.
2. Dans le volet Détails du travail , faites défiler jusqu’à la section Planifications et déclencheurs , puis cliquez sur Ajouter un déclencheur.
3. Dans Planifications & Déclencheurs, sélectionnez le type de déclencheur que vous souhaitez configurer : Planifié, Arrivée du fichier ou Continu.
4. Pour un déclencheur d’arrivée de fichier, sélectionnez Arrivée du fichier et entrez le chemin d’accès à l’emplacement de stockage. Si vous le souhaitez, vous pouvez définir un délai minimal entre les déclencheurs ou un délai entre l’arrivée du fichier et le déclencheur qui démarre le travail. Par défaut, il existe une durée minimale de 60 secondes entre les déclencheurs.
5. Cliquez sur Enregistrer. Une fois que vous avez enregistré votre déclencheur, votre travail démarre uniquement lorsqu’un nouveau fichier arrive à l’emplacement configuré.

Remarque

Si une ou plusieurs tâches d’un travail multitâche ne réussissent pas, vous pouvez réexécuter le sous-ensemble des tâches qui ont échoué. Consultez la section Réexécuter les tâches ayant échoué et ignorées.

Suspendre et reprendre des déclencheurs de travail

Vous pouvez suspendre et reprendre vos travaux dans le volet Détails du travail sous Planifications et Déclencheurs. Les boutons Pause et Reprise s’affichent uniquement pour les travaux qui ont un déclencheur configuré.

Pour suspendre un déclencheur de travail actif, cliquez sur Suspendre. Lorsque vous suspendez un déclencheur, toutes les exécutions actives actuelles continuent, mais le déclencheur ne démarre plus de nouvelles exécutions.

Pour reprendre le déclencheur, cliquez sur Reprendre. Lorsque vous reprenez un déclencheur, le comportement configuré reprend selon la même planification précédemment configurée.

Lors de la création ou de la modification d’un déclencheur, vous pouvez également contrôler ces paramètres dans la boîte de dialogue Planifications et déclencheurs. Basculez entre Actif et En pause pour contrôler le statut du déclencheur.

Remarque

Si une exécution est active lorsqu’un déclencheur continu est repris, le planificateur de travaux attend que cette exécution soit terminée pour déclencher une nouvelle exécution.