Paramétriser des travaux

Les paramètres vous permettent de transmettre des valeurs à un job et à ses tâches, et de faire référence à des valeurs d’une tâche à l’autre. Cet article présente les types de paramètres disponibles dans les travaux Lakeflow et explique comment les configurer dans l’interface utilisateur. Vous devez également mettre à jour les ressources de code source que vous configurez en tant que tâches pour référencer des paramètres. Les références de paramètre varient selon le langage et le type de tâche. Consultez les valeurs des paramètres Access à partir d’une tâche.

Voici des concepts fondamentaux pour comprendre les paramètres des travaux :

• Paramètre de travail : paire clé-valeur définie au niveau du travail et transmise aux tâches. Consultez Configurer les paramètres d’un travail.
• Paramètre de tâche : paire clé-valeur ou tableau JSON défini au niveau de la tâche. Consultez Configurer les paramètres de tâche.
• Références de valeurs dynamiques : syntaxe permettant de référencer des conditions de travail, des métadonnées et des paramètres lors de la configuration des tâches. Consultez les références de valeur dynamique.
• Valeurs de tâche : syntaxe permettant de capturer et de référencer les valeurs générées pendant les exécutions des tâches. Consultez Utiliser les valeurs de tâche pour transmettre des informations entre les tâches.
• Accéder aux valeurs des paramètres dans le code : comment lire les valeurs des paramètres à partir de votre code de tâche, par type de tâche. Consultez les valeurs des paramètres Access à partir d’une tâche.

Ce que vous pouvez faire avec les paramètres

Ajoutez des paramètres aux travaux et aux tâches pour les cas d’usage avancés, notamment les éléments suivants :

• Ajouter une logique extensible aux ressources de code.
• Rendre les exécutions conditionnelles.
• Référencez les paramètres courants entre plusieurs tâches.
• Utiliser les informations générées dans une tâche dans une autre tâche.
• Consulter les métadonnées et les informations d’état dans l’exécution de la tâche.

Paramètres de travail et paramètres de tâche

Les paramètres de travail sont des paires clé-valeur définies au niveau du travail. Vous pouvez remplacer les paramètres par défaut des paramètres de travail lorsque vous exécutez maintenant avec différents paramètres ou déclencher une exécution de travail à l’aide de l’API REST. Les paramètres de travail sont poussés vers les tâches qui utilisent des paramètres clé-valeur. D’autres tâches peuvent référencer des paramètres de travail à l’aide de références de valeurs dynamiques.

Remarque

Tout utilisateur disposant de l’autorisation CAN MANAGE RUN ou d’un niveau supérieur pour une tâche peut remplacer les valeurs des paramètres de la tâche lors d’une exécution manuelle à l’aide de Exécuter maintenant avec d’autres paramètres. Une valeur de paramètre par défaut n’est pas un contrôle de sécurité. Pour empêcher les modifications, limitez les autorisations du travail.

Les paramètres de tâche sont des paires clé-valeur ou des tableaux JSON définis au niveau de la tâche. Chaque type de tâche transmet les valeurs de tâche aux ressources de code configurées différemment. Par exemple, les tâches de notebook utilisent le dbutils.widgets sous-module, tandis que les scripts Python passent des valeurs en tant qu’arguments au script comme s’il était appelé à partir de la ligne de commande. Les tâches en aval peuvent référencer des paramètres de tâche à partir de tâches en amont à l’aide de références de valeurs dynamiques. Consultez les valeurs des paramètres Access à partir d’une tâche.

Remarque

Certaines tâches n’ont pas de champ Paramètres dédiés, mais autorisent les références aux valeurs de tâche ou aux références de valeurs dynamiques dans d’autres champs. Consultez Exemples de commandes dbt paramétrisées et Ajouter une logique de branchement à un travail avec la tâche If/else.

Créer des flux de travail à l’aide de valeurs dynamiques

Les paramètres de tâche définis avec des valeurs statiques ne peuvent être substitués qu’en mettant à jour la définition de la tâche. La définition d’une valeur statique pour un paramètre de travail consiste simplement à configurer une valeur par défaut, que vous pouvez remplacer lorsque vous exécutez maintenant avec différents paramètres ou déclencher une exécution de travail à l’aide de l’API REST.

Utilisez des références de valeurs dynamiques lors de la définition des paramètres de tâche pour implémenter des modèles tels que les suivants :

• Utilisez un paramètre de travail comme output_table pour une tâche et input_table pour une autre.
• Capturez la sortie d’une requête de notebook en tant que liste et itérez sur celle-ci dans une tâche For each.
• Création d’une logique de duplication basée sur le nombre d’enregistrements traités à l’aide d’une tâche de condition If/else.
• Reportez-vous aux paramètres d’autres tâches.

Consultez les références de valeur dynamique.