Utilisation des paramètres dans Lakeflow Designer

Les paramètres sont des valeurs nommées définies pour la préparation des données visuelles dans son ensemble. Vous pouvez référencer des paramètres dans le code opérateur SQL et Python, dans les champs de configuration opérateur pris en charge, et dans les expressions qui activent ou désactivent les opérateurs. Les paramètres permettent d’exécuter la même préparation visuelle des données sur différents environnements, par exemple un catalogue de test pendant le développement et un catalogue de production en production.

Définir les paramètres

Pour gérer les paramètres, sélectionnez Paramètres dans le panneau de gauche. Chaque paramètre a une valeur que vous définissez lorsque vous la définissez. Lorsque la préparation visuelle des données s’exécute selon une planification ou en tant que tâche, vous pouvez redéfinir cette valeur. Voir les valeurs des paramètres de remplacement en production.

Référencer un paramètre à partir d’un opérateur

La façon dont vous faites référence à un paramètre dépend de l’endroit où vous l’utilisez :

  • Opérateur SQL : Utilisez la syntaxe de marqueur de paramètre nommée, par exemple :environment. Consultez Utiliser des marqueurs de paramètres nommés.
  • Opérateur Python : Appelez dbutils.widgets.get(), comme dbutils.widgets.get("environment"). Consultez l’outil Widgets (dbutils.widgets).
  • Champs de configuration opérateur pris en charge : Dans le panneau de configuration de l’opérateur, sélectionnez Paramètres en haut à droite. Sélectionnez un champ et entrez une expression telle que :source_table. Les champs pris en charge incluent :
    • Source : Tableau, chemin de fichier et format de fichier.
    • Sortie : Catalogue, Schéma, Tableau, Vue, Volume, Nom du fichier et mode Écriture.
    • Limite : Limite.
    • Combiner : opération d’ensemble, stratégie de fusion, union par nom et autoriser les colonnes absentes.

Lorsque vous ouvrez un opérateur SQL ou Python pour modification, Lakeflow Designer montre un exemple de référence des paramètres disponibles au-dessus de l’éditeur source.

Combiner les paramètres avec du texte fixe

Dans une expression de paramètre pour un opérateur Source ou Output, utilisez :parameter_name pour remplacer une valeur entière. Pour combiner des paramètres avec un texte fixe, encadrez le texte entre guillemets simples et utilisez ||. Par exemple, l’expression suivante de la Table Source construit un nom de table entièrement qualifié :

:catalog || '.' || :schema || '.' || :table

Activer ou désactiver un opérateur à l’aide d’un paramètre

Vous pouvez utiliser un paramètre pour activer ou désactiver n’importe quel opérateur configuré. Dans son panneau Paramètres , sélectionnez Désactivé et entrez une expression booléenne. Par exemple, :skip_operator désactive l’opérateur lorsque le paramètre est true. Un opérateur désactivé ne produit aucune ligne de sortie.

Pour activer ou désactiver manuellement un opérateur à la place, consultez Renommer, copier, supprimer et désactiver les opérateurs.

Remplacer les valeurs des paramètres en production

À l’exécution, une préparation visuelle des données lit ses paramètres de la même manière, qu’elle s’exécute en mode interactif ou en tant que tâche, donc le même fichier fonctionne dans tous vos environnements sans modifications. Fournissez des valeurs différentes pour chaque environnement comme suit :

  • Lorsque vous planifiez un travail dans l’interface utilisateur : remplacez les valeurs des paramètres pour chaque planification. Par exemple, programmez la même préparation de données visuelles pour s’exécuter chaque jour à midi avec un environment paramètre réglé à test, puis à nouveau à 14h avec environment fixé à production. Consultez Planifier en tant que travail.
  • Lorsque vous effectuez un déploiement à l’aide d’un bundle : définissez les valeurs des paramètres via le parameters du job et utilisez les cibles du bundle pour fournir des valeurs différentes selon l’environnement. Les cibles de développement et de production groupées vous permettent de déployer le même travail dans des environnements distincts avec des paramètres spécifiques à l’environnement. Consultez les modes de déploiement des bundles Automation déclaratifs et la configuration des bundles Automation déclaratifs.

Ressources supplémentaires

  • Dernière mise à jour :