Paramètres et variables de pipeline dans Azure Data Factory et Azure Synapse Analytics

S'APPLIQUE À : Azure Data Factory Azure Synapse Analytics

Tip

Data Factory dans Microsoft Fabric est la prochaine génération de Azure Data Factory, avec une architecture plus simple, une IA intégrée et de nouvelles fonctionnalités. Si vous débutez avec l'intégration des données, commencez par Fabric Data Factory. Les charges de travail ADF existantes peuvent être mises à niveau vers Fabric pour accéder à de nouvelles fonctionnalités dans la science des données, l’analytique en temps réel et la création de rapports.

• Démarrez un essai gratuit Fabric.
• Upgrader de Azure Data Factory à Data Factory dans Microsoft Fabric

Cet article vous aide à comprendre la différence entre les paramètres de pipeline et les variables dans Azure Data Factory et Azure Synapse Analytics et comment les utiliser pour contrôler le comportement de votre pipeline.

Paramètres de pipeline

Les paramètres sont définis au niveau du pipeline et ne peuvent pas être modifiés pendant une exécution de pipeline. Les paramètres de pipeline peuvent être utilisés pour contrôler le comportement d’un pipeline et de ses activités, par exemple en transmettant les détails de connexion d’un jeu de données ou le chemin d’accès d’un fichier à traiter.

Guide pratique pour définir un paramètre de pipeline

Pour définir un paramètre de pipeline, procédez comme suit :

• Sélectionnez votre pipeline pour afficher ses onglets de configuration.
• Sélectionnez l’onglet « Paramètres », puis sélectionnez le bouton « + Nouveau » pour définir un nouveau paramètre.
• Saisissez un nom et une description pour le paramètre, puis sélectionnez son type de données dans le menu déroulant. Les données peuvent être de type String, Int, Float, Bool, Array, Object ou SecureString.
• Si vous le souhaitez, vous pouvez également attribuer une valeur par défaut au paramètre.

Après avoir défini un paramètre de pipeline, vous pouvez accéder à sa valeur pendant l’exécution d’un pipeline à l’aide de l’@pipeline().parameters.<parameter name>expression dans une activité de pipeline. Par exemple, si vous avez défini un paramètre appelé account_name de type String, vous pouvez accéder à sa valeur dans une activité à l’aide de l’expression @pipeline().parameters.account_name.

Avant l’exécution de chaque pipeline, vous pouvez affecter une nouvelle valeur à votre paramètre dans le volet droit, sinon le pipeline utilise la valeur par défaut ou la valeur précédemment définie.

Variables de pipeline

Les variables de pipeline sont des valeurs qui peuvent être définies et modifiées pendant l’exécution d’un pipeline. Contrairement aux paramètres de pipeline, définis au niveau du pipeline et qui ne peuvent pas être modifiés lors d’une exécution de pipeline, les variables de pipeline peuvent être définies et modifiées dans un pipeline à l’aide d’une activité Définir une variable .

Les variables de pipeline peuvent être utilisées pour stocker et manipuler des données pendant l’exécution d’un pipeline, par exemple en stockant les résultats d’un calcul ou l’état actuel d’un processus.

Note

Les variables sont actuellement délimitées au niveau du pipeline. Cela signifie qu’ils ne sont pas thread-safe et peuvent provoquer un comportement inattendu et non souhaité s’ils sont accessibles à partir d’une activité d’itération parallèle telle qu’une boucle foreach, en particulier lorsque la valeur est également modifiée dans cette activité foreach.

Pour définir une variable de pipeline, procédez comme suit :

• Sélectionnez votre pipeline pour afficher ses onglets de configuration.

• Sélectionnez l’onglet « Variables », puis sélectionnez le bouton « + Nouveau » pour définir une nouvelle variable.

• Saisissez un nom et une description pour la variable, puis sélectionnez son type de données dans le menu déroulant. Les données peuvent être de type String, Bool ou Array.

• Si vous le souhaitez, vous pouvez également attribuer une valeur par défaut à la variable. Cette valeur sera utilisée comme valeur initiale de la variable au début d’une exécution de pipeline.

Après avoir défini une variable de pipeline, vous pouvez accéder à sa valeur pendant l’exécution d’un pipeline à l’aide de l’expression @variables('<variable name>') dans une activité de pipeline. Par exemple, si vous avez défini une variable appelée indicateur de type Array, vous pouvez accéder à sa valeur dans une activité à l’aide de l’expression @variables('flag'). Vous pouvez également utiliser une activité « Définir une variable » pour modifier la valeur de la variable dans un pipeline.

Contenu connexe

Consultez les didacticiels suivants pour obtenir des instructions pas à pas de création de pipelines avec des activités :

• Créer un pipeline avec une activité de copie
• Créer un pipeline avec une activité de transformation des données

Comment obtenir CI/CD (intégration continue et livraison continue) avec Azure Data Factory

• Intégration et livraison continues dans Azure Data Factory