Paramètres et variables de pipeline dans Azure Data Factory et Azure Synapse Analytics
S’APPLIQUE À : Azure Data Factory
Azure Synapse Analytics
Conseil
Essayez Data Factory dans Microsoft Fabric, une solution d’analyse tout-en-un pour les entreprises. Microsoft Fabric couvre tous les aspects, du déplacement des données à la science des données, en passant par l’analyse en temps réel, l’aide à la décision et la création de rapports. Découvrez comment démarrer un nouvel essai gratuitement !
Cet article vous aide à comprendre la différence entre les paramètres de pipeline et les variables dans Azure Data Factory et Azure Synapse Analytics et comment les utiliser pour contrôler le comportement de votre pipeline.
Les paramètres sont définis au niveau du pipeline et ne peuvent pas être modifiés pendant l’exécution d’un pipeline. Les paramètres de pipeline peuvent être utilisés pour contrôler le comportement d’un pipeline et de ses activités, par exemple en transmettant les détails de connexion d’un jeu de données ou le chemin d’accès d’un fichier à traiter.
Pour définir un paramètre de pipeline, procédez comme suit :
- Cliquez sur votre pipeline pour afficher ses onglets de configuration.
- Sélectionnez l’onglet « Paramètres », puis cliquez sur le bouton « + Nouveau » pour définir un nouveau paramètre.
- Saisissez un nom et une description pour le paramètre, puis sélectionnez son type de données dans le menu déroulant. Les données peuvent être de type String, Int, Float, Bool, Array, Object ou SecureString.
- Si vous le souhaitez, vous pouvez également attribuer une valeur par défaut au paramètre.
Après avoir défini un paramètre de pipeline, vous pouvez accéder à sa valeur pendant l’exécution d’un pipeline à l’aide de l’@pipeline().parameters.<parameter name>
expression dans une activité de pipeline. Par exemple, si vous avez défini un paramètre appelé account_name de type String, vous pouvez accéder à sa valeur dans une activité à l’aide de l’expression @pipeline().parameters.account_name
.
Avant chaque exécution de pipeline, vous pouvez attribuer une nouvelle valeur à votre paramètre dans le panneau droit. Autrement, le pipeline prend la valeur par défaut ou la valeur précédemment définie.
Les variables de pipeline sont des valeurs qui peuvent être définies et modifiées pendant l’exécution d’un pipeline. Contrairement aux paramètres de pipeline, qui sont définis au niveau du pipeline et ne peuvent pas être modifiés pendant l’exécution d’un pipeline, les variables de pipeline peuvent être définies et modifiées dans un pipeline à l’aide d’une activité Définir une variable.
Les variables de pipeline peuvent être utilisées pour stocker et manipuler des données pendant l’exécution d’un pipeline, par exemple en stockant les résultats d’un calcul ou l’état actuel d’un processus.
Notes
Les variables sont actuellement délimitées au niveau du pipeline. Cela signifie qu’elles ne sont pas thread-safe et peuvent entraîner un comportement inattendu et indésirable si elles sont accessibles à partir d’une activité d’itération parallèle comme une boucle foreach, en particulier lorsque la valeur est également modifiée au sein de cette activité foreach.
Pour définir une variable de pipeline, procédez comme suit :
Cliquez sur votre pipeline pour afficher ses onglets de configuration.
Sélectionnez l’onglet « Variables », puis cliquez sur le bouton « + Nouveau » pour définir une nouvelle variable.
Saisissez un nom et une description pour la variable, puis sélectionnez son type de données dans le menu déroulant. Les données peuvent être de type String, Bool ou Array.
Si vous le souhaitez, vous pouvez également attribuer une valeur par défaut à la variable. Cette valeur sera utilisée comme valeur initiale de la variable au début d’une exécution de pipeline.
Après avoir défini une variable de pipeline, vous pouvez accéder à sa valeur pendant l’exécution d’un pipeline à l’aide de l’expression @variables('<variable name>')
dans une activité de pipeline. Par exemple, si vous avez défini une variable appelée indicateur de type Array, vous pouvez accéder à sa valeur dans une activité à l’aide de l’expression @variables('flag')
. Vous pouvez également utiliser une activité « Définir une variable » pour modifier la valeur de la variable dans un pipeline.
Consultez les didacticiels suivants pour obtenir des instructions pas à pas de création de pipelines avec des activités :
- Créer un pipeline avec une activité de copie
- Créer un pipeline avec une activité de transformation des données
Comment parvenir à l’intégration continue et la livraison continue (CI/CD) à l’aide d’Azure Data Factory