Ajouter des paramètres aux composants de fabrique de données
Paramétrer les services liés dans Azure Data Factory
Dans Azure Data Factory, il est possible de paramétriser un service lié dans lequel vous pouvez passer des valeurs dynamiques au moment de l’exécution. Parmi les cas d’usage pour ce scénario, citons la connexion à plusieurs bases de données qui se trouvent sur le même serveur SQL, dans lequel vous pouvez envisager de paramétriser le nom de la base de données dans la définition du service lié. L’avantage est que vous n’êtes pas obligé de créer un service lié unique pour chaque base de données qui se trouve sur le même serveur SQL Server.
Il est également possible de paramétriser d’autres propriétés du service lié, comme un nom d’utilisateur.
Si vous décidez de paramétriser les services liés dans Azure Data Factory, vous pouvez le faire dans l’interface utilisateur d’Azure Data Factory, le portail Azure ou une interface de programmation de votre choix.
Si vous choisissez de créer le service lié par le biais de l’interface utilisateur, Data Factory peut vous fournir une paramétrisation intégrée pour certains des connecteurs :
- Amazon Redshift
- Azure Cosmos DB (API SQL)
- Azure Database pour MySQL
- Azure SQL Database
- Azure Synapse Analytics (anciennement SQL DW)
- MySQL
- Oracle
- SQL Server
- HTTP générique
- REST générique
Si vous accédez au panneau création/modification du service lié, vous trouverez les options pour la paramétrisation.
Si vous ne pouvez pas utiliser la paramétrisation intégrée car vous utilisez un autre type de connecteur, vous pouvez modifier le JSON via l’interface utilisateur.
Dans le volet création/modification du service lié, développez Avancé en bas du volet, cochez la case Spécifier le contenu dynamique au format JSON, puis spécifiez la charge utile JSON du service lié.
Ou, après avoir créé un service lié sans paramétrisation, dans le hub Gestion, sélectionnez Services liés, puis recherchez le service lié spécifique. Ensuite, sélectionnez {} (bouton Code) pour modifier le JSON.
Paramètres globaux dans Azure Data Factory
La définition des paramètres globaux dans un pipeline Azure Data Factory vous permet d’utiliser ces constantes pour la consommation dans les expressions de pipeline. Parmi les cas d’utilisation de définition des paramètres globaux, citons par exemple le cas où vous avez plusieurs pipelines pour lesquels les noms et les valeurs des paramètres sont identiques.
Si vous utilisez le processus d’intégration continue et livraison continue (CI/CD) avec Azure Data Factory, les paramètres globaux peuvent être remplacés, si vous le souhaitez, pour chaque environnement que vous avez créé.
Créer des paramètres globaux dans Azure Data Factory
Pour créer un paramètre global, accédez à l’onglet Paramètres globaux de la section Gérer. Sélectionnez Nouveau pour ouvrir le volet du menu latéral de création.
Dans le volet du menu latéral, entrez un nom, sélectionnez un type de données, puis spécifiez la valeur de votre paramètre.
Après avoir créé un paramètre global, vous pouvez le modifier en sélectionnant le nom du paramètre. Pour modifier plusieurs paramètres ensemble, sélectionnez Tout modifier.
Utiliser des paramètres globaux dans un pipeline
Lorsque vous utilisez des paramètres globaux dans un pipeline dans Azure Data Factory, ils sont principalement référencés dans les expressions de pipeline. Par exemple, si un pipeline fait référence à une ressource telle qu’un jeu de données ou un flux de données, vous pouvez transmettre la valeur de paramètre globale via le paramètre de ressource. La commande ou la référence des paramètres globaux dans Azure Data Factory se présente comme suit : pipeline().globalParameters.<parameterName>.
Paramètres globaux dans CI/CD
Lorsque vous intégrez des paramètres globaux dans un pipeline à l’aide de CI/CD avec Azure Data Factory, vous disposez de deux méthodes pour effectuer cette opération :
- Inclure les paramètres globaux dans le modèle Azure Resource Manager
- Déployer des paramètres globaux via un script PowerShell
Pour la plupart des pratiques CI/CD, il est préférable d’inclure des paramètres globaux dans le modèle Azure Resource Manager. Ceci est recommandé en raison de leur intégration native à CI/CD, où les paramètres globaux sont ajoutés en tant que paramètres de modèle Azure Resource Manager. Cela est dû à des modifications dans plusieurs environnements.
Pour activer les paramètres globaux dans un modèle Azure Resource Manager, accédez au hub Gestion. Sachez que lorsque vous ajoutez des paramètres globaux à un modèle Azure Resource Manager, un paramètre de niveau Azure Data Factory est ajouté, et il peut remplacer d’autres paramètres comme des configurations git.
Le déploiement de paramètres globaux à l’aide d’un script PowerShell peut être un cas d’usage dans le cas où les paramètres décrits ci-dessus sont activés dans un environnement avec des privilèges élevés, comme UAT ou PROD.
Paramétriser des dataflows de mappage
Dans Azure Data Factory, vous pouvez utiliser des flux de données de mappage, qui vous permettent d’utiliser des paramètres. Si vous définissez des paramètres dans une définition de flux de données, vous pouvez utiliser les paramètres dans les expressions. Les valeurs de paramètre sont définies par le pipeline d’appel par le biais de l’activité Execute Data Flow.
Il existe trois options pour définir les valeurs dans les expressions d’activité de flux de données :
- Utilisez le langage d’expression de flux de contrôle de pipeline pour définir une valeur dynamique.
- Utilisez le langage d’expression de flux de données pour définir une valeur dynamique.
- Utilisez l’un ou l’autre langage d’expression pour définir une valeur littérale statique.
La paramétrisation des flux de données de mappage permet de garantir que vos flux de données sont généralisés, flexibles et réutilisables.
Créer des paramètres dans le dataflow
Pour ajouter des paramètres à votre flux de données, sélectionnez la partie vide du canevas du flux de données pour afficher les propriétés générales.
Dans le volet Paramètres, vous verrez un onglet Paramètre.
Sélectionnez Nouveau pour générer un nouveau paramètre. Pour chaque paramètre, vous devez attribuer un nom, sélectionner un type et éventuellement définir une valeur par défaut.
Affecter des paramètres à partir d’un pipeline dans le flux de données de mappage
Si vous avez créé un flux de données dans lequel vous avez défini des paramètres, il est possible de l’exécuter à partir d’un pipeline à l’aide de l’activité Execute Data Flow.
Une fois que vous aurez ajouté l’activité au canevas du pipeline, vous trouverez les paramètres du flux de données sous l’onglet Paramètres de l’activité.
Attribuer des valeurs de paramètres vous garantit que vous pourrez utiliser les paramètres dans un langage d’expression de pipeline ou un langage d’expression de flux de données basé sur des types Spark. Vous pouvez également combiner les deux, autrement dit les paramètres d’expression de pipeline et de flux de données.