Comprendre le flux de contrôle d’une fabrique de données
Qu’est-ce que le flux de contrôle
Le flux de contrôle est une orchestration des activités du pipeline, qui inclut le chaînage des activités en une séquence, la création de branches, la définition de paramètres au niveau du pipeline et la transmission des arguments lors de l’appel du pipeline à la demande ou à partir d’un déclencheur.
Le flux de contrôle peut également inclure des conteneurs de bouclage, qui peuvent transmettre des informations pour chaque itération du conteneur de bouclage.
Si une boucle For Each est utilisée en tant qu’activité de flux de contrôle, Azure Data Factory peut démarrer plusieurs activités en parallèle avec cette approche. Cela vous permet de créer une logique de traitement complexe et itérative dans les pipelines que vous créez avec Azure Data Factory, lequel prend en charge la création de divers modèles d’intégration de données tels que la création d’un entrepôt de données moderne.
Certaines des activités de flux de contrôle courantes sont décrites dans les sections ci-dessous.
Chaînage des activités
Dans Azure Data Factory, vous pouvez chaîner des activités dans une séquence au sein d’un pipeline. Il est possible d’utiliser la propriété dependsOn dans une définition d’activité pour la chaîner à une activité en amont.
Création d’une branche d’activités
Utilisez Azure Data Factory pour créer des branches d’activités dans un pipeline. Un exemple de création de branche d’activités est l’activité The If-condition qui est similaire à une instruction if fournie dans des langages de programmation. La création de branche d’activités évalue un ensemble d’activités et si la condition retourne true, un ensemble d’activités sont exécutées. Lorsqu’elle retourne false, un autre ensemble d’activités est exécuté.
Paramètres
Vous pouvez définir les paramètres au niveau du pipeline et transmettre des arguments pendant que vous appelez le pipeline à la demande ou à partir d’un déclencheur. Les activités consomment alors les arguments conservés dans un paramètre à mesure qu’ils sont passés au pipeline.
Transmission d’un état personnalisé
La transmission d’un état personnalisé est rendue possible avec Azure Data Factory. La transmission d’un état personnalisé est une activité qui a créé une sortie ou l’état de l’activité qui doit être consommée par une activité ultérieure dans le pipeline. Par exemple, dans une définition JSON d’une activité, vous pouvez accéder à la sortie de l’activité précédente. L’utilisation du passage d’un état personnalisé vous permet de générer des workflows où les valeurs passent par des activités.
Bouclage des conteneurs
L’étendue des conteneurs de boucle du flux de contrôle, par exemple l’activité ForEach, définit la répétition dans un pipeline. Elle vous permet d’effectuer une itération sur une collection et d’exécuter des activités spécifiées dans la boucle définie. Elle fonctionne de la même façon que la « structure de bouclage For Each » utilisée dans les langages de programmation. En plus de l’activité Each, il existe également une activité Until. Cette fonctionnalité est similaire à une boucle Do-Until utilisée dans la programmation. Elle exécute un ensemble d’activités (Do) dans une boucle jusqu’à ce que la condition (Until) soit remplie.
Flux basés sur déclencheur
Les pipelines peuvent être déclenchés à la demande (en fonction d’un événement, par exemple une publication d’objet blob) ou d’après un temps horloge.
Appeler un pipeline à partir d’un autre pipeline
L’activité Execute Pipeline avec Azure Data Factory permet à un pipeline Data Factory d’appeler un autre pipeline.
Flux delta
Les cas d’utilisation liés à l’utilisation de flux Delta sont des charges Delta. Les charges Delta dans les modèles ETL chargent uniquement les données qui ont changé depuis une itération précédente d’un pipeline. Les fonctionnalités telles que l’activité Lookup et la planification flexible permettent de gérer les tâches de chargement Delta. En cas d’utilisation d’une activité Lookup, elle lit ou recherche une valeur d’enregistrement ou de nom de table à partir de n’importe quelle source externe. Cette sortie peut être référencée par des activités complémentaires.
Autres flux de contrôle
Il existe de nombreuses autres activités de flux de contrôle. Pour d’autres activités utiles, consultez les éléments suivants :
Activité Web : l’activité Web dans Azure Data Factory utilisant des flux de contrôle, peut appeler un point de terminaison REST personnalisé à partir d’un pipeline Data Factory. Les jeux de données et les services liés peuvent être passés pour être consommés par l’activité.
Activité Get metadata : l’activité Get metadata récupère les métadonnées de toutes les données dans Azure Data Factory.