Décrire les types de transformation Azure Data Factory
Les flux de données de mappage offrent plusieurs types de transformation qui vous permettent de modifier les données. Ils se répartissent en plusieurs catégories :
| Nom de la catégorie | Description |
|---|---|
| Modificateur de schéma | Ces types de transformation apportent une modification à une destination de récepteur en créant des colonnes en fonction de l’action de la transformation. C’est le cas, par exemple, de la transformation de colonne dérivée qui crée une colonne en fonction des opérations effectuées sur la colonne existante. |
| Modificateur de ligne | Ces types de transformation impactent la façon dont les lignes sont présentées dans la destination. Il peut s’agir, par exemple, d’une transformation de tri qui organise les données. |
| Entrées/sorties multiples | Ces types de transformation génèrent ou fusionnent des pipelines de données. Il peut s’agir, par exemple, de la transformation d’union qui combine plusieurs flux de données. |
Vous trouverez ci-dessous une liste des transformations disponibles dans les flux de données de mappage
| Nom | Catégorie | Description |
|---|---|---|
| Agrégat | Modificateur de schéma | Définissez les différents types d’agrégations telles que SUM, MIN, MAX et COUNT regroupées par colonnes calculées ou existantes. |
| Modification de ligne | Modificateur de ligne | Définissez des stratégies d’insertion, de suppression, de mise à jour et d’upsert sur des lignes. Vous pouvez ajouter des conditions de type un-à-plusieurs en tant qu’expressions. Ces conditions doivent être spécifiées par ordre de priorité, car chaque ligne sera marquée avec la stratégie liée à la première correspondance. Chacune de ces conditions peut entraîner l'insertion, la mise à jour, la suppression ou l'upsert d'une ligne (ou de plusieurs lignes). Alter Row peut produire des actions DDL et DML sur votre base de données. |
| Fractionnement conditionnel | Entrées/sorties multiples | Routez des lignes de données vers différents flux en fonction de conditions de correspondance. |
| Colonne dérivée | Modificateur de schéma | Générez de nouvelles colonnes ou modifiez des champs existants à l’aide du langage d’expression des flux de données. |
| Exists | Entrées/sorties multiples | Vérifiez si vos données existent dans une autre source ou un autre flux. |
| Filter | Modificateur de ligne | Filtrez une ligne en fonction d’une condition. |
| Aplatir | Modificateur de schéma | Prenez des valeurs de tableau à l’intérieur de structures hiérarchiques, par exemple au format JSON, et déroulez-les en lignes individuelles. |
| Join | Entrées/sorties multiples | Combinez les données de deux sources ou flux. |
| Lookup | Entrées/sorties multiples | Vous permet de référencer des données d’une autre source. |
| Nouvelle branche | Entrées/sorties multiples | Appliquez plusieurs ensembles d’opérations et de transformations au même flux de données. |
| Tableau croisé dynamique | Modificateur de schéma | Agrégation où différentes valeurs de ligne d’une ou plusieurs colonnes de regroupement sont transformées en colonnes individuelles. |
| Select | Modificateur de schéma | Créez des alias pour les colonnes et les noms de flux, et supprimez ou réorganisez les colonnes. |
| Section sink | - | Destination finale pour vos données. |
| Sort | Modificateur de ligne | Triez les lignes entrantes sur le flux de données actuel. |
| Source | - | Source de données pour le flux de données. |
| Clé de substitution | Modificateur de schéma | Ajoutez une valeur de clé arbitraire non professionnelle d’incrémentation. |
| Union | Entrées/sorties multiples | Combinez plusieurs flux de données verticalement. |
| Supprimer le tableau croisé dynamique | Modificateur de schéma | Créez un tableau croisé dynamique pour convertir des colonnes en valeurs de ligne. |
| Window | Modificateur de schéma | Définissez des agrégations de colonnes basées sur des fenêtres dans vos flux de données. |
Générateur d’expressions de flux de données
Un générateur d’expressions de flux de données vous permet de personnaliser les fonctionnalités de certaines des transformations que vous pouvez définir. Il offre différentes zones vous permettant d’utiliser les colonnes, champs, variables, paramètres et fonctions de votre flux de données.
Pour générer l’expression, utilisez le Générateur d’expressions que vous pouvez démarrer en cliquant dans la zone de texte d’expression à l’intérieur de la transformation. Lors de la sélection de colonnes pour la transformation, vous verrez parfois des options « Colonne calculée ». En cliquant sur celles-ci, vous verrez le Générateur d’expressions démarrer.
Par défaut, l’option d’éditeur de texte est définie pour l’outil Générateur d’expressions. La fonctionnalité de saisie semi-automatique lit à partir de l’ensemble du modèle objet Azure Data Factory Data Flow avec la vérification et la mise en évidence de la syntaxe.