Démarrage rapide : Déplacer et transformer des données avec des flux de données et des pipelines de données

Dans ce tutoriel, vous allez voir comment le flux de données et l’expérience de pipeline de données peuvent créer une solution data factory puissante et complète.

Important

Microsoft Fabric est actuellement en préversion. Certaines informations portent sur un produit en préversion susceptible d’être substantiellement modifié avant sa publication. Microsoft ne donne aucune garantie, expresse ou implicite, concernant les informations fournies ici. Reportez-vous à la documentation Azure Data Factory pour le service dans Azure.

Prérequis

Pour commencer, vous devez remplir les conditions préalables suivantes :

Transformer des données avec des flux de données

Procédez comme suit pour configurer votre flux de données.

Étape 1 : Créer un flux de données

  1. Choisissez votre espace de travail fabric activé, puis sélectionnez Nouveau. Sélectionnez ensuite Dataflow Gen2.

    Capture d’écran montrant où commencer la création d’un flux de données gen2.

  2. La fenêtre de l’éditeur de flux de données s’affiche. Sélectionnez la carte Importer à partir de SQL Server.

    Capture d’écran montrant la fenêtre de l’éditeur de flux de données.

Étape 2 : Obtenir des données

  1. Dans la boîte de dialogue Se connecter à la source de données présentée ci-dessous, entrez les détails pour vous connecter à votre base de données Azure SQL, puis sélectionnez Suivant. Pour cet exemple, vous utilisez l’exemple de base de données AdventureWorksLT configuré lorsque vous configurez la base de données Azure SQL dans les conditions préalables.

    Capture d’écran montrant comment se connecter à une base de données Azure SQL.

  2. Sélectionnez les données que vous souhaitez transformer, puis sélectionnez Créer. Pour ce démarrage rapide, sélectionnez SalesLT.Customer dans les exemples de données AdventureWorksLT fournis pour Azure SQL base de données, puis le bouton Sélectionner des tables associées pour inclure automatiquement deux autres tables associées.

    Capture d’écran montrant où choisir parmi les données disponibles.

Étape 3 : Transformer vos données

  1. S’il n’est pas sélectionné, sélectionnez le bouton Affichage diagramme le long de la barre de status en bas de la page, ou sélectionnez Vue diagramme dans le menu Affichage en haut de l’éditeur de Power Query. L’une ou l’autre de ces options peut activer la vue de diagramme.

    Capture d’écran montrant où sélectionner l’affichage de diagramme.

  2. Cliquez avec le bouton droit sur votre requête SalesLT Customer , ou sélectionnez les points de suspension verticaux à droite de la requête, puis sélectionnez Fusionner les requêtes.

    Capture d’écran montrant où trouver l’option Fusionner les requêtes.

  3. Configurez la fusion en sélectionnant la table SalesOrderHeader comme table de droite pour la fusion, la colonne CustomerID de chaque table en tant que colonne de jointure et left externe comme type de jointure. Sélectionnez ensuite OK quand ajouter la requête de fusion.

    Capture d’écran de l’écran De configuration de fusion.

  4. Sélectionnez le bouton Ajouter une destination de données , qui ressemble à un symbole de base de données avec une flèche au-dessus, à partir de la nouvelle requête de fusion que vous venez de créer. Sélectionnez ensuite Azure SQL base de données comme type de destination.

    Capture d’écran mettant en évidence le bouton Ajouter une destination de données sur la requête de fusion nouvellement créée.

  5. Fournissez les détails de votre connexion de base de données Azure SQL où la requête de fusion sera publiée. Dans cet exemple, vous pouvez également utiliser la base de données AdventureWorksLT que nous avons utilisée comme source de données pour la destination.

    Capture d’écran montrant la boîte de dialogue Se connecter à la destination des données avec des exemples de valeurs renseignées.

  6. Choisissez une base de données pour stocker les données et fournissez un nom de table, puis sélectionnez Suivant.

    Capture d’écran montrant la fenêtre Choisir une cible de destination.

  7. Vous pouvez conserver les paramètres par défaut dans la boîte de dialogue Choisir les paramètres de destination et sélectionner simplement Enregistrer les paramètres sans apporter de modifications ici.

    Capture d’écran montrant la boîte de dialogue Choisir les paramètres de destination.

  8. Sélectionnez Publier de nouveau sur la page de l’éditeur de flux de données pour publier le flux de données.

    Capture d’écran mettant en évidence le bouton Publier dans l’éditeur de flux de données Gen2.

Déplacer des données avec des pipelines de données

Maintenant que vous avez créé un flux de données gen2, vous pouvez l’utiliser dans un pipeline. Dans cet exemple, nous allons copier les données générées à partir du flux de données dans un format texte dans un compte Stockage Blob Azure.

Étape 1 : Créer un pipeline de données

  1. Dans votre espace de travail, sélectionnez Nouveau, puis Pipeline de données.

    Capture d’écran montrant où démarrer un nouveau pipeline de données.

  2. Nommez votre pipeline, puis sélectionnez Créer.

    Capture d’écran montrant l’invite de création de nouveau pipeline avec un exemple de nom de pipeline.

Étape 2 : Configurer votre flux de données

  1. Ajoutez une nouvelle activité de flux de données à votre pipeline de données en sélectionnant Flux de données sous l’onglet Activités .

    Capture d’écran montrant où sélectionner l’option Flux de données.

  2. Sélectionnez le flux de données sur le canevas du pipeline, puis l’onglet Paramètres . Choisissez le flux de données que vous avez créé précédemment dans la liste déroulante.

    Capture d’écran montrant comment choisir le flux de données que vous avez créé.

  3. Sélectionnez Enregistrer, puis Exécuter pour exécuter le flux de données afin de remplir initialement la table de requête fusionnée que vous avez conçue à l’étape précédente.

    Capture d’écran montrant où sélectionner Exécuter.

Étape 3 : Utiliser l’Assistant Copie pour ajouter une activité de copie

  1. Sélectionnez Copier les données sur le canevas pour ouvrir l’outil Assistant Copie pour commencer. Vous pouvez également sélectionner Utiliser l’Assistant Copie dans la liste déroulante Copier des données sous l’onglet Activités du ruban.

    Capture d’écran montrant les deux façons d’accéder à l’Assistant Copie.

  2. Choisissez votre source de données en sélectionnant un type de source de données. Dans ce tutoriel, vous allez utiliser la base de données Azure SQL utilisée précédemment lorsque vous avez créé le flux de données pour générer une nouvelle requête de fusion. Faites défiler sous les exemples d’offres de données et sélectionnez l’onglet Azure sous Sources de données, puis Azure SQL Base de données. Puis sélectionnez Suivant pour continuer.

    Capture d’écran montrant où choisir une source de données.

  3. Créez une connexion à votre source de données en sélectionnant Créer une connexion. Renseignez les informations de connexion requises dans le panneau, puis entrez adventureWorksLT pour la base de données, où nous avons généré la requête de fusion dans le flux de données. Sélectionnez ensuite Suivant.

    Capture d’écran montrant où créer une connexion.

  4. Sélectionnez la table que vous avez générée à l’étape de flux de données précédemment, puis sélectionnez Suivant.

    Capture d’écran montrant comment effectuer une sélection parmi les tables disponibles.

  5. Pour votre destination, choisissez Stockage Blob Azure, puis sélectionnez Suivant.

    Capture d’écran montrant la destination des données Stockage Blob Azure.

  6. Créez une connexion à votre destination en sélectionnant Créer une connexion. Fournissez les détails de votre connexion, puis sélectionnez Suivant.

    Capture d’écran montrant comment créer une connexion.

  7. Sélectionnez votre chemin d’accès au dossier et indiquez un nom de fichier, puis sélectionnez Suivant.

    Capture d’écran montrant comment sélectionner le chemin d’accès au dossier et le nom de fichier.

  8. Sélectionnez à nouveau Suivant pour accepter le format de fichier par défaut, le délimiteur de colonne, le délimiteur de ligne et le type de compression, y compris éventuellement un en-tête.

    Capture d’écran montrant les options de configuration du fichier dans Stockage Blob Azure.

  9. Finalisez vos paramètres. Ensuite, passez en revue et sélectionnez OK pour terminer le processus.

    Capture d’écran montrant comment passer en revue les paramètres de copie de données.

Étape 5 : Concevoir votre pipeline de données et enregistrer pour exécuter et charger des données

  1. Pour exécuter l’activité De copie après l’activité de flux de données , faites glisser l’activité Réussite de l’activité de flux de données vers l’activité De copie . L’activité de copie ne s’exécutera qu’une fois l’activité de flux de données réussie.

    Capture d’écran montrant comment exécuter le flux de données après l’activité de copie.

  2. Sélectionnez Enregistrer pour enregistrer votre pipeline de données. Sélectionnez ensuite Exécuter pour exécuter votre pipeline de données et charger vos données.

    Capture d’écran montrant où sélectionner Enregistrer et exécuter.

Planifier l’exécution du pipeline

Une fois que vous avez terminé le développement et le test de votre pipeline, vous pouvez planifier son exécution automatique.

  1. Sous l’onglet Accueil de la fenêtre de l’éditeur de pipeline, sélectionnez Planifier.

    Capture d’écran du bouton Planifier dans le menu de l’onglet Accueil dans l’éditeur de pipeline.

  2. Configurez la planification en fonction des besoins. L’exemple ci-dessous planifie l’exécution quotidienne du pipeline à 20h00 jusqu’à la fin de l’année.

    Capture d’écran montrant la configuration de la planification pour qu’un pipeline s’exécute quotidiennement à 20h00 jusqu’à la fin de l’année.

Étapes suivantes

Cet exemple montre comment créer et configurer un flux de données gen2 pour créer une requête de fusion et la stocker dans une base de données Azure SQL, puis comment copier les données de la base de données dans un fichier texte dans Stockage Blob Azure. Vous avez appris à :

  • Créez un flux de données.
  • Transformez des données avec le flux de données.
  • Créez un pipeline de données à l’aide du flux de données.
  • Ordonner l’exécution des étapes dans le pipeline.
  • Copiez des données avec l’Assistant Copie.
  • Exécutez et planifiez votre pipeline de données.

Ensuite, avancez pour en savoir plus sur la surveillance des exécutions de votre pipeline.