Partager via


Transformer des données Dataverse de CSV en Parquet avec un modèle de pipeline

Après avoir exporté les données de Microsoft Dataverse vers Azure Data Lake Storage Gen2 avec Azure Synapse Link for Dataverse, vous pouvez utiliser Azure Data Factory pour créer un pipeline qui copie les données du lac de données vers Azure SQL.

Nonte

Azure Synapse Link for Dataverse était auparavant connu sous le nom Exporter vers le lac de données. Ce service a été renommé en mai 2021 et continuera d’exporter des données vers Azure Data Lake ainsi que vers Azure Synapse Analytics.

Cet article vous explique comment réaliser les tâches suivantes :

  1. Créer un pipeline à partir d’un modèle Microsoft.

  2. Configurer le modèle.

  3. Exécuter le pipeline.

Conditions préalables

Cette section décrit les conditions préalables nécessaires pour transformer les données Dataverse de CSV en Parquet.

  • Rôles Azure. Le compte d’utilisateur utilisé pour se connecter à Azure doit être membre du rôle collaborateur ou propriétaire, ou un administrateur de l’abonnement Azure. Pour afficher les autorisations dont vous disposez dans l’abonnement, accédez au portail Azure, sélectionnez votre nom d’utilisateur dans le coin supérieur droit, sélectionnez ..., puis Mes autorisations. Si vous avez accès à plusieurs abonnements, sélectionnez celui qui convient. Pour créer et gérer des ressources enfants pour Data Factory dans le portail Azure, y compris les jeux de données, les services liés, les pipelines, les déclencheurs et le runtime d’intégration, vous devez appartenir au rôle Contributeur Data Factory au niveau du groupe de ressources ou un niveau supérieur.

  • Azure Synapse Link for Dataverse. .Ce guide suppose que vous avez déjà exporté des données Dataverse en utilisant Azure Synapse Link for Dataverse. Dans cet exemple, les données de la table de comptes sont exportées vers le lac de données.

  • Azure Data Factory. Ce guide suppose que vous avez déjà créé une fabrique de données sous le même abonnement et le même groupe de ressources que le compte de stockage contenant les données Dataverse exportées.

Transformer des données Dataverse de CSV en Parquet avec un modèle de pipeline

  1. Ouvrez Azure Data Factory et sélectionnez la fabrique de données qui se trouve sous le même abonnement et le même groupe de ressources que le compte de stockage contenant vos données Dataverse exportées. Ensuite, sélectionnez Auteur dans le volet gauche.

  2. Sélectionnez +>Pipeline>Galerie de modèles.

  3. Recherchez et sélectionnez le modèle Transformer des données Dataverse de CSV en Parquet créé par Microsoft.

    Modèle de pipeline Parquet

  4. Entrez le compte Azure Data Lake Storage Gen2 contenant les données Dataverse exportées pour la première entrée et le compte Azure Data Lake Storage Gen2 de destination où les fichiers Parquet seront créés pour la deuxième entrée. Sélectionnez Utiliser ce modèle.

    Configurer le modèle Parquet

  5. Sélectionnez l’onglet Réglages du flux de données et remplacez les valeurs de ContainerName et TableName.

    Configurer les réglages Parquet

  6. Sélectionnez l’onglet Paramètres du flux de données et remplacez les valeurs de ContainerName et TableName.

    Configurer les paramètres Parquet

  7. Accédez au pipeline et exécutez-le. En option, Ajoutez un déclencheur pour transformer les données à des intervalles de temps spécifiques.

Voir aussi

Azure Synapse Link for Dataverse