Créer un service Azure Synapse Link for Dataverse avec Azure Data Lake

Vous pouvez utiliser Azure Synapse Link pour connecter vos données Microsoft Dataverse à Azure Data Lake Storage Gen2 pour activer divers scénarios d’analyse. Cet article vous explique comment réaliser les tâches suivantes :

1. Connectez vos données Dataverse à votre compte Azure Data Lake Storage Gen2 au service Azure Synapse Link.
2. Gérez les tables Dataverse incluses dans le service Azure Synapse Link.
3. Surveillez votre service Azure Synapse Link.
4. Dissociez votre Azure Synapse Link.
5. Reliez votre service Azure Synapse Link.
6. Affichez vos données dans Azure Data Lake et comprenez la structure du fichier.

Notes

Azure Synapse Link for Dataverse était auparavant connu sous le nom d’exportation vers le lac de données. Ce service a été renommé en mai 2021 et continuera d’exporter des données vers Azure Data Lake ainsi que vers Azure Synapse Analytics.

Conditions préalables

• Azure Data Lake Storage Gen2 : vous devez avoir un compte Azure Data Lake Storage Gen2 et un accès au rôle de Propriétaire et de Contributeur aux données d’objets Blob de stockage. Votre compte de stockage doit activer Espace de noms hiérarchique pour la configuration initiale et la synchronisation delta. Autoriser l’accès à la clé du compte de stockage est requis uniquement pour la configuration initiale.

Notes

• Le compte de stockage doit être créé dans le même client Microsoft Entra que votre client Power Apps.
• Pour définir Activé à partir des réseaux virtuels et des adresses IP sélectionnés pour que le compte de stockage lié accorde l’accès à partir des adresses IP sélectionnées, vous devez créer un Azure Synapse Link avec des identités gérées. Utilisez des identités managées pour Azure avec Azure Data Lake Storage (sans configuration d’identités managées, vous devez activer l’accès au réseau public pour les ressources Azure pour la configuration initiale et la synchronisation delta. )
• Vous devez avoir un accès utilisateur Lecteur au groupe de ressources avec le compte de stockage.
• Pour lier l’environnement à Azure Data Lake Storage Gen2, vous devez avoir le rôle de sécurité Administrateur système Dataverse.
• Seules les tables pour lesquelles le suivi des modifications est activé peuvent être exportées.
• La création de Azure Synapse Link profils dans un seul Dataverse environnement est limitée à un maximum de 10.

Connecter Dataverse à Azure Data Lake Storage Gen2

1. Se connecter à Power Apps et sélectionnez votre environnement préféré.

2. Dans le volet de navigation de gauche, sélectionnez Azure Synapse Link. Si Azure Synapse Link n’est pas visible dans le volet du panneau latéral, sélectionnez …Plus et sélectionnez Découvrir tout. Azure Synapse Link se trouve dans la section Gestion des données .

3. Dans la barre de commandes, sélectionnez + Nouveau lien vers le lac de données.

4. Sélectionnez Abonnement, Groupe de ressources et Compte de stockage. Assurez-vous que le compte de stockage répond aux exigences spécifiées dans la section Conditions préalables. Sélectionnez Suivant.

   Notes

   Dans le cadre de la mise en relation de l’environnement à un lac de données, vous accordez l’accès au service Azure Synapse Link à votre compte de stockage. Veillez à avoir suivi les conditions préalables pour créer et configurer le compte Azure Data Lake Storage et vous accorder un rôle de propriétaire sur le compte de stockage. En outre, vous accordez l’accès du service Power Platform Dataflows à votre compte de stockage. Pour plus d’informations : Préparation de données en libre-service avec des flux de données.

5. Ajoutez les tables à exporter, puis sélectionnez Enregistrer. Seules les tables avec le suivi des modifications est activé peuvent être exportées. Pour plus d’informations : Autoriser le suivi des modifications.

   

Vous pouvez suivre les étapes dans cet article pour créer un lien entre un environnement et plusieurs lacs de données Azure dans votre abonnement Azure. De même, vous pouvez créer un lien entre plusieurs environnements et le même Azure Data Lake, le tout au sein du même locataire.

Notes

Le service Azure Synapse Link for Dataverse est parfaitement intégré à Power Platform en tant que fonctionnalité prédéfinie. Il répond aux normes de sécurité et de gouvernance définies pour le stockage et la gouvernance de données Power Platform. Plus d’informations : Stockage et gouvernance de données

Les données exportées par le service Azure Synapse Link sont chiffrées en transit à l’aide de la norme Transport Layer Security (TLS) 1.2 ou supérieure et chiffrées au repos dans Azure Data Lake Storage Gen2. De plus, les données transitoires dans le stockage blob sont également chiffrées au repos. Chiffrement dans Azure Data Lake Storage Gen2 vous aide à protéger vos données, à mettre en œuvre des stratégies de sécurité d’entreprise et à répondre aux exigences de conformité réglementaire. Pour plus d’informations : Chiffrement de données Azure au repos

Gérer les données de table dans le lac de données

Après avoir configuré Azure Synapse Link, vous pouvez gérer les tables exportées de l’une des deux manières suivantes :

• Sur la zone Azure Synapse Link du portail de créateurs Power Apps, sélectionnez Gérer les tables dans la barre de commandes pour ajouter ou supprimer une ou plusieurs tables liées.

• Sur la zone Tables du portail de créateur Power Apps, sélectionnez … en regard d’une table, puis sélectionnez le lac de données lié dans lequel vous souhaitez exporter les données de la table.

  

Surveiller votre service Azure Synapse Link

Après avoir configuré Azure Synapse Link, vous pouvez surveiller Azure Synapse Link sous l’onglet Tables.

• Il y aura une liste de tables qui font partie de la sélection Azure Synapse Link.
• Il y a différentes étapes par lesquelles passe le statut de synchronisation. NotStarted indique que la table attend d’être synchronisée. Une fois la synchronisation initiale de la table Terminée, il existe une étape de post-traitement où les mises à jour incrémentielles ne seront pas effectuées. Cela peut prendre plusieurs heures selon la taille de vos données. Au fur et à mesure que les mises à jour incrémentielles commencent à avoir lieu, la date de la dernière synchronisation sera régulièrement mise à jour.
• La colonne Compter montre le nombre de lignes écrites. Lorsque Ajouter uniquement est paramétré sur Non, il s’agit du nombre total d’enregistrements. Lorsque Ajouter uniquement est paramétré sur Oui, il s’agit du nombre total de modifications.
• Les colonnes Ajouter uniquement et Stratégie de partition montrent l’utilisation de différentes configurations avancées.

Dissocier un Azure Synapse Link

1. Sélectionnez le service Azure Synapse Link souhaité pour la déconnexion.

2. Sélectionnez Dissocier le lac de données depuis la barre de commandes.

3. Pour supprimer les deux systèmes de fichiers du lac de données, sélectionnez Supprimer le système de fichiers du lac de données.

4. Sélectionner Oui, et attendez quelques minutes pour que tout soit dissocié et supprimé.

Relier un service Azure Synapse Link

Si vous avez supprimé le système de fichiers lors de la dissociation, suivez les étapes ci-dessus pour lier à nouveau le même lac de données. Si vous n’avez pas supprimé le système de fichiers lors de la dissociation, vous devez effacer les données à relier :

1. Accédez à Azure Data Lake

2. Supprimer le conteneur Dataverse.

3. Accédez à Power Apps et reliez le lac de données.

Affichez vos données dans Azure Data Lake Storage Gen2

1. Sélectionnez le service Azure Synapse Link souhaité, puis sélectionnez Accéder à Azure Data Lake dans le panneau supérieur.

2. Développez Systèmes de fichiers, puis sélectionnez dataverse-nom de l’environnement-nomUniqueOrganisation.

Le fichier model.json, avec son nom et sa version, fournit une liste des tables qui ont été exportées vers le lac de données. Le fichier model.json inclut également l’état de synchronisation initial et l’heure de fin de synchronisation.

Un dossier contenant des fichiers d’instantanés séparés par des virgules (format CSV) s’affiche pour chaque table exportée vers le lac de données.

Lier un espace de travail Synapse à un profil existant Azure Synapse Link avec le lac de données uniquement

1. Dans la barre d’adresse de votre navigateur Web, ajoutez ?athena.updateLake=true à l’adresse Web qui se termine par exporttodatalake.

2. Sélectionnez un profil existant dans la zone Azure Synapse Link, puis sélectionnez l’option étendue.

3. Sélectionnez Lier à un espace de travail Azure Synapse Analytics et attendez quelques minutes pour que tout soit dissocié et supprimé.

Mises à jour continues des instantanés

Les données Microsoft Dataverse peuvent changer en permanence grâce à des transactions de création, de mise à jour et de suppression. Les instantanés fournissent une copie des données en lecture seule qui est mise à jour à intervalles réguliers, dans le cas présent toutes les heures. Cela garantit qu’à tout moment, un consommateur d’analyse de données peut consommer de manière fiable des données dans le lac.

Lorsque des tables sont ajoutées dans le cadre de l’exportation initiale, les données de la table sont écrites dans les fichiers table.csv sous les dossiers correspondants dans le lac de données. Il s’agit de l’intervalle T1, où un fichier instantané en lecture seule nommé table-T1.csv—par exemple, Account-T1.csv ou Contacts-T1.csv—est créé. En outre, le fichier model.json est mis à jour pour pointer vers ces fichiers d’instantanés. En ouvrant le fichier model.json, vous pouvez afficher les détails de l’instantané.

Voici un exemple de fichier partitionné Account.csv et de dossier d’instantanés dans le lac de données.

Les changements dans Dataverse sont continuellement poussés vers les fichiers CSV correspondants en utilisant le moteur de filage. Il s’agit de l’intervalle T2, où un autre instantané est pris. table-T2.csv—par exemple, Accounts-T2.csv ou Contacts-T2.csv (en supposant qu’il y ait des changements pour la table) —et model.json sont mis à jour avec les nouveaux fichiers de capture instantanée. Toute nouvelle personne qui consulte les données de capture instantanée à partir de T2 est dirigée vers les fichiers de capture instantanée les plus récents. De cette façon, la visionneuse de clichés d’origine peut continuer à fonctionner sur les anciens fichiers de clichés T1 tandis que les visionneuses plus récentes peuvent lire les dernières mises à jour. Ceci est utile dans les scénarios avec des processus en aval plus longs.

Notes

Un nouveau fichier d’instantané n’est créé que s’il y a une mise à jour des données. Seuls les cinq fichiers d’instantanés les plus récents seront conservés. Les données stagnantes seront automatiquement supprimées de votre compte Azure Data Lake Storage Gen 2.

Voici un exemple du fichier model.json, qui pointe toujours vers le dernier fichier d’instantané de compte horodaté.

Quelle est la prochaine étape ?

Après avoir utilisé avec succès le service Azure Synapse Link for Dataverse, découvrez comment vous pouvez analyser et consommer vos données avec le Centre de découverte. Pour accéder au Centre de découverte, aller à Power Apps > Azure Synapse Link. Sélectionnez votre service lié, puis sélectionnez l’onglet Hub de découverte. Vous trouverez ici des outils recommandés et une documentation organisée pour vous aider à tirer le meilleur parti de vos données.

Voir aussi

Analyser les données Dataverse dans le lac de données avec Power BI

Ingérer les données Dataverse dans le lac de données avec Azure Data Factory

Configuration avancée de Azure Synapse Link for Dataverse

FAQ Azure Synapse Link

Notes

Pouvez-vous nous indiquer vos préférences de langue pour la documentation ? Répondez à un court questionnaire. (veuillez noter que ce questionnaire est en anglais)

Le questionnaire vous prendra environ sept minutes. Aucune donnée personnelle n’est collectée (déclaration de confidentialité).