Créer Azure Synapse Link for Dataverse avec Azure Synapse Workspace

Article
28/10/2024

Vous pouvez utiliser Azure Synapse Link pour connecter vos données Microsoft Dataverse à Azure Synapse Analytics pour explorer vos données et accélérer le délai d’obtention d’informations. Cet article vous explique comment réaliser les tâches suivantes :

Connectez vos données Dataverse à votre Azure Synapse Analytics workspace avec le service Azure Synapse Link.
Gérez les tables Dataverse incluses dans le service Azure Synapse Link.
Surveillez votre service Azure Synapse Link.
Dissociez votre Azure Synapse Link.
Reliez votre service Azure Synapse Link.
Affichez vos données dans Azure Synapse Analytics.

Notes

Azure Synapse Link for Microsoft Dataverse était auparavant connu sous le nom de Exporter vers le lac de données. Ce service a été renommé en mai 2021 et continuera d’exporter des données vers Azure Data Lake ainsi que vers Azure Synapse Analytics.

Conditions préalables

Dataverse : vous devez disposer du rôle de sécurité Dataverse Administrateur système. De plus, les tables que vous souhaitez exporter via Azure Synapse Link doivent avoir la propriété Suivi des modifications activée. Pour plus d’informations, voir Options avancées
Azure Data Lake Storage Gen2 : vous devez avoir un compte Azure Data Lake Storage Gen2 et un accès au rôle de Propriétaire et de Contributeur aux données d’objets Blob de stockage. Votre compte de stockage doit activer Espace de noms hiérarchique pour la configuration initiale et la synchronisation delta. Autoriser l’accès à la clé du compte de stockage est requis uniquement pour la configuration initiale.
Espace de travail Synapse : Vous devez avoir un espace de travail Synapse et l’accès au rôle Administrateurs Synapse dans Synapse Studio. L’espace de travail Synapse doit être dans la même région que votre compte Azure Data Lake Storage Gen2. Le compte de stockage doit être ajouté en tant que service lié dans Synapse Studio. Pour créer un espace de travail Synapse, accédez à Création d’un espace de travail Synapse.

Notes

Le compte de stockage et l’espace de travail Synapse doit être créé dans le même client Microsoft Entra que votre client Power Apps.
Pour définir Activé à partir des réseaux virtuels et des adresses IP sélectionnés pour le compte de stockage et l’espace de travail liés, vous devez créer un Azure Synapse Link avec des identités managées. Pour plus d’informations : Utilisez des identités managées pour Azure avec votre Azure Data Lake Storage (sans configuration d’identités managées, vous devez activer l’accès au réseau public pour les ressources Azure pour la configuration initiale et la synchronisation delta.)
Les espaces de travail Synapse comportant des points de terminaison privés gérés, une protection contre l’exfiltration de données ou des réseaux virtuels gérés ne sont pas pris en charge.
Vous devez avoir le rôle d’accès Lecteur dans le groupe de ressources avec le compte de stockage et l’espace de travail Synapse.
Lorsque vous ajoutez plusieurs utilisateurs à l’espace de travail synapse, ils doivent avoir l’accès au rôle Administrateur Synapse dans Synapse Studio et le rôle Contributeur aux données d’objets Blob de stockage sur le compte Azure Data Lake Storage Gen2.
La création de profils Synapse Link sous un seul environnement DV est limitée à un maximum de 10.

Connecter Dataverse à l’espace de travail Synapse

Se connecter à Power Apps et sélectionnez votre environnement préféré.
Dans le volet de navigation de gauche, sélectionnez Azure Synapse Link. Si Azure Synapse Link n’est pas visible dans le volet latéral, sélectionnez …Plus et Découvrir tout. Sélectionner Azure Synapse Link dans la section Gestion des données .
Dans la barre de commandes, sélectionnez + Nouveau lien.
Sélectionnez l’option Se connecter à votre espace de travail Azure Synapse.
Sélectionnez Abonnement, Groupe de ressources, Nom de l’espace de travail, et Compte de stockage. Assurez-vous que l’espace de travail et le compte de stockage Synapse répondent aux exigences spécifiées dans la section Conditions préalables. Sélectionnez Suivant.

Notes

Dans le cadre de la mise en relation de l’environnement à un lac de données, vous accordez l’accès au service Azure Synapse Link à votre compte de stockage. Veillez à avoir suivi les conditions préalables pour créer et configurer le compte Azure Data Lake Storage et vous accorder un rôle de propriétaire sur le compte de stockage. En outre, vous accordez l’accès du service Power Platform Dataflows à votre compte de stockage. Pour plus d’informations : Préparation de données en libre-service avec des flux de données.
Ajoutez les tables à exporter, puis sélectionnez Enregistrer. Seules les tables avec le suivi des modifications est activé peuvent être exportées. Pour plus d’informations : Autoriser le suivi des modifications.

Vous pouvez suivre les étapes ci-dessus pour créer un lien entre un environnement et plusieurs espaces de travail Azure Synapse Analytics et Azure Data Lake dans votre abonnement Azure en ajoutant un Azure Data Lake en tant que service lié sur un espace de travail Synapse. De même, vous pouvez créer un lien entre plusieurs environnements et le même espace de travail Azure Synapse Analytics et Azure Data Lake, le tout au sein du même locataire.

Notes

Le service Azure Synapse Link for Dataverse est parfaitement intégré à Power Platform en tant que fonctionnalité prédéfinie. Il répond aux normes de sécurité et de gouvernance définies pour le stockage et la gouvernance de données Power Platform. Plus d’informations : Stockage et gouvernance de données

Les données exportées par le service Azure Synapse Link sont chiffrées en transit à l’aide de la norme Transport Layer Security (TLS) 1.2 ou supérieure et chiffrées au repos dans Azure Data Lake Storage Gen2. De plus, les données transitoires dans le stockage blob sont également chiffrées au repos. Chiffrement dans Azure Data Lake Storage Gen2 vous aide à protéger vos données, à mettre en œuvre des stratégies de sécurité d’entreprise et à répondre aux exigences de conformité réglementaire. Plus d’informations : Chiffrement de données Azure au repos Plus d’informations : Configurer les pare-feu et les réseaux virtuels de stockage Azure

Gérer les données de la table dans l’espace de travail Synapse

Après avoir configuré Azure Synapse Link, vous pouvez gérer les tables exportées de l’une des deux manières suivantes :

Dans la zone Azure Synapse Link de Power Apps (make.powerapps.com), sélectionnez Gérer les tables dans la barre de commandes pour ajouter ou supprimer une ou plusieurs tables liées.
Dans la zone Tables de Power Apps Maker Portal, sélectionnez … en regard d’une table, puis sélectionnez le lac de données lié où vous souhaitez exporter les données de la table.

Surveiller votre service Azure Synapse Link

Après avoir configuré le service Azure Synapse Link, vous pouvez surveiller Azure Synapse Link sous l’onglet Tables.

Surveiller Azure Synapse Link

Il y aura une liste de tables qui font partie de la sélection Azure Synapse Link.
Il y a différentes étapes par lesquelles passe le statut de synchronisation. NotStarted indique que la table attend d’être synchronisée. Une fois la synchronisation initiale de la table Terminée, il existe une étape de post-traitement où les mises à jour incrémentielles ne seront pas effectuées. Cela peut prendre plusieurs heures selon la taille de vos données. Au fur et à mesure que les mises à jour incrémentielles commencent à avoir lieu, la date de la dernière synchronisation sera régulièrement mise à jour.
La colonne Compter montre le nombre de lignes écrites. Lorsque Ajouter uniquement est paramétré sur Non, il s’agit du nombre total d’enregistrements. Lorsque Ajouter uniquement est paramétré sur Oui, il s’agit du nombre total de modifications.
Les colonnes Ajouter uniquement et Stratégie de partition montrent l’utilisation de différentes configurations avancées.

Dissocier un Azure Synapse Link

Sélectionnez le service Azure Synapse Link souhaité pour la déconnexion.
Sélectionnez Supprimer le lien dans la barre de commandes.
Pour supprimer à la fois le système de fichiers Data Lake et la base de données Synapse, saisissez le nom du lien pour confirmer.
Sélectionner Oui, et attendez quelques minutes pour que tout soit dissocié et supprimé.

Important

Les objets de base de données personnalisés que vous créez dans la Azure Synapse Link base de données sont supprimés une fois la dissociation terminée.

Vous devez implémenter votre propre contrôle de version de vos scripts d’objets de base de données personnalisés pour vous assurer que vous disposez d’une sauvegarde.

Relier un service Azure Synapse Link

Si vous avez supprimé le système de fichiers lors de la dissociation, suivez les étapes ci-dessus pour lier à nouveau les mêmes espaces de travail et lac de données. Si vous n’avez pas supprimé le système de fichiers lors de la dissociation, vous devez effacer les données à relier :

Accédez à Azure Synapse Analytics.
Sélectionnez ... pour la base de données non liée, puis Nouveau notebook>Notebook vide.
Attachez le notebook à un pool Apache Spark en sélectionnant un pool dans le menu déroulant. Si vous n’avez pas de pool Apache Spark, sélectionnez Gérer les pools pour en créer un.
Entrez le script suivant, remplacez <DATABASE_NAME> par le nom de la base de données à dissocier et exécutez le notebook.

SQL

    %%sql
    DROP DATABASE <DATABASE_NAME> CASCADE

Après avoir exécuté le notebook, actualisez la liste des bases de données dans le panneau de gauche. Si la base de données existe toujours, essayez de faire un clic droit sur la base de données et de sélectionner Effacer.
Accédez à Power Apps, et reconnectez l’espace de travail et le lac de données Synapse.

Accéder aux données en quasi-temps réel et aux données d’instantané en lecture seule

Après avoir créé un Azure Synapse Link, deux versions des données de la table seront synchronisées dans Azure Synapse Analytics et/ou dans Azure Data Lake Storage Gen2 dans votre abonnement Azure par défaut pour vous assurer que vous pouvez consommer de manière fiable et à tout moment les données mises à jour dans le lac :

Données en temps quasi-réel : fournit une copie des données de Dataverse via Azure Synapse Link de manière efficace en détectant les données qui ont changé depuis leur extraction initiale ou leur dernière synchronisation.
Données d’instantané : fournit une copie en lecture seule des données en temps quasi-réel qui sont mises à jour à intervalles réguliers (dans ce cas, toutes les heures).

Notes

Pour créer des données d’instantané en lecture seule, assurez-vous que le paramètre Étendue autorisée pour les opérations de copie est configuré sur Depuis n’importe quel compte de stockage. Plus d’informations : Configurer la portée autorisée pour les opérations de copie

Sélectionnez l’instance Azure Synapse Link souhaitée, puis sélectionnez Accéder à l’espace de travail Azure Synapse Analytics dans le volet supérieur.
Développez Bases de données en lac depuis le volet de gauche, sélectionnez dataverse-NomEnvironnement-NomUniqueOrganisation, puis développez Tables.

Toutes les Tables de données en temps quasi-réel sont répertoriées et disponibles pour analyse avec la convention de dénomination DataverseNomTable. Toutes les Tables de données d’instantané sont répertoriées et disponibles pour analyse avec la convention de dénomination DataverseNomTable_partitioned.

Tables en temps quasi-réel et instantanées

Quelle est la prochaine étape ?

Après avoir utilisé avec succès le service Azure Synapse Link for Dataverse, découvrez comment vous pouvez analyser et consommer vos données avec le Centre de découverte. Pour accéder au Centre de découverte, aller à Power Apps>Azure Synapse Link. Sélectionnez votre service lié, puis sélectionnez l’onglet Hub de découverte. Vous trouverez ici des outils recommandés et une documentation organisée pour vous aider à tirer le meilleur parti de vos données. Hub de découverte.