Tutoriel : Accepter et recevoir des données avec Azure Data Share

Dans ce tutoriel, vous apprenez à accepter une invitation de partage de données en utilisant Azure Data Share. Vous apprenez à recevoir les données qui ont été partagées avec vous et à activer un intervalle d’actualisation régulier pour avoir toujours le dernier instantané des données partagées.

• Guide pratique pour accepter une invitation Azure Data Share
• Créer un compte Azure Data Share
• Spécifier une destination pour vos données
• Créer un abonnement à votre partage de données pour l’actualisation planifiée

Prérequis

Avant de pouvoir accepter une invitation de partage de données, vous devez créer des ressources Azure, listées ci-dessous.

Vérifiez que tous les prérequis sont remplis avant d’accepter une invitation de partage de données.

• Abonnement Azure : Si vous n’avez pas d’abonnement Azure, créez un compte gratuit avant de commencer.
• Invitation Data Share : Invitation de Microsoft Azure dont l’objet est « Invitation Azure Data Share de yourdataprovider@domain.com ».
• Inscrivez le fournisseur de ressources Microsoft.DataShare dans l’abonnement Azure où vous allez créer une ressource de partage de données et dans l’abonnement Azure où se trouvent vos magasins de données Azure cibles.

Recevoir des données dans un compte de stockage

• Compte Stockage Azure : Si vous n’en avez pas déjà, vous pouvez créer un compte Stockage Azure.
• Autorisation d’écrire dans le compte de stockage, qui est présent dans Microsoft.Storage/storageAccounts/write. Cette autorisation existe dans le rôle Contributeur de compte de stockage.
• Autorisation d’ajouter l’attribution de rôle au compte de stockage, qui est présente dans Microsoft.Authorization/role assignments/write. Cette autorisation existe dans le rôle Propriétaire.

Recevoir des données dans une cible basée sur SQL

Si vous choisissez de recevoir des données dans Azure SQL Database, Azure Synapse Analytics, vous trouverez ci-dessous la liste des conditions préalables.

Prérequis pour la réception de données dans Azure SQL Database ou Azure Synapse Analytics (anciennement Azure SQL DW)

• Azure SQL Database ou Azure Synapse Analytics (anciennement Azure SQL DW).
• Autorisation d’écrire dans les bases de données sur le serveur SQL Server, qui est présente dans Microsoft.Sql/servers/databases/write. Cette autorisation existe dans le rôle Contributeur.
• Administrateur Microsoft Entra du serveur SQL
• Accès au pare-feu SQL Server. Pour ce faire, procédez comme suit :
  1. Dans SQL Server, dans le portail Azure, accédez à Pare-feux et réseaux virtuels
  2. Sélectionnez Oui pour Autoriser les services et les ressources Azure à accéder à ce serveur.
  3. Sélectionnez +Ajouter une adresse IP cliente. Cette adresse IP est susceptible d’être modifiée. Il peut être nécessaire de répéter ce processus la prochaine fois que vous partagerez des données SQL à partir du portail Azure. Vous pouvez également ajouter une plage d’adresses IP.
  4. Sélectionnez Enregistrer.

Prérequis pour la réception de données dans un pool SQL Azure Synapse Analytics (espace de travail)

• Pool SQL dédié Azure Synapse Analytics (espace de travail). La réception de données dans un pool SQL serverless n’est actuellement pas prise en charge.

• Autorisation d’écrire dans le pool SQL de l’espace de travail Synapse, qui est présent dans Microsoft.Synapse/workspaces/sqlPools/write. Cette autorisation existe dans le rôle Contributeur.

• Autorisation permettant à l’identité managée de la ressource Data Share d’accéder au pool SQL de l’espace de travail Synapse. Pour ce faire, procédez comme suit :

  1. Dans le portail Azure, accédez à l’espace de travail Synapse. Sélectionnez Administrateur Microsoft Entra dans le volet de navigation gauche et attribuez-vous le rôle Administrateur Microsoft Entra.

  2. Ouvrez Synapse Studio et sélectionnez Gérer dans le volet de navigation gauche. Sélectionnez Contrôle d’accès sous Sécurité. Attribuez-vous le rôle Administrateur SQL ou Administrateur d’espace de travail.

  3. Dans Synapse Studio, sélectionnez Développer dans le volet de navigation gauche. Exécutez le script suivant dans le pool SQL pour ajouter l’identité managée de la ressource Data Share en tant que « db_datareader, db_datawriter, db_ddladmin ».

     create user "<share_acc_name>" from external provider; 
     exec sp_addrolemember db_datareader, "<share_acc_name>"; 
     exec sp_addrolemember db_datawriter, "<share_acc_name>"; 
     exec sp_addrolemember db_ddladmin, "<share_acc_name>";
     

     <share_acc_name> est le nom de votre ressource Data Share. Si vous n’avez pas encore créé de ressource Data Share, vous pouvez revenir à cette condition requise.

• Accès au pare-feu de l’espace de travail Synapse. Pour ce faire, procédez comme suit :

  1. Dans le portail Azure, accédez à l’espace de travail Synapse. Sélectionnez Pare-feu dans le volet de navigation gauche.
  2. Sélectionnez ON pour Autoriser les services et ressources Azure à accéder à cet espace de travail.
  3. Sélectionnez +Ajouter une adresse IP cliente. Cette adresse IP est susceptible d’être modifiée. Il peut être nécessaire de répéter ce processus la prochaine fois que vous partagerez des données SQL à partir du portail Azure. Vous pouvez également ajouter une plage d’adresses IP.
  4. Sélectionnez Enregistrer.

Recevez des données dans un cluster Azure Data Explorer :

• Un cluster Azure Data Explorer dans le même centre de données Azure que le cluster Data Explorer du fournisseur de données : Si vous n’en avez pas déjà un, vous pouvez créer un cluster Azure Data Explorer. Si vous ne connaissez pas le centre de données Azure du cluster du fournisseur de données, vous pouvez créer le cluster plus tard dans le processus.
• Autorisation d’écrire dans le cluster Azure Data Explorer, qui est présente dans Microsoft.Kusto/clusters/write. Cette autorisation existe dans le rôle Contributeur.

Connectez-vous au portail Azure.

Connectez-vous au portail Azure.

Ouvrir l’invitation

Portail

1. Vous pouvez ouvrir une invitation à partir d’un e-mail, ou directement à partir du portail Azure.

   Pour ouvrir une invitation à partir d’un e-mail, recherchez dans votre boîte de réception une invitation émanant de votre fournisseur de données. L’invitation provient de Microsoft Azure et s’intitule Invitation Azure Data Share de yourdataprovider@domain.com . Sélectionnez Afficher l’invitation pour voir votre invitation dans Azure.

   Pour ouvrir l’invitation directement à partir du portail Azure, recherchez Invitations Azure Data Share dans le portail Azure. Cette action vous dirige vers la liste des invitations Data Share.

   Si vous êtes utilisateur invité d’un locataire, il vous est demandé de vérifier votre adresse e-mail pour le locataire avant d’afficher l’invitation Data Share pour la première fois. Une fois la vérification effectuée, elle est valide pendant 12 mois.

   

2. Sélectionnez l’invitation que vous souhaitez afficher.

Azure CLI

Préparez votre environnement Azure CLI, puis affichez vos invitations.

Commencez par préparer votre environnement pour Azure CLI :

• Utilisez l’environnement Bash dans Azure Cloud Shell. Pour plus d’informations, consultez Démarrage rapide pour Bash dans Azure Cloud Shell.

  

• Si vous préférez exécuter les commandes de référence de l’interface de ligne de commande localement, installez l’interface Azure CLI. Si vous exécutez sur Windows ou macOS, envisagez d’exécuter Azure CLI dans un conteneur Docker. Pour plus d’informations, consultez Guide pratique pour exécuter Azure CLI dans un conteneur Docker.

  • Si vous utilisez une installation locale, connectez-vous à Azure CLI à l’aide de la commande az login. Pour finir le processus d’authentification, suivez les étapes affichées dans votre terminal. Pour connaître les autres options de connexion, consultez Se connecter avec Azure CLI.

  • Lorsque vous y êtes invité, installez l’extension Azure CLI lors de la première utilisation. Pour plus d’informations sur les extensions, consultez Utiliser des extensions avec Azure CLI.

  • Exécutez az version pour rechercher la version et les bibliothèques dépendantes installées. Pour effectuer une mise à niveau vers la dernière version, exécutez az upgrade.

Exécutez la commande az datashare consumer-invitation list-invitation pour voir vos invitations actuelles :

az datashare consumer consumer-invitation list-invitation

Copiez l’ID de votre invitation pour l’utiliser dans la section suivante.

PowerShell

Commencez par préparer votre environnement pour PowerShell. Vous pouvez exécuter des commandes PowerShell localement ou utiliser l’environnement Bash dans Azure Cloud Shell.

• Si vous choisissez d’utiliser Azure PowerShell localement :
  • Installez la dernière version du module Az PowerShell.
  • Connectez-vous à votre compte Azure à l’aide de la cmdlet Connect-AzAccount.
• Si vous choisissez d’utiliser Azure Cloud Shell :
  • Pour plus d’informations, consultez Vue d’ensemble d’Azure Cloud Shell.

1. Utilisez la commande Connect-AzAccount pour vous connecter à votre compte Azure.

   Connect-AzAccount
   

2. Si vous avez plusieurs abonnements, exécutez la commande Set-AzContext.

   Set-AzContext [SubscriptionID/SubscriptionName]
   

3. Exécutez la commande Get-AzDataShareReceivedInvitation pour voir vos invitations actuelles :

   Get-AzDataShareReceivedInvitation
   

Copiez l’ID de votre invitation pour l’utiliser dans la section suivante.

Accepter l’invitation

Portail

1. Veillez à passer en revue tous les champs, notamment les Conditions d’utilisation. Si vous acceptez les conditions d’utilisation, vous devez cocher la case indiquant que vous donnez votre accord.

   

2. Sous Target Data Share Account (Compte Data Share cible), sélectionnez l’abonnement et le groupe de ressources à utiliser pour le déploiement de votre partage de données.

   Pour le champ Data Share Account (Compte Data Share), sélectionnez Create new (Créer) si vous n’avez pas de compte Data Share existant. Sinon, sélectionnez un compte Data Share existant dans lequel vous souhaitez accepter votre partage de données.

   Pour le champ Nom de partage reçu, vous pouvez conserver la valeur par défaut spécifiée par le fournisseur de données ou en spécifier un nouveau.

   Une fois que vous avez accepté les conditions d’utilisation et spécifié un compte Data Share pour gérer votre partage reçu, sélectionnez Accepter et configurer. Un abonnement de partage est créé.

   

   Cette action vous dirige vers le partage reçu dans votre compte Data Share.

   Si vous ne souhaitez pas accepter l’invitation, sélectionnez Reject (Rejeter).

Azure CLI

Utilisez la commande az datashare share-subscription create pour créer le partage de données.

az datashare share-subscription create --resource-group share-rg \
  --name "fabrikamsolutions" --account-name FabrikamDataShareAccount \
  --invitation-id 89abcdef-0123-4567-89ab-cdef01234567 \
  --source-share-location "East US 2"

PowerShell

Utilisez la commande New-AzDataShareSubscription pour créer le partage de données. InvitationId correspond à l’ID que vous avez collecté à l’étape précédente.

New-AzDataShareSubscription -ResourceGroupName share-rg -AccountName FabrikamDataShareAccount -Name "Fabrikam Solutions" -InvitationId "89abcdef-0123-4567-89ab-cdef01234567"

Configurer un partage reçu

Portail

Suivez les étapes ci-dessous pour configurer l’emplacement où vous souhaitez recevoir les données.

1. Sélectionnez l’onglet Jeux de données. Cochez la case en regard du jeu de données auquel vous souhaitez affecter une destination. Sélectionnez + Mapper à la cible pour choisir un magasin de données cible.

   

2. Sélectionnez un type de magasin de données cible dans lequel vous souhaitez que les données arrivent. Tous les fichiers de données ou les tables dans le magasin de données cible ayant le même chemin et le même nom seront remplacés. Si vous recevez des données dans Azure SQL Database ou Azure Synapse Analytics (anciennement Azure SQL DW), cochez la case Autoriser Data Share à exécuter le script « Créer un utilisateur » ci-dessus en mon nom.

   Pour les partages sur place, sélectionnez un magasin de données à l’emplacement spécifié. L’emplacement est le centre de données Azure où se trouve le magasin de données source du fournisseur de données. Une fois le jeu de données mappé, vous pouvez suivre le lien dans le chemin cible pour accéder aux données.

   

3. Pour le partage basé sur un instantané, si le fournisseur de données a créé une planification d’instantané pour fournir une mise à jour régulière des données, vous pouvez également activer la planification des instantanés en sélectionnant l’onglet Planification d’instantanés. Cochez la case en regard de la planification d’instantané et sélectionnez + Activer. Le premier instantané planifié démarre dans un délai d’une minute après l’heure planifiée et que les instantanés suivants démarrent quelques secondes après l’heure planifiée.

   

   Les métadonnées des fichiers copiés ne sont pas conservées après chaque exécution. C'est la procédure normale.

Azure CLI

Utilisez les commandes suivantes pour configurer l’emplacement où vous souhaitez recevoir les données.

1. Exécutez la commande az datashare consumer-source-data-set list pour obtenir l’ID du jeu de données :

   az datashare consumer-source-data-set list --resource-group "share-rg" \
    --account-name "FabrikamDataShareAccount" \
      --share-subscription-name "fabrikamsolutions" \
   

2. Si vous avez besoin d’un compte de stockage, exécutez la commande az storage account create afin de créer un compte de stockage pour ce partage de données :

   az storage account create --resource-group "share-rg" --name "FabrikamDataShareStorageAccount" \
   

3. Utilisez la commande az storage account show pour récupérer l’ID du compte de stockage :

   az storage account show --resource-group "share-rg" --name "FabrikamDataShareStorageAccount" \
    --query "id"
   

4. Utilisez la commande suivante pour récupérer l’ID du principal du compte :

   az datashare account show --resource-group "share-rg" --name "FabrikamDataShareAccount" \
     --query "identity.principalId"
   

5. Utilisez la commande az role assignment create afin de créer une attribution de rôle pour le principal de compte en utilisant l’ID de principal du compte et l’ID de votre compte de stockage :

   az role assignment create --role "Contributor" \
     --assignee-object-id aaaaaaaa-0000-1111-2222-bbbbbbbbbbbb 
     --assignee-principal-type ServicePrincipal --scope "your\storage\account\id\path"
   

6. Créez une variable pour le mappage à partir de l’ID de jeu de données de l’étape 1 :

   $mapping='{\"data_set_id\":\"' + $dataset_id + '\",\"container_name\":\"newcontainer\",
     \"storage_account_name\":\"datashareconsumersa\",\"kind\":\"BlobFolder\",\"prefix\":\"consumer\"}'
   

7. Utilisez la commande az datashare data-set-mapping create pour créer le mappage de jeu de données :

   az datashare data-set-mapping create --account-name "FabrikamDataShareAccount" \
    --data-set-mapping-name "datasetmapping" --resource-group "share-rg" \
    --share-subscription-name "fabrikamsolutions" --blob-folder-data-set-mapping $mapping
   

8. Exécutez la commande az datashare share-subscription synchronize pour démarrer la synchronisation du jeu de données.

   az datashare share-subscription synchronize \
     --resource-group "share-rg" --account-name "FabrikamDataShareAccount"  \
     --name "Fabrikam Solutions" --synchronization-mode "Incremental" \
   

   Exécutez la commande az datashare share-subscription list-synchronization pour voir la liste de vos synchronisations :

   az datashare share-subscription list-synchronization \
     --resource-group "share-rg" --account-name "FabrikamDataShareAccount" \
     --share-subscription-name "Fabrikam Solutions" \
   

   Utilisez la commande az datashare share-subscription list-source-share-synchronization-setting pour voir les paramètres de synchronisation définis sur votre partage.

   az datashare share-subscription list-source-share-synchronization-setting \
     --resource-group "share-rg" --account-name "FabrikamDataShareAccount" \
     --share-subscription-name "Fabrikam Solutions"
   

PowerShell

Utilisez les commandes suivantes pour configurer l’emplacement où vous souhaitez recevoir les données.

1. Exécutez la commande Get-AzDataShareSourceDataSet pour obtenir l’ID du jeu de données :

   Get-AzDataShareSourceDataSet -ResourceGroupName "share-rg" -AccountName "FabrikamDataShareAccount" -ShareSubscriptionName "fabrikamsolutions"
   

2. Si vous n’avez pas encore d’emplacement où stocker les données partagées, vous pouvez suivre ces étapes pour créer un compte de stockage. Si vous en avez déjà un, vous pouvez passer directement aux étapes suivantes.

   1. Exécutez la commande New-AzStorageAccount pour créer un compte stockage Azure :

      $storageAccount = New-AzStorageAccount -ResourceGroupName "share-rg" -AccountName FabrikamStorageAccount -Location "East US 2" -SkuName Standard_GRS
      
      $ctx = $storageAccount.Context
      

   2. Exécutez la commande New-AzStorageContainer pour créer un conteneur dans votre nouveau compte de stockage Azure qui contiendra vos données :

      $containerName = "StorageContainer"
      
      New-AzStorageContainer -Name $containerName -Context $ctx -Permission blob
      

   3. Exécutez la commande Set-AzStorageBlobContent pour charger un fichier. L’exemple suivant charge textfile.csv à partir du dossier D:\testFiles de la mémoire locale vers le conteneur que vous avez créé.

      Set-AzStorageBlobContent -File "D:\testFiles\textfile.csv" -Container $containerName -Blob "textfile.csv" -Context $ctx
      

   Pour plus d’informations sur l’utilisation du stockage Azure dans PowerShell, suivez ce guide.

3. Utilisez la commande Get-AzStorageAccount pour obtenir l’ID du compte de stockage :

   Get-AzStorageAccount -ResourceGroupName "share-rg" -Name FabrikamStorageAccount
   

4. Utilisez l’ID du jeu de données de la première étape, puis exécutez la commande New-AzDataShareDataSetMapping pour créer le mappage de jeu de données :

   New-AzDataShareDataSetMapping -ResourceGroupName "share-rg" -AccountName "FabrikamDataShareAccount" -ShareSubscriptionName "fabrikamsolutions" -Name "Fabrikam Solutions" -StorageAccountResourceId "aaaaaaaa-0000-1111-2222-bbbbbbbbbbbb"  -DataSetId "0123abcd-ef01-2345-6789-abcdef012345"  -Container "StorageContainer"
   

5. Exécutez la commande Start-AzDataShareSubscriptionSynchronization pour démarrer la synchronisation du jeu de données.

   Start-AzDataShareSubscriptionSynchronization -ResourceGroupName "share-rg" -AccountName "FabrikamDataShareAccount" -ShareSubscriptionName "fabrikamsolutions" -SynchronizationMode "Incremental"
   

   Exécutez la commande Get-AzDataShareSubscriptionSynchronization pour voir la liste de vos synchronisations :

   Get-AzDataShareSubscriptionSynchronization -ResourceGroupName "share-rg" -AccountName "FabrikamDataShareAccount" -ShareSubscriptionName "fabrikamsolutions"
   

   Utilisez la commande Get-AzDataShareSubscriptionSynchronizationDetail pour voir les paramètres de synchronisation définis sur votre partage.

   Get-AzDataShareSubscriptionSynchronizationDetail -ResourceGroupName "share-rg" -AccountName "FabrikamDataShareAccount" -ShareSubscriptionName "fabrikamsolutions" -SynchronizationId "a6ee5c8d-0ce0-485e-b2f2-966b187dc6c7"
   

Déclencher une capture instantanée

Portail

Ces étapes s’appliquent seulement au partage basé sur des instantanés.

1. Vous pouvez déclencher un instantané en sélectionnant l’onglet Détails puis Déclencher un instantané. Ici, vous pouvez déclencher une capture instantanée complète ou incrémentielle de vos données. Si vous recevez des données de votre fournisseur de données pour la première fois, sélectionnez l’option de copie complète.

   

2. Une fois que le dernier état d’exécution est Réussi, accédez au magasin de données cible pour voir les données reçues. Sélectionnez Jeux de données, puis sélectionnez le lien dans le chemin cible.

   

Azure CLI

Exécutez la commande az datashare trigger create pour déclencher un instantané :

az datashare trigger create --account-name "FabrikamDataShareAccount" --resource-group "share-rg" --share-subscription-name "Fabrikam Solutions" --scheduled-trigger recurrence-interval="Day" synchronization-mode="Incremental" synchronization-time="2018-11-14T04:47:52.9614956Z" --name "Trigger1"

PowerShell

Ces étapes s’appliquent seulement au partage basé sur des instantanés.

Exécutez la commande New-AzDataShareTrigger pour déclencher un instantané :

New-AzDataShareTrigger -ResourceGroupName "share-rg" -AccountName "FabrikamDataShareAccount" -Name "Fabrikam Solutions" -RecurrenceInterval "Day" -SynchronizationTime "2018-11-14T04:47:52.9614956Z"

Afficher l’historique

Cette étape s’applique uniquement au partage basé sur un instantané. Pour afficher l’historique de vos instantanés, sélectionnez l’onglet Historique. Vous trouverez ici un historique de tous les instantanés générés au cours des 30 derniers jours.

Nettoyer les ressources

Quand la ressource n’est plus nécessaire, accédez à la page Vue d’ensemble du partage de données, puis sélectionnez Supprimer pour le supprimer.

Étapes suivantes

Dans ce tutoriel, vous avez découvert comment accepter et recevoir un partage Azure Data Share. Pour en savoir plus sur les concepts liés à Azure Data Share, consultez la terminologie Azure Data Share.

Concepts d’Azure Data Share