Tutoriel : Accepter et recevoir des données à l’aide d’Azure Data Share

Dans ce tutoriel, vous allez apprendre à accepter une invitation de partage de données à l’aide d’Azure Data Share. Vous allez apprendre à recevoir des données partagées avec vous et à activer un intervalle d’actualisation régulier pour vous assurer que vous disposez toujours de l’instantané le plus récent des données partagées avec vous.

• Comment accepter une invitation Azure Data Share
• Créer un compte Azure Data Share
• Spécifier une destination pour vos données
• Créer un abonnement à votre partage de données pour l’actualisation planifiée

Prerequisites

Avant de pouvoir accepter une invitation de partage de données, vous devez créer certaines ressources Azure, répertoriées ci-dessous.

Vérifiez que toutes les conditions préalables sont remplies avant d’accepter une invitation de partage de données.

• Abonnement Azure : si vous n’avez pas d’abonnement Azure, créez un compte gratuit avant de commencer.
• Une invitation Data Share : invitation de Microsoft Azure avec un sujet intitulé « Invitation Azure Data Share à partir de yourdataprovider@domain.com».
• Inscrivez le fournisseur de ressources Microsoft.DataShare dans l’abonnement Azure dans lequel vous allez créer une ressource Data Share et l’abonnement Azure où se trouvent vos magasins de données Azure cibles.

Recevoir des données dans un compte de stockage

• Un compte stockage Azure : si vous n’en avez pas déjà, vous pouvez créer un compte de stockage Azure.
• Autorisation d’écrire dans le compte de stockage, qui est présent dans Microsoft.Storage/storageAccounts/write. Cette autorisation existe dans le rôle Contributeur de compte de stockage .
• Autorisation d’ajouter une attribution de rôle au compte de stockage, qui est présent dans Microsoft.Authorization/role assignments/write. Cette autorisation existe dans le rôle Propriétaire.

Réceptionner des données dans une cible basée sur SQL

Si vous choisissez de recevoir des données dans Azure SQL Database, Azure Synapse Analytics, voici la liste des prérequis.

Conditions préalables à la réception de données dans Azure SQL Database ou Azure Synapse Analytics (anciennement Azure SQL DW)

• Azure SQL Database ou Azure Synapse Analytics (anciennement Azure SQL DW).
• Autorisation d’écrire dans des bases de données sur le serveur SQL, qui est présente dans Microsoft.Sql/servers/databases/write. Cette autorisation existe dans le rôle Contributeur .
• Administrateur Microsoft Entra du serveur SQL
• Accès au pare-feu SQL Server. Pour ce faire, procédez comme suit :
  1. Dans SQL Server, dans le portail Azure, accédez à Pare-feux et réseaux virtuels
  2. Sélectionnez Oui pour autoriser les services et ressources Azure à accéder à ce serveur.
  3. Sélectionnez +Ajouter une adresse IP cliente. L’adresse IP du client est sujette à modification. Ce processus peut être répété la prochaine fois que vous partagez des données SQL à partir du portail Azure. Vous pouvez également ajouter une plage d’adresses IP.
  4. Cliquez sur Enregistrer.

Conditions préalables à la réception de données dans un pool SQL Azure Synapse Analytics (espace de travail)

• Un pool SQL dédié dans l'espace de travail Azure Synapse Analytics. La réception de données dans un pool SQL serverless n’est actuellement pas prise en charge.

• Autorisation d’écrire dans le pool SQL dans l’espace de travail Synapse, qui est présente dans Microsoft.Synapse/workspaces/sqlPools/write. Cette autorisation existe dans le rôle Contributeur .

• Autorisation pour l’identité managée de la ressource Data Share pour accéder au pool SQL de l’espace de travail Synapse. Pour ce faire, procédez comme suit :

  1. Dans le portail Azure, accédez à l’espace de travail Synapse. Sélectionnez l’administrateur Microsoft Entra dans le volet de navigation gauche et définissez-vous en tant qu’administrateur Microsoft Entra.

  2. Ouvrez Synapse Studio, sélectionnez Gérer dans le volet de navigation gauche. Sélectionnez Contrôle d’accès sous Sécurité. Attribuez-vous votre rôle d’administrateur SQL ou d’administrateur d’espace de travail .

  3. Dans Synapse Studio, sélectionnez Développer dans le volet de navigation gauche. Exécutez le script suivant dans le pool SQL pour ajouter l’identité managée de ressource Data Share en tant que « db_datareader, db_datawriter, db_ddladmin ».

     create user "<share_acc_name>" from external provider; 
     exec sp_addrolemember db_datareader, "<share_acc_name>"; 
     exec sp_addrolemember db_datawriter, "<share_acc_name>"; 
     exec sp_addrolemember db_ddladmin, "<share_acc_name>";
     

     Le <share_acc_name> est le nom de votre ressource Data Share. Si vous n’avez pas encore créé de ressource Data Share, vous pouvez revenir à cette condition préalable ultérieurement.

• Accès au pare-feu de l’espace de travail Synapse. Pour ce faire, procédez comme suit :

  1. Dans le portail Azure, accédez à l’espace de travail Synapse. Sélectionnez Pare-feu dans le volet de navigation gauche.
  2. Sélectionnez ON pour autoriser les services et les ressources Azure à accéder à cet espace de travail.
  3. Sélectionnez +Ajouter une adresse IP cliente. L’adresse IP du client est sujette à modification. Ce processus peut être répété la prochaine fois que vous partagez des données SQL à partir du portail Azure. Vous pouvez également ajouter une plage d’adresses IP.
  4. Cliquez sur Enregistrer.

Recevoir des données dans un cluster Azure Data Explorer :

• Un cluster Azure Data Explorer dans le même centre de données Azure que le cluster Explorateur de données du fournisseur de données : si vous n’en avez pas encore, vous pouvez créer un cluster Azure Data Explorer. Si vous ne connaissez pas le centre de données Azure du cluster du fournisseur de données, vous pouvez créer le cluster plus loin dans le processus.
• Autorisation d’écrire dans le cluster Azure Data Explorer, qui est présent dans Microsoft.Kusto/clusters/write. Cette autorisation existe dans le rôle Contributeur.

Connectez-vous au portail Azure.

Connectez-vous au portail Azure.

Invitation ouverte

Portal

1. Vous pouvez ouvrir l’invitation à partir d’un e-mail ou directement à partir du portail Azure.

   Pour ouvrir l’invitation à partir d’un e-mail, consultez votre boîte de réception pour obtenir une invitation de votre fournisseur de données. L’invitation provient de Microsoft Azure, intitulée Invitation Azure Data Share de yourdataprovider@domain.com. Sélectionnez l’option Afficher l’invitation pour afficher votre invitation dans Azure.

   Pour ouvrir directement l’invitation à partir du portail Azure, recherchez les invitations Data Share dans le portail Azure. Cette action vous permet d’accéder à la liste des invitations Data Share.

   Si vous êtes utilisateur invité d’un locataire, il vous est demandé de vérifier votre adresse e-mail pour le locataire avant d’afficher l’invitation Data Share pour la première fois. Une fois la vérification effectuée, elle est valide pendant 12 mois.

   

2. Sélectionnez l’invitation que vous souhaitez afficher.

Azure CLI

Préparez votre environnement Azure CLI, puis affichez vos invitations.

Commencez par préparer votre environnement pour Azure CLI :

• Utilisez l’environnement Bash dans Azure Cloud Shell. Pour obtenir plus d’informations, consultez Démarrage d’Azure Cloud Shell.

  

• Si vous préférez exécuter des commandes de référence CLI localement, installez Azure CLI. Si vous exécutez sur Windows ou macOS, envisagez d’exécuter Azure CLI dans un conteneur Docker. Pour plus d’informations, consultez Comment exécuter Azure CLI dans un conteneur Docker.

  • Si vous utilisez une installation locale, connectez-vous à Azure CLI à l’aide de la commande az login. Pour terminer le processus d’authentification, suivez les étapes affichées dans votre terminal. Pour obtenir d’autres options de connexion, consultez S’authentifier auprès d’Azure à l’aide d’Azure CLI.

  • Lorsque vous y êtes invité, installez l’extension Azure CLI lors de la première utilisation. Pour plus d’informations sur les extensions, consultez Utiliser et gérer des extensions avec Azure CLI.

  • Exécutez az version pour rechercher la version et les bibliothèques dépendantes installées. Pour effectuer une mise à niveau vers la dernière version, exécutez az upgrade.

Exécutez la commande az datashare consumer-invitation list-invitation pour afficher vos invitations actuelles :

az datashare consumer-invitation list-invitation

Copiez votre ID d’invitation à utiliser dans la section suivante.

PowerShell

Commencez par préparer votre environnement pour PowerShell. Vous pouvez exécuter des commandes PowerShell localement ou utiliser l’environnement Bash dans Azure Cloud Shell.

• Si vous choisissez d’utiliser Azure PowerShell localement :
  • Installez la dernière version du module Az PowerShell.
  • Connectez-vous à votre compte Azure à l’aide de la cmdlet Connect-AzAccount.
• Si vous choisissez d’utiliser Azure Cloud Shell :
  • Pour plus d’informations, consultez Vue d’ensemble d’Azure Cloud Shell.

1. Utilisez la commande Connect-AzAccount pour vous connecter à votre compte Azure.

   Connect-AzAccount
   

2. Exécutez la commande Set-AzContext pour définir l’abonnement approprié, si vous avez plusieurs abonnements.

   Set-AzContext [SubscriptionID/SubscriptionName]
   

3. Exécutez la commande Get-AzDataShareReceivedInvitation pour afficher vos invitations actuelles :

   Get-AzDataShareReceivedInvitation
   

Copiez votre ID d’invitation à utiliser dans la section suivante.

Accepter l’invitation

Portal

1. Vérifiez que tous les champs sont examinés, y compris les conditions d’utilisation. Si vous acceptez les conditions d’utilisation, vous devrez cocher la case à cocher pour indiquer que vous êtes d’accord.

   

2. Sous Compte de partage de données cible, sélectionnez l’abonnement et le groupe de ressources dans lequel vous allez déployer votre partage de données.

   Pour le champ Compte de partage de données , sélectionnez Créer si vous n’avez pas de compte Data Share existant. Sinon, sélectionnez un compte Data Share existant dans lequel vous souhaitez accepter votre partage de données.

   Pour le champ Nom du partage reçu , vous pouvez conserver la valeur par défaut spécifiée par les données, ou spécifier un nouveau nom pour le partage reçu.

   Une fois que vous avez accepté les conditions d’utilisation et spécifié un compte Data Share pour gérer votre partage reçu, sélectionnez Accepter et configurer. Un abonnement de partage est créé.

   

   Cette action vous dirige vers le partage reçu dans votre compte Data Share.

   Si vous ne souhaitez pas accepter l’invitation, sélectionnez Rejeter.

Azure CLI

Utilisez la commande az datashare share-subscription create pour créer le partage de données.

az datashare share-subscription create --resource-group share-rg \
  --name "fabrikamsolutions" --account-name FabrikamDataShareAccount \
  --invitation-id 89abcdef-0123-4567-89ab-cdef01234567 \
  --source-share-location "East US 2"

PowerShell

Utilisez la commande New-AzDataShareSubscription pour créer le partage de données. L’ID d’invitation sera l’ID que vous avez collecté à l’étape précédente.

New-AzDataShareSubscription -ResourceGroupName share-rg -AccountName FabrikamDataShareAccount -Name "Fabrikam Solutions" -InvitationId "89abcdef-0123-4567-89ab-cdef01234567"

Configurer le partage reçu

Portal

Suivez les étapes ci-dessous pour configurer l’emplacement où vous souhaitez recevoir des données.

1. Sélectionnez l’onglet Jeux de données . Cochez la case en regard du jeu de données auquel vous souhaitez affecter une destination. Sélectionnez + Mapper à la cible pour choisir un magasin de données cible.

   

2. Sélectionnez un type de magasin de données cible dans lequel vous souhaitez que les données atterrissent. Tous les fichiers de données ou tables du magasin de données cible avec le même chemin d’accès et le même nom seront remplacés. Si vous recevez des données dans Azure SQL Database ou Azure Synapse Analytics (anciennement Azure SQL DW), cochez la case Autoriser le partage de données à exécuter le script « créer un utilisateur » ci-dessus pour mon compte.

   Pour le partage sur place, sélectionnez un magasin de données dans l’emplacement spécifié. L’emplacement est le centre de données Azure où se trouve le magasin de données source du fournisseur de données. Une fois le jeu de données mappé, vous pouvez suivre le lien dans le chemin cible pour accéder aux données.

   

3. Pour le partage basé sur des instantanés, si le fournisseur de données a créé une planification d’instantanés pour fournir une mise à jour régulière des données, vous pouvez également activer la planification des instantanés en sélectionnant l’onglet Planification d’instantané . Cochez la case en regard de la planification d’instantanés, puis sélectionnez + Activer. Le premier instantané planifié démarre dans un délai d’une minute après l’heure planifiée et que les instantanés suivants démarrent quelques secondes après l’heure planifiée.

   

   Les métadonnées des fichiers copiés ne sont pas conservées après chaque exécution. C'est intentionnel.

Azure CLI

Utilisez ces commandes pour configurer l’emplacement où vous souhaitez recevoir des données.

1. Exécutez la commande az datashare consumer-source-data-set list pour obtenir l’ID du jeu de données :

   az datashare consumer-source-data-set list --resource-group "share-rg" \
    --account-name "FabrikamDataShareAccount" \
      --share-subscription-name "fabrikamsolutions" \
   

2. Si vous avez besoin d’un compte de stockage, exécutez la commande az storage account create pour créer un compte de stockage pour ce partage de données :

   az storage account create --resource-group "share-rg" --name "FabrikamDataShareStorageAccount" \
   

3. Utilisez la commande az storage account show pour obtenir l’ID du compte de stockage :

   az storage account show --resource-group "share-rg" --name "FabrikamDataShareStorageAccount" \
    --query "id"
   

4. Utilisez la commande suivante pour obtenir l’ID du principal de compte :

   az datashare account show --resource-group "share-rg" --name "FabrikamDataShareAccount" \
     --query "identity.principalId"
   

5. Utilisez la commande az role assignment create pour créer une attribution de rôle pour le principal du compte à l’aide de l’ID du principal du compte et de votre ID de compte de stockage :

   az role assignment create --role "Contributor" \
     --assignee-object-id aaaaaaaa-0000-1111-2222-bbbbbbbbbbbb 
     --assignee-principal-type ServicePrincipal --scope "your\storage\account\id\path"
   

6. Créez une variable pour le mappage en fonction de l’ID du jeu de données de l’étape 1 :

   $mapping='{\"data_set_id\":\"' + $dataset_id + '\",\"container_name\":\"newcontainer\",
     \"storage_account_name\":\"datashareconsumersa\",\"kind\":\"BlobFolder\",\"prefix\":\"consumer\"}'
   

7. Utilisez la commande az datashare data-set-mapping create pour créer le mappage de jeu de données :

   az datashare data-set-mapping create --account-name "FabrikamDataShareAccount" \
    --data-set-mapping-name "datasetmapping" --resource-group "share-rg" \
    --share-subscription-name "fabrikamsolutions" --blob-folder-data-set-mapping $mapping
   

8. Exécutez la commande az datashare share-subscription synchronize pour démarrer la synchronisation du jeu de données.

   az datashare share-subscription synchronize \
     --resource-group "share-rg" --account-name "FabrikamDataShareAccount"  \
     --name "Fabrikam Solutions" --synchronization-mode "Incremental" \
   

   Exécutez la commande az datashare share-subscription list-synchronization pour afficher la liste de vos synchronisations :

   az datashare share-subscription list-synchronization \
     --resource-group "share-rg" --account-name "FabrikamDataShareAccount" \
     --share-subscription-name "Fabrikam Solutions" \
   

   Utilisez la commande az datashare share-subscription list-source-share-synchronization-setting pour afficher les paramètres de synchronisation définis sur votre partage.

   az datashare share-subscription list-source-share-synchronization-setting \
     --resource-group "share-rg" --account-name "FabrikamDataShareAccount" \
     --share-subscription-name "Fabrikam Solutions"
   

PowerShell

Utilisez ces commandes pour configurer l’emplacement où vous souhaitez recevoir des données.

1. Exécutez la commande Get-AzDataShareSourceDataSet pour obtenir l’ID du jeu de données :

   Get-AzDataShareSourceDataSet -ResourceGroupName "share-rg" -AccountName "FabrikamDataShareAccount" -ShareSubscriptionName "fabrikamsolutions"
   

2. Si vous n’avez pas encore d’emplacement où vous souhaitez stocker les données partagées, vous pouvez suivre ces étapes pour créer un compte de stockage. Si vous disposez déjà d’un stockage, vous pouvez passer aux étapes suivantes.

   1. Exécutez la commande New-AzStorageAccount pour créer un compte de stockage Azure :

      $storageAccount = New-AzStorageAccount -ResourceGroupName "share-rg" -AccountName FabrikamStorageAccount -Location "East US 2" -SkuName Standard_GRS
      
      $ctx = $storageAccount.Context
      

   2. Exécutez la commande New-AzStorageContainer pour créer un conteneur dans votre nouveau compte de stockage Azure qui contiendra vos données :

      $containerName = "StorageContainer"
      
      New-AzStorageContainer -Name $containerName -Context $ctx -Permission blob
      

   3. Exécutez la commande Set-AzStorageBlobContent pour charger un fichier. L’exemple suivant charge textfile.csv à partir du dossier D :\testFiles sur la mémoire locale dans le conteneur que vous avez créé.

      Set-AzStorageBlobContent -File "D:\testFiles\textfile.csv" -Container $containerName -Blob "textfile.csv" -Context $ctx
      

   Pour plus d’informations sur l’utilisation du stockage Azure dans PowerShell, suivez ce guide PowerShell stockage Azure.

3. Utilisez la commande Get-AzStorageAccount pour obtenir l’ID du compte de stockage :

   Get-AzStorageAccount -ResourceGroupName "share-rg" -Name FabrikamStorageAccount
   

4. Utilisez l’ID du jeu de données à partir de la première étape, puis exécutez la commande New-AzDataShareDataSetMapping pour créer le mappage de jeu de données :

   New-AzDataShareDataSetMapping -ResourceGroupName "share-rg" -AccountName "FabrikamDataShareAccount" -ShareSubscriptionName "fabrikamsolutions" -Name "Fabrikam Solutions" -StorageAccountResourceId "aaaaaaaa-0000-1111-2222-bbbbbbbbbbbb"  -DataSetId "0123abcd-ef01-2345-6789-abcdef012345"  -Container "StorageContainer"
   

5. Exécutez la commande Start-AzDataShareSubscriptionSynchronization pour démarrer la synchronisation du jeu de données.

   Start-AzDataShareSubscriptionSynchronization -ResourceGroupName "share-rg" -AccountName "FabrikamDataShareAccount" -ShareSubscriptionName "fabrikamsolutions" -SynchronizationMode "Incremental"
   

   Exécutez la commande Get-AzDataShareSubscriptionSynchronization pour afficher la liste de vos synchronisations :

   Get-AzDataShareSubscriptionSynchronization -ResourceGroupName "share-rg" -AccountName "FabrikamDataShareAccount" -ShareSubscriptionName "fabrikamsolutions"
   

   Utilisez la commande Get-AzDataShareSubscriptionSynchronizationDetail pour afficher les paramètres de synchronisation définis sur votre partage.

   Get-AzDataShareSubscriptionSynchronizationDetail -ResourceGroupName "share-rg" -AccountName "FabrikamDataShareAccount" -ShareSubscriptionName "fabrikamsolutions" -SynchronizationId "a6ee5c8d-0ce0-485e-b2f2-966b187dc6c7"
   

Déclencher une capture instantanée

Portal

Ces étapes s’appliquent uniquement au partage basé sur les instantanés.

1. Vous pouvez déclencher un instantané en sélectionnant l’onglet Détails suivi de l’instantané déclencheur. Ici, vous pouvez déclencher un instantané complet ou incrémentiel de vos données. S’il s’agit de votre première réception de données auprès de votre fournisseur de données, sélectionnez copie complète.

   

2. Une fois le dernier état d’exécution réussi, accédez au magasin de données cible pour afficher les données reçues. Sélectionnez Jeux de données, puis sélectionnez le lien dans le chemin d’accès cible.

   

Azure CLI

Exécutez la commande az datashare trigger create pour déclencher un instantané :

az datashare trigger create --account-name "FabrikamDataShareAccount" --resource-group "share-rg" --share-subscription-name "Fabrikam Solutions" --scheduled-trigger recurrence-interval="Day" synchronization-mode="Incremental" synchronization-time="2018-11-14T04:47:52.9614956Z" --name "Trigger1"

PowerShell

Ces étapes s’appliquent uniquement au partage basé sur les instantanés.

Exécutez la commande New-AzDataShareTrigger pour déclencher un instantané :

New-AzDataShareTrigger -ResourceGroupName "share-rg" -AccountName "FabrikamDataShareAccount" -Name "Fabrikam Solutions" -RecurrenceInterval "Day" -SynchronizationTime "2018-11-14T04:47:52.9614956Z"

Afficher l'historique

Cette étape s’applique uniquement au partage basé sur les instantanés. Pour afficher l’historique de vos instantanés, sélectionnez l’onglet Historique . Vous trouverez ici l’historique de tous les instantanés générés au cours des 30 derniers jours.

Nettoyer les ressources

Lorsque la ressource n’est plus nécessaire, accédez à la page Vue d’ensemble du partage de données, puis sélectionnez Supprimer pour la supprimer.

Étapes suivantes

Dans ce tutoriel, vous avez appris à accepter et à recevoir un partage de données Azure. Pour en savoir plus sur les concepts d’Azure Data Share, passez à la terminologie Azure Data Share.

Concepts du partage de données Azure