Tutorial: Aceptación y recepción de datos con Azure Data Share

En este tutorial aprenderá a aceptar una invitación a un recurso compartido de datos mediante Azure Data Share. En él aprenderá a recibir los datos que se hayan compartido con el usuario, y a habilitar un intervalo de actualización periódico para garantizar que siempre tenga la instantánea más reciente de los datos que se comparten con el usuario.

• Aceptación de una invitación de Azure Data Share
• Creación de una cuenta de Azure Data Share
• Especificación de un destino para los datos
• Creación de una suscripción en su recurso compartido de datos para la actualización programada

Prerrequisitos

Para poder aceptar una invitación a compartir datos, previamente debe crear los recursos de Azure que se enumeran a continuación.

Asegúrese de que se cumplan todos los requisitos previos antes de aceptar una invitación para compartir datos.

• Suscripción de Azure: Si no tiene una suscripción a Azure, cree una cuenta gratuita antes de empezar.
• Una invitación de Azure Data Share: Una invitación de Microsoft Azure con el asunto "Azure Data Share invitation from yourdataprovider@domain.com " (Invitación para Azure Data Share de yourdataprovider@domain.com).
• Registre el proveedor de recursos Microsoft.DataShare en la suscripción de Azure en la que va a crear un recurso de Data Share y la suscripción de Azure en la que se encuentran los almacenes de datos de Azure de destino.

Recepción de los datos en una cuenta de almacenamiento

• Una cuenta de Azure Storage: si no la tiene, puede crear una cuenta de Azure Storage.
• Permisos para escribir en la cuenta de almacenamiento, que se encuentra en Microsoft.Storage/storageAccounts/write. Este permiso existe en el rol de Colaborador de la cuenta de almacenamiento.
• Permisos para agregar la asignación de roles a la cuenta de almacenamiento, que se encuentra en Microsoft.Authorization/role assignments/write. Este permiso existe en el rol de propietario.

Recepción de datos en un destino basado en SQL

Si opta por recibir datos en Azure SQL Database, Azure Synapse Analytics, esta es la lista de requisitos previos.

Requisitos previos para recibir datos en Azure SQL Database o Azure Synapse Analytics (anteriormente Azure SQL DW)

• Una instancia de Azure SQL Database o Azure Synapse Analytics (anteriormente Azure SQL DW).
• Permisos para escribir en las bases de datos de SQL Server, que se encuentra en Microsoft.Sql/servers/databases/write. Este permiso existe en el rol de colaborador.
• Administración Microsoft Entra del servidor SQL Server
• Acceso al firewall de SQL Server. Esto se puede hacer mediante los siguientes pasos:
  1. En SQL Server en Azure Portal, vaya a Firewalls y redes virtuales.
  2. Seleccione Sí en Permitir que los servicios y recursos de Azure accedan a este servidor.
  3. Seleccione +Agregar IP de cliente. La dirección IP del cliente está sujeta a cambios. Es posible que se tenga repetir este proceso la próxima vez que comparta datos de SQL desde Azure Portal. También puede agregar un intervalo de direcciones IP.
  4. Seleccione Guardar.

Requisitos previos para recibir datos en el grupo de SQL de Azure Synapse Analytics (área de trabajo)

• Un grupo de SQL dedicado de Azure Synapse Analytics (área de trabajo). Actualmente, no se admite la recepción de datos en un grupo de SQL sin servidor.

• Permiso para escribir en el grupo de SQL en el área de trabajo de Synapse, que se encuentra en Microsoft.Synapse/workspaces/sqlPools/write. Este permiso existe en el rol de colaborador.

• Permiso para que la identidad administrada del recurso de Data Share tenga acceso al grupo de SQL del área de trabajo de Synapse. Esto se puede hacer mediante los siguientes pasos:

  1. En Azure Portal, vaya al área de trabajo de Synapse. Seleccione Administrador de Microsoft Entra en el panel de navegación izquierdo y establézcalo como administrador de Microsoft Entra.

  2. Abra Synapse Studio y seleccione Administrar en el panel de navegación izquierdo. En Seguridad, seleccione Control de acceso. Debe asignarse el rol administrador de SQL o administrador del área de trabajo.

  3. En Synapse Studio, seleccione Desarrollar en el panel de navegación izquierdo. Ejecute el siguiente script en el grupo de SQL para agregar la identidad administrada del recurso de Data Share como "db_datareader, db_datawriter o db_ddladmin".

     create user "<share_acc_name>" from external provider; 
     exec sp_addrolemember db_datareader, "<share_acc_name>"; 
     exec sp_addrolemember db_datawriter, "<share_acc_name>"; 
     exec sp_addrolemember db_ddladmin, "<share_acc_name>";
     

     <share_acc_name> es el nombre del recurso de Data Share. Si aún no ha creado un recurso de Data Share, puede volver a este requisito previo más adelante.

• Acceso al firewall del área de trabajo de Synapse. Esto se puede hacer mediante los siguientes pasos:

  1. En Azure Portal, vaya al área de trabajo de Synapse. Seleccione Firewalls en el panel de navegación izquierdo.
  2. En Permitir que los servicios y recursos de Azure accedan a esta área de trabajo, seleccione Activado.
  3. Seleccione +Agregar IP de cliente. La dirección IP del cliente está sujeta a cambios. Es posible que se tenga repetir este proceso la próxima vez que comparta datos de SQL desde Azure Portal. También puede agregar un intervalo de direcciones IP.
  4. Seleccione Guardar.

Recibir datos en un clúster de Azure Data Explorer:

• Un clúster de Azure Data Explorer en el mismo centro de datos de Azure que el clúster de Data Explorer del proveedor de datos: Si aún no tiene uno, puede crear un clúster de Azure Data Explorer. Si no conoce el centro de datos de Azure del clúster del proveedor de datos, puede crear el clúster más adelante en el proceso.
• Permisos para escribir en el clúster de Azure Data Explorer, que se encuentra en Microsoft.Kusto/clusters/write. Este permiso existe en el rol de colaborador.

Inicio de sesión en Azure Portal

Inicie sesión en Azure Portal.

Apertura de una invitación

Portal

1. Puede abrir la invitación desde el correo electrónico o directamente en Azure Portal.

   Para abrir la invitación desde el correo electrónico, compruebe la bandeja de entrada para ver si hay una invitación de su proveedor de datos. La invitación es de Microsoft Azure y su título es Azure Data Share invitation from yourdataprovider@domain.com (Invitación para Azure Data Share de yourdataprovider@domain.com). Selecciónelo en Ver invitación para ver su invitación en Azure.

   Para abrir la invitación desde Azure Portal directamente, busque Invitaciones de recurso compartido de datos en Azure Portal. Esta acción le lleva a la lista de invitaciones de Data Share.

   Si es un usuario invitado de un inquilino, se le pedirá que compruebe la dirección de correo electrónico del inquilino antes de ver la invitación de Data Share por primera vez. Una vez comprobado, será válido durante 12 meses.

   

2. Seleccione la invitación que desea ver.

CLI de Azure

Prepare el entorno de la CLI de Azure y, a continuación, vea las invitaciones.

Empiece por preparar el entorno para la CLI de Azure:

• Use el entorno de Bash en Azure Cloud Shell. Para más información, consulte Inicio rápido para Bash en Azure Cloud Shell.

  

• Si prefiere ejecutar comandos de referencia de la CLI localmente, instale la CLI de Azure. Si utiliza Windows o macOS, considere la posibilidad de ejecutar la CLI de Azure en un contenedor Docker. Para más información, vea Ejecución de la CLI de Azure en un contenedor de Docker.

  • Si usa una instalación local, inicie sesión en la CLI de Azure mediante el comando az login. Siga los pasos que se muestran en el terminal para completar el proceso de autenticación. Para ver otras opciones de inicio de sesión, consulte Inicio de sesión con la CLI de Azure.

  • En caso de que se le solicite, instale las extensiones de la CLI de Azure la primera vez que la use. Para más información sobre las extensiones, consulte Uso de extensiones con la CLI de Azure.

  • Ejecute az version para buscar cuál es la versión y las bibliotecas dependientes que están instaladas. Para realizar la actualización a la versión más reciente, ejecute az upgrade.

Ejecute el comando az datashare consumer-invitation list-invitation para ver las invitaciones actuales:

az datashare consumer consumer-invitation list-invitation

Copie el identificador de invitación para usarlo en la sección siguiente.

PowerShell

Empiece por preparar el entorno para PowerShell. Puede ejecutar los comandos de PowerShell localmente o mediante el entorno de Bash en Azure Cloud Shell.

• Si opta por usar Azure PowerShell en un entorno local:
  • Instale la versión más reciente del módulo Az de PowerShell.
  • Conéctese a su cuenta de Azure mediante el cmdlet Connect-AzAccount.
• Si decide usar Azure Cloud Shell:
  • Para más información, consulte Introducción a Azure Cloud Shell.

1. Conéctese a la cuenta de Azure mediante el comando Connect-AzAccount.

   Connect-AzAccount
   

2. Ejecute el comando Set-AzContext para establecer la suscripción correcta si tiene varias suscripciones.

   Set-AzContext [SubscriptionID/SubscriptionName]
   

3. Ejecute el comando Get-AzDataShareReceivedInvitation para ver las invitaciones actuales:

   Get-AzDataShareReceivedInvitation
   

Copie el identificador de invitación para usarlo en la sección siguiente.

Aceptación de la invitación

Portal

1. Asegúrese de que se han revisado todos los campos, incluido el de condiciones de uso. Si acepta las condiciones de uso, se le solicitará que seleccione la casilla para indicarlo.

   

2. En Target Data Share Account (Cuenta de Azure Data Share de destino), seleccione la suscripción y el grupo de recursos en los que va a implementar su instancia de Azure Data Share.

   En el campo Data Share Account (Cuenta de Azure Data Share), seleccione Crear nuevo si no tiene una cuenta de Azure Data Share existente. En caso contrario, seleccione la cuenta de Azure Data Share existente en la que desea aceptar los datos compartidos.

   En el campo Nombre del recurso compartido recibido, puede dejar el valor predeterminado que ha especificado el proveedor de datos o bien especificar un nombre nuevo para el recurso compartido recibido.

   Cuando haya aceptado los términos de uso y especificado una cuenta de Data Share para administrar el recurso compartido recibido, seleccione Accept and configure (Aceptar y configurar). Se creará una suscripción al recurso compartido.

   

   Esta acción le lleva al recurso compartido recibido en la cuenta de Data Share.

   Si no desea aceptar la invitación, seleccione Reject (Rechazar).

CLI de Azure

Use el comando az datashare share-subscription create para crear la instancia de Data Share.

az datashare share-subscription create --resource-group share-rg \
  --name "fabrikamsolutions" --account-name FabrikamDataShareAccount \
  --invitation-id 89abcdef-0123-4567-89ab-cdef01234567 \
  --source-share-location "East US 2"

PowerShell

Use el comando New-AzDataShareSubscription para crear la instancia de Data Share. InvitationId será el identificador que ha recopilado del paso anterior.

New-AzDataShareSubscription -ResourceGroupName share-rg -AccountName FabrikamDataShareAccount -Name "Fabrikam Solutions" -InvitationId "89abcdef-0123-4567-89ab-cdef01234567"

Configuración del recurso compartido recibido

Portal

Siga los pasos que se indican a continuación para configurar dónde quiere recibir los datos.

1. Seleccione la pestaña Conjuntos de datos. Active la casilla situada junto al conjunto de datos al que desearía asignar un destino. Seleccione + Asignar a destino para elegir un almacén de datos de destino.

   

2. Seleccione un tipo de datos de destino en el que quiera colocar los datos. Los archivos de datos o las tablas del almacén de datos de destino se sobrescribirán con la misma ruta de acceso y nombre. Si recibe datos en Azure SQL Database o Azure Synapse Analytics (anteriormente Azure SQL DW), active la casilla Permitir que Data Share ejecute el script "create user" anterior en mi nombre.

   Para el uso compartido en contexto, seleccione un almacén de datos en la ubicación especificada. La ubicación es el centro de datos de Azure donde se encuentra el almacén de datos de origen del proveedor de datos. Una vez que se asigna un conjunto de datos, puede seguir el vínculo de la ruta de acceso de destino para acceder a los datos.

   

3. En el caso del uso compartido basado en instantáneas, si el proveedor de datos ha creado una programación de instantáneas para proporcionar una actualización periódica de los datos, también puede habilitarla seleccionando la pestaña Programación de instantáneas. Active la casilla situada junto a la programación de instantáneas y seleccione + Habilitar. La primera instantánea programada se iniciará en un minuto desde el tiempo de programación y las instantáneas posteriores comenzarán en cuestión de segundos desde la hora programada.

   

   Los metadatos de los archivos copiados no se conservan después de cada ejecución. es así por diseño.

CLI de Azure

Use estos comandos para configurar dónde quiere recibir los datos.

1. Ejecute el comando az datashare consumer-source-data-set list para obtener el id. del conjunto de datos:

   az datashare consumer-source-data-set list --resource-group "share-rg" \
    --account-name "FabrikamDataShareAccount" \
      --share-subscription-name "fabrikamsolutions" \
   

2. Para crear una cuenta de almacenamiento para esta instancia de Data Share, ejecute el comando az storage account create:

   az storage account create --resource-group "share-rg" --name "FabrikamDataShareStorageAccount" \
   

3. Use el comando az storage account show para obtener el identificador de la cuenta de almacenamiento:

   az storage account show --resource-group "share-rg" --name "FabrikamDataShareStorageAccount" \
    --query "id"
   

4. Use el siguiente comando para obtener el identificador de la entidad de seguridad de la cuenta:

   az datashare account show --resource-group "share-rg" --name "FabrikamDataShareAccount" \
     --query "identity.principalId"
   

5. Use el comando az role assignment create para crear una asignación de roles para la entidad de seguridad de cuenta mediante el identificador de la entidad de seguridad de cuenta y el identificador de la cuenta de almacenamiento:

   az role assignment create --role "Contributor" \
     --assignee-object-id aaaaaaaa-0000-1111-2222-bbbbbbbbbbbb 
     --assignee-principal-type ServicePrincipal --scope "your\storage\account\id\path"
   

6. Cree una variable para la asignación basada en el id. del conjunto de datos desde el paso 1:

   $mapping='{\"data_set_id\":\"' + $dataset_id + '\",\"container_name\":\"newcontainer\",
     \"storage_account_name\":\"datashareconsumersa\",\"kind\":\"BlobFolder\",\"prefix\":\"consumer\"}'
   

7. Use el comando az datashare data-set-mapping create para crear la asignación del conjunto de datos:

   az datashare data-set-mapping create --account-name "FabrikamDataShareAccount" \
    --data-set-mapping-name "datasetmapping" --resource-group "share-rg" \
    --share-subscription-name "fabrikamsolutions" --blob-folder-data-set-mapping $mapping
   

8. Ejecute el comando az datashare share-subscription synchronize para iniciar la sincronización del conjunto de datos.

   az datashare share-subscription synchronize \
     --resource-group "share-rg" --account-name "FabrikamDataShareAccount"  \
     --name "Fabrikam Solutions" --synchronization-mode "Incremental" \
   

   Ejecute el comando az datashare share-subscription list-synchronization para ver una lista de las sincronizaciones:

   az datashare share-subscription list-synchronization \
     --resource-group "share-rg" --account-name "FabrikamDataShareAccount" \
     --share-subscription-name "Fabrikam Solutions" \
   

   Use el comando az datashare share-subscription list-source-share-synchronization-setting para ver la configuración de sincronización establecida en el recurso compartido.

   az datashare share-subscription list-source-share-synchronization-setting \
     --resource-group "share-rg" --account-name "FabrikamDataShareAccount" \
     --share-subscription-name "Fabrikam Solutions"
   

PowerShell

Use estos comandos para configurar dónde quiere recibir los datos.

1. Ejecute el comando Get-AzDataShareSourceDataSet para obtener el identificador del conjunto de datos:

   Get-AzDataShareSourceDataSet -ResourceGroupName "share-rg" -AccountName "FabrikamDataShareAccount" -ShareSubscriptionName "fabrikamsolutions"
   

2. Si aún no tiene una ubicación donde quisiera almacenar los datos compartidos, puede seguir estos pasos para crear una cuenta de almacenamiento. Si ya tiene almacenamiento, puede ir directamente a los pasos siguientes.

   1. Ejecute el comando New-AzStorageAccount para crear una cuenta de Azure Storage:

      $storageAccount = New-AzStorageAccount -ResourceGroupName "share-rg" -AccountName FabrikamStorageAccount -Location "East US 2" -SkuName Standard_GRS
      
      $ctx = $storageAccount.Context
      

   2. Ejecute el comando New-AzStorageContainer para crear un contenedor en la nueva cuenta de Azure Storage en la que se contendrán los datos:

      $containerName = "StorageContainer"
      
      New-AzStorageContainer -Name $containerName -Context $ctx -Permission blob
      

   3. Ejecute el comando Set-AzStorageBlobContent para cargar un archivo. En el ejemplo siguiente se carga textfile.csv desde la carpeta D:\testFiles de la memoria local, en el contenedor que ha creado.

      Set-AzStorageBlobContent -File "D:\testFiles\textfile.csv" -Container $containerName -Blob "textfile.csv" -Context $ctx
      

   Para obtener más información sobre cómo trabajar con Azure Storage en PowerShell, siga esta guía sobre PowerShell para Azure Storage.

3. Use el comando Get-AzStorageAccount para obtener el identificador de la cuenta de almacenamiento:

   Get-AzStorageAccount -ResourceGroupName "share-rg" -Name FabrikamStorageAccount
   

4. Use el identificador del conjunto de datos del primer paso y ejecute el comando New-AzDataShareDataSetMapping para crear la asignación del conjunto de datos:

   New-AzDataShareDataSetMapping -ResourceGroupName "share-rg" -AccountName "FabrikamDataShareAccount" -ShareSubscriptionName "fabrikamsolutions" -Name "Fabrikam Solutions" -StorageAccountResourceId "aaaaaaaa-0000-1111-2222-bbbbbbbbbbbb"  -DataSetId "0123abcd-ef01-2345-6789-abcdef012345"  -Container "StorageContainer"
   

5. Ejecute el comando Start-AzDataShareSubscriptionSynchronization para iniciar la sincronización del conjunto de datos.

   Start-AzDataShareSubscriptionSynchronization -ResourceGroupName "share-rg" -AccountName "FabrikamDataShareAccount" -ShareSubscriptionName "fabrikamsolutions" -SynchronizationMode "Incremental"
   

   Ejecute el comando Get-AzDataShareSubscriptionSynchronization para ver una lista de las sincronizaciones:

   Get-AzDataShareSubscriptionSynchronization -ResourceGroupName "share-rg" -AccountName "FabrikamDataShareAccount" -ShareSubscriptionName "fabrikamsolutions"
   

   Use el comando Get-AzDataShareSubscriptionSynchronizationDetail para ver la configuración de sincronización establecida en el recurso compartido.

   Get-AzDataShareSubscriptionSynchronizationDetail -ResourceGroupName "share-rg" -AccountName "FabrikamDataShareAccount" -ShareSubscriptionName "fabrikamsolutions" -SynchronizationId "a6ee5c8d-0ce0-485e-b2f2-966b187dc6c7"
   

Desencadenamiento de una instantánea

Portal

Estos pasos solo se aplican al uso compartido basado en instantáneas.

1. Para desencadenar una instantánea, seleccione la pestaña Detalles y, luego, Desencadenar instantánea. En este caso, puede desencadenar una instantánea completa o incremental de los datos. Si es la primera vez que recibe datos del proveedor de datos, seleccione una copia completa.

   

2. Cuando el estado de la última ejecución sea correcto, vaya al almacén de datos de destino para ver los datos recibidos. Seleccione Conjuntos de datos y, después, el vínculo de la ruta de acceso de destino.

   

CLI de Azure

Ejecute el comando az datashare trigger create para desencadenar una instantánea:

az datashare trigger create --account-name "FabrikamDataShareAccount" --resource-group "share-rg" --share-subscription-name "Fabrikam Solutions" --scheduled-trigger recurrence-interval="Day" synchronization-mode="Incremental" synchronization-time="2018-11-14T04:47:52.9614956Z" --name "Trigger1"

PowerShell

Estos pasos solo se aplican al uso compartido basado en instantáneas.

Ejecute el comando New-AzDataShareTrigger para desencadenar una instantánea:

New-AzDataShareTrigger -ResourceGroupName "share-rg" -AccountName "FabrikamDataShareAccount" -Name "Fabrikam Solutions" -RecurrenceInterval "Day" -SynchronizationTime "2018-11-14T04:47:52.9614956Z"

Visualización del historial

Este paso solo se aplica al uso compartido basado en instantáneas. Para ver el historial de las instantáneas, seleccione la pestaña Historial. Aquí encontrará un historial de todas las instantáneas que se generaron en los últimos 30 días.

Limpieza de recursos

Cuando el recurso ya no sea necesario, vaya a la página de información general de Azure Data Share y seleccione Eliminar para quitarlo.

Pasos siguientes

En este tutorial, ha aprendido a aceptar y recibir un recurso de Azure Data Share. Para más información sobre los conceptos de Azure Data Share, pase a examinar su terminología.

Conceptos de Azure Data Share