Руководство. Прием и получение данных с помощью Azure Data Share

В этом руководстве описано, как принять приглашение к общей папке данных с помощью Azure Data Share. Вы узнаете, как получать общие данные и как включить регулярный интервал обновления, чтобы убедиться, что у вас всегда есть последний моментальный снимок данных, к которым вам предоставлен общий доступ.

• Как принять приглашение Azure Data Share
• Создание учетной записи Azure Data Share
• Указание места назначения данных.
• Создание подписки на общий ресурс с данными для получения запланированного обновления.

Необходимые компоненты

Прежде чем принять приглашение на общий доступ к данным, необходимо создать некоторые ресурсы Azure, перечисленные ниже.

Прежде чем принять приглашение в общий ресурс данных, выполните все предварительные требования.

• Подписка Azure. Если у вас нет подписки Azure, создайте бесплатную учетную запись перед началом работы.
• Приглашение к общей папке данных: приглашение из Microsoft Azure с темой под названием "Приглашение azure Data Share из yourdataprovider@domain.com".
• Зарегистрируйте поставщика ресурсов Microsoft.DataShare в подписке Azure, где вы создадите ресурс Data Share и подписку Azure, в которой находятся целевые хранилища данных Azure.

Получение данных в учетную запись хранения

• Учетная запись служба хранилища Azure: если у вас еще нет учетной записи, можно создать учетную запись служба хранилища Azure.
• Разрешение на запись в учетную запись хранения, которая имеется в Microsoft.Storage/storageAccounts/write. Это разрешение существует в роли участника служба хранилища учетной записи.
• Разрешение на добавление назначения ролей в учетную запись хранения, имеющуюся в Microsoft.Authorization/role assignments/write. Это разрешение назначено роли владельца.

Поступление данных в целевое расположение на основе SQL

Если вы решили принимать данные в Базу данных SQL Azure или Azure Synapse Analytics, изучите следующий список предварительных условий.

Необходимые условия для получения данных в Базу данных SQL Azure или Azure Synapse Analytics (прежнее название — Хранилище данных SQL Azure)

• База данных SQL Azure или Azure Synapse Analytics (прежнее название — Хранилище данных SQL).
• Разрешение на запись в базы данных на сервере SQL, которое присутствует в Microsoft.Sql/servers/databases/write. Это разрешение назначено роли участника.
• Microsoft Entra Администратор SQL Server
• Доступ к брандмауэру SQL Server. Это можно сделать, выполнив следующие действия.
  1. В SQL Server на портале Azure перейдите к разделу Брандмауэры и виртуальные сети
  2. Выберите значение Да для параметра Разрешить доступ к серверу службам и ресурсам Azure.
  3. Выберите + Добавить IP-адрес клиента. IP-адрес клиента можно изменить. Этот процесс может потребоваться повторить при следующем обмене данными SQL из портал Azure. Вы можете также добавить диапазон IP-адресов.
  4. Выберите Сохранить.

Необходимые условия для получения данных в пул SQL в Azure Synapse Analytics (рабочая область)

• Выделенный пул SQL в Azure Synapse Analytics (рабочая область). Получение данных в бессерверный пул SQL в настоящее время не поддерживается.

• Разрешение на запись в пул SQL в рабочей области Synapse, которое предоставляется через Microsoft.Synapse/workspaces/sqlPools/write. Это разрешение назначено роли участника.

• Разрешение на доступ управляемого удостоверения Data Share к пулу SQL рабочей области Synapse. Это можно обеспечить следующим образом.

  1. На портале Azure перейдите в рабочую область Synapse. Выберите администратора SQL Active Directory в левой области навигации и задайте себя администратором Microsoft Entra.

  2. Откройте Synapse Studio, затем выберите Управление в области навигации слева. Выберите Управление доступом в разделе "Безопасность". Назначьте себе роль Администратор SQL или Администратор рабочей области.

  3. В Synapse Studio в области навигации слева выберите Разработка. Выполните в пуле SQL следующий скрипт, чтобы добавить ресурс управляемого удостоверения Data Share с ролями db_datareader, db_datawriter и db_ddladmin.

     create user "<share_acc_name>" from external provider; 
     exec sp_addrolemember db_datareader, "<share_acc_name>"; 
     exec sp_addrolemember db_datawriter, "<share_acc_name>"; 
     exec sp_addrolemember db_ddladmin, "<share_acc_name>";
     

     Share_acc_name <> — это имя ресурса Data Share. Если вы еще не создали ресурс Общего доступа к данным, вы можете вернуться к этому условию позже.

• Доступ к брандмауэру рабочей области Synapse. Это можно обеспечить следующим образом.

  1. На портале Azure перейдите в рабочую область Synapse. В области навигации слева выберите Брандмауэры.
  2. Выберите значение Вкл. для параметра Разрешить службам и ресурсам Azure доступ к этой рабочей области.
  3. Выберите + Добавить IP-адрес клиента. IP-адрес клиента можно изменить. Этот процесс может потребоваться повторить при следующем обмене данными SQL из портал Azure. Вы можете также добавить диапазон IP-адресов.
  4. Выберите Сохранить.

Получение данных в кластере Azure Data Explorer:

• Кластер Azure Data Обозреватель в том же центре обработки данных Azure, что и кластер Обозреватель данных поставщика данных: если у вас еще нет, можно создать кластер Обозреватель данных Azure. Если вы не знакомы с центром обработки данных Azure в кластере поставщика данных, вы можете создать кластер позже.
• Разрешение на запись в кластер Azure Data Explorer, имеющийся в Microsoft.Kusto/clusters/write. Это разрешение назначено роли участника.

Войдите на портал Azure

Войдите на портал Azure.

Открытие приглашения

Портал

1. Вы можете открыть приглашение из электронной почты или непосредственно из портала Azure.

   Чтобы открыть приглашение из электронной почты, проверьте папку "Входящие" на наличие приглашения от поставщика данных. Это должно быть приглашение от Microsoft Azure с названием Приглашение Azure Data Share от yourdataprovider@domain.com. Выберите View invitation (Просмотреть приглашение), чтобы увидеть ваше приглашение в Azure.

   Чтобы открыть приглашение непосредственно из портала Azure, найдите на портале параметр Приглашения Data Share. После этого вы перейдете к списку приглашений Data Share.

   Если вы являетесь гостевым пользователем клиента, вам будет предложено проверить свой адрес электронной почты для клиента, прежде чем просматривать приглашение к общей папке данных в первый раз. После проверки он действителен в течение 12 месяцев.

   

2. Выберите приглашение, которое хотите просмотреть.

Azure CLI

Подготовьте среду Azure CLI и просмотрите свои приглашения.

Чтобы подготовить среду для Azure CLI, выполните указанные ниже действия.

• Используйте среду Bash в Azure Cloud Shell. Дополнительные сведения см . в кратком руководстве по Bash в Azure Cloud Shell.

  

• Если вы предпочитаете выполнять справочные команды CLI локально, установите Azure CLI. Если вы работаете в Windows или macOS, Azure CLI можно запустить в контейнере Docker. Дополнительные сведения см. в статье Как запустить Azure CLI в контейнере Docker.

  • Если вы используете локальную установку, выполните вход в Azure CLI с помощью команды az login. Чтобы выполнить аутентификацию, следуйте инструкциям в окне терминала. Сведения о других возможностях, доступных при входе, см. в статье Вход с помощью Azure CLI.

  • Установите расширение Azure CLI при первом использовании, когда появится соответствующий запрос. Дополнительные сведения о расширениях см. в статье Использование расширений с Azure CLI.

  • Выполните команду az version, чтобы узнать установленную версию и зависимые библиотеки. Чтобы обновиться до последней версии, выполните команду az upgrade.

Выполните команду az datashare consumer-invitation list-invitation,чтобы просмотреть текущие приглашения:

az datashare consumer consumer-invitation list-invitation

Скопируйте идентификатор приглашения, который вам потребуется в следующем разделе.

PowerShell

Сначала подготовьте среду для PowerShell. Вы можете либо запускать команды PowerShell локально, либо использовать среду Bash в Azure Cloud Shell.

• Если вы решили использовать Azure PowerShell локально:
  • Установите последнюю версию модуля Az PowerShell.
  • Подключитесь к учетной записи Azure с помощью командлета Connect-AzAccount.
• Если вы решили использовать Azure Cloud Shell:
  • Дополнительные сведения см. в статье Общие сведения об Azure Cloud Shell.

1. Подключитесь к учетной записи Azure, выполнив команду Connect-AzAccount.

   Connect-AzAccount
   

2. Установите нужную подписку, если их несколько, выполнив команду Set-AzContext.

   Set-AzContext [SubscriptionID/SubscriptionName]
   

3. Получите список текущих приглашений, выполнив команду Get-AzDataShareReceivedInvitation:

   Get-AzDataShareReceivedInvitation
   

Скопируйте идентификатор приглашения, который вам потребуется в следующем разделе.

Принять приглашение

Портал

1. Просмотрите все поля, в том числе Условия использования. Если вы согласны с условиями использования, установите флажок для подтверждения своего согласия.

   

2. В разделе Target Data Share Account (Целевая учетная запись Data Share) выберите подписку и группу ресурсов, куда будете развертывать общий ресурс данных.

   В поле учетной записи Data Share выберите Создать, если у вас нет существующей учетной записи Data Share. В противном случае выберите учетную запись Data Share, где бы вы хотели принимать данные.

   Для поля "Полученное имя общего ресурса" можно оставить значение по умолчанию, указанное предоставленными данными, или указать новое имя для полученной общей папки.

   Согласившись с условиями использования и указав учетную запись Data Share для управления полученным общим ресурсом, выберите Accept and Configure (Принять и настроить). Будет создана подписка на общий ресурс.

   

   После этого вы перейдете к полученному общему ресурсу в учетной записи Data Share.

   Если вы не хотите принимать приглашение, выберите Отклонить.

Azure CLI

Используйте команду az datashare share-subscription create для создания общей папки данных.

az datashare share-subscription create --resource-group share-rg \
  --name "fabrikamsolutions" --account-name FabrikamDataShareAccount \
  --invitation-id 89abcdef-0123-4567-89ab-cdef01234567 \
  --source-share-location "East US 2"

PowerShell

Создайте общий ресурс данных, выполнив команду New-AzDataShareSubscription. В качестве значения идентификатора InvitationId необходимо указать идентификатор, полученный на предыдущем шаге.

New-AzDataShareSubscription -ResourceGroupName <String> -AccountName <String> -Name <String> -InvitationId <String>

Настройка полученного общего ресурса

Портал

Выполните следующие действия, чтобы настроить место для получения данных.

1. Выберите вкладку "Наборы данных". Установите флажок рядом с набором данных, в который вы хотите назначить назначение. Нажмите + Сопоставить с целевым объектом, чтобы выбрать целевое хранилище данных.

   

2. Выберите тип целевого хранилища данных, в котором должны находиться данные. Все файлы и таблицы данных в целевом хранилище данных с тем же путем и именем будут перезаписаны. Если вы получаете данные в База данных SQL Azure или Azure Synapse Analytics (прежнее название — хранилище данных SQL Azure), проверка проверка box Allow Data Share запустить приведенный выше сценарий создания пользователя от моего имени.

   Для общего доступа на месте выберите хранилище данных в указанном расположении. Расположение — это центр обработки данных Azure, в котором находится исходное хранилище поставщика данных. После сопоставления набора данных можно перейти по ссылке в столбце целевого пути, чтобы получить доступ к данным.

   

3. Для общего доступа на основе моментальных снимков, если поставщик данных создал расписание моментальных снимков для предоставления регулярного обновления данных, можно также включить расписание моментальных снимков, выбрав вкладку "Расписание моментальных снимков". Установите флажок рядом с расписанием моментального снимка и нажмите кнопку "Включить". Первый запланированный моментальный снимок начнется в течение одной минуты времени расписания, а последующие моментальные снимки будут начинаться в течение нескольких секунд запланированного времени.

   

   Метаданные скопированных файлов не сохраняются после каждого запуска. Это сделано намеренно.

Azure CLI

Следующие команды позволяют настроить место для получения данных.

1. Выполните команду az datashare consumer-source-data-set list, чтобы получить идентификатор набора данных:

   az datashare consumer-source-data-set list --resource-group "share-rg" \
    --account-name "FabrikamDataShareAccount" \
      --share-subscription-name "fabrikamsolutions" \
   

2. Если вам нужна учетная запись хранения, выполните команду az storage account create , чтобы создать учетную запись хранения для этой общей папки данных:

   az storage account create --resource-group "share-rg" --name "FabrikamDataShareStorageAccount" \
   

3. Команда az storage account create возвращает идентификатор учетной записи хранения:

   az storage account show --resource-group "share-rg" --name "FabrikamDataShareStorageAccount" \
    --query "id"
   

4. Следующая команда возвращает идентификатор субъекта для учетной записи:

   az datashare account show --resource-group "share-rg" --name "FabrikamDataShareAccount" \
     --query "identity.principalId"
   

5. Используйте команду az role assignment create, чтобы создать назначение ролей для субъекта учетной записи с помощью идентификатора субъекта учетной записи и идентификатора учетной записи хранения:

   az role assignment create --role "Contributor" \
     --assignee-object-id 6789abcd-ef01-2345-6789-abcdef012345 
     --assignee-principal-type ServicePrincipal --scope "your\storage\account\id\path"
   

6. Создайте переменную для сопоставления на основе идентификатора набора данных на шаге 1.

   $mapping='{\"data_set_id\":\"' + $dataset_id + '\",\"container_name\":\"newcontainer\",
     \"storage_account_name\":\"datashareconsumersa\",\"kind\":\"BlobFolder\",\"prefix\":\"consumer\"}'
   

7. Используйте команду az datashare data-set-mapping create для создания сопоставления наборов данных:

   az datashare data-set-mapping create --account-name "FabrikamDataShareAccount" \
    --data-set-mapping-name "datasetmapping" --resource-group "share-rg" \
    --share-subscription-name "fabrikamsolutions" --blob-folder-data-set-mapping $mapping
   

8. Выполните команду синхронизации az datashare share-subscription, чтобы запустить синхронизацию набора данных.

   az datashare share-subscription synchronize \
     --resource-group "share-rg" --account-name "FabrikamDataShareAccount"  \
     --name "Fabrikam Solutions" --synchronization-mode "Incremental" \
   

   Выполните команду az datashare share-subscription list-synchronization, чтобы просмотреть список синхронизаций:

   az datashare share-subscription list-synchronization \
     --resource-group "share-rg" --account-name "FabrikamDataShareAccount" \
     --share-subscription-name "Fabrikam Solutions" \
   

   Используйте команду az datashare share-subscription list-source-share-synchronization-setting, чтобы просмотреть параметры синхронизации, заданные в общей папке.

   az datashare share-subscription list-source-share-synchronization-setting \
     --resource-group "share-rg" --account-name "FabrikamDataShareAccount" \
     --share-subscription-name "Fabrikam Solutions"
   

PowerShell

Следующие команды позволяют настроить место для получения данных.

1. Получите идентификатор набора данных, выполнив команду Get-AzDataShareSourceDataSet:

   Get-AzDataShareSourceDataSet -ResourceGroupName <String> -AccountName <String> -ShareSubscriptionName <String>
   

2. Если у вас еще нет расположения, в котором вы хотите хранить общие данные, выполните следующие действия, чтобы создать учетную запись хранения. Если у вас уже есть хранилище, перейдите к следующим шагам.

   1. Выполните команду New-AzStorageAccount, чтобы создать учетную запись хранения Azure:

      $storageAccount = New-AzStorageAccount -ResourceGroupName <String> -AccountName <String> -Location <String> -SkuName <String>
      
      $ctx = $storageAccount.Context
      

   2. Выполните команду New-AzStorageContainer, чтобы создать в новой учетной записи хранения Azure контейнер, в котором будут размещаться ваши данные:

      $containerName = <String>
      
      New-AzStorageContainer -Name $containerName -Context $ctx -Permission blob
      

   3. Выполните команду Set-AzStorageBlobContent, чтобы отправить файл. Следующий пример отправляет textfile.csv из папки D:\testFiles в локальную память в созданный контейнер.

      Set-AzStorageBlobContent -File "D:\testFiles\textfile.csv" -Container $containerName -Blob "textfile.csv" -Context $ctx
      

   Дополнительные сведения о работе со Службой хранилища Azure в PowerShell см. в этом руководстве по работе с PowerShell в Службе хранилища Azure.

3. Выполните команду Get-AzStorageAccount, чтобы получить идентификатор учетной записи хранения:

   Get-AzStorageAccount -ResourceGroupName <String> -Name <String>
   

4. Выполните команду New-AzDataShareDataSetMapping, используя идентификатор набора данных из первого шага, чтобы создать сопоставление набора данных:

   New-AzDataShareDataSetMapping -ResourceGroupName <String> -AccountName <String> -ShareSubscriptionName <String> -Name <String> -StorageAccountResourceId <String> -DataSetId <String> -Container <String>
   

5. Выполните команду Start-AzDataShareSubscriptionSynchronization, чтобы запустить синхронизацию набора данных.

   Start-AzDataShareSubscriptionSynchronization -ResourceGroupName <String> -AccountName <String> -ShareSubscriptionName <String> -SynchronizationMode <String>
   

   Выполните команду Get-AzDataShareSubscriptionSynchronization, чтобы просмотреть список синхронизаций:

   Get-AzDataShareSubscriptionSynchronization -ResourceGroupName <String> -AccountName <String> -ShareSubscriptionName <String>
   

   Выполните команду Get-AzDataShareSubscriptionSynchronizationDetail, чтобы просмотреть установленные параметры синхронизации для общей папки.

   Get-AzDataShareSubscriptionSynchronizationDetail -ResourceGroupName <String> -AccountName <String> -ShareSubscriptionName <String> -SynchronizationId <String>
   

Активация создания моментальных снимков

Портал

Эти действия применимы только к общему доступу на основе моментальных снимков.

1. Вы можете активировать создание моментальных снимков, нажав на вкладке Подробности кнопку Активировать моментальный снимок. Здесь вы сможете активировать полные или добавочные моментальные снимки ваших данных. Если вы осуществляете прием данных от поставщика в первый раз, выберите полное копирование.

   

2. Если состояние последнего запуска является успешным, перейдите к целевому хранилищу данных для просмотра полученных данных. Выберите Наборы данных и щелкните ссылку в целевом пути.

   

Azure CLI

Выполните команду create az datashare, чтобы активировать моментальный снимок:

az datashare trigger create --account-name "FabrikamDataShareAccount" --resource-group "share-rg" --share-subscription-name "Fabrikam Solutions" --scheduled-trigger recurrence-interval="Day" synchronization-mode="Incremental" synchronization-time="2018-11-14T04:47:52.9614956Z" --name "Trigger1"

PowerShell

Эти действия применимы только к общему доступу на основе моментальных снимков.

Выполните команду New-AzDataShareTrigger, чтобы активировать моментальный снимок:

New-AzDataShareTrigger -ResourceGroupName <String> -AccountName <String> -Name <String> -RecurrenceInterval <String> -SynchronizationTime <DateTime>

Просмотр журнала

Этот шаг применим только для общего доступа на основе моментальных снимков. Чтобы просмотреть журнал моментальных снимков, перейдите на вкладку "Журнал ". Здесь вы найдете историю всех моментальных снимков, созданных за последние 30 дней.

Очистка ресурсов

Если ресурс больше не нужен, перейдите на страницу обзора общего доступа к данным и выберите "Удалить ", чтобы удалить его.

Следующие шаги

В этом учебнике вы узнали, как принять приглашение и получить данные Azure Data Share. Чтобы узнать больше о понятиях Azure Data Share, ознакомьтесь с терминологией Azure Data Share.

Понятия Azure Data Share