Samouczek: akceptowanie i odbieranie danych przy użyciu usługi Azure Data Share

Z tego samouczka dowiesz się, jak zaakceptować zaproszenie do udziału danych przy użyciu usługi Azure Data Share. Dowiesz się, jak odbierać dane udostępniane Tobie oraz jak włączyć regularny interwał odświeżania, aby upewnić się, że zawsze masz najnowszą migawkę danych, które są Ci udostępniane.

• Jak zaakceptować zaproszenie usługi Azure Data Share
• Tworzenie konta usługi Azure Data Share
• Określanie miejsca docelowego dla danych
• Tworzenie subskrypcji udziału danych na potrzeby zaplanowanego odświeżania

Wymagania wstępne

Przed zaakceptowaniem zaproszenia do udziału danych należy utworzyć niektóre zasoby platformy Azure wymienione poniżej.

Przed zaakceptowaniem zaproszenia do udziału danych upewnij się, że wszystkie wymagania wstępne zostały ukończone.

• Subskrypcja platformy Azure: jeśli nie masz subskrypcji platformy Azure, przed rozpoczęciem utwórz bezpłatne konto .
• Zaproszenie do udostępniania danych: zaproszenie z platformy Microsoft Azure z tematem zatytułowanym "Zaproszenie do usługi Azure Data Share z yourdataprovider@domain.comwitryny ".
• Zarejestruj dostawcę zasobów Microsoft.DataShare w subskrypcji platformy Azure, w której utworzysz zasób usługi Data Share i subskrypcję platformy Azure, w której znajdują się docelowe magazyny danych platformy Azure.

Odbieranie danych na konto magazynu

• Konto usługi Azure Storage: jeśli jeszcze go nie masz, możesz utworzyć konto usługi Azure Storage.
• Uprawnienie do zapisu na koncie magazynu, które znajduje się w microsoft.Storage/storageAccounts/write. To uprawnienie istnieje w roli Współautor konta magazynu.
• Uprawnienie do dodawania przypisania roli do konta magazynu, które znajduje się w obszarze Microsoft.Authorization/role assignments/write. To uprawnienie istnieje w roli Właściciel.

Odbieranie danych do obiektu docelowego opartego na języku SQL

Jeśli zdecydujesz się odbierać dane do usługi Azure SQL Database, usługa Azure Synapse Analytics poniżej znajduje się lista wymagań wstępnych.

Wymagania wstępne dotyczące odbierania danych do usługi Azure SQL Database lub Azure Synapse Analytics (dawniej Azure SQL DW)

• Usługa Azure SQL Database lub Azure Synapse Analytics (dawniej Azure SQL DW).
• Uprawnienie do zapisywania w bazach danych na serwerze SQL, który znajduje się w programie Microsoft.Sql/servers/databases/write. To uprawnienie istnieje w roli Współautor.
• Microsoft Entra Administracja programu SQL Server
• Dostęp do zapory programu SQL Server. Można to zrobić, wykonując następujące czynności:
  1. W programie SQL Server w witrynie Azure Portal przejdź do pozycji Zapory i sieci wirtualne
  2. Wybierz pozycję Tak, aby zezwalać usługom i zasobom platformy Azure na dostęp do tego serwera.
  3. Wybierz pozycję +Dodaj adres IP klienta. Adres IP klienta może ulec zmianie. Ten proces może być powtarzany przy następnym udostępnianiu danych SQL z witryny Azure Portal. Można również dodać zakres adresów IP.
  4. Wybierz pozycję Zapisz.

Wymagania wstępne dotyczące odbierania danych do puli SQL usługi Azure Synapse Analytics (obszaru roboczego)

• Dedykowana pula SQL usługi Azure Synapse Analytics (obszar roboczy). Odbieranie danych do bezserwerowej puli SQL nie jest obecnie obsługiwane.

• Uprawnienie do zapisu w puli SQL w obszarze roboczym usługi Synapse, który znajduje się w obszarze Microsoft.Synapse/workspaces/sqlPools/write. To uprawnienie istnieje w roli Współautor.

• Uprawnienie do tożsamości zarządzanej zasobu usługi Data Share w celu uzyskania dostępu do puli SQL obszaru roboczego usługi Synapse. Można to zrobić, wykonując następujące czynności:

  1. W witrynie Azure Portal przejdź do obszaru roboczego usługi Synapse. Wybierz pozycję Microsoft Entra admin z lewej nawigacji i ustaw siebie jako administrator firmy Microsoft Entra.

  2. Otwórz program Synapse Studio, wybierz pozycję Zarządzaj w obszarze nawigacji po lewej stronie. Wybierz pozycję Kontrola dostępu w obszarze Zabezpieczenia. Przypisz sobie rolę administratora SQL lub administratora obszaru roboczego.

  3. W programie Synapse Studio wybierz pozycję Develop (Programowanie ) w obszarze nawigacji po lewej stronie. Wykonaj następujący skrypt w puli SQL, aby dodać tożsamość zarządzaną zasobu usługi Data Share jako "db_datareader, db_datawriter, db_ddladmin".

     create user "<share_acc_name>" from external provider; 
     exec sp_addrolemember db_datareader, "<share_acc_name>"; 
     exec sp_addrolemember db_datawriter, "<share_acc_name>"; 
     exec sp_addrolemember db_ddladmin, "<share_acc_name>";
     

     Share_acc_name <> to nazwa zasobu usługi Data Share. Jeśli nie utworzono jeszcze zasobu usługi Data Share, możesz wrócić do tego wymagania wstępnego później.

• Dostęp do zapory obszaru roboczego usługi Synapse. Można to zrobić, wykonując następujące czynności:

  1. W witrynie Azure Portal przejdź do obszaru roboczego usługi Synapse. Wybierz pozycję Zapory w obszarze nawigacji po lewej stronie.
  2. Wybierz pozycję WŁ. w obszarze Zezwalaj usługom i zasobom platformy Azure na dostęp do tego obszaru roboczego.
  3. Wybierz pozycję +Dodaj adres IP klienta. Adres IP klienta może ulec zmianie. Ten proces może być powtarzany przy następnym udostępnianiu danych SQL z witryny Azure Portal. Można również dodać zakres adresów IP.
  4. Wybierz pozycję Zapisz.

Odbieranie danych do klastra usługi Azure Data Explorer:

• Klaster usługi Azure Data Explorer w tym samym centrum danych platformy Azure co klaster eksploratora danych dostawcy danych: jeśli jeszcze go nie masz, możesz utworzyć klaster usługi Azure Data Explorer. Jeśli nie znasz centrum danych platformy Azure klastra dostawcy danych, możesz utworzyć klaster w dalszej części procesu.
• Uprawnienie do zapisu w klastrze usługi Azure Data Explorer, który znajduje się w pliku Microsoft.Kusto/clusters/write. To uprawnienie istnieje w roli Współautor.

Zaloguj się do witryny Azure Portal.

Zaloguj się w witrynie Azure Portal.

Otwórz zaproszenie

Portal

1. Możesz otworzyć zaproszenie pocztą e-mail lub bezpośrednio w witrynie Azure Portal.

   Aby otworzyć zaproszenie z wiadomości e-mail, sprawdź skrzynkę odbiorczą dotyczącą zaproszenia od dostawcy danych. Zaproszenie pochodzi z platformy Microsoft Azure zatytułowanej Zaproszenie do usługi Azure Data Share z witryny yourdataprovider@domain.com. Wybierz pozycję Wyświetl zaproszenie , aby zobaczyć zaproszenie na platformie Azure.

   Aby otworzyć zaproszenie bezpośrednio z witryny Azure Portal, wyszukaj pozycję Zaproszenia do udostępniania danych w witrynie Azure Portal. Ta akcja powoduje przejście do listy zaproszeń do udziału danych.

   Jeśli jesteś użytkownikiem-gościem dzierżawy, zostanie wyświetlony monit o zweryfikowanie adresu e-mail dzierżawy przed wyświetleniem zaproszenia do udziału danych po raz pierwszy. Po zweryfikowaniu jego ważność trwa 12 miesięcy.

   

2. Wybierz zaproszenie, które chcesz wyświetlić.

Interfejs wiersza polecenia platformy Azure

Przygotuj środowisko interfejsu wiersza polecenia platformy Azure, a następnie wyświetl zaproszenia.

Rozpocznij od przygotowania środowiska dla interfejsu wiersza polecenia platformy Azure:

• Użyj środowiska powłoki Bash w usłudze Azure Cloud Shell. Aby uzyskać więcej informacji, zobacz Szybki start dotyczący powłoki Bash w usłudze Azure Cloud Shell.

  

• Jeśli wolisz uruchamiać polecenia referencyjne interfejsu wiersza polecenia lokalnie, zainstaluj interfejs wiersza polecenia platformy Azure. Jeśli korzystasz z systemu Windows lub macOS, rozważ uruchomienie interfejsu wiersza polecenia platformy Azure w kontenerze Docker. Aby uzyskać więcej informacji, zobacz Jak uruchomić interfejs wiersza polecenia platformy Azure w kontenerze platformy Docker.

  • Jeśli korzystasz z instalacji lokalnej, zaloguj się do interfejsu wiersza polecenia platformy Azure za pomocą polecenia az login. Aby ukończyć proces uwierzytelniania, wykonaj kroki wyświetlane w terminalu. Aby uzyskać inne opcje logowania, zobacz Logowanie się przy użyciu interfejsu wiersza polecenia platformy Azure.

  • Po wyświetleniu monitu zainstaluj rozszerzenie interfejsu wiersza polecenia platformy Azure podczas pierwszego użycia. Aby uzyskać więcej informacji na temat rozszerzeń, zobacz Korzystanie z rozszerzeń w interfejsie wiersza polecenia platformy Azure.

  • Uruchom polecenie az version, aby znaleźć zainstalowane wersje i biblioteki zależne. Aby uaktualnić do najnowszej wersji, uruchom polecenie az upgrade.

Uruchom polecenie az datashare consumer-invitation list-invitation, aby wyświetlić bieżące zaproszenia:

az datashare consumer consumer-invitation list-invitation

Skopiuj identyfikator zaproszenia do użycia w następnej sekcji.

Program PowerShell

Zacznij od przygotowania środowiska do programu PowerShell. Polecenia programu PowerShell można uruchamiać lokalnie lub przy użyciu środowiska powłoki Bash w usłudze Azure Cloud Shell.

• Jeśli zdecydujesz się używać programu Azure PowerShell lokalnie:
  • Zainstaluj najnowszą wersję modułu Az programu PowerShell.
  • Połączenie do konta platformy Azure przy użyciu polecenia cmdlet Połączenie-AzAccount.
• Jeśli zdecydujesz się używać usługi Azure Cloud Shell:
  • Aby uzyskać więcej informacji, zobacz Omówienie usługi Azure Cloud Shell .

1. Użyj polecenia Połączenie-AzAccount, aby nawiązać połączenie z kontem platformy Azure.

   Connect-AzAccount
   

2. Uruchom polecenie Set-AzContext, aby ustawić poprawną subskrypcję, jeśli masz wiele subskrypcji.

   Set-AzContext [SubscriptionID/SubscriptionName]
   

3. Uruchom polecenie Get-AzDataShareReceivedInvitation, aby wyświetlić bieżące zaproszenia:

   Get-AzDataShareReceivedInvitation
   

Skopiuj identyfikator zaproszenia do użycia w następnej sekcji.

Zaakceptuj zaproszenie

Portal

1. Upewnij się, że wszystkie pola są przeglądane, w tym warunki użytkowania. Jeśli zgadzasz się na warunki użytkowania, musisz zaznaczyć pole wyboru, aby wskazać, że zgadzasz się.

   

2. W obszarze Docelowe konto udziału danych wybierz subskrypcję i grupę zasobów, w której będziesz wdrażać udział danych.

   W polu Konto udziału danych wybierz pozycję Utwórz nowe, jeśli nie masz istniejącego konta usługi Data Share. W przeciwnym razie wybierz istniejące konto usługi Data Share, do którego chcesz zaakceptować udział danych.

   W polu Nazwa odebranego udziału można pozostawić wartość domyślną określoną przez podane dane lub określić nową nazwę odebranego udziału.

   Po zaakceptowaniu warunków użytkowania i określeniu konta usługi Data Share do zarządzania odebranym udziałem wybierz pozycję Akceptuj i skonfiguruj. Zostanie utworzona subskrypcja udziału.

   

   Ta akcja powoduje przejście do otrzymanego udziału na koncie usługi Data Share.

   Jeśli nie chcesz zaakceptować zaproszenia, wybierz pozycję Odrzuć.

Interfejs wiersza polecenia platformy Azure

Użyj polecenia az datashare share-subscription create, aby utworzyć udział danych.

az datashare share-subscription create --resource-group share-rg \
  --name "fabrikamsolutions" --account-name FabrikamDataShareAccount \
  --invitation-id 89abcdef-0123-4567-89ab-cdef01234567 \
  --source-share-location "East US 2"

Program PowerShell

Użyj polecenia New-AzDataShareSubscription, aby utworzyć udział danych. Identyfikator invitationId będzie identyfikatorem zebranym z poprzedniego kroku.

New-AzDataShareSubscription -ResourceGroupName <String> -AccountName <String> -Name <String> -InvitationId <String>

Konfigurowanie odebranych udziałów

Portal

Wykonaj poniższe kroki, aby skonfigurować miejsce odbierania danych.

1. Wybierz kartę Zestawy danych. Zaznacz pole obok zestawu danych, do którego chcesz przypisać miejsce docelowe. Wybierz pozycję + Mapuj, aby wybrać docelowy magazyn danych.

   

2. Wybierz docelowy typ magazynu danych, w którym chcesz wylądować dane. Wszelkie pliki danych lub tabele w docelowym magazynie danych o tej samej ścieżce i nazwie zostaną zastąpione. Jeśli odbierasz dane do usługi Azure SQL Database lub Azure Synapse Analytics (dawniej Azure SQL DW), zaznacz pole wyboru Zezwalaj usłudze Data Share na uruchamianie powyższego skryptu "utwórz użytkownika" w moim imieniu.

   W przypadku udostępniania w miejscu wybierz magazyn danych w określonej lokalizacji. Lokalizacja to centrum danych platformy Azure, w którym znajduje się źródłowy magazyn danych dostawcy danych. Po zamapowanym zestawie danych możesz skorzystać z linku w ścieżce docelowej, aby uzyskać dostęp do danych.

   

3. W przypadku udostępniania opartego na migawkach, jeśli dostawca danych utworzył harmonogram migawek w celu zapewnienia regularnej aktualizacji danych, możesz również włączyć harmonogram migawek, wybierając kartę Harmonogram migawek. Zaznacz pole obok harmonogramu migawek i wybierz pozycję + Włącz. Pierwsza zaplanowana migawka rozpocznie się w ciągu jednej minuty od czasu harmonogramu, a kolejne migawki zostaną uruchomione w ciągu kilku sekund od zaplanowanego czasu.

   

   Metadane skopiowanych plików nie są utrwalane po każdym uruchomieniu. Jest to celowe.

Interfejs wiersza polecenia platformy Azure

Użyj tych poleceń, aby skonfigurować miejsce odbierania danych.

1. Uruchom polecenie az datashare consumer-source-data-set list, aby uzyskać identyfikator zestawu danych:

   az datashare consumer-source-data-set list --resource-group "share-rg" \
    --account-name "FabrikamDataShareAccount" \
      --share-subscription-name "fabrikamsolutions" \
   

2. Jeśli potrzebujesz konta magazynu, uruchom polecenie az storage account create , aby utworzyć konto magazynu dla tego udziału danych:

   az storage account create --resource-group "share-rg" --name "FabrikamDataShareStorageAccount" \
   

3. Użyj polecenia az storage account show, aby uzyskać identyfikator konta magazynu:

   az storage account show --resource-group "share-rg" --name "FabrikamDataShareStorageAccount" \
    --query "id"
   

4. Użyj następującego polecenia, aby uzyskać identyfikator podmiotu zabezpieczeń konta:

   az datashare account show --resource-group "share-rg" --name "FabrikamDataShareAccount" \
     --query "identity.principalId"
   

5. Użyj polecenia az role assignment create, aby utworzyć przypisanie roli dla podmiotu zabezpieczeń konta przy użyciu identyfikatora głównego konta i identyfikatora konta magazynu:

   az role assignment create --role "Contributor" \
     --assignee-object-id 6789abcd-ef01-2345-6789-abcdef012345 
     --assignee-principal-type ServicePrincipal --scope "your\storage\account\id\path"
   

6. Utwórz zmienną dla mapowania na podstawie identyfikatora zestawu danych z kroku 1:

   $mapping='{\"data_set_id\":\"' + $dataset_id + '\",\"container_name\":\"newcontainer\",
     \"storage_account_name\":\"datashareconsumersa\",\"kind\":\"BlobFolder\",\"prefix\":\"consumer\"}'
   

7. Użyj polecenia az datashare data-set-mapping create, aby utworzyć mapowanie zestawu danych:

   az datashare data-set-mapping create --account-name "FabrikamDataShareAccount" \
    --data-set-mapping-name "datasetmapping" --resource-group "share-rg" \
    --share-subscription-name "fabrikamsolutions" --blob-folder-data-set-mapping $mapping
   

8. Uruchom polecenie az datashare share-subscription sync, aby rozpocząć synchronizację zestawów danych.

   az datashare share-subscription synchronize \
     --resource-group "share-rg" --account-name "FabrikamDataShareAccount"  \
     --name "Fabrikam Solutions" --synchronization-mode "Incremental" \
   

   Uruchom polecenie az datashare share-subscription list-synchronization, aby wyświetlić listę synchronizacji:

   az datashare share-subscription list-synchronization \
     --resource-group "share-rg" --account-name "FabrikamDataShareAccount" \
     --share-subscription-name "Fabrikam Solutions" \
   

   Użyj polecenia az datashare share-subscription list-source-share-synchronization-setting, aby wyświetlić ustawienia synchronizacji ustawione w udziale.

   az datashare share-subscription list-source-share-synchronization-setting \
     --resource-group "share-rg" --account-name "FabrikamDataShareAccount" \
     --share-subscription-name "Fabrikam Solutions"
   

Program PowerShell

Użyj tych poleceń, aby skonfigurować miejsce odbierania danych.

1. Uruchom polecenie Get-AzDataShareSourceDataSet, aby uzyskać identyfikator zestawu danych:

   Get-AzDataShareSourceDataSet -ResourceGroupName <String> -AccountName <String> -ShareSubscriptionName <String>
   

2. Jeśli nie masz jeszcze lokalizacji, w której chcesz przechowywać udostępnione dane, możesz wykonać następujące kroki, aby utworzyć konto magazynu. Jeśli masz już magazyn, możesz przejść do następnych kroków.

   1. Uruchom polecenie New-AzStorageAccount, aby utworzyć konto usługi Azure Storage:

      $storageAccount = New-AzStorageAccount -ResourceGroupName <String> -AccountName <String> -Location <String> -SkuName <String>
      
      $ctx = $storageAccount.Context
      

   2. Uruchom polecenie New-AzStorageContainer, aby utworzyć kontener na nowym koncie usługi Azure Storage, które będzie przechowywać dane:

      $containerName = <String>
      
      New-AzStorageContainer -Name $containerName -Context $ctx -Permission blob
      

   3. Uruchom polecenie Set-AzStorageBlobContent, aby przekazać plik. Poniższy przykład przekazuje textfile.csv z folderu D:\testFiles w pamięci lokalnej do utworzonego kontenera.

      Set-AzStorageBlobContent -File "D:\testFiles\textfile.csv" -Container $containerName -Blob "textfile.csv" -Context $ctx
      

   Aby uzyskać więcej informacji na temat pracy z usługą Azure Storage w programie PowerShell, postępuj zgodnie z tym przewodnikiem programu PowerShell usługi Azure Storage.

3. Użyj polecenia Get-AzStorageAccount, aby uzyskać identyfikator konta magazynu:

   Get-AzStorageAccount -ResourceGroupName <String> -Name <String>
   

4. Użyj identyfikatora zestawu danych z pierwszego kroku, a następnie uruchom polecenie New-AzDataShareDataSetMapping , aby utworzyć mapowanie zestawu danych:

   New-AzDataShareDataSetMapping -ResourceGroupName <String> -AccountName <String> -ShareSubscriptionName <String> -Name <String> -StorageAccountResourceId <String> -DataSetId <String> -Container <String>
   

5. Uruchom polecenie Start-AzDataShareSubscriptionSynchronization, aby rozpocząć synchronizację zestawów danych.

   Start-AzDataShareSubscriptionSynchronization -ResourceGroupName <String> -AccountName <String> -ShareSubscriptionName <String> -SynchronizationMode <String>
   

   Uruchom polecenie Get-AzDataShareSubscriptionSynchronization, aby wyświetlić listę synchronizacji:

   Get-AzDataShareSubscriptionSynchronization -ResourceGroupName <String> -AccountName <String> -ShareSubscriptionName <String>
   

   Użyj polecenia Get-AzDataShareSubscriptionSynchronizationDetail, aby wyświetlić ustawienia synchronizacji ustawione w udziale.

   Get-AzDataShareSubscriptionSynchronizationDetail -ResourceGroupName <String> -AccountName <String> -ShareSubscriptionName <String> -SynchronizationId <String>
   

Wyzwalanie migawki

Portal

Te kroki dotyczą tylko udostępniania opartego na migawkach.

1. Migawkę można wyzwolić, wybierając kartę Szczegóły , a następnie pozycję Migawka wyzwalacza. W tym miejscu możesz wyzwolić pełną lub przyrostową migawkę danych. Jeśli po raz pierwszy otrzymujesz dane od dostawcy danych, wybierz pełną kopię.

   

2. Po pomyślnym zakończeniu ostatniego uruchomienia przejdź do docelowego magazynu danych, aby wyświetlić odebrane dane. Wybierz pozycję Zestawy danych i wybierz link w ścieżce docelowej.

   

Interfejs wiersza polecenia platformy Azure

Uruchom polecenie az datashare trigger create, aby wyzwolić migawkę:

az datashare trigger create --account-name "FabrikamDataShareAccount" --resource-group "share-rg" --share-subscription-name "Fabrikam Solutions" --scheduled-trigger recurrence-interval="Day" synchronization-mode="Incremental" synchronization-time="2018-11-14T04:47:52.9614956Z" --name "Trigger1"

Program PowerShell

Te kroki dotyczą tylko udostępniania opartego na migawkach.

Uruchom polecenie New-AzDataShareTrigger, aby wyzwolić migawkę:

New-AzDataShareTrigger -ResourceGroupName <String> -AccountName <String> -Name <String> -RecurrenceInterval <String> -SynchronizationTime <DateTime>

Wyświetl historię

Ten krok dotyczy tylko udostępniania opartego na migawkach. Aby wyświetlić historię migawek, wybierz kartę Historia . W tym miejscu znajdziesz historię wszystkich migawek wygenerowanych w ciągu ostatnich 30 dni.

Czyszczenie zasobów

Gdy zasób nie jest już potrzebny, przejdź do strony Przegląd udziału danych i wybierz pozycję Usuń , aby go usunąć.

Następne kroki

W tym samouczku przedstawiono sposób akceptowania i odbierania udziału danych platformy Azure. Aby dowiedzieć się więcej na temat pojęć związanych z usługą Azure Data Share, przejdź do terminologii dotyczącej usługi Azure Data Share.

Pojęcia dotyczące usługi Azure Data Share