Utwórz Azure Synapse Link for Dataverse z Azure Synapse Workspace

Artykuł
03/30/2024

Użyj narzędzia Azure Synapse Link do łączenia danych Microsoft Dataverse z Azure Synapse Analytics, aby poznać dane i szybciej z nich korzystać. W tym artykule opisano, jak wykonać następujące zadania:

Połącz dane Dataverse z obszarem roboczym Azure Synapse Analytics z usługą Azure Synapse Link.
Zarządzaj Dataverse tabelami w Azure Synapse Link.
Monitorowanie systemu Azure Synapse Link.
Odłączanie Azure Synapse Link.
Należy ponownie podłączyć Azure Synapse Link.
Wyświetlanie danych tabeli w usłudze Azure Synapse Analytics.

Uwaga

Azure Synapse Link for Microsoft Dataverse, wcześniej znane jako Eksportowanie do data lake. Nazwa usługi została zmieniona w maja 2021 r. i nadal będzie eksportować dane do Azure Data Lake oraz Azure Synapse Analytics.

Wymagania wstępne

Dataverse: Upewnij się, że masz rolę zabezpieczeń Dataverse Administrator systemu. Ponadto dla tabel, które mają być eksportowane za pośrednictwem Azure Synapse Link musi być włączona właściwość Śledź zmiany. Więcej informacji: Opcje zaawansowane
Azure Data Lake Storage Gen 2: trzeba mieć konto Azure Data Lake Storage Gen 2 oraz dostęp do ról Właściciel i Współautor Storage Blob Data. Konto magazynu musi umożliwiać Hierarchiczną przestrzeń nazw zarówno dla początkowej konfiguracji, jak i synchronizacji. Zezwalanie na dostęp do klucza konta magazynu jest wymagane tylko w przypadku początkowej konfiguracji.
Obszar roboczy Synapse: Musisz mieć przestrzeń roboczą Synapse i dostęp do roli Administrator Synapse w ramach Synapse Studio. Obszar roboczy Synapse musi znajdować się w tym samym regionie, co konto Azure Data Lake Storage Gen2 z regułą dostępu do adresów IP allowAll. Konto magazynu należy dodać jako połączoną usługę w Synapse Studio. Aby utworzyć obszar roboczy Synapse, przejdź do Tworzenie obszaru roboczego Synapse.

Uwaga

Konto magazynu i obszar roboczy Synapse muszą być utworzone w tej samej dzierżawie usługi Microsoft Entra, co dzierżawa usługi Power Apps.
Konto magazynu i obszar roboczy Synapse muszą być utworzone w tym samym regionie, co środowisko Power Apps, w którym będzie używana funkcja, i w tej samej grupie zasobów.
Aby ustawić Włączone z wybranych sieci wirtualnych i adresów IP dla połączonego konta magazynu i obszaru roboczego w celu udzielania dostępu tylko z wybranych sieci wirtualnych i adresów IP lub używania prywatnych punktów końcowych, musisz utworzyć Azure Synapse Link z zarządzanymi tożsamościami. Więcej informacji: Używaj zarządzanych tożsamości dla platformy Azure w ramach usługi Azure Data Lake Storage (bez skonfigurowanych tożsamości zarządzanych należy włączyć dostęp do sieci publicznej w przypadku zasobów platformy Azure zarówno w przypadku konfiguracji początkowej, jak i synchronizacji różnicowej).
Obszary robocze Synapse zawierające zarządzane prywatne punkty końcowe, ochronę przed eksfiltracją danych lub zarządzane sieci wirtualne nie są obsługiwane.
Użytkownik musi mieć Czytelnik dostępu do grupy zasobów przy użyciu konta magazynu i obszaru roboczego Synapse.
Po dodaniu wielu użytkowników do przestrzeni roboczej Synapse muszą oni mieć dostęp do roli Administrator Synapse w oprogramowaniu Synapse Studio oraz rolę Współautor Storage Blob Data na koncie Azure Data Lake Storage Gen2.
Tworzenie profili Synapse Link w jednym środowisku DV jest ograniczone do maksymalnie 10.

Łączenie Dataverse z obszarem roboczym Synapse

Zaloguj się do Power Apps i wybierz preferowane środowisko.
W lewym okienku nawigacji wybierz Azure Synapse Link. Jeśli elementu nie ma w okienku panelu bocznego, wybierz …Więcej, a następnie wybierz żądany element.
Na pasku poleceń zaznacz + Nowy link.
Wybierz opcję Połącz z obszarem roboczym Azure Synapse workspace.
Wybierz Subskrypcja, Grupa zasobów, Obszar roboczy i Konto magazynu. Upewnij się, że obszar roboczy i konto magazynu Synapse spełniają wymagania określone w sekcji Wymagania wstępne. Wybierz Dalej.

Uwaga

W ramach łączenia środowiska z data lake, przyznajesz Azure Synapse Link dostęp do swojego konta magazynowego. Należy się upewnić, że zostały wykonane wymagania wstępne dotyczące tworzenia i konfigurowania konta Azure Data Lake Storage oraz udzielono sobie roli właściciela na koncie magazynu. Ponadto udzielony jest dostęp do usługi Przepływów danych Power Platform do konta magazynu. Więcej informacjiL Samoobsługowe przygotowanie danych za pomocą przepływu danych.
Dodaj tabele do wyeksportowania, a następnie wybierz opcję Zapisz. Tylko tabele, które mają włączone śledzenie zmian mogą być dodawane. Więcej informacji: Włączanie śledzenia zmian.

Możesz wykonać powyższe kroki, aby utworzyć łącze z jednego środowiska do wielu obszarów roboczych usługi Azure Synapse Analytics i usług Azure Data Lake w ramach subskrypcji platformy Azure, dodając usługę Azure Data Lake jako połączoną usługę w obszarze roboczym Synapse. Podobnie można utworzyć łącze z wielu środowisk do tego samego obszaru roboczego usługi Azure Synapse Analytics i usługi Azure Data Lake — wszystko w ramach tej samej dzierżawy.

Uwaga

Usługa Azure Synapse Link for Dataverse jest płynnie zintegrowana z platformą Power Platform jako gotowa do użycia funkcja. Spełnia standardy bezpieczeństwa i zarządzania określone dla przechowywania danych i zarządzania Power Platform. Więcej informacji: Przechowywanie danych i nadzór nad nimi

Dane eksportowane przez usługę Azure Synapse Link są szyfrowane przy użyciu technologii Transport Layer Security(TLS) 1.2 Azure Data Lake Storage lub większej i szyfrowane podczas przechowywania w usłudze Gen2. Ponadto dane przejściowe w magazynie obiektów BLOB są również szyfrowane w spoczynku. Szyfrowanie w programie Azure Data Lake Storage Gen2 ułatwia ochronę danych, implementuje politykę zabezpieczeń firmy i spełnia wymagania dotyczące zgodności z przepisami. Więcej informacji: Azure Data Encryption-at-Rest Więcej informacji: Konfigurowanie zapór i sieci wirtualnych usługi Azure Storage

Zarządzanie danymi tabeli w obszarze roboczym Synapse

Po skonfigurowaniu tabeli można zarządzać eksportowaną tabelą Azure Synapse Link na jeden z dwóch sposobów:

W obszarze Azure Synapse Link na portalu twórców Power Apps (make.powerapps.com) wybierz pozycję Zarządzaj tabelami na pasku poleceń, aby dodać jedną lub więcej połączonych tabel lub usunąć je.
W obszarze Power Apps tabele w portalu twórców, wybierz obszar Tabele i wybierz opcję ... obok tabeli, a następnie wybrać połączone data lake, w którym chcesz wyeksportować dane tabeli.

Monitorowanie systemu Azure Synapse Link

Po skonfigurowaniu łącza Azure Synapse Link możesz monitorować łącze Azure Synapse Link na karcie Tabele.

Monitorowanie Azure Synapse Link

Pojawi się lista tabel, które są częścią wybranej Azure Synapse Link.
Istnieją różne etapy, przez które przechodzi stan synchronizacji. NotStarted wskazuje, że tabela oczekuje na zsynchronizowanie. Po wstępnej synchronizacji tabeli Zakończone, nastąpi etap przetwarzania końcowego, na którym nie będą przeprowadzane aktualizacje przyrostowe. Może to potrwać kilka godzin w zależności od rozmiaru danych. Po rozpoczęciu aktualizacji przyrostowych data ostatniej synchronizacji będzie regularnie aktualizowana.
Kolumna Liczba zawiera zapisane wiersze liczbowe. Gdy tylko dołączanie jest ustawiona na Nie, jest to łączna liczba rekordów. Gdy tylko dołączanie jest ustawiona na Tak, jest to łączna liczba zmian.
Kolumny Dołącz tylko i Strategia partycji pokazują użycie różnic w zaawansowanych konfiguracjach.

Odłączenie Azure Synapse Link

Wybierz żądane łącze Azure Synapse Link, aby odłączyć.
Na pasku poleceń wybierz Rozłącz.
Aby usunąć zarówno system plików Data Lake, jak i bazę danych Synapse, wpisz nazwę łącza, aby potwierdzić.
Wybierz opcję Tak i poczekaj kilka minut, aby wszystkie elementy zostały odłączone i usunięte.

Ponowne łączenie łącza Azure Synapse Link

Jeśli usunąłeś system plików podczas odłączania, wykonaj powyższe kroki, aby ponownie połączyć ten sam obszar roboczy Synapse i jezioro danych. Jeśli nie usunięto systemu plików podczas odłączania, musisz wyczyścić dane, aby ponownie połączyć:

Przejdź pod adres Azure Synapse Analytics.
Wybierz ... dla bazy danych niepowiązanych i wybierz Nowy notatnik > Pusty notatnik.
Dołącz notes do puli zadań platformy Apache Spark, wybierając pulę z menu rozwijanego. Jeśli nie masz puli zadań platformy Apache Spark, wybierz Zarządzaj pulami, aby ją utworzyć.
Wprowadź następujący skrypt, zastąp <DATABASE_NAME> nazwą bazy danych, którą chcesz odłączyć, i uruchom notatnik.

    %%sql
    DROP DATABASE <DATABASE_NAME> CASCADE

Po uruchomieniu aplikacji odśwież listę bazy danych z lewego panelu. Jeśli baza danych nadal istnieje, kliknij prawym przyciskiem myszy bazę danych i wybierz opcję Usuń.
Przejdź do usługi Power Apps i ponownie połącz obszar roboczy Synapse i data lake.

Uzyskiwanie dostępu do danych w czasie rzeczywistym i danych migawkowych tylko do odczytu

Po utworzeniu łącza Azure Synapse Link dwie wersje danych tabeli zostaną zsynchronizowane w usłudze Azure Synapse Analytics i/lub Azure Data Lake Storage Gen2 domyślnie w ramach Twojej subskrypcji platformy Azure, aby zapewnić niezawodne korzystanie ze zaktualizowanych danych w jeziorze w dowolnym momencie:

Dane w czasie zbliżonym do rzeczywistego: zapewnia kopię danych synchronizowanych z Dataverse przez Azure Synapse Link w efektywny sposób, wykrywając, jakie dane uległy zmianie od czasu ich pierwotnego wyodrębnienia lub ostatniej synchronizacji.
Dane migawki: udostępnia kopię danych tylko do odczytu prawie w czasie rzeczywistym, które są aktualizowane w zwykłych odstępach czasu (w tym przypadku co godzinę).

Uwaga

Aby utworzyć dane migawki tylko do odczytu, należy się upewnić, że dla ustawienie Dozwolony zakres operacji kopiowania jest skonfigurowane na Z któregokolwiek konta magazynu. Więcej informacji: Konfigurowanie dozwolonego zakresu operacji kopiowania

Wybierz żądane łącze Azure Synapse Link i wybierz Przejdź do obszaru roboczego Azure Synapse Analytics z górnego panelu.
Rozwiń Lake Databases w lewym panelu wybierz dataverse-environmentName-organizationUniqueName, a następnie rozwiń Tabele.

Wymienione są wszystkie tabele danych w czasie rzeczywistym i są dostępne do analizy przy użyciu konwencji nazewnictwa DataverseTableName. Wymienione są wszystkie Tabele danych migawek i są dostępne do analizy przy użyciu konwencji nazewnictwa DataverseTableName_partitioned.

Prawie w czasie rzeczywistym i tabele migawek

Co dalej?

Po udanym użyciu usługi Azure Synapse Link for Dataverse odkryj, jak możesz analizować i konsumować swoje dane za pomocą Centrum wykrywania. Aby uzyskać dostęp do Centrum wykrywania, przejdź do Power Apps > Azure Synapse Link. Wybierz przyłączoną usługę i wybierz kartę Centrum odkrywania . W tym miejscu można znaleźć polecane narzędzia i dokumentację pod opieką ułatwiającą uzyskanie najszerszej wartości danych. Centrum odkrywania.