Uwaga
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Dane Microsoft Dataverse (w tym dane z aplikacji finansowych i operacyjnych Dynamics 365) mogą się stale zmieniać poprzez tworzenie, aktualizowanie i usuwanie transakcji. Opcja aktualizacji przyrostowej umożliwia tworzenie przyrostowych potoków danych, które stosują te zmiany do dalszych systemów i baz danych. Azure Synapse Link dla Dataverse dane przyrostowe są zapisywane w folderach oznaczonych sygnaturą czasową, które zawierają zmiany danych w określonych przez użytkownika odstępach czasu.
Funkcję aktualizacji przyrostowej można wykorzystać w kilku scenariuszach:
Aktualizowanie podrzędnego magazynu danych. Konieczne może być zastosowanie zmian z danych Power Apps i Dynamics 365 w dalszym magazynie danych. Aktualizacja przyrostowa jest standardową funkcją w większości narzędzi do transformacji danych, takich jak Azure Data Factory. Aby jednak funkcja aktualizacji przyrostowej działała, należy zidentyfikować rekordy, które uległy zmianie w tabelach źródłowych. Funkcja aktualizacji przyrostowej zapewnia zmienione dane jako zestaw plików, dzięki czemu nie trzeba wykrywać zmian poprzez porównywanie obrazów tabel przed i po.
Analiza zmian w dużych zbiorach danych. Jeśli trzeba przeanalizować zmiany w dużych zbiorach danych, funkcja aktualizacji przyrostowej zapewnia ciągły strumień danych w małych partiach, dzięki czemu nie trzeba przechowywać wszystkich danych. Dzięki tej opcji można usuwać nieaktualne i zastałe dane, aby zaoszczędzić na kosztach przechowywania danych, a także śledzić zmiany danych istotne dla określonego przez użytkownika okresu czasu.
Azure Synapse Link dla Dataverse zapewnia również opcję eksportowania i obsługi repliki tabel w magazynie Azure Data Lake (Gen 2). Można skonfigurować Azure Synapse Link tak, aby oprócz eksportowania repliki tabel eksportować dane przyrostowe. Każda konfiguracja (znana jako „profil Synapse Link”) może eksportować tabele lub dane przyrostowe. Chociaż można utworzyć wiele profili, nie można skonfigurować zarówno tabel, jak i aktualizacji przyrostowych w ramach tego samego profilu.
Ważne
Początkowy folder ze znacznikiem czasu jest tworzony po włączeniu tej funkcji z kopią danych. Foldery powstałych znaczników czasu i tabel są tworzone tylko wtedy, gdy aktualizacja danych ma miejsce w określonym odstępie czasu.
Po utworzeniu profilu Synapse Link z funkcją aktualizacji przyrostowej konfiguracja ma zastosowanie do wszystkich wybranych tabel w profilu Synapse Link.
Tej funkcji nie można włączyć z opcją: Połącz z Azure Synapse workspace. Klienci, którzy potrzebują dostępu do analiz Azure Synapse Analytics, powinni postępować zgodnie z poniższą instrukcją, aby skonfigurować łącze: Utwórz Azure Synapse Link dla Dataverse przy użyciu Azure Synapse Workspace
Ta funkcja jest odpowiednikiem funkcji Kanały zmian w trakcie eksportu do data lake wbudowanej w aplikacje finansowe i operacyjne Dynamics 365. Klienci korzystający z funkcji Kanały zmian mają możliwość włączenia profilu Synapse Link z danymi zmian bez konieczności eksportowania danych tabeli.
Wymagania wstępne
W tym przewodniku przyjęto założenie, że zostały spełnione wymagania wstępne Azure Synapse Link. Więcej informacji: Utwórz Azure Synapse Link dla Dataverse z Azure Data Lake
Utwórz profil Synapse Link, aby eksportować dane przyrostowe
Zaloguj się do Power Apps i wybierz swoje środowisko.
W lewym okienku nawigacji wybierz Azure Synapse Link. Jeśli elementu nie ma w okienku panelu bocznego, wybierz …Więcej, a następnie wybierz żądany element.
Na pasku poleceń zaznacz + Nowy link.
Wybierz Subskrypcja, Grupa zasobów i Konto pamięci. Wybierz Dalej.
Nie wybieraj opcji Połącz z obszarem Azure Synapse Workspace. W przypadku wybrania tej opcji funkcja aktualizacji przyrostowej jest wyłączona.
Dodaj tabele, które chcesz wyeksportować. Jeśli środowisko Dataverse jest połączone z aplikacjami finansowymi i operacyjnymi, można również wybrać tabele z aplikacji finansowych i operacyjnych.
Wybieranie opcji Zaawansowane.
Włącz funkcję Pokaż zaawansowane ustawienia konfiguracji i Włącz strukturę folderów aktualizacji wsadowych.
Wprowadź odstęp czasu (w minutach) dla częstotliwości przechwytywania aktualizacji, a następnie wybierz opcję Zapisz.
Uwaga
Minimalny odstęp czasu to 5 minut. Oznacza to, że folder aktualizacji zostanie utworzony co 5 minut i będzie zawierał zmiany, które wystąpiły w odstępach czasu. To ustawienie można skonfigurować także po utworzeniu łącza za pośrednictwem opcji Zarządzaj tabelami. Maksymalny interwał czasowy wynosi 1140 minut (lub 24 godziny).
Upewnij się, że opcja Połącz z Azure Synapse workspace Azure Synapse workspace nie jest zaznaczona na pierwszej stronie konfiguracji.
Dane przyrostowe w folderach ze znacznikami czasu są przechowywane jako pliki tekstowe z wartościami rozdzielanymi przecinkami (pliki CSV). Nie można użyć funkcji konwersji różnicowej dla danych przyrostowych i uzyskać plików przyrostowych w formacie parquet różnicowym.
Wyświetl folder dyskusyjną w Microsoft Azure Storage
Po utworzeniu profilu Synapse Link z danymi przyrostowymi system tworzy początkową kopię wszystkich tabel i przechowuje ją w folderze pierwszej aktualizacji przyrostowej. Po utworzeniu początkowej kopii system tworzy kolejne foldery aktualizacji ze zmienionymi danymi. Jeśli w żadnej z zaznaczonych tabel nie ma żadnych zmian, foldery danych przyrostowych nie będą widoczne.
Aby wyświetlić foldery danych przyrostowych na koncie magazynu:
Wybierz żądane łącze Azure Synapse Link, a następnie wybierz Przejdź do Azure Data Lake na pasku poleceń.
Wybierz Containers w obszarze Magazyn danych.
Wybierz dataverse-environmentName-organizationUniqueName. Foldery aktualizacji przyrostowych są nazywane według sygnatury czasowej utworzenia ("rrrr-MM-dd'T'GG:mm:ss.SSSz") w czasie UTC. Zauważ, że różnica czasu między folderami ze znacznikami czasu to przedział czasu określony przez użytkownika w ustawieniach zaawansowanych.
W każdym folderze ze znacznikiem czasu znajdują się foldery dla każdej tabeli. Nie wszystkie wybrane tabele mogły ulec zmianie w danym przedziale czasowym i wyświetlane są tylko foldery odpowiadające tabelom, których dane uległy zmianie.
Uwaga
Ze względu na funkcje mechanizmu ponownej próby w określonym odstępie czasu może zostać utworzony dodatkowy pusty folder interwału czasu.
Wykorzystanie danych przyrostowych
Dane przyrostowe można kopiować do Azure SQL Database lub magazynu danych przy użyciu narzędzi do integracji danych, takich jak Azure Data Factory lub potoki Azure Synapse Analytics. Zapewniamy przykładowy potok danych, który można wykorzystać do tego celu. Aby uzyskać więcej informacji: Kopiuj dane Dataverse do Azure SQL.
Jeśli jesteś klientem aplikacji finansowych i operacyjnych Dynamics 365 i przechodzisz z funkcji kanałów zmian, możesz skorzystać z narzędzia do integracji danych dostępne w serwisie GitHub, aby zaktualizować istniejące potoki danych używane z funkcją kanałów zmian.
Możesz także zbudować własny potok danych, aby korzystać z danych przyrostowych. Podczas projektowania własnego rurociągu należy jednak wziąć pod uwagę następujące najlepsze praktyki:
- Pobieranie danych tylko z poprzednich folderów ze znacznikiem czasu: W ten sposób można uniknąć konfliktów odczytu i zapisu z usługą Synapse Link, która może stale aktualizować dane w bieżącym folderze. Bieżący folder można znaleźć, przeglądając plik Changelog/changelog.info. Plik ten jest plikiem tylko do odczytu i zawiera pojedynczy wiersz z nazwą folderu, który jest aktualnie aktualizowany. Nie należy aktualizować tego pliku, ponieważ może to spowodować niestabilność systemu.
- Możesz wyświetlić plik model.json znajdujący się w każdym folderze ze znacznikiem czasu, aby odczytać metadane, takie jak nazwy kolumn dla danych zawartych w folderach tabel. Zauważ, że każdy plik model.json w folderze znajdującym się w folderach ze znacznikami czasu zawiera metadane dla wszystkich tabel, a nie tylko tabel zawartych w folderze ze znacznikami czasu.
- Należy unikać korzystania z innych plików dziennika, takich jak plik Synapse.log. Plik ten jest wykorzystywany do celów wewnętrznych i może nie odzwierciedlać dokładnych danych.
- Rozważ usunięcie przestarzałych folderów przyrostowych z Azure Data lake po zakończeniu przetwarzania. Obecnie Synapse Link utrzymuje dzierżawę tych plików w usłudze Azure Storage, aby odzyskać dane po wszelkich awariach. System może zwolnić dzierżawę po pewnym czasie. Należy usuwać tylko foldery przyrostowe, które są starsze niż 24 godziny, aby uniknąć konfliktów z działaniem systemu.
- Nie należy modyfikować ani usuwać "bieżącego folderu", czyli folderu zawartego w Changelog/changelog.info. Jeśli zmienisz ten plik, system wstrzyma przetwarzanie danych.
