Przejście ze starszych usług integracji generowania danych

Usługa eksportowania danych, bring your own database (BYOD) i Eksport do repozytorium Data Lake to funkcje wprowadzone w aplikacjach usługi Dynamics 365 do eksportowania danych na przykład do scenariuszy analizy i integracji danych. Usługi te umożliwiały administratorom i specjalistom z firmy IT eksportowanie danych do zewnętrznych baz danych lub tworzenie potoków integracji danych. Choć na przestrzeni lat poprawiliśmy te usługi, dzięki aktualizacjom w ramach unifikacji usługi Dynamics 365 z platformą Power Platform, przeprojektowaliśmy te same funkcje tych usług w prostszym, ujednoliconym interfejsie wbudowanym w Power Apps (make.powerapps.com). Dzięki przejściu na Microsoft Fabric połączenie lub uaktualnienie Azure Synapse Link, przeprojektowane usługi zapewniają łatwą rampę do korzystania z inwestycji w sztuczną inteligencję i Copilot w Microsoft Dataverse i Fabric.

W tym artykule przedstawiono klientów korzystających z usług poprzedniej generacji, w którym przedstawiono wskazówki dotyczące uaktualniania do nowych doświadczeń, korzystania z innowacyjności, a także zmniejszanie kosztów i nakładów pracy.

Na podstawie zapoznawczych ankiet dla klientów skompilowaliśmy również szacowanie wysokiej poziomu kosztów i korzyści, które pomogą Ci w przejściu. Łącza do kolejnych informacji i filmów wideo, łącza do forów i cotygodniowych sesji godzin biurowych w celu kontaktu z zespołem produktów, specjalistami firmy Microsoft i użytkownikami powiązań znajdują się tutaj. Staramy się rozszerzać te usługi przez społeczność.

Przed przejściem

Jeśli jesteś klientem korzystającym ze starszych usług BYOD, usługi Eksport do repozytorium Data Lake, architektura integracji danych może być podobna do tutaj pokazanej. Wyróżnione pole wskazuje potoki danych, które organizacja mogła wykorzystać do wykorzystania danych wyeksportowanych z usługi Dynamics 365 i Dataverse. Użytkownik może skorzystać z zestawu narzędzi firmy Microsoft oraz innych narzędzi do kopiowania i integrowania danych programu Dynamics z własnymi danymi. Można również przekształcić i zagregowanie danych, kopiując je do wielu magazynów — przedstawiono to w polu wstępnego diagramu dla danych. Można użyć Power BI innego narzędzia do wizualizacji danych i tworzenia działań, z których można skorzystać. Być może są wbudowane potoki eksportu danych do lokalny i innych chmur.

Rozwiązanie integracji danych z Eksport do repozytorium Data Lake

Po przejściu

Włączono funkcję integracji z danymi na dwa sposoby Power Apps:

  • Azure Synapse Link umożliwia ciągły eksport danych podobny do usługi BYOD, Eksport do repozytorium Data Lake lub Usługi eksportowania danych. Ta opcja jest dostępna dla administratorów it i specjalistów ds. integracji danych.
  • Funkcja łącza do sieci Fabric umożliwia w pełni zarządzaną integrację oprogramowania zarządzanego jako usługa (SaaS, no-copy, no-extract, transform and load— ETL).

Te opcje są opcjonalne. Oto szczegółowe porównanie usług integracji danych.

Jeśli obecnie klient korzystający z funkcji BYOD lub Eksport do repozytorium Data Lake jest klientem , aktualizując do Azure Synapse Link lub Fabric pozwala korzystać z uproszczonej architektury integracji danych, co pozwala zmniejszyć koszty operacyjne:

  • Łatwa w konfiguracji i konserwacji przez Power Apps (make.powerapps.com). Wbudowana integracja z Azure Synapse i Fabric.
  • Azure Synapse Link i Fabric to w pełni zarządzane usługi. Każdy z nich wymaga minimalnego bieżącego zarządzania.
  • Nowe usługi oferują te same kształty danych, co w przypadku poprzednich usług. Istniejące potoki integracji z ciesłem mogą pozostać takie, jak obecnie.
  • Minimalny wpływ na obciążenia operacyjne nie jest potrzebny do zarządzania pracami i planowania eksportu danych.

Bezpieczne, kompleksowe potoki integracji danych:

  • Dzięki łączu Fabric dane nie opuszczają granicy zabezpieczeń Dataverse, podczas gdy uprawnieni użytkownicy Fabric mogą bezpiecznie uzyskać dostęp do danych znajduje się w obrębie Dataverse.
  • Usługa Azure Synapse Link umożliwia ograniczenie dostępu do kont magazynu o zaporach, umożliwiając Dataverse eksportowanie danych przy użyciu tożsamości zarządzanych na platformie Azure, czyli wbudowanej funkcji zabezpieczeń Microsoft Entra.

Jeśli jesteś klientem korzystającym z usługi Dynamics 365 Customer Engagement, używając usługi eksportowania danych lub klasycznych funkcji Azure Synapse Link eksportowania danych w formacie CSV, możesz skorzystać z wydajnego raportowania dostępnego w standardowym formacie Delta lub Parquet:

  • Wbudowana opcja konwersji Delta Lake albo Parquet zmniejsza konieczność tworzenia własnych potoków na potrzeby analiz i raportowania operacyjnego.
  • Format Delta Lake lub Parquet pozwala na szybsze i szybsze uzyskanie zapytań kwerend i skalowania do większych zestawów danych o dowolnej wielkości.
  • Dane w oryginalnym rozmiarze są skompresowane do wersji 1/3 do 1/8, co pozwala zmniejszyć rozmiar mniejszy plików zmniejszających koszty zapytania danych i koszty kwalifikowania.
Łącze do Fabric Azure Synapse Link
Brak kopii, brak bezpośredniej integracji ETL z Fabric. Wyeksportuj dane do własnego konta magazynowania i integruj je z innymi narzędziami, Azure Synapse i Fabric.
Dane pozostają w Dataverse. Użytkownicy mają do nich bezpieczny dostęp Microsoft Fabric. Dane pozostają we własnym magazynie użytkownika. Zarządzaj dostępem do użytkowników.
Wszystkie tabele wybrane są domyślnie. Administratorzy systemu mogą wybierać wymagane tabele.
Zużywa dodatkowo magazyn Dataverse. Zużywa własną pamięć masową oraz inne narzędzia obliczeniowe i integracyjne.

Której opcji należy użyć?

Jeśli Twoja organizacja używa już sieci Fabric lub planuje przejście w nadchodzących miesiącach, zalecamy użycie funkcji łącza Fabric. Usługi można nadal używać, jeśli głównym celem jest uaktualnienie z bieżącej usługi Azure Synapse Link.

Jeśli dane są już zużywane, używając magazynu danych Power BI lub używając przepływów danych i zasobów do przekształcania danych, łącze Fabric zapewnia błyskawiczną wartość. Architekturę integracji danych można uprościć, usuwając konieczność posiadania własnego konta magazynowania lub usług Synapse w celu przetwarzania danych Dataverse. Zamiast płacenia za zasoby platformy Azure, takie jak magazyn i obliczenia, płacisz za zwiększenie magazynu Dataverse. Opłaty obliczeniowe, takie jak aktualizacja danych w czasie rzeczywistym i zarządzanie danymi, które nie są dostępne, są również uwzględniane w magazynie Dataverse. Opcja łącza Fabric jest jak replika danych zoptymalizowanych pod kątem wglądu w dane w czasie rzeczywistym.

Rozwiązanie do integracji danych ze schowanym z łączem Fabric

Przeszukaj tę replikę przy użyciu języka T-SQL, Apache Spark, Python, a także innych prac w sieci Fabric. Można także uzyskać dostęp do tych danych przy użyciu dowolnego narzędzia, które może konsumować język T-SQL lub konsumować dane z Azure Data Lake Storage.

Jako Dynamics lub klient Power Apps masz limit magazynowania Dataverse oparty na liczbie zakupionych licencji. Funkcja łącza Fabric używa tego limitu bazy danych. Jeśli ilość danych przekracza limit, można kupić więcej dodatków do magazynu.

Platformę Azure można nadal zachowywać jako usługę (PaaS), takie jak Databricks i Baza danych SQL Database, w ramach własnej subskrypcji. Ostatnio ogłoszone funkcje Fabric, takie jak dublowanie danych i skróty, mogą uprościć integrację danych.

Przykłady obniżenia kosztów uzyskanego przy użyciu funkcji integracji Fabric przedstawiono tutaj.

Uaktualniając do Azure Synapse Link i włączając konwersję albo konwersję Delta do Parquet, można wyeliminować wstępne potoki danych Dataverse w rozwiązaniu. Usługa Azure Synapse Link eksportuje te same kształty danych do konta magazynu w bardziej wydajnym formacie Delta lub Parquet. Możesz nadal używać istniejących narzędzi i usług Azure, takich jak magazyn i kwerenda Azure Synapse Analytics, w przypadku minimalnych zakłóceń w środowiskach produkcyjnych.

Rozwiązanie do integracji danych po uaktualnieniu do wersji Azure Synapse Link

Informacje o korzyściach i zmniejszenie kosztów

Uzyskanie materiałów dzięki połączeniu Fabric i Azure Synapse Link i zmniejszenie kosztów wszystkich materiałów. Rozważ następujące przykłady oparte na wersjach zapoznawczych pracy klientów.

Rozważ sprawę, w której przechodzisz do łącza Fabric z Eksport do repozytorium Data Lake.

Rozwiązania przed i po rozwiązaniu z łączem do Fabric

Jak wskazano na powyższych diagramach, klient wycofał usługę Eksport do repozytorium Data Lake (1) oraz magazyny danych przemieszczania (2) z Fabric. W ramach analizy operacyjnej (4) skonsumowali dane w one z dostępem bezpośrednio do usługi OneLake w Power BI. Niektóre dane wymagały scalenia, przekształcenia i agregowania danych (3). Zamiast używać różnych usług Azure, standaryzowali oni te same narzędzia, które zostały wbudowane w Fabric.

Innowacje w Dataverse i Fabric umożliwiają zmniejszenie kosztów i materiałów.

  • W Dataverse jest dostępny wbudowany magazyn OneLake. Dane operacyjne z usługi Dynamics 365 i Power Apps są replikowane do wbudowanego magazynu magazynów w czasie rzeczywistym (w celu uniknięcia wpływu na obciążenia operacyjne) i są bezpieczne łączone ze skrótami do Fabric. Nie trzeba wprowadzać magazynu Azure oraz bezpiecznego danych, które są wyeksportowane. Dane nie opuszczają granicy Dataverse zabezpieczeń, a autoryzowani użytkownicy w sieci Fabric mogą pracować z danymi przy użyciu wszystkich prac sieci Fabric.
  • Eksport do repozytorium Data Lake do pliku CSV oraz usługa eksportowania danych. Pliki CSV nie są odpowiednie do bezpośredniej indygacji z powodu wydajności kwerendy i okresowych problemów z odczytem/zapisem. Rozwiązanie przed przejściem używa Azure Data Factory, aby okresowo sprawdzać i konwertować nieprzetworzone dane na bazę danych Azure SQL Database lub magazyn danych Azure. Ta warstwa nie jest potrzebna w rozwiązaniu po przejściu od tego momentu wbudowane dane Dataverse w formacie OneLake lub Parquet są utrzymywane w formacie Delta lub Parquet — tym samym otwartym formacie, dla który jest macierzysty Microsoft Fabric. Ustawienia lub format Parquet, wraz z optymalizacjami w Fabric usuwa konieczność obsługi dodatkowych magazynów danych w celu buforowania i poprawiania wydajności kwerend przy jednoczesnym wyeliminowaniem treści dotyczących odczytu i zapisu. Raporty Power BI można tworzyć przy użyciu Direct Lake w OneLake bez żadnych dodatkowych etapów danych.
  • Wgląd w dane operacyjne można wykonywać na przykład z danych już dostępnych w OneLake, jednak w przypadku innych systemów można uzyskać dodatkowe dane. Dane te mogą być ze sobą połączone, zacieniowane i zagregowane z danymi Dataverse. Fabric dostarcza zintegrowane środowisko, które zapewnia najlepsze narzędzia do edycji danych, takie jak przepływ danych, Azure Data Factory i Spark. Narzędzia te należy używać w sposób samodzielny, jeśli chodzi o konfigurowanie i inicjowanie obsługi administracyjnej, przy użyciu których można wybierać wybrane przez użytkownika narzędzia. Zintegrowane funkcje fakturowania, kontroli źródłowej i zabezpieczeń umożliwiają łatwiejsze zarządzanie i bezpieczeństwo.
  • Mimo że można nadal korzystać z usług Power BI do celów raportowania, Fabric wprowadza raportowanie w trybie Direct Lake, który używa indeksów w pamięci wbudowanych w format Delta lub Parquet, co pozwala usunąć konieczność używania raportów Power BI w trybie importowania.

Te innowacje oferują kompleksowe oszczędzanie w dodatku do korzyści omówionych wcześniej. W tabelach przedstawiono w zarysie pozycje kosztów oraz porównanie rozwiązań z przed i po rozwiązaniami. Można użyć tej tabeli jako wskazówki w celu szacowania oczekiwanego kosztu.

Pozycja oszczędnia kosztów Przed kosztem — Eksport do repozytorium Data Lake Po kosztach — łącze Fabric
Instalacja i konfigurowanie Trzeba używać wielu narzędzi.
- Płacenie za wiele licencji na oprogramowanie i subskrypcje.
- Wysiłki konfiguracji systemu.
- Wysiłki tworzenia i sprawdzania poprawności potoków danych.
- Dalsze zarządzanie, monitorowanie.
- Szkolenie użytkowników.
Prostsze środowisko konfiguracji w Power Platform.

Kupić wydajność Fabric i płacić za wszystkie usługi. Płacisz tylko za to, co jest wykorzystywane. W niektórych przypadkach użytkownik jest rozliczany według sekundy.

Nie są potrzebne żadne potoki poczty e-mail potrzebne do przechowywania danych Dataverse.
Przemieszczania danych (1, 2) Koszty związane z usługami Azure.
- Koszt magazynu Azure wraz z kosztami IO.
- Analiza Synapse (bezserwerowe zapytanie SQL).
- Zadania Azure Data Factory do kopiowania danych.
- Magazyny danych przemieszczania, takie jak Usługa Azure SQL Database.
Zwiększenie kosztów magazynu Dataverse

Na przykład w przypadku synchronizacji 500 GB danych z usługi Dynamics 365 ilość miejsca Dataverse może zwiększyć się o około 100 GB (jeśli dane są pięć do ośmiu razy sprężają dane).
Koszty operacyjne — wstępne dane (3) - Obszar przemieszczania usługi Azure Storage.
- Potoki danych.
- Pozyskowanie danych w usłudze Azure SQL lub w magazynie danych.
- Opracowywanie danych dotyczących konserwacji.
Wydatki przejdą do Fabric, w której płaci się za usługę z udostępnioną wydajnością.
Koszty operacyjne — raportowanie (4)
- Zestawy danych usługi Power BI.
- Zgłaszanie.
Analiza Synapse (bezserwerowe zapytanie SQL).
Wydajność Power BI i magazyn dla raportów w trybie importu.
Gdy dane są skompresowane (na przykład od 1/3 do 1/6 oryginalnego rozmiaru), koszty raportowania i zapytania są odpowiednio zmniejszane.

Nowe funkcje, takie jak Direct Lake, zmniejszyć liczbę miejsca w magazynie Power BI.

Uwaga

Te szacowanie jest dostępne w celu umożliwienia szacowania wydatków po przejściu. Mimo że te szacowania są oparte na doświadczeniach klientów korzystających z wersji zapoznawczej, koszty rzeczywiste poniesione w środowisku, a także sprężanie danych mogą się różnić w zależności od ilości i ilości danych.

Uaktualnienie usługi Azure Synapse Link to opcja, która umożliwia rozważenie, czy nie jest aktualnie używana sieć Fabric lub czy nie planujesz przejścia w nadchodzących miesiącach.

Jak wskazano na diagramach tutaj, klient wycofał usługę Eksport do repozytorium Data Lake (1) oraz magazyny danych przemieszczania (2) z Azure Synapse Link. Magazyny danych używane do przemieszczania danych, takie jak pośrednia usługa Azure SQL Databases, dane Dataverse są wycofane, gdy dane są zapisywane w formacie Delta lub Parquet — format danych bardziej performacyjnych i skompresowanych. Potoki transformacji używane w celu scalania, transformacji i agregowania danych (3) oraz narzędzi do prezentacji (4), jak Power BI, pozostają niezmienione.

Przed uaktualnieniem do wersji do Azure Synapse Link

Azure Synapse Link oferuje łatwe uaktualnianie klientom, którzy chcą rozszerzyć swoje istniejące ścieżki przy użyciu minimalnych zmian. Podczas omawiania tego tematu innowacje w Dataverse umożliwiają łatwe przejście z usług aplikacji finansowych i operacyjnych, takich jak Eksport do repozytorium Data Lake i BYOD.

  1. Azure Synapse Link umożliwia sposób konfigurowania magazynu Azure i usług Synapse w Power Apps (make.powerapps.com). Usunięto kilka ograniczeń Eksport do repozytorium Data Lake:

    1. Ujednolicone działanie pozwala wybrać dane ze wszystkich aplikacji usługi Dynamics 365, w tym zarówno z aplikacji finansowych i operacyjnych, jak i zaangażowania klienta. Można utrzymywać jedną usługę, która umożliwia eksportowanie danych ze wszystkich usług Dynamics 365 i Power Apps.
    2. Ograniczenia tabeli obecne w Eksport do repozytorium Data Lake odchodzą. W ramach jednego konta magazynowania można wybrać maksymalnie 1000 tabel dla każdego profilu Azure Synapse Link. Można utworzyć wiele profili (eksportowanie potoków) przy użyciu maksymalnie 1000 tabel.
    3. Azure Synapse Link umożliwia eksportowanie danych za pomocą zapory z ograniczonymi kontami magazynu.
    4. Nie trzeba konfigurować zasobów platformy Azure. Azure Synapse Link ustanawia i konfiguruje zasoby platformy Azure w imieniu użytkownika.
    5. Azure Synapse Link eksportuje dane w tym samym formacie, w tym samym formacie co Eksport do repozytorium Data Lake lub BYOD, co umożliwia zachowanie istniejących potoków.
  2. Eksport do repozytorium Data Lake do pliku CSV oraz usługa eksportowania danych. Pliki CSV nie są odpowiednie do bezpośredniej indygacji z powodu wydajności kwerendy i okresowych problemów z odczytem/zapisem. Przed przejściem używa Azure Data Factory, aby okresowo sprawdzać i konwertować nieprzetworzone dane na bazę danych Azure SQL Database lub magazyn danych Azure. Ta warstwa nie jest potrzebna w aplikacji po przejściu, ponieważ Azure Synapse Link eksportuje dane Delta i Parquet, co pozwala na utrzymanie dodatkowych magazynów danych w celu buforowania i poprawiania wydajności kwerend przy jednoczesnym wyeliminowaniem zgody odczytu/zapisu.

  3. Nadal należy używać istniejących potoków danych w celu łączenia, zmiany układu i agregowania dodatkowych danych z innych systemów.

  4. Usługi należy nadal używać Power BI do celów raportowania. Fabric wprowadza raportowanie w trybie Direct Lake, który używa indeksów w pamięci wbudowanych w format Delta lub Parquet, co pozwala usunąć konieczność używania raportów Power BI w trybie importowania.

Te innowacje oferują kompleksowe oszczędzanie w dodatku do korzyści omówionych wcześniej. W tabelach przedstawiono w zarysie pozycje kosztów oraz porównanie rozwiązań z przed i po rozwiązaniami. Użyj tej tabeli jako wskazówki w celu szacowania oczekiwanego kosztu.

Pozycja oszczędnia kosztów Przed kosztem — Eksport do repozytorium Data Lake Po kosztach — Azure Synapse Link
Instalacja i konfigurowanie Trzeba używać wielu narzędzi.
- Płacenie za wiele licencji na oprogramowanie i subskrypcje.
- Wysiłki konfiguracji systemu.
- Wysiłki tworzenia i sprawdzania poprawności potoków danych.
- Dalsze zarządzanie, monitorowanie.
- Szkolenie użytkowników.
Prostsze środowisko konfiguracji w Power Platform.
Nie są potrzebne żadne potoki poczty e-mail potrzebne do przechowywania danych Dataverse.
Przemieszczania danych (1, 2) Koszty związane z usługami Azure.
- Koszt magazynu Azure wraz z kosztami IO.
- Analiza Synapse (bezserwerowe zapytanie SQL).
- Zadania Azure Data Factory do kopiowania danych.
- Magazyny danych przemieszczania, takie jak Usługa Azure SQL Database.
Azure Synapse Link wymaga, by udostępnić pulę zadań platformy Spark do konwersji danych na format Parquet.

W zależności od częstotliwości synchronizacji danych i ilości zmian ilości danych koszty puli Spark mogą się różnić.

Małe i średnie zmiany danych (na miesiąc):
— 600 USD do 2000 USD dla godzinowego odświeżania.
— 1200 USD do 4100 USD dla 15-min odświeżania.

Średnie i duże zmiany danych (na miesiąc):
— 1200 USD do 2500 USD dla godzinowego odświeżania.
— 2500 USD do 8300 USD dla 15-min odświeżania.
Koszty operacyjne — wstępne dane (3) - Obszar przemieszczania usługi Azure Storage.
- Potoki danych.
- Pozyskowanie danych w usłudze Azure SQL Database lub w magazynie danych.
- Opracowywanie i konserwacja danych.
Takie same koszty, jak podano powyżej, mogą nie być jednak konieczne agregowanie danych Dataverse z powodu konwersji Parquet.
Koszty operacyjne — raportowanie (4):
- Zestawy danych usługi Power BI.
- Zgłaszanie.
Analiza Synapse (bezserwerowe zapytanie SQL).
Pojemność Power BI.
Gdy dane są skompresowane, na przykład od 1/3 do 1/6 oryginalnego rozmiaru, koszty raportowania i zapytania są odpowiednio zmniejszane.

Ważne

Te szacowanie jest dostępne w celu umożliwienia szacowania wydatków po przejściu. Mimo że te szacowania są oparte na doświadczeniach klientów korzystających z wersji zapoznawczej, koszty rzeczywiste poniesione w środowisku, a także sprężanie danych mogą się różnić w zależności od ilości i ilości danych.

Przykład 3: pierwotne przetwarzanie danych do magazynu danych

Jeśli obecnie nie zużywasz danych z funkcji Eksport do repozytorium Data Lake w celu wypełniania potoku danych w dół, można kontynuować korzystanie z tego samego potoku. Jak pokazano tutaj, usługa Azure Synapse Link może wyeksportować zmiany danych w tym samym formacie, co zmiany wprowadzone do pliku Eksport do repozytorium Data Lake.

Przed i po wyeksportowaniu danych do Azure Synapse Link

Usługa Azure Synapse Link oferuje kilka ulepszeń w chmurze z Eksport do repozytorium Data Lake do danych w celu zmiany danych:

  • Początkowe ładowanie danych znajduje się w folderach zmiany. To ułatwia tę samą potoku, tak aby zużywał zarówno początkowe obciążenie, jak i aktualizacje.
  • Zmiana danych nie jest usuwana w przypadku ponownej personalizacji tabeli.
  • System tworzy sygnaturę czasową strukturę folderów i metadane, które pomagają odczytać zmiany w kolejności chronologicznej. Zmiana danych po wpisie nie jest nigdy aktualizowana. Tego podejścia lepiej użyć do przetwarzania zmian przy użyciu dużych narzędzi do sprawdzania danych, takich jak Azure Data Factory.
  • Można określić, jak często mają być aktualizowane źródła zmian w folderach z Azure Synapse Link przy użyciu tylko pięciu minut.

Po przejściu do sieci Fabric lub Azure Synapse Link zmiana kosztu jest minimalna w przypadku zmian danych.

Informacje o korzyściach — raportowanie w czasie rzeczywistym

Fabric nie tylko upraszcza architekturę integracji danych, ale także ułatwia kopiowanie i replikowanie danych. Podstawowy format danych w Fabric, standardowego formatu Delta lub Parquet, może być bezpośrednio używany przez Power BI, przepływy danych, przepływy danych i inne obciążenia eliminujące konieczność buforowania i przemieszczania obszarów.

W przypadku uaktualniania do Azure Synapse Link i kontynuowania eksportowania danych dane są zapisywane w formacie Delta lub Parquet, co może zmniejszyć kroki procedury własnego potoku danych w celu uruchomienia raportowania operacyjnego.

Warto rozważyć czas odświeżenia raportu operacyjnego, takiego jak analiza zapasów lub analiza finansowe na końcu miesiąca. Raporty te mogą wymagać agregowania danych jeszcze więcej wierszy z wielu tabel w u źródłach usługi Dynamics 365 Finance. Przy użyciu usługi Eksport do repozytorium Data Lake dane CSV są eksportowane w ciągu 10 minut. Może okazać się konieczne zaimportowanie tych danych do raportu Power BI w celu zapewnienia lepszego czasu odpowiedzi. Odświeżanie Power BI może być wykonywane do 24 razy dziennie (co 30 minut). W zależności od sposobu zaprojektowania raportu odświeżenie może zająć kilka minut, aby zakończyć odświeżanie. W tym podejściach użytkownicy mogą zobaczyć dane w ciągu 60 minut od aktualizacji.

Nieaktualne dane z Eksport do repozytorium Data Lake

Raporty operacyjne, w których dane źródłowe korzystające z łącza Fabric mogą korzystać z trybu Direct Lake lub DirectQuery w sieci Fabric, co wykorzystuje indeks w pamięci wbudowany w pliki Delta lub Parquet. W tych trybach nie trzeba planować odświeżania raportów Power BI, ponieważ w raporcie zawsze są aktualizowane najnowsze dane Dataverse z Fabric.

Nieaktualne dane po łączu Fabric

Usługa łącza Fabric aktualizuje dane w Dataverse w usłudze OneLake ciągu godziny, o tej godzinie. Dataverse wyzwala zadania aktualizowania danych co 15 minut i w zależności od ilości zmian danych mogą zostać wyświetlony zaktualizowane pliki Parquet w czasie od 30 do 60 minut.

Jeśli nie zużywasz źródeł danych z usługi Dynamics 365 z usługą Eksport do repozytorium Data Lake w scenariuszach integracji danych w czasie prawie rzeczywistym (przykład 3). Uaktualnianie do Azure Synapse Link w celu uruchomienia tych samych potoków danych.

Znane problemy i obejścia

Obecnie zespół produktu podlega kilku ograniczeniom. Dopóki te ograniczenia nie utrwalimy, użyj sugerowanego rozwiązania. Aby dowiedzieć się więcej o mapie drogowej przyszłych wersji i mieć kontakt z zespołem pracującym nad produktem, dołącz do grupy Viva Engage w wersji zapoznawczej.

Znane problemy Poprawki i obejścia
Podczas dodawania dużej liczby tabel jednocześnie system tworzy początkową kopię danych.
W rzadkich przypadkach, szczególnie w mniejszych środowiskach i piaskownicach 2. poziomu, obciążenia operacyjne mogą spowalniać i inicjować czas mogą trwać znacznie dłużej.
Może to mieć wpływ na mniejsze środowiska, w których jest mniej serwerów serwera obiektów aplikacji (AOS) (zasoby obliczeniowe).

W Azure Synapse Link linku i połączeniu Fabric możesz dodać wiele tabel jednocześnie, wklejając listę tabel rozdzielonych przecinkami. System skaluje obciążenia inicjowania w górę i w dół jako dostępne zasoby obliczeniowe przy około dwóch współbieżnych tabelach na AOS.
Na przykład jeśli w środowisku jest pięć serwerów AOS, system inicjuje jednocześnie do 10 tabel.



Aktualizowanie środowiska finansów i operacji na:
- zbiorcza aktualizacja usługi PU 63 7.0.7198.95
- zbiorcza aktualizacja usługi PU 62 7.0.7120.155.
To zaktualizowanie pól varBinary i załączników varBinary z tabel dodanych do Azure Synapse Link oraz łącza Fabric pozwala zmniejszyć wpływ aktualizacji na obciążenia operacyjne.

Podczas dodawania tabel system tworzy początkową kopię danych. W niektórych przypadkach, zwłaszcza w bardzo dużych tabelach, inicjowanie może trwać dłużej lub występować przez kilka dni Aktualizowanie aplikacji finansowych i operacyjnych na:
- zbiorcza aktualizacja usługi PU 63 7.0.7198.91
- zbiorcza aktualizacja usługi PU 62 7.0.7120.152
Ta aktualizacja umożliwia szybsze inicjowanie dużych tabel (więcej niż 200 milionów wierszy).

Umożliwiliśmy indeksowanie, aby umożliwić szybszą synchronizację danych. Jeśli w bazie danych istnieje transakcja bieżąca, utworzenie indeksu musi poczekać na zakończenie transakcji. Zainicjowane oczekiwanie, czasami z powodu uśpień transakcji, może spowodować opóźnienie procesu inicjowania. W takim przypadku administrator systemu wykrywa i wymusza utworzenie indeksu.
Jeśli środowisko Dataverse znajduje się w regionie Azure innym niż ten, w którym znajduje się wydajność Fabric, nie można użyć funkcji Łącze do Fabric. Od 30 kwietnia 2024 r. można połączyć się z wydajnością Fabric znajdującą się w tej samej lokalizacji geograficznej, na przykład w Stanach Zjednoczonych.

Należy pamiętać, że mogą wystąpić problemy z połączeniami sieciową w sieci Fabric z powodu transferu danych między regionami platformy Azure.
Jeśli środowisko Dataverse znajduje się w regionie Azure innym niż ten, w którym znajduje się data lake lub obszar roboczy Synapse, nie można użyć funkcji Łącze do Azure Synapse Link. Od 30 kwietnia 2024 r. można połączyć się z kontem magazynu znajdującą się w tej samej lokalizacji geograficznej, na przykład w Stanach Zjednoczonych.

Należy pamiętać, że mogą dotyczyć opłat za sieci w zasobach platformy Azure, takich jak dane, jeśli nie znajdują się w tym samym regionie platformy Azure.
Autoryzacja systemu AOS to sposób zabezpieczenia poufnych pól danych w aplikacjach finansowych i operacyjnych przed scenariuszami wydychanych z danych.
Jeśli wybrana tabela zawiera kolumny danych, które są zabezpieczone przez Autoryzacja AOS, kolumny te są ignorowane, a wyeksportowane dane nie zawierają kolumny.

Na przykład kolumna niestandardowej tabeli TaxLicenseNum zawiera właściwość metadanych AOS Authorization ustawioną na Tak. Ta kolumna zostanie zignorowana
Aktualizowanie środowiska finansów i operacji na te wersje lub późniejsze:
- PU 63:7.0.7198.105
- PU 62:7.0.7120.159
W tej aktualizacji pola autoryzacji systemu AOS są dodawane do tabel.
- Aktualizacje rosnące zawierają tę kolumnę.
- W zmodyfikowanych rekordach są pokazywane te kolumny i wartości.
- Pełne odświeżenie obejmuje te pola i wszystkie wartości.
Jeśli wybrana tabela zawiera kolumny danych typu Array, kolumny te są ignorowane, a wyeksportowane dane nie zawierają kolumny.

Na przykład w tabeli niestandardowej o nazwie WHSInventTable kolumny FilterCode i FilterGroup są tablicą typów. Te kolumny nie są eksportowane za pomocą Azure Synapse Link.
Aktualizowanie środowiska finansów i operacji na te wersje lub późniejsze:
- PU 65 7.0.7367.0
- PU 64:7.0.7279.115
- PU 63:7.0.7198.186
Wraz z tą aktualizacją pola typu tablica są dodawane do tabel.
- Aktualizacje rosnące zawierają tę kolumnę.
- Zmodyfikowane rekordy pokazują te kolumny i wartość.
- Pełne odświeżenie obejmuje te pola i wszystkie wartości.
W przypadku tabel finansowych i aplikacji operacyjnych, które wykazywały prawidłowe zachowanie sygnatury czasowej, są eksportowane tylko prawidłowe wiersze danych z Azure Synapse Link.

Na przykład tabela zawiera ExchangeRate zarówno bieżące, jak i poprzednie kursy wymiany. W programie są eksportowane tylko prawidłowe kursy wymiany Azure Synapse Link.
Zaktualizuj środowisko finansowe i operacyjne do
- Aktualizacja platformy do wersji 10.0.38 (PU62) 7.0.7120.179
- Aktualizacja platformy do wersji 10.0.39 (PU63) 7.0.7198.143
- Aktualizacja platformy do wersji 10.0.40 (PU64) 7.0.7279.58

Dzięki tej aktualizacji do tabel dodawane są wiersze danych, których ważność wygasła. Aby uwzględnić poprzednie wiersze, należy wykonać pełne odświeżenie.
Tabele dziedziczenia i tabele pochodne to pojęcia w aplikacjach finansowych i operacyjnych. Podczas wybierania tabeli pochodnej z aplikacji finanse i operacje kolumny z odpowiadającej im tabeli podstawowej nie są uwzględniane. Aby uzyskać dostęp do tych kolumn, należy wybrać tabelę podstawową oprócz tabeli pochodnej.
Można go użyć tego rozwiązania FastTrack podanego przez GitHub. To rozwiązanie tworzy widoki, które zawierają kolumny z tabel podstawowych.
Wyeksportuj ponad 1000 tabel za pośrednictwem Azure Synapse Link lub dodaj więcej niż 1000 tabel do łącza sieci Fabric. W przypadku korzystania z aplikacji Azure Synapse Link można pomiń ten problem, tworząc co najmniej dwa profile zawierające mniej niż 1000 tabel.

Spodziewaj się, że w przyszłej aktualizacji wybierzesz ponad 1 000 tabel w połączeniu Fabric i w profilu Azure Synapse Link .
Tabel aplikacji finansowych i operacyjnych zawartych w profilu Azure Synapse Link nie można migrować do innego środowiska, używając funkcji profilu importowania i eksportowania w Azure Synapse Link. Do momentu rozwiązania tego problemu należy dodać te same tabele do nowego środowiska. Skopiuj i wklej rozdzieloną przecinkami listę tabel do pola wyszukiwania w opcji tabel zarządzania, aby jednocześnie wybrać listę tabel.
Azure Synapse Link lub łącze Fabric umożliwia tabele, w których jest włączona właściwość Śledzenie zmian.
Obecnie nie można włączyć śledzenia zmian dla wszystkich encji finansowych i operacyjnych. Opcja Śledź zmiany nie jest dostępna dla encji utworzonych w przeszłości w finansach i operacjach dotyczących migracji danych.
W niektórych encjach włączenie śledzenia zmian może nie powieść się, gdy wybrany komunikat o błędzie nie przekaże reguł sprawdzania poprawności lub pole wyboru Śledzenie zmian jest wyłączone w przypadku niektórych encji.
Aby uzyskać więcej informacji na temat reguł sprawdzania poprawności encji i sposobu ich poprawiania, zobacz temat Włączanie śledzenia zmian wersji wiersza dla encji danych. W celu wykonania tych kroków może być konieczna pomoc dewelopera.
Jeśli wybrana encja nie jest dostępna z powodu ograniczenia śledzenia zmian, użytkownik może wybrać tabele zawierające dane z tego obiektu.
Rozwiązania EntityUtil dostarczonego przez zespół FastTrack można używać do tworzenia kształty encji przy użyciu tabel.
W przypadku operacji przywracania bazy danych w Dataverse, encje finansowe i operacyjne włączone w Azure Synapse Link są usuwane. Aby ponownie włączyć encje, należy ponownie włączyć odpowiednie tabele wirtualne dla wszystkich wybranych encji, ponownie włączyć śledzenie zmian i ponownie wybrać tabele Azure Synapse Link. Skopiuj i wklej rozdzieloną przecinkami listę tabel do pola wyszukiwania w opcji tabel zarządzania, aby jednocześnie wybrać listę tabel.
Tabele aplikacji finansowych i operacyjnych dodane do profilu Azure Synapse Link mogą zostać usunięte po przywróceniu kopii zapasowej w Dataverse. Po operacji przywracania bazy danych do profilu należy dodać tabele finansowe i operacyjne. Aby uzyskać szczegółowe informacje na temat ponownego włączania tabeli po operacji przywracania bazy danych, należy przejść do znanych ograniczeń tabel finansowych i operacyjnych.

Często zadawane pytania

Usługi BYOD i eksport do repozytorium Data Lake sprawdzają się u nas dobrze. Dlaczego wycofaliście te usługi?

W ramach projektu ujednolicenia platformy Dynamics 365 skonsolidowaliśmy kilka usług, które "eksportowały dane" w aplikacjach Dynamics 365 do usługi pod marką Synapse połączenie dla Dataverse. Korzystając z naszych doświadczeń, zajęliśmy się wieloma niedociągnięciami istniejących usług w połączeniu Synapse przy zachowaniu tych samych formatów danych — dzięki czemu możesz uaktualnić swoje inwestycje przy minimalnych zakłóceniach. Usługa połączenia sieci szkieletowej to nowe rozwiązanie bez kopiowania i ETL, które umożliwia korzystanie z innowacji w sieci Fabric bez konieczności inwestowania w potoki danych. Jest to "replika do odczytu" Twoich danych dla autoryzowanych użytkowników w usłudze Fabric.

W ramach projektu ujednolicenia platformy skonsolidowaliśmy kilka usług, które "eksportowały dane" w aplikacjach Dynamics 365 do usługi pod marką Synapse połączone dla Dataverse. Wprowadziliśmy również Fabric połączone, rozwiązanie bez kopiowania i ETL, które umożliwia korzystanie z innowacji w usłudze Fabric bez konieczności inwestowania w potoki danych. Jest to "replika do odczytu" Twoich danych dla autoryzowanych użytkowników w usłudze Fabric.

Chociaż wielu klientów jest podekscytowanych wdrożeniem usługi Fabric, rozumiemy również, że niektórzy klienci chcą nadal eksportować dane i tworzyć własne potoki integracji. Chcemy umożliwić im eksport danych w przyszłości.

Czy usługa eksport do repozytorium Data Lake zostanie zatrzymana po 1 listopada 2024 r.?

Usługa Eksport do repozytorium Data Lake będzie nadal uruchamiana po dacie wycofania w okresie świątecznym. Nasze wsparcie będzie jednak ograniczone. Możesz zmniejszyć ryzyko, rozpoczynając proces przejścia już teraz. Planujemy wycofać eksport do repozytorium Data Lake od 25 marca 2025 r., gdy klienci przejdą do usług połączenia Synapse i połączenia sieci szkieletowej. Możesz dołączyć do społeczności i przekazywać opinie w tygodniowych godzinach pracy pod adresem aka.ms/SynapseLinkforDynamics.

Moje przejście może trwać dłużej niż data wycofania, czy istnieje proces uzyskiwania przedłużenia?

Usługa Eksport do repozytorium Data Lake będzie nadal uruchamiana po dacie wycofania w okresie świątecznym. Nasze wsparcie będzie jednak ograniczone. Możesz zmniejszyć ryzyko, rozpoczynając proces przejścia już teraz. Aby pomóc klientom, którzy mogą potrzebować więcej czasu na dokończenie przejścia, planujemy wprowadzić w nadchodzących tygodniach opcję samodzielnego uaktualniania w produkcie opartą na dowodach.

Zobacz też

Co to jest Azure Synapse Link for Dataverse?

Łączenie środowiska Dataverse z platformą Microsoft Fabric i odblokowywanie głębokich analiz