Co to są przepływy danych?
Napiwek
Wypróbuj usługę Dataflow Gen2 w usłudze Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !
Przepływy danych to samoobsługowa, oparta na chmurze technologia przygotowywania danych. Przepływy danych umożliwiają klientom pozyskiwanie, przekształcanie i ładowanie danych do środowisk Microsoft Dataverse, obszarów roboczych usługi Power BI lub konta usługi Azure Data Lake Storage w organizacji. Przepływy danych są tworzone przy użyciu dodatku Power Query, ujednoliconego środowiska łączności danych i przygotowywania już w wielu produktach firmy Microsoft, w tym Excel i Power BI. Klienci mogą wyzwalać przepływy danych, aby uruchamiać je na żądanie lub automatycznie zgodnie z harmonogramem; dane są zawsze aktualne.
Przepływy danych można tworzyć w wielu produktach firmy Microsoft
Przepływy danych są opisywane w wielu produktach firmy Microsoft i nie wymagają utworzenia ani uruchomienia licencji specyficznej dla przepływu danych. Przepływy danych są dostępne w usługach Power Apps, Power BI i Dynamics 365 Customer Szczegółowe informacje. Możliwość tworzenia i uruchamiania przepływów danych jest wiązana z licencjami tych produktów. Funkcje przepływu danych są najczęściej spotykane we wszystkich produktach, w których się znajdują, ale niektóre funkcje specyficzne dla produktu mogą istnieć w przepływach danych utworzonych w jednym produkcie a innym.
Jak działa przepływ danych?
Na poprzedniej ilustracji przedstawiono ogólny widok sposobu definiowania przepływu danych. Przepływ danych pobiera dane z różnych źródeł danych (obsługiwane jest już ponad 80 źródeł danych). Następnie na podstawie przekształceń skonfigurowanych za pomocą środowiska tworzenia dodatku Power Query przepływ danych przekształca dane przy użyciu aparatu przepływu danych. Na koniec dane są ładowane do miejsca docelowego danych wyjściowych, które może być środowiskiem platformy Microsoft Power Platform, obszarem roboczym usługi Power BI lub kontem usługi Azure Data Lake Storage organizacji.
Przepływy danych działają w chmurze
Przepływy danych są oparte na chmurze. Po utworzeniu i zapisaniu przepływu danych jego definicja jest przechowywana w chmurze. Przepływ danych działa również w chmurze. Jeśli jednak źródło danych jest lokalne, lokalna brama danych może służyć do wyodrębniania danych do chmury. Po wyzwoleniu przebiegu przepływu danych transformacja i obliczenia danych odbywa się w chmurze, a miejsce docelowe jest zawsze w chmurze.
Przepływy danych korzystają z zaawansowanego aparatu przekształcania
Power Query to aparat przekształcania danych używany w przepływie danych. Ten aparat jest wystarczająco zdolny do obsługi wielu zaawansowanych przekształceń. Używa również prostego, ale zaawansowanego graficznego interfejsu użytkownika o nazwie Edytor Power Query. Przy użyciu przepływów danych w tym edytorze można szybciej i łatwiej opracowywać rozwiązania do integracji danych.
Integracja przepływu danych z platformami Microsoft Power Platform i Dynamics 365
Ponieważ przepływ danych przechowuje wynikowe tabele w magazynie w chmurze, inne usługi mogą wchodzić w interakcje z danymi generowanymi przez przepływy danych.
Na przykład aplikacje Power BI, Power Apps, Power Automate, Power Virtual Agents i Dynamics 365 mogą pobierać dane generowane przez przepływ danych, łącząc się z usługą Dataverse, łącznikiem przepływu danych platformy Power Platform lub bezpośrednio za pośrednictwem jeziora, w zależności od miejsca docelowego skonfigurowanego w czasie tworzenia przepływu danych.
Zalety przepływów danych
Na poniższej liście przedstawiono niektóre korzyści wynikające z używania przepływów danych:
Przepływ danych rozdziela warstwę przekształcania danych z warstwy modelowania i wizualizacji w rozwiązaniu usługi Power BI.
Kod przekształcania danych może znajdować się w centralnej lokalizacji, przepływie danych, a nie rozdzielać go między wiele artefaktów.
Twórca przepływu danych potrzebuje tylko umiejętności dodatku Power Query. W środowisku z wieloma twórcami twórca przepływu danych może być częścią zespołu, który razem tworzy całe rozwiązanie analizy biznesowej lub aplikację operacyjną.
Przepływ danych jest niezależny od produktu. Nie jest to tylko składnik usługi Power BI; dane można pobrać w innych narzędziach i usługach.
Przepływy danych korzystają z dodatku Power Query, zaawansowanego, graficznego, samoobsługowego środowiska przekształcania danych.
Przepływy danych działają w całości w chmurze. Nie jest wymagana żadna dodatkowa infrastruktura.
Istnieje wiele opcji rozpoczynania pracy z przepływami danych przy użyciu licencji dla usług Power Apps, Power BI i Customer Szczegółowe informacje.
Chociaż przepływy danych są w stanie wykonać zaawansowane przekształcenia, są one zaprojektowane pod kątem scenariuszy samoobsługi i nie wymagają żadnych środowisk IT ani deweloperów.
Scenariusze przypadków użycia dla przepływów danych
Przepływy danych można używać do wielu celów. W poniższych scenariuszach przedstawiono kilka przykładów typowych przypadków użycia przepływów danych.
Migracja danych ze starszych systemów
W tym scenariuszu decyzja została podjęta przez organizację w celu korzystania z usługi Power Apps dla nowego środowiska interfejsu użytkownika, a nie starszego systemu lokalnego. Usługi Power Apps, Power Automate i AI Builder używają usługi Dataverse jako podstawowego systemu magazynu danych. Bieżące dane w istniejącym systemie lokalnym można migrować do usługi Dataverse przy użyciu przepływu danych, a następnie te produkty mogą używać tych danych.
Tworzenie magazynu danych przy użyciu przepływów danych
Przepływy danych można użyć jako zamiennika innych narzędzi wyodrębniania, przekształcania, ładowania (ETL) w celu utworzenia magazynu danych. W tym scenariuszu inżynierowie danych firmy zdecydują się na użycie przepływów danych do utworzenia magazynu danych zaprojektowanego przez schemat gwiazdy, w tym tabel faktów i wymiarów w usłudze Data Lake Storage. Następnie usługa Power BI służy do generowania raportów i pulpitów nawigacyjnych przez pobieranie danych z przepływów danych.
Tworzenie modelu wymiarowego przy użyciu przepływów danych
W celu utworzenia modelu wymiarowego można użyć przepływów danych jako zamiennika innych narzędzi ETL. Na przykład inżynierowie danych firmy decydują się na użycie przepływów danych do utworzenia modelu wymiarowego zaprojektowanego przez schemat gwiazdy, w tym tabel faktów i wymiarów w usłudze Azure Data Lake Storage Gen2. Następnie usługa Power BI służy do generowania raportów i pulpitów nawigacyjnych przez pobieranie danych z przepływów danych.
Scentralizowanie przygotowywania i ponownego używania modeli semantycznych w wielu rozwiązaniach usługi Power BI
Jeśli wiele rozwiązań usługi Power BI używa tej samej przekształconej wersji tabeli, proces tworzenia tabeli będzie powtarzany wiele razy. Zwiększa to obciążenie systemu źródłowego, zużywa więcej zasobów i tworzy zduplikowane dane z wieloma punktami awarii. Zamiast tego można utworzyć pojedynczy przepływ danych w celu obliczenia danych dla wszystkich rozwiązań. Usługa Power BI może następnie ponownie wykorzystać wynik transformacji we wszystkich rozwiązaniach. Przepływ danych, jeśli jest używany w taki sposób, może być częścią niezawodnej architektury implementacji usługi Power BI, która pozwala uniknąć duplikatów kodu Dodatku Power Query i zmniejszyć koszty konserwacji warstwy integracji danych.
Następne kroki
Poniższe artykuły zawierają dalsze materiały do analizy przepływów danych.
Opinia
Dostępne już wkrótce: W 2024 r. będziemy stopniowo wycofywać zgłoszenia z serwisu GitHub jako mechanizm przesyłania opinii na temat zawartości i zastępować go nowym systemem opinii. Aby uzyskać więcej informacji, sprawdź: https://aka.ms/ContentUserFeedback.
Prześlij i wyświetl opinię dla