Kompleksowe scenariusze usługi Data Factory: wprowadzenie i architektura

Ten samouczek pomaga przyspieszyć proces oceny usługi Data Factory w usłudze Microsoft Fabric, zapewniając szczegółowe wskazówki dotyczące scenariusza pełnej integracji danych w ciągu jednej godziny. Po ukończeniu tego samouczka poznasz wartości i kluczowe możliwości usługi Data Factory oraz dowiesz się, jak ukończyć typowy scenariusz integracji danych.

Omówienie: Dlaczego usługa Data Factory w usłudze Microsoft Fabric?

Ta sekcja pomaga ogólnie zrozumieć rolę sieci szkieletowej, a rola usługi Data Factory odgrywa w niej rolę.

Omówienie wartości usługi Microsoft Fabric

Usługa Microsoft Fabric zapewnia jednorazowy sklep dla wszystkich potrzeb analitycznych dla każdego przedsiębiorstwa. Obejmuje ona pełne spektrum usług, w tym przenoszenie danych, usług data lake, inżynierię danych, integrację danych i naukę o danych, analizę w czasie rzeczywistym i analizę biznesową. W przypadku sieci szkieletowej nie ma potrzeby łączenia różnych usług od wielu dostawców. Zamiast tego użytkownicy korzystają z kompleksowego, wysoce zintegrowanego, pojedynczego i kompleksowego produktu, który jest łatwy do zrozumienia, dołączania, tworzenia i obsługi.

Omówienie wartości usługi Data Factory w usłudze Microsoft Fabric

Usługa Data Factory w sieci szkieletowej łączy łatwość korzystania z dodatku Power Query z skalowaniem i mocą usługi Azure Data Factory. Łączy najlepsze z obu produktów w ujednolicone środowisko. Celem jest upewnienie się, że Integracja danych w fabryce działa dobrze zarówno dla deweloperów danych obywatelskich, jak i profesjonalnych. Zapewnia ona środowiska przygotowywania i przekształcania danych z małą ilością kodu z obsługą sztucznej inteligencji, transformację w skali petabajtów, setki łączników z łącznością hybrydową, wielochmurową. Usługa Purview zapewnia ład, a funkcje usługi obejmują zobowiązania dotyczące danych/operacji w skali przedsiębiorstwa, ciągłą integrację/ciągłe wdrażanie, zarządzanie cyklem życia aplikacji i monitorowanie.

Wprowadzenie — omówienie trzech kluczowych funkcji usługi Data Factory

• Pozyskiwanie danych: działanie Kopiuj w potokach umożliwia przenoszenie danych petabajtów ze setek źródeł danych do usługi Data Lakehouse w celu dalszego przetwarzania.
• Przekształcanie i przygotowywanie danych: Przepływ danych Gen2 udostępnia interfejs z małą ilością kodu do przekształcania danych przy użyciu przekształceń danych 300+ z możliwością załadowania przekształconych wyników do wielu miejsc docelowych, takich jak bazy danych Azure SQL Database, Lakehouse i inne.
• Kompleksowa automatyzacja przepływu integracji: potoki zapewniają aranżację działań, które obejmują działania kopiowania, przepływu danych i notesu oraz nie tylko. Dzięki temu można zarządzać wszystkimi działaniami w jednym miejscu. Działania w potoku można połączyć w łańcuch, aby działały sekwencyjnie lub działać niezależnie.

W tym przypadku użycia kompleksowej integracji danych nauczysz się:

• Jak pozyskiwać dane przy użyciu asystenta kopiowania w potoku
• Jak przekształcić dane przy użyciu przepływu danych bez użycia kodu lub napisać własny kod w celu przetworzenia danych za pomocą działania skryptu lub notesu
• Jak zautomatyzować cały całościowy przepływ integracji danych przy użyciu potoku z wyzwalaczami i elastycznymi działaniami przepływu sterowania.

Architektura

W ciągu następnych 50 minut będziesz mieć zadanie ukończenia kompleksowego scenariusza integracji danych. Obejmuje to pozyskiwanie nieprzetworzonych danych z magazynu źródłowego do tabeli Bronze usługi Lakehouse, przetwarzanie wszystkich danych, przenoszenie ich do tabeli Gold usługi Data Lakehouse, wysyłanie wiadomości e-mail w celu powiadomienia o zakończeniu wszystkich zadań, a na koniec skonfigurowanie całego przepływu do uruchomienia zgodnie z harmonogramem.

Scenariusz jest podzielony na trzy moduły:

• Moduł 1. Tworzenie potoku za pomocą usługi Data Factory w celu pozyskiwania nieprzetworzonych danych z magazynu obiektów blob do tabeli z brązu w usłudze Data Lakehouse.
• Moduł 2. Przekształcanie danych za pomocą przepływu danych w usłudze Data Factory w celu przetworzenia danych pierwotnych z tabeli Bronze i przeniesienia ich do tabeli Gold w usłudze Data Lakehouse.
• Moduł 3. Ukończ pierwszą podróż integracji danych, aby wysłać wiadomość e-mail z powiadomieniem o zakończeniu wszystkich zadań, a na koniec skonfiguruj cały przepływ do uruchomienia zgodnie z harmonogramem.

Przykładowy zestaw danych NYC-Taxi jest używany jako źródło danych na potrzeby samouczka. Po zakończeniu będziesz w stanie uzyskać wgląd w dzienne rabaty dotyczące taryf taksówek przez określony okres czasu przy użyciu usługi Data Factory w usłudze Microsoft Fabric.

Powiązana zawartość

W tym wprowadzeniu do naszego kompleksowego samouczka dotyczącego pierwszej integracji danych przy użyciu usługi Data Factory w usłudze Microsoft Fabric przedstawiono następujące informacje:

• Wartość i rola usługi Microsoft Fabric
• Wartość i rola usługi Data Factory w sieci szkieletowej
• Najważniejsze funkcje usługi Data Factory
• Czego nauczysz się w tym samouczku

Przejdź teraz do następnej sekcji, aby utworzyć potok danych.

Moduł 1. Tworzenie potoku za pomocą usługi Data Factory