Kompletní scénář služby Data Factory: úvod a architektura
Tento kurz vám pomůže urychlit proces vyhodnocení služby Data Factory v Microsoft Fabric tím, že poskytne podrobné pokyny pro scénář úplné integrace dat do jedné hodiny. Na konci tohoto kurzu pochopíte hodnotu a klíčové funkce služby Data Factory a budete vědět, jak dokončit běžný scénář komplexní integrace dat.
Důležité
Microsoft Fabric je v současné době ve verzi PREVIEW. Tyto informace se týkají předběžné verze produktu, který může být před vydáním podstatně změněn. Společnost Microsoft neposkytuje na zde uvedené informace žádné záruky, vyjádřené ani předpokládané. Projděte si dokumentaci Azure Data Factory pro službu v Azure.
Přehled: Proč data factory v Microsoft Fabric?
Tato část vám pomůže porozumět obecné roli prostředků infrastruktury a roli, kterou v ní hraje služba Data Factory.
Pochopení hodnoty Microsoft Fabric
Microsoft Fabric poskytuje jedno místo pro všechny analytické potřeby každého podniku. Zahrnuje kompletní spektrum služeb, včetně přesunu dat, datového jezera, přípravy dat, integrace dat a datových věd, analýz v reálném čase a business intelligence. V případě prostředků infrastruktury není potřeba spojovat různé služby od více dodavatelů. Místo toho mají vaši uživatelé ucelený, vysoce integrovaný, jediný a komplexní produkt, který je snadno srozumitelný, nasadí, vytvoří a zprovozní.
Vysvětlení hodnoty služby Data Factory v Microsoft Fabric
Data Factory v prostředcích infrastruktury kombinuje snadné použití Power Query s rozsahem a výkonem Azure Data Factory. Spojuje to nejlepší z obou produktů do jednotného prostředí. Cílem je zajistit, aby Integrace Dat ve službě Factory fungovalo dobře pro vývojáře dat pro občany i profesionály. Poskytuje prostředí pro přípravu a transformaci dat s minimem kódu s podporou AI, transformaci v petabajtovém měřítku, stovky konektorů s hybridním vícecloudovým připojením. Purview poskytuje zásady správného řízení a služba zahrnuje závazky dat/provozu na podnikové úrovni, CI/CD, správu životního cyklu aplikací a monitorování.
Úvod – vysvětlení tří klíčových komponent služby Data Factory
- Příjem dat: Aktivita Copy v kanálech umožňuje přesunout petabajtová data ze stovek zdrojů dat do data Lakehouse k dalšímu zpracování.
- Transformace a příprava dat: Toky dat Gen2 poskytují rozhraní s minimem kódu pro transformaci dat pomocí více než 300 transformací dat a umožňují načíst transformované výsledky do více cílů, jako jsou Azure SQL databáze, Lakehouse a další.
- Kompletní automatizace toku integrace: Kanály poskytují orchestraci aktivit, které zahrnují aktivity kopírování, toku dat, poznámkových bloků a dalších. To vám umožní spravovat aktivity na jednom místě. Aktivity v kanálu můžou být zřetězený, aby fungovaly postupně, nebo můžou fungovat nezávisle paralelně.
V tomto komplexním případě použití integrace dat se dozvíte:
- Jak ingestovat data pomocí aktivity kopírování v kanálu
- Jak transformovat data pomocí toku dat, a to buď bez kódu, nebo napsáním vlastního kódu pro zpracování dat pomocí aktivity skriptu nebo poznámkového bloku
- Jak automatizovat celý tok kompletní integrace dat pomocí kanálu s triggery a flexibilními aktivitami toku řízení
Architektura
V následujících 50 minutách budete vyzváni k dokončení scénáře kompletní integrace dat. To zahrnuje ingestování nezpracovaných dat ze zdrojového úložiště do bronzové tabulky Lakehouse, zpracování všech dat, jejich přesunutí do tabulky Gold datového Lakehouse, odeslání e-mailu s upozorněním na dokončení všech úloh a nakonec nastavení celého toku tak, aby běžel podle plánu.
Scénář je rozdělený do tří modulů:
- Modul 1: Vytvoření kanálu pomocí služby Data Factory pro příjem nezpracovaných dat z úložiště objektů blob do tabulky Bronze v datovém Lakehouse
- Modul 2: Transformace dat pomocí toku dat ve službě Data Factory za účelem zpracování nezpracovaných dat z tabulky Bronze a jejich přesunutí do tabulky Gold v datovém lakehouse
- Modul 3: Dokončete první cestu integrace dat a odešlete e-mail s upozorněním na dokončení všech úloh a nakonec nastavte celý tok tak, aby běžel podle plánu.
Jako zdroj dat pro tento kurz použijete ukázkovou datovou sadu NYC-Taxi . Jakmile skončíte, budete moct získat přehled o denních slevách na jízdné za taxi za určité časové období pomocí služby Data Factory v Microsoft Fabric.
Další kroky
V tomto úvodu do našeho kompletního kurzu pro vaši první integraci dat pomocí služby Data Factory v Microsoft Fabric jste se naučili:
- Hodnota a role Microsoft Fabric
- Hodnota a role služby Data Factory v prostředcích infrastruktury
- Klíčové komponenty služby Data Factory
- Co se naučíte v tomto kurzu
Pokračujte k další části a vytvořte datový kanál.