Scenár služby Data Factory od konca do konca: úvod a architektúra
Tento kurz vám pomôže urýchliť proces vyhodnocovania služby Data Factory v službe Microsoft Fabric tým, že do jednej hodiny poskytuje podrobné pokyny na scenár integrácie celých údajov. Na konci tohto kurzu porozumiete hodnotám a kľúčovým možnostiam služby Data Factory a viete, ako dokončiť bežný scenár integrácie komplexných údajov.
Prehľad: Prečo Data Factory v službe Microsoft Fabric?
Táto časť vám pomôže pochopiť rolu služby Fabric vo všeobecnosti a rolu, ktorú v nej hrá Data Factory.
Porozumenie hodnote služby Microsoft Fabric
Microsoft Fabric poskytuje miesto, kde nájdete všetky analytické potreby každého podniku. Pokrýva celé spektrum služieb vrátane premiestňovania údajov, dátového jazera, dátového inžinierstva, integrácie údajov a dátovej vedy, analýzy v reálnom čase a BUSINESS INTELLIGENCE. So službou Fabric nie je potrebné spájať rôzne služby od viacerých dodávateľov. Používatelia si namiesto toho môžu vychutnať komplexný, vysoko integrovaný, jednoduchý a komplexný produkt, ktorý je ľahko pochopiteľný, zabudovaný, vytvára a funguje.
Vysvetlenie hodnoty služby Data Factory v službe Microsoft Fabric
Služba Data Factory v službe Fabric kombinuje jednoduché používanie doplnku Power Query so škálou a výkonom služby Azure Data Factory. Prináša to najlepšie z oboch produktov do zjednoteného prostredia. Cieľom je zabezpečiť, aby Integrácia údajov v factory fungovala dobre pre občianskych aj profesionálnych vývojárov údajov. Poskytuje málo kódu, prípravu a transformáciu údajov s podporou umelej inteligencie, petabajtovú transformáciu, stovky konektorov s hybridnou multicloudovým pripojením. Purview poskytuje riadenie a služba obsahuje podnikové škálované záväzky týkajúce sa údajov/op, CI/CD, správu životného cyklu aplikácie a monitorovanie.
Úvod – Vysvetlenie troch kľúčových funkcií služby Data Factory
- Príjem údajov: Aktivita kopírovania v kanáloch umožňuje presunúť petabajtové údaje zo stoviek zdrojov údajov do svojho dátového jazera Na ďalšie spracovanie.
- Transformácia a príprava údajov: Služba Dataflow Gen2 poskytuje rozhranie s minimálnym použitím kódu na transformáciu údajov pomocou viac ako 300 transformácií údajov s možnosťou načítať transformované výsledky do viacerých cieľov, ako sú napríklad databázy Azure SQL, Lakehouse a ďalšie.
- Automatizácia toku integrácie od konca: Kanály poskytujú zosúlaďovanie aktivít, ktoré zahŕňajú aktivity Kopírovať, Tok údajov a Poznámkový blok a ďalšie. Vďaka tomu môžete spravovať aktivity na jednom mieste. Aktivity v kanáli môžu byť z reťazené, aby fungovali postupne, alebo môžu súbežne fungovať nezávisle.
V tomto prípade použitia integrácie komplexných údajov sa dozviete:
- Ako ingestovať údaje pomocou asistenta kopírovania v kanáli
- Zistite, ako transformovať údaje pomocou toku údajov buď bez použitia kódu, alebo napísaním vlastného kódu na spracovanie údajov pomocou aktivity skriptu alebo poznámkového bloku
- Zistite, ako zautomatizovať celý tok integrácie komplexných údajov pomocou kanála so spúšťačmi a flexibilnými aktivitami toku riadenia.
Architektúra
V nasledujúcich 50 minútach máte za úlohu dokončiť scenár integrácie komplexných údajov. To zahŕňa ingestovať nespracované údaje zo zdrojového ukladacieho priestoru do bronzovej tabuľky Lakehouse, spracovanie všetkých údajov, ich presunutie do zlatej tabuľky data Lakehouse, odoslanie e-mailu, ktorý vám oznámi, akonáhle všetky úlohy sú dokončené, a nakoniec, nastavenie celého postupu spustiť na plánovanom základe.
Scenár je rozdelený do troch modulov:
- Modul 1: Vytvorte kanál s data factory na ingest nespracovaných údajov z úložiska objektu BLOB do bronzovej tabuľky v objekte data Lakehouse.
- Modul 2: Transformácia údajov pomocou toku údajov v data Factory na spracovanie nespracovaných údajov z bronzovej tabuľky a ich presunutie do zlatej tabuľky v službe data Lakehouse.
- Modul 3: Dokončite svoju prvú cestu integrácie údajov, aby ste mohli odoslať e-mail s oznámením, že po dokončení všetkých úloh je potrebné nastaviť celý postup tak, aby sa spustil podľa plánu.
Ako zdroj údajov pre kurz používate vzorovú množinu údajov NYC-Taxi . Po dokončení budete môcť získať prehľad o denných zľavách na cestovné taxi počas určitého časového obdobia pomocou služby Data Factory v službe Microsoft Fabric.
Súvisiaci obsah
V tomto úvode do nášho komplexného kurzu o prvej integrácii údajov pomocou služby Data Factory v službe Microsoft Fabric ste sa dozvedeli:
- Hodnota a rola služby Microsoft Fabric
- Hodnota a rola služby Data Factory v službe Fabric
- Kľúčové funkcie služby Data Factory
- Čo sa naučíte v tomto kurze
Pokračujte do ďalšej časti a vytvorte svoj údajový kanál.