Rýchla konfigurácia: Premiestnenie a transformácia údajov pomocou tokov údajov a kanálov údajov
V tomto kurze zistíte, ako môže prostredie toku údajov a kanála údajov vytvoriť výkonné a komplexné riešenie služby Data Factory.
Predpoklady
Na začiatok musíte mať nasledujúce predpoklady:
- Konto nájomníka s aktívnym predplatným. Vytvorte
bezplatného konta. - Uistite sa, že máte povolený pracovný priestor služby Microsoft Fabric: Vytvoriť pracovný priestor ktorý nie je predvoleným pracovným priestorom.
- databázu Azure SQL s tabuľkovými údajmi.
- konto úložiska objektu BLOB.
Toky údajov v porovnaní s kanálmi
Toky údajov Gen2 vám umožňujú používať rozhranie s minimálnym použitím kódu a viac ako 300 transformácií údajov a transformácií založených na umelej inteligencii, ktoré vám umožnia jednoducho čistiť, pripravovať a transformovať údaje s väčšou flexibilitou ako ktorýkoľvek iný nástroj. Kanály údajov umožňujú komplexné preddeľovacie funkcie prípravy údajov na vytváranie flexibilných pracovných postupov údajov, ktoré spĺňajú vaše podnikové potreby. V kanáli môžete vytvárať logické zoskupenia aktivít, ktoré vykonávajú úlohu, medzi ktoré môže patriť volanie toku údajov na vyčistenie a prípravu údajov. Hoci sa tieto dve funkcie prekrývajú, výber funkcie, ktorú chcete použiť pre konkrétny scenár, závisí od toho, či budete potrebovať úplné bohatstvo kanálov, alebo môžete použiť jednoduchšie, ale obmedzenejšie možnosti tokov údajov. Ďalšie informácie nájdete v príručke k rozhodnutiu pre Fabric
Transformácia údajov pomocou tokov údajov
Ak chcete nastaviť tok údajov, postupujte podľa týchto krokov.
Krok č. 1: Vytvorenie toku údajov
Vyberte pracovný priestor povolený v službe Fabric a potom vyberte položku Nový. Potom vyberte Tok údajov Gen2.
Zobrazí sa okno editora toku údajov. Vyberte kartu Importovať z aplikácie SQL Server.
Krok č. 2: Získanie údajov
V dialógovom okne Pripojiť k zdroju údajov dialógovom okne zadajte podrobnosti, ktoré chcete pripojiť k databáze Azure SQL, a potom vyberte položku Ďalšie. V tomto príklade použijete AdventureWorksLT vzorovú databázu nakonfigurovanú pri nastavovaní databázy Azure SQL na splnenie požiadaviek.
Vyberte údaje, ktoré chcete transformovať, a potom vyberte položky Vytvoriť. V tomto stručnom úvode vyberte SalesLT.Customer z AdventureWorksLT vzorové údaje poskytnuté pre databázu Azure SQL a potom tlačidlo Vybrať súvisiace tabuľky automaticky zahrnúť dve ďalšie súvisiace tabuľky.
Krok č. 3: Transformácia údajov
Ak nie je vybratá, vyberte tlačidlo zobrazenia diagramu v stavovom riadku v dolnej časti stránky alebo vyberte položku Zobrazenie diagramu v ponuke Zobraziť v hornej časti editora Power Query. Pomocou niektorej z týchto možností môžete prepínať zobrazenie diagramu.
Kliknite pravým tlačidlom myši na dotaz SalesLT Customer, alebo vyberte zvislé tri bodky napravo od dotazu a potom vyberte položku Zlúčiť dotazy.
Zlúčenie nakonfigurujte výberom tabuľky SalesLTOrderHeader ako pravej tabuľky na zlúčenie, stĺpca CustomerID z každej tabuľky ako stĺpca spojenia a ľavý vonkajší ako druh spojenia. Potom vyberte OK a pridajte zlučovací dotaz.
V novom zlučovacích dotazoch, ktorý ste vytvorili, vyberte tlačidlo Pridať cieľové údajov, ktoré vyzerá ako symbol databázy so šípkou nad ním. Ako typ cieľa potom vyberte možnosť databázu Azure SQL.
Zadajte podrobnosti pre pripojenie k databáze Azure SQL, v ktorej sa má zlučovací dotaz publikovať. V tomto príklade môžete použiť databázu AdventureWorksLT, ktorú sme použili aj ako zdroj údajov pre cieľ.
Vyberte databázu na uloženie údajov a zadajte názov tabuľky. Potom vyberte položky Ďalej.
Predvolené nastavenia môžete dialógovom okne Vybrať cieľové nastavenia ponechať v
a jednoducho vybrať Uložiť nastavenia bez toho, aby ste tu vykonať nejaké zmeny.Vyberte položku Publikovať späť na stránke editora toku údajov a publikujte tok údajov.
Premiestnenie údajov pomocou kanálov údajov
Teraz, keď ste vytvorili tok údajov Gen2, môžete s ním pracovať v kanáli. V tomto príklade skopírujete údaje vygenerované z toku údajov do textového formátu v konte ukladacieho priestoru objektu BLOB platformy Azure.
Krok č. 1: Vytvorenie nového kanála údajov
V pracovnom priestore vyberte položku Novéa potom vyberte položku Kanál údajov.
Pomenujte kanál a potom vyberte položky Vytvoriť.
Krok č. 2: Konfigurácia toku údajov
Pridajte do kanála údajov novú aktivitu toku údajov výberom
Tok údajov na karte aktivity aktivity. Na plátne kanála vyberte tok údajov a potom kartu nastavenia
Nastavenia. Z rozbaľovacieho zoznamu vyberte tok údajov, ktorý ste predtým vytvorili. Vyberte položku Uložiťa potom Spustiť spustite tok údajov, aby sa na začiatku vyplnila jeho zlúčená tabuľka dotazov, ktorú ste navrhli v predchádzajúcom kroku.
Krok č. 3: Pridanie aktivity kopírovania pomocou asistenta kopírovania
Začnite výberom položky Kopírovanie údajov na plátne a otvorte nástroj Copy Assistant. Prípadne vyberte položku Použiť asistenta kopírovania v rozbaľovacom zozname Kopírovať údaje na karte Aktivity na páse s nástrojmi.
Výberom typu zdroja údajov vyberte zdroj údajov. V tomto kurze použijete databázu Azure SQL, ktorá sa používala predtým pri vytváraní toku údajov na generovanie nového zlučovacieho dotazu. Posuňte sa nadol pod ponuku vzorových údajov a vyberte kartu Azure a potom databázu Azure SQL. Potom pokračujte výberom položky Ďalšie.
Vytvorte pripojenie k svojmu zdroju údajov výberom položky Vytvoriť nové pripojenie. Vyplňte požadované informácie o pripojení na paneli a zadajte AdventureWorksLT pre databázu, v ktorej sme vygenerovali zlučovací dotaz v toku údajov. Potom vyberte Ďalšie.
Vyberte tabuľku, ktorú ste vygenerovali v kroku toku údajov predtým, a potom vyberte položku Ďalej.
Pre svoj cieľ vyberte ukladací priestor objektu BLOB platformy Azure a potom vyberte Ďalej.
Vytvorte pripojenie k cieľu výberom položky Vytvoriť nové pripojenie. Zadajte podrobnosti o pripojení a potom vyberte Ďalej.
Vyberte cestu k priečinku a zadajte Názov súboru, potom vyberte položky Ďalej.
Opätovným výberom položky Ďalej vyjadrite súhlas s predvoleným formátom súboru, oddeľovačom stĺpcov, oddeľovačom riadkov a typom kompresie, prípadne zahrnutím hlavičky.
Finalizujte nastavenia. Potom proces dokončite výberom položky Uložiť a spustiť.
Krok č. 5: Návrh údajového kanála a uloženie na spustenie a načítanie údajov
Ak chcete spustiť aktivitu Kopírovaťpo aktivite Tok údajov, presuňte položku Úspešné v Tok údajov aktivitu do aktivity Kopírovať. Aktivita kopírovania
sa spustí až po úspešnej aktivite toku údajov.Ak chcete uložiť kanál údajov, vyberte položku Uložiť. Potom vyberte položku Spustiť spustíte údajový kanál a načítajte údaje.
Naplánovanie spustenia kanála
Keď dokončíte vývoj a testovanie kanála, môžete naplánovať jeho automatické spustenie.
Na karte Domov okna editora kanála vyberte položky Naplánovať.
Podľa potreby nakonfigurujte plán. V tomto príklade sa kanál vykonáva denne o 20:00 až do konca roka.
Súvisiaci obsah
V tejto ukážke sa dozviete, ako vytvoriť a nakonfigurovať tok údajov Gen2 na vytvorenie zlučovacieho dotazu a jeho uloženie do databázy Azure SQL. Potom skopírujte údaje z databázy do textového súboru v službe Azure Blob Storage. Naučili ste sa:
- Vytvorte tok údajov.
- Transformovať údaje pomocou toku údajov.
- Vytvorte kanál údajov pomocou toku údajov.
- Zoradte vykonanie krokov v kanáli.
- Kopírovanie údajov pomocou Copy Assistant (Kopírovať asistenta).
- Spustite a naplánujte svoj údajový kanál.
V ďalšom kroku sa dozviete viac o monitorovaní spustení kanála.