Rýchla konfigurácia: Premiestnenie a transformácia údajov pomocou tokov údajov a kanálov údajov
V tomto kurze zistíte, ako môže prostredie toku údajov a kanála údajov vytvoriť výkonné a komplexné riešenie služby Data Factory.
Predpoklady
Na začiatok musíte mať nasledujúce predpoklady:
- Konto nájomníka s aktívnym predplatným. Vytvorte si bezplatné konto.
- Uistite sa, že máte povolený pracovný priestor služby Microsoft Fabric: Vytvorte pracovný priestor , ktorý nie je predvoleným pracovným priestorom Môj pracovný priestor.
- Databáza Azure SQL s tabuľkovými údajmi.
- Konto úložiska objektu BLOB.
Toky údajov v porovnaní s kanálmi
Toky údajov Gen2 vám umožňujú využívať rozhranie s minimálnym použitím kódu a 300 transformácií údajov a transformácií založených na umelej inteligencii, ktoré vám umožnia jednoducho čistiť, pripravovať a transformovať údaje s väčšou flexibilitou ako ktorýkoľvek iný nástroj. Kanály údajov umožňujú komplexné preddeľovacie funkcie prípravy údajov na vytváranie flexibilných pracovných postupov údajov, ktoré spĺňajú vaše podnikové potreby. V kanáli môžete vytvárať logické zoskupenia aktivít, ktoré vykonávajú úlohu, medzi ktoré môže patriť volanie toku údajov na vyčistenie a prípravu údajov. Hoci sa niektoré funkcie prekrývajú medzi týmito dvoma funkciami, výber, ktorý sa má použiť pre konkrétny scenár, závisí od toho, či budete potrebovať úplné bohatstvo kanálov alebo môžete použiť jednoduchšie, ale obmedzenejšie možnosti tokov údajov. Ďalšie podrobnosti nájdete v príručke k rozhodnutiu pre fabric
Transformácia údajov pomocou tokov údajov
Ak chcete nastaviť tok údajov, postupujte podľa týchto krokov.
Krok č. 1: Vytvorenie toku údajov
Vyberte pracovný priestor povolený v službe Fabric a potom vyberte položku Nový. Potom vyberte položku Tok údajov Gen2.
Zobrazí sa okno editora toku údajov. Vyberte kartu Importovať z SQL Servera.
Krok č. 2: Získanie údajov
V dialógovom okne Pripojenie k zdroju údajov zadajte podrobnosti, aby ste sa pripojili k databáze Azure SQL, a potom vyberte položku Ďalej. V tomto príklade použijete vzorová databáza AdventureWorksLT nakonfigurovanú pri nastavovaní databázy Azure SQL v nevyhnutných predpokladoch.
Vyberte údaje, ktoré chcete transformovať, a potom vyberte položku Vytvoriť. V tomto stručnom úvode vyberte položku SalesLT.Customer zo vzorových údajov AdventureWorksLT poskytnutých pre databázu Azure SQL a potom tlačidlo Vybrať súvisiace tabuľky, ktoré automaticky zahrnie dve ďalšie súvisiace tabuľky.
Krok č. 3: Transformácia údajov
Ak nie je vybratá, vyberte tlačidlo Zobrazenie diagramu v stavovom riadku v dolnej časti stránky alebo vyberte položku Zobrazenie diagramu v ponuke Zobraziť v hornej časti editora Power Query. Pomocou niektorej z týchto možností môžete prepínať zobrazenie diagramu.
Kliknite pravým tlačidlom myši na dotaz SalesLT Customer alebo vyberte zvislé tri bodky na pravej strane dotazu a potom vyberte položku Zlúčiť dotazy.
Zlúčenie nakonfigurujte tak, že ako pravú tabuľku na zlúčenie vyberiete tabuľku SalesLTOrderHeader , stĺpec CustomerID z každej tabuľky ako stĺpec spojenia a ľavý vonkajší ako druh spojenia. Potom výberom položky OK pridajte zlučovací dotaz.
Vyberte tlačidlo Pridať cieľové umiestnenie údajov, ktoré z vytvoreného nového zlučovacieho dotazu vyzerá ako symbol databázy so šípkou nad ním. Potom ako typ cieľa vyberte databázu Azure SQL.
Zadajte podrobnosti pre pripojenie k databáze Azure SQL, v ktorej sa má zlučovací dotaz publikovať. V tomto príklade môžete použiť aj databázu AdventureWorksLT , ktorú sme použili ako zdroj údajov pre cieľ.
Vyberte databázu na uloženie údajov a zadajte názov tabuľky, potom vyberte položku Ďalej.
Predvolené nastavenia môžete nechať v dialógovom okne Vybrať cieľové nastavenia a jednoducho vybrať položku Uložiť nastavenia bez toho, aby ste tu vykonajte zmeny.
Na stránke editora toku údajov vyberte položku Publikovať späť a publikujte tok údajov.
Premiestnenie údajov pomocou kanálov údajov
Teraz, keď ste vytvorili tok údajov Gen2, môžete s ním pracovať v kanáli. V tomto príklade skopírujete údaje vygenerované z toku údajov do textového formátu v konte ukladacieho priestoru objektu BLOB platformy Azure.
Krok č. 1: Vytvorenie nového kanála údajov
V pracovnom priestore vyberte položku Nové a potom položku Kanál údajov.
Pomenujte kanál a potom vyberte položku Vytvoriť.
Krok č. 2: Konfigurácia toku údajov
Výberom položky Tok údajov na karte Aktivity pridajte do svojho kanála údajov novú aktivitu toku údajov.
Vyberte tok údajov na plátne kanála a potom kartu Nastavenia. Z rozbaľovacieho zoznamu vyberte tok údajov, ktorý ste vytvorili predtým.
Vyberte položku Uložiť a potom spustením toku údajov najskôr vyplňte zlúčenú tabuľku dotazov, ktorú ste navrhli v predchádzajúcom kroku.
Krok č. 3: Pridanie aktivity kopírovania pomocou asistenta kopírovania
Začnite výberom položky Kopírovať údaje na plátne a otvorte nástroj Kopírovať asistenta . Alebo vyberte položku Použiť asistenta kopírovania z rozbaľovacieho zoznamu Kopírovať údaje na karte Aktivity na páse s nástrojmi.
Výberom typu zdroja údajov vyberte zdroj údajov. V tomto kurze použijete databázu Azure SQL, ktorá sa používala predtým pri vytváraní toku údajov na generovanie nového zlučovacieho dotazu. Posuňte sa nadol pod ponukou vzorových údajov a vyberte kartu Azure a potom položku Databáza Azure SQL. Pokračujte výberom položky Ďalej .
Výberom položky Vytvoriť nové pripojenie vytvorte pripojenie k zdroju údajov. Vyplňte požadované informácie o pripojení na paneli a zadajte AdventureWorksLT pre databázu, v ktorej sme vygenerovali zlučovací dotaz v toku údajov. Potom vyberte Ďalej.
Vyberte tabuľku, ktorú ste vygenerovali v kroku toku údajov predtým, a potom vyberte položku Ďalej.
Pre svoj cieľ vyberte položku Azure Blob Storage a potom vyberte položku Ďalej.
Výberom položky Vytvoriť nové pripojenie vytvorte pripojenie do cieľa. Zadajte podrobnosti o pripojení a potom vyberte položku Ďalej.
Vyberte cestu k priečinku a zadajte názov súboru, potom vyberte položku Ďalej.
Opätovným výberom položky Ďalej akceptujete predvolený formát súboru, oddeľovač stĺpcov, oddeľovač riadkov a typ kompresie vrátane hlavičky.
Finalizujte nastavenia. Potom proces dokončite výberom položky Uložiť a spustiť .
Krok č. 5: Návrh údajového kanála a uloženie na spustenie a načítanie údajov
Ak chcete spustiť aktivitu Kopírovať po aktivite toku údajov, presuňte položku Úspešné v aktivite toku údajov do aktivity Kopírovať . Aktivita kopírovania sa spustí až po úspešnej aktivite toku údajov.
Ak chcete kanál údajov uložiť, vyberte položku Uložiť . Potom vyberte položku Spustiť , aby sa spustil váš údajový kanál a načítali sa údaje.
Naplánovanie spustenia kanála
Keď dokončíte vývoj a testovanie kanála, môžete naplánovať jeho automatické spustenie.
Na karte Domov v okne editora kanála vyberte položku Plán.
Podľa potreby nakonfigurujte plán. V tomto príklade sa kanál vykonáva denne o 20:00 až do konca roka.
Súvisiaci obsah
V tejto ukážke sa dozviete, ako vytvoriť a nakonfigurovať tok údajov Gen2 na vytvorenie zlučovacieho dotazu a jeho uloženie do databázy Azure SQL. Potom skopírujte údaje z databázy do textového súboru v službe Azure Blob Storage. Naučili ste sa:
- Vytvorte tok údajov.
- Transformovať údaje pomocou toku údajov.
- Vytvorte kanál údajov pomocou toku údajov.
- Zoradte vykonanie krokov v kanáli.
- Kopírovanie údajov pomocou Copy Assistant (Kopírovať asistenta).
- Spustite a naplánujte svoj údajový kanál.
V ďalšom kroku sa dozviete viac o monitorovaní spustení kanála.