Ingestovanie exportovaných údajov Dataverse pomocou služby Azure Data Factory

Článok
03/14/2023

Po exporte údajov z Microsoft Dataverse do Azure Data Lake Storage Gen2 s Azure Synapse Link for Dataverse, môžete použiť Azure Data Factory na vytváranie postupov údajov, transformáciu údajov a vykonávanie analýz.

Poznámka

Azure Synapse Link for Dataverse bol predtým známy ako Export to data lake. Táto služba bola premenovaná s účinnosťou od mája 2021 a bude pokračovať v exporte údajov do Azure Data Lake aj Azure Synapse Analytics.

V tomto článku sa dozviete, ako vykonať nasledujúce činnosti:

Nastavte účet úložiska Data Lake Storage Gen2 s údajmi Dataverse ako zdroj v toku údajov Data Factory.
Transformujte údaje Dataverse v Data Factory s tokom údajov.
Nastavte účet úložiska Data Lake Storage Gen2 s údajmi Dataverse ako zásobáreň v toku údajov Data Factory.
Vytvorením kanálu spustite tok údajov.

Predpoklady

Táto časť popisuje predpoklady na príjem exportovaných údajov Dataverse pomocou Data Factory.

Roly Azure. Účet používateľa, ktorý používa na prihlásenie do Azure, musí patriť do roly Prispievateľ, vlastník alebo správca predplatného Azure. Ak chcete zobraziť povolenia, ktoré máte pri prihlásení na odber, prejdite na stránku Portál Azure, v pravom hornom rohu vyberte svoje používateľské meno, vyberte možnosť ... a potom Moje povolenia. Ak máte prístup k viacerým odberom, vyberte príslušný odber. Na vytvorenie a správu podradených zdrojov pre Data Factory na portáli Azure—vrátane súborov údajov, prepojených služieb, kanálov, spúšťačov a integration runtime—, musíte patriť do roly Prispievateľ Data Factory na úrovni skupiny zdrojov alebo vyššej.
Azure Synapse Link for Dataverse. Táto príručka predpokladá, že ste už exportovali údaje z Dataverse pomocou Azure Synapse Link for Dataverse. V tomto príklade sa údaje tabuľky účtov exportujú do data lake.
Azure Data Factory. Táto príručka predpokladá, že ste už vytvorili dátovú továreň pod rovnakým predplatným a skupinou zdrojov ako účet úložiska, ktorý obsahuje exportované údaje Dataverse.

Nastavte účet úložiska Data Lake Storage Gen2 ako zdroj

Otvorte Azure Data Factory a vyberte dátovú továreň, ktorá je v rovnakej skupine predplatného a zdrojov ako účet úložiska obsahujúci vaše exportované údaje Dataverse. Potom vyberte Vytvoriť tok údajov z domovskej stránky.
Zapnite režim Ladenie toku údajov a vyberte si preferovaný čas na aktiváciu. To môže trvať až 10 minút, ale vy môžete pokračovať nasledujúcimi krokmi.
Vyberte položku Pridať zdroj.
V sekcii Nastavenia zdroja môžete vykonať nasledujúce činnosti:
- Názov výstupného prehľadu: zadajte svoj názov.
- Typ zdroja: Vyberte Vnorené.
- Vnorený typ množiny údajov: vyberte možnosť Common Data Model.
- Prepojená služba: vyberte účet úložiska z rozbaľovacej ponuky a potom prepojte novú službu tak, že poskytnete údaje o odbere a zachováte všetky predvolené konfigurácie.
- Vzorkovanie: ak chcete použiť všetky svoje údaje, vyberte možnosť Zakázať.
V sekcii Možnosti zdroja môžete vykonať nasledujúce činnosti:
- Formát metaúdajov: Vyberte Model.json.
- Koreňové umiestnenie: Do prvého poľa zadajte názov kontajnera (Kontajner) alebo Prechádzať pre názov kontajnera a vyberte OK.
- Entita: Zadajte názov tabuľky alebo Prechádzať a vyberte tabuľku.
Pozrite si kartu Projekcia, aby ste sa uistili, že vaša schéma bola úspešne importovaná. Ak nevidíte žiadne stĺpce, vyberte Možnosti schémy a skontrolujte možnosť Odvodiť driftované typy stĺpcov. Nakonfigurujte možnosti formátovania tak, aby zodpovedali množine údajov, a potom vyberte Použiť.
Vaše údaje si môžete pozrieť na karte Ukážka údajov, aby ste sa ubezpečili, že vytvorenie zdroja bolo úplné a presné.

Transformácia údajov Dataverse

Po nastavení exportovaných údajov Dataverse v účte Azure Data Lake Storage Gen2 ako zdroj v postupe údajov Data Factory, existuje veľa možností na transformáciu vašich údajov. Viac informácií: Azure Data Factory

Podľa týchto pokynov vytvorte pre každý riadok poradie podľa poľa príjmy tabuľky obchodného vzťahu.

Vyberte + v pravom dolnom rohu predchádzajúcej transformácie a potom vyhľadajte a vyberte Hodnotenie.
Na karte Nastavenia hodnotenia vykonajte nasledujúce:
- Názov výstupného streamu: Zadajte požadované meno, napríklad Hodnotenie1.
- Prichádzajúci stream: Vyberte požadovaný názov zdroja. V tomto prípade názov zdroja z predchádzajúceho kroku.
- Možnosti: Nechajte možnosti nezaškrtnuté.
- Stĺpec s hodnotením: Zadajte názov vygenerovaného stĺpca s hodnotením.
- Podmienky zoradenia : Vyberte stĺpec príjem a zoradenie Zostupne.
Vaše údaje si môžete pozrieť na karte ukážka údajov, kde nájdete nový stĺpec revenueRank úplne vpravo.

Nastavte účet úložiska Data Lake Storage Gen2 ako zásobáreň

Nakoniec musíte pre svoje toky údajov nastaviť zásobáreň. Podľa týchto pokynov umiestnite svoje transformované údaje ako súbor údajov s oddeľovačmi do Data Lake.

Vyberte + v pravom dolnom rohu predchádzajúcej transformácie a potom vyhľadajte a vyberte Zásobáreň.
Na karte Zásobáreň vyberte jednu z nasledujúcich možností:
- Názov výstupného prehľadu: zadajte svoj názov ako napríklad Zásobáreň1.
- Prichádzajúci prehľad : vyberte požadovaný názov zdroja. V tomto prípade názov zdroja z predchádzajúceho kroku.
- Typ zásobárne: Vyberte DelimitedText.
- Prepojená služba: Vyberte úložný kontajner Data Lake Storage Gen2, ktorý obsahuje údaje, ktoré ste exportovali pomocou služby Azure Synapse Link for Dataverse.
Na karte Nastavenia môžete vykonať nasledujúce akcie:
- Cesta k priečinku: Do prvého poľa zadajte názov kontajnera (Systém súborov) alebo Prechádzať pre názov kontajnera a vyberte OK.
- Možnosť názvu súboru: Vyberte Výstup do jedného súboru.
- Výstup do jedného súboru: Zadajte názov súboru, napríklad ADFOutput
- Ponechajte všetky ostatné predvolené nastavenia.
Na karte Optimalizovať nastavte Možnosť rozdelenia na Jednoduché rozdelenie.
Vaše údaje si môžete pozrieť na karte Ukážka údajov.

Spustite tok údajov

Na ľavom paneli pod položkou Zdroje z výroby, vyberte možnosť + a potom Kanál.
Pod položkou Aktivity, vyberte možnosť Presunúť a transformovať a potom pretiahnite Tok údajov do pracovného priestoru.
Vyberte možnosť Použiť existujúci postup údajov a potom vyberte postup údajov, ktorý ste vytvorili v predchádzajúcich krokoch.
Na paneli príkazov vyberte možnosť Ladenie.
Nechajte tok údajov spustený, kým zobrazenie v spodnej časti neukáže, že je dokončený. Môže to trvať niekoľko minút.
Prejdite do kontajnera konečného cieľového úložiska a vyhľadajte údajový súbor transformovanej tabuľky.