Příjem exportovaných Dataverse dat pomocí Azure Data Factory

Článek
03/15/2023

Po exportu dat z Microsoft Dataverse do Azure Data Lake Storage Gen2 s Azure Synapse Link for Dataverse, můžete použít Azure Data Factory k vytváření toků dat, transformaci dat a spuštění analýzy.

Poznámka

Azure Synapse Link for Dataverse byl dříve známý jako Export do datového jezera. Služba byla s účinností od května 2021 přejmenována a bude i nadále exportovat data do Azure Data Lake a také do Azure Synapse Analytics.

Tento článek popisuje, jak provést následující úlohy:

Nastavte účet úložiště Data Lake Storage Gen2 pomocí Dataverse data jako zdroj v datovém toku Data Factory.
Transformujte data Dataverse v Data Factory s datovým tokem.
Nastavte účet úložiště Data Lake Storage Gen2 pomocí Dataverse data jako jímku v datovém toku Data Factory.
Spusťte tok dat vytvořením kanálu.

Požadavky

Tato část popisuje předpoklady nezbytné k přijetí exportu Dataverse dat pomocí Data Factory.

Role Azure. Uživatelský účet, který se používá k přihlášení do Azure, musí být členem rolí přispěvatel nebo majitel, nebo správce předplatného Azure. Chcete-li zobrazit oprávnění, která máte v předplatném, přejděte na Azure Portal, vyberte své uživatelské jméno v pravém horním rohu, vyberte ... a potom vyberte Moje oprávnění. Pokud máte přístup k více předplatným, vyberte příslušné. Vytvoření a správa podřízených prostředků pro Data Factory na webu Azure Portal—včetně datových sad, propojených služeb, kanálů, spouštěčů a integračních modulů—musít patřit k roli Data Factory přispěvatel na úrovni skupiny prostředků nebo vyšší.
Azure Synapse Link for Dataverse. Tato příručka předpokládá, že jste již exportovali data Dataverse pomocí Azure Synapse Link for Dataverse. V tomto příkladu se data tabulky účtu exportují do datového jezera.
Azure Data Factory. Tato příručka předpokládá, že jste již vytvořili datovou továrnu ve stejné skupině předplatného a prostředků jako účet úložiště obsahující exportovaná data Dataverse.

Nastavte účet úložiště Data Lake Storage Gen2 jako zdroj

Otevřete Azure Data Factory a vyberte datovou továrnu, která je ve stejné skupině předplatného a prostředků jako účet úložiště obsahující vaše exportovaná data Dataverse. Poté vyberte Vytvořte datový tok z domovské stránky.
Zapněte režim Ladění toku dat a vyberte preferovaný čas života. To může trvat až 10 minut, můžete ale pokračovat v následujících krocích.
Vyberte Vybrat zdroj.
Pod Nastavení zdroje, proveďte následující:
- Název výstupního proudu: Zadejte požadovaný název.
- Typ zdroje: Vyberte Vložený.
- Typ vložené datové sady: Vyberte Common Data Model.
- Propojená služba : Vyberte účet úložiště z rozevírací nabídky a poté propojte novou službu poskytnutím podrobností předplatného a ponecháním všech výchozích konfigurací.
- Vzorkování: Chcete-li použít všechna svá data, vyberte Zakázat.
Pod Možnosti zdroje, proveďte následující:
- Formát metadat: Vyberte Model.json.
- Kořenové umístění: Do prvního pole zadejte název kontejneru (Kontejner) nebo Procházet pro název kontejneru a vyberte OK.
- Entita: Zadejte název tabulky nebo Procházet pro tabulku.
Zkontrolujte kartu Projekce, abyste zajistili, že bylo vaše schéma úspěšně importováno. Pokud nevidíte žádné sloupce, vyberte Možnosti schématu a zkontrolujte možnost Odvodit driftované typy sloupců. Nakonfigurujte možnosti formátování tak, aby odpovídaly vaší datové sadě, a poté vyberte Použít.
Vaše data si můžete prohlédnout na kartě Náhled dat pro zajištění úplnosti a přesnosti vytvoření zdroje.

Transformujte svoje data Dataverse

Po nastavení exportovaných dat účtu Dataverse v Azure Data Lake Storage Gen2 jako zdroje v toku dat Data Factory, existuje mnoho možností pro transformaci vašich dat. Více informací: Azure Data Factory

Podle těchto pokynů vytvořte pro každý řádek pořadí podle pole příjmy tabulky účtu.

Vyberte + v pravém dolním rohu předchozí transformace a poté vyhledejte a vyberte Pořadí.
Na kartě Nastavení pořadí udělejte následující:
- Název výstupního proudu: Zadejte požadované jméno, například Rank1.
- Příchozí tok: Vyberte požadovaný název zdroje. V tomto případě název zdroje z předchozího kroku.
- Možnosti: Ponechte nezaškrtnuté možnosti.
- Sloupec pořadí: Zadejte název vygenerovaného sloupce pořadí.
- Třídit podmínky: Vyberte sloupec příjmy a třiďte podle Klesajícího pořadí.
Vaše data si můžete prohlédnout na kartě náhled dat, kde najdete nový sloupec revenueRank sloupec úplně vpravo.

Nastavte účet úložiště Data Lake Storage Gen2 jako zásobník

Nakonec musíte pro svůj datový tok nastavit jímku. Podle těchto pokynů umístěte svá transformovaná data jako textový soubor s oddělovačem do datového jezera.

Vyberte + v pravém dolním rohu předchozí transformace a poté vyhledejte a vyberte Zásobník.
Na kartě Jímka proveďte některou z následujících akcí:
- Název výstupního proudu: Zadejte požadovaný název, například Jimka1.
- Příchozí tok: Vyberte požadovaný název zdroje. V tomto případě název zdroje z předchozího kroku.
- Typ zásobníku: Vyberte DelimitedText.
- Propojená služba: Vyberte svůj úložný kontejner Data Lake Storage Gen2, který obsahuje data, která jste exportovali pomocí služby Azure Synapse Link for Dataverse.
Na kartě Nastavení proveďte tyto akce:
- Cesta ke složce: Do prvního pole zadejte název kontejneru (Systém souborů) nebo Procházet pro název kontejneru a vyberte OK.
- Možnost názvu souboru: Vyberte výstup do jednoho souboru.
- Výstup do jednoho souboru: Zadejte název souboru, například ADFoutput
- Ponechte všechna ostatní výchozí nastavení.
Na kartě Optimalizovat nastavte Možnost oddílu na Jeden oddíl.
Vaše data si můžete prohlédnout na kartě Náhled dat.

Spusťte tok dat

V levém podokně pod Tovární zdroje, vyberte + a potom vyberte Kanál.
Pod Aktivity vyberte Přesunout a transformovat a potom přetáhněte Datový tok do pracovního prostoru.
Vybrat Použít existující datový tok a poté vyberte datový tok, který jste vytvořili v předchozích krocích.
V panelu příkazů vyberte Ladit.
Nechte tok dat běžet, dokud spodní pohled neukáže, že byl dokončen. To může to trvat několik minut.
Přejděte do kontejneru konečného cílového úložiště a vyhledejte datový soubor transformované tabulky.