Kopírovanie údajov Dataverse do databázy Azure SQL

Článok
06/11/2024

Použite Azure Synapse Link na pripojenie vašich údajov Microsoft Dataverse k Azure Synapse Analytics na preskúmanie vašich údajov a zrýchlenie času potrebného na získanie prehľadu. Tento článok vám ukáže, ako spúšťať kanále Azure Synapse alebo Azure Data Factory na kopírovanie údajov Azure Data Lake Storage Gen2 do databázy Azure SQL s povolenou funkciou prírastkových aktualizácií Azure Synapse Link.

Poznámka

Azure Synapse Link for Microsoft Dataverse bol predtým známy ako Export to data lake. Táto služba bola premenovaná s účinnosťou od mája 2021 a bude pokračovať v exporte údajov do Azure Data Lake aj Azure Synapse Analytics. Táto šablóna je ukážkou kódu. Odporúčame vám použiť túto šablónu ako návod na testovanie funkčnosti získavania údajov z Azure Data Lake Storage Gen2 do Azure SQL Database pomocou poskytnutého kanála.

Požiadavky

Azure Synapse Link for Dataverse. Táto príručka predpokladá, že ste už splnili predpoklady na vytvorenie Azure Synapse Link s Azure Data Lake. Ďalšie informácie: Predpoklady pre Azure Synapse Link for Dataverse s vaším Azure Data Lake
Vytvorte Azure Synapse Workspace alebo Azure Data Factory pod rovnakým Microsoft Entra nájomníkom ako váš Power Apps nájomník.
Vytvorte Azure Synapse Link for Dataverse s povolenou prírastkovou aktualizáciou priečinka na nastavenie časového intervalu. Viac informácií: Dotazovanie a analýza prírastkových aktualizácií
Poskytovateľ Microsoft.EventGrid musí byť zaregistrovaný pre spúšťač. Ďalšie informácie: Portál Azure. Poznámka: Ak túto funkciu používate v Azure Synapse Analytics, uistite sa, že vaše predplatné je zaregistrované aj u poskytovateľa prostriedkov Data Factory, inak sa zobrazí chyba oznamujúca, že vytvorenie „odberu udalosti“ zlyhalo.
Vytvorte databázu Azure SQL s aktivovanou vlastnosťou Povoľte službám a zdrojom Azure prístup na tento server. Viac informácií: Čo treba vedieť pri nastavovaní Azure SQL Database (PaaS)?
Vytvorte a nakonfigurujte modul runtime integrácie Azure. Viac informácií: Vytvorenie modelu runtime integrácie Azure – Azure Data Factory & Azure Synapse

Dôležité

Použitie tejto šablóny môže spôsobiť dodatočné náklady. Tieto náklady súvisia s používaním Azure Data Factory alebo kanála pracovného priestoru Synapse a fakturujú sa mesačne. Náklady na používanie kanálov závisia najmä od časového intervalu prírastkovej aktualizácie a objemov dát. Ak chcete plánovať a spravovať náklady na používanie tejto funkcie, prejdite na: Monitorujte náklady na úrovni kanála pomocou analýzy nákladov

Pri rozhodovaní o použití tejto šablóny je dôležité vziať do úvahy tieto dodatočné náklady, pretože nie sú voliteľné a ak chcete túto funkciu naďalej používať, musíte ich zaplatiť.

Prejdite na portál Azure a otvorte Azure Synapse pracovný priestor.
Stlačte možnosť Integrácia > Galéria prehľadávania.
Stlačte možnosť Kopírovať údaje Dataverse do Azure SQL použitím Synapse Link z galérie integrácie.

Konfigurácia šablóny riešenia

Vytvorte prepojenú službu s Azure Data Lake Storage Gen2, ktorá je pripojená s Dataverse pomocou vhodného typu autentifikácie. Ak to chcete urobiť, stlačte možnosť Testovať pripojenie na overenie pripojenia, a potom stlačte Vytvoriť.
Podobne ako v predchádzajúcich krokoch vytvorte prepojenú službu s databázou Azure SQL, kde sa budú synchronizovať údaje Dataverse.
Po nakonfigurovaní vstupov stlačte možnosť Použiť túto šablónu.
Teraz je možné pridať spúšťač na automatizáciu tohto kanála, takže kanál môže vždy spracovávať súbory, keď sa pravidelne dokončia prírastkové aktualizácie. Prejdite do časti Správa > Spúšťač a vytvorte spúšťač pomocou nasledujúcich vlastností:
- Názov: Zadajte názov aplikácie pre spúšťač, ako je napríklad triggerModelJson.
- Typ: Udalosti úložiska.
- Predplatné Azure: Vyberte predplatné, ktoré má Azure Data Lake Storage Gen2.
- Názov účtu úložiska: Výber úložiska, kde sú údaje Dataverse.
- Názov kontajnera: Vyberte názov kontajnera vytvoreného cez Azure Synapse Link.
- Koniec cesty Blob: /model.json
- Udalosť: Blob vytvorené.
- Ignorovať prázdne blobs: Áno.
- Spúšťač začatia: Aktivujte Spúšťač začatia pri vytváraní.
Stlačením tlačidla Pokračovať môžete pokračovať na nasledujúcu obrazovku.
Na ďalšej obrazovke spúšťač overí zhodné súbory. Výberom položky OK vytvorte spúšťač.
Priraďte spúšťač ku kanálu. Prejdite na predtým importovaný kanál a potom stlačte možnosť Pridať spúšťač > Nový/Upraviť.
Vyberte spúšťač v predchádzajúcom kroku a potom stlačte Pokračovať a prejdite na ďalšiu obrazovku, kde spúšťač overí zhodné súbory.
Stlačením tlačidla Pokračovať môžete pokračovať na nasledujúcu obrazovku.
V časti Parameter spustenia spúšťača zadajte nižšie uvedené parametre a potom stlačte OK.
- Kontajner: @split(triggerBody().folderPath,'/')[0]
- Priečinok: @split(triggerBody().folderPath,'/')[1]
Po priradení spúšťača ku kanálu stlačte Overiť všetko.
Po úspešnom overení stlačte Publikovať všetko.
Ak chcete publikovať všetky zmeny, vyberte možnosť Publikovať.

Pridajte filter predplatného udalostí

Ak chcete zabezpečiť, aby sa spúšťač spustil iba po dokončení vytvorenia súboru model.json, je potrebné aktualizovať rozšírené filtre pre odber udalostí spúšťača. Udalosť je zaregistrovaná voči účtu úložiska pri prvom spustení spúšťača.

Po dokončení spúšťania prejdite do účtu úložiska > Udalosti > Predplatné udalostí.
Vyberte udalosť, ktorá bola zaregistrovaná pre spúšťač model.json.
Vyberte kartu Filtre a potom vyberte položku Pridať nový filter.
Vytvorenie filtra:
- Kľúč: predmet
- Operátor: Reťazec nekončí na
- Hodnota: /blobs/model.json
Odstráňte parameter CopyBlob data.api hodnotového poľa.
Stlačte Uložiť na nasadenie dodatočného filtra.