Vytvorenie riešenia Azure Synapse Link for Dataverse s Azure Data Lake

Článok
05/14/2024

Môžete použiť Azure Synapse Link na prepojenie údajov Microsoft Dataverse do Azure Data Lake Storage Gen2, čo umožní rôzne analytické scenáre. V tomto článku sa dozviete, ako vykonať nasledujúce činnosti:

Pripojte svoje údaje Dataverse do vášho účtu Azure Data Lake Storage Gen2 so službou Azure Synapse Link.
Spravujte tabuľky Dataverse zahrnuté v Azure Synapse Link.
Monitorujte svoje Azure Synapse Link.
Zrušte prepojenie svojho Azure Synapse Link.
Znova prepojte svoje Azure Synapse Link.
Zobrazte svoje údaje v Azure Data Lake, aby ste porozumeli štruktúre súborov.

Poznámka

Azure Synapse Link for Dataverse bol predtým známy ako Export to data lake. Táto služba bola premenovaná s účinnosťou od mája 2021 a bude pokračovať v exporte údajov do Azure Data Lake aj Azure Synapse Analytics.

Požiadavky

Azure Data Lake Storage Gen2: Musíte mať účet Azure Data Lake Storage Gen2 a rolu prístupu Vlastník a Prispievateľ dát do úložiska Blob. Váš účet úložiska musí povoliť hierarchický priestor názvov na úvodné nastavenie aj delta synchronizáciu. Vyžaduje sa prístup ku kľúču účtu úložiska len pre počiatočné nastavenie.

Poznámka

Účet úložiska musí byť vytvorený v tom istom Microsoft Entra nájomníkovi ako váš Power Apps nájomník.
Ak chcete nastaviť Povolené z vybratých virtuálnych sietí a adries IP pre účet prepojeného úložiska na udeľovanie prístupu z vybratých adries IP, musíte vytvoriť Azure Synapse Link so spravovanými identitami .Používajte spravované identity pre Azure s úložiskom Azure Data Lake (bez nastavenia spravovaných identít musíte povoliť prístup k verejnej sieti pre prostriedky Azure na úvodné nastavenie aj delta synchronizáciu. )
Musíte mať rolu prístupu Čitateľ na prístup do skupiny zdrojov s kontom úložiska.
Na prepojenie prostredia s Azure Data Lake Storage Gen2, musíte mať rolu zabezpečenia správcu systému Dataverse.
Exportovať možno pridať iba tabuľky so zapnutým sledovaním zmien.
Vytvorenie Azure Synapse Link profilov v rámci jedného Dataverse prostredia je obmedzené na maximálne 10.

Pripojte Dataverse k Azure Data Lake Storage Gen2

Prihláste sa do Power Apps a vyberte preferované prostredie.
Na ľavej navigačnej table vyberte Azure Synapse Link. Ak Azure Synapse Link na paneli bočného panela nie je viditeľný, vyberte …Viac a vyberte Objaviť všetko. Azure Synapse Link je v sekcii Správa údajov .
Na paneli príkazov vyberte + Nový odkaz na dátové jazero.
Vyberte Predplatné, Skupina zdrojov a Konto ukladacieho priestoru. Zaistite, aby konto ukladacieho priestoru spĺňalo požiadavky uvedené v sekcii Predpoklady. Vyberte Ďalej.

Poznámka

V rámci prepojenia prostredia k data lake, udeľte prístup služby Azure Synapse Link k vášmu účtu úložiska. Uistite sa, že ste postupovali podľa predpokladov o vytvorení a konfigurácii účtu Azure Data Lake Storage a udelili si rolu vlastníka na účte úložiska. Ďalej udeľujete službe Power Platform Dataflows prístup k vášmu účtu úložiska. Ďalšie informácie: Samoobslužná príprava údajov s dátovými tokmi.
Pridajte tabuľky, ktoré chcete exportovať, a potom stlačte možnosť Uložiť. Exportovať možno pridať iba tabuľky s povoleným sledovaním zmien. Ďalšie informácie: Povolenie sledovania zmien.

Podľa krokov v tomto článku môžete vytvoriť prepojenie z jedného prostredia na viacero dátových jazier Azure vo svojom predplatnom Azure. Podobne môžete vytvoriť odkaz z viacerých prostredí do rovnakého Azure Data Lake, všetko v rámci toho istého nájomníka.

Poznámka

Služba Azure Synapse Link for Dataverse je bezproblémovo integrovaná do Power Platform ako predpripravená funkcia. Spĺňa štandardy zabezpečenia a správy stanovené pre Power Platform ukladanie údajov a správu. Ďalšie informácie: Ukladanie a správa údajov

Údaje exportované službou Azure Synapse Link sú pri prenose šifrované pomocou zabezpečenia Transport Layer Security (TLS) 1.2 alebo vyššej a v pokoji sú šifrované v Azure Data Lake Storage Gen2. Okrem toho sú prechodné údaje v úložisku blob tiež šifrované v pokoji. Šifrovanie v Azure Data Lake Storage Gen2 vám pomáha chrániť vaše údaje, implementovať podnikové bezpečnostné politiky a spĺňať požiadavky na dodržiavanie regulačných predpisov. Viac informácií: Šifrovanie údajov Azure v pokoji

Spravujte údaje tabuľky do dátového jazera

Po nastavení Azure Synapse Link môžete spravovať tabuľky, ktoré sa exportujú, jedným z dvoch spôsobov:

V rámci Power Apps a oblasti Azure Synapse Link stlačte možnosť Spravovať tabuľky na paneli príkazov na pridanie alebo odstránenie jednej alebo viacerých prepojených tabuliek.
Na portáli tvorcu Power Apps v oblasti Tabuľky vyberte … vedľa tabuľky a potom vyberte prepojené dátové jazero, do ktorého chcete exportovať údaje z tabuľky.

Monitorujte svoje Azure Synapse Link

Po nastavení Azure Synapse Link môžete sledovať Azure Synapse Link na karte Tabuľky .

Azure Synapse Link monitorovanie

K dispozícii bude zoznam tabuliek, ktoré sú súčasťou vybratých Azure Synapse Link.
Existujú rôzne fázy, cez ktoré cirkuluje stav synchronizácie. NotStarted znamená, že tabuľka čaká na synchronizáciu. Keď je počiatočná synchronizácia tabuľky Dokončená, nasleduje fáza spracovania, v ktorej sa nebudú vykonávať prírastkové aktualizácie. Môže to trvať niekoľko hodín v závislosti od veľkosti vašich údajov. Keď začnú prebiehať prírastkové aktualizácie, dátum poslednej synchronizácie sa bude pravidelne aktualizovať.
Stĺpec Počet zobrazuje počet zapísaných riadkov. Ak je možnosť Iba pripojiť nastavená na Nie, ide o celkový počet záznamov. Ak je možnosť Iba pripojiť nastavená na Áno, ide o celkový počet zmien.
Stĺpce Iba pripojiť a Stratégia oblastí zobrazujú použitie rôznych pokročilých konfigurácií.

Zrušenie prepojenia Azure Synapse Link

Vyberte požadované Azure Synapse Link na odpojenie.
Vyberte Odpojiť data lake z príkazového riadka.
Ak chcete odstrániť oba systémy súborov z data lake, zvoľte Odstrániť systém súborov data lake.
Stlačte Áno a počkajte niekoľko minút, kým sa všetko odpojí a odstráni.

Opätovné prepojenie Azure Synapse Link

Ak ste pri odpájaní odstránili súborový systém, znova prepojte rovnaké data lake podľa vyššie uvedených krokov. Ak ste pri odpájaní neodstránili systém súborov, na opätovné prepojenie musíte vymazať údaje:

Prejdite do Azure Data Lake.
Odstráňte kontajner Dataverse.
Prejdite do Power Apps a znova prepojte data lake.

Zobrazte svoje údaje v Azure Data Lake Storage Gen2

Vyberte požadované Azure Synapse Link a potom vyberte Prejsť do ukladacieho priestoru Azure Data Lake z horného panelu.
Rozbaľte možnosť Systémy súborov, a potom vyberte dataverse-environmentName-organizationUniqueName.

Súbor model.json spolu s jeho názvom a verziou poskytuje zoznam tabuliek, ktoré boli exportované do údajového jazera. Súbor model.json obsahuje aj počiatočný stav synchronizácie a čas dokončenia synchronizácie.

Pre každú tabuľku exportovanú do údajového jazera sa zobrazí priečinok, ktorý obsahuje súbory oddelené čiarkami (formát CSV). Údaje tabuľky v dátovom jazere.

Prepojte pracovný priestor Synapse s existujúcim Azure Synapse Link profilom iba s dátovým jazerom

V paneli s adresou webového prehliadača pridajte ?athena.updateLake=true k webovej adrese, ktorá končí exporttodatalake.
Vyberte existujúci profil z oblasti Azure Synapse Link a potom vyberte rozšírenú možnosť.
Vyberte Prepojiť s Azure Synapse Analytics Pracovný priestor a počkajte niekoľko minút, kým sa všetko prepojí.

Priebežné aktualizácie snímok

Microsoft Dataverse údaje sa môžu nepretržite meniť prostredníctvom vytvárania, aktualizácie a odstraňovania transakcií. Snímky poskytujú kópiu iba na čítanie s údajmi, ktoré sa aktualizujú v pravidelných intervaloch, v tomto prípade každú hodinu. To zaisťuje, že v ktoromkoľvek momente môže spotrebiteľ dátovej analýzy spoľahlivo spotrebovať údaje v jazere.

Priebežné aktualizácie snímok.

Keď sú tabuľky pridané ako súčasť počiatočného exportu, údaje z tabuľky sa zapíšu do súborov table.csv v zodpovedajúcich priečinkoch v dátovom jazere. Toto je interval T1, kde sa vytvorí súbor iba na čítanie s názvom tabuľka-T1.csv—napríklad Account-T1.csv alebo Contacts-T1.csv—. Okrem toho sa aktualizuje súbor mode.json, aby odkazoval na tieto súbory snímok. Po otvorení model.json si môžete zobraziť podrobnosti snímky.

Tu je príklad rozdeleného súboru a snímky priečinka Account.csv v Data Lake.

Snímka tabuľky účtov.

Zmeny v Dataverse sú nepretržite odosielané do zodpovedajúcich súborov CSV pomocou mechanizmu posúvania. Toto je interval T2, kde sa urobí ďalšia snímka. tabuľka-T2.csv—napríklad Účty-T2.csv alebo Kontakty-T2.csv (za predpokladu, že dôjde k zmenám v tabuľke) —a model.json sa aktualizujú na nové súbory snímok. Každá nová osoba, ktorá si prezerá údaje snímok od T2, je nasmerovaná na novšie súbory snímok. Týmto spôsobom môže pôvodný prehliadač snímok pokračovať v práci na starších súboroch T1 snímok, zatiaľ čo novší zobrazovači si môžu čítať najnovšie aktualizácie. Je to užitočné v scenároch, ktoré majú dlhšie bežiace následné procesy.

Poznámka

Nový súbor snímky sa vytvorí iba v prípade aktualizácie údajov. Zachová sa iba posledných päť súborov snímok. Stagnujúce údaje budú automaticky odstránené z vášho účtu Azure Data Lake Storage Gen 2.

Tu je príklad súboru model.json, ktorý vždy ukazuje na najnovší časovo označený súbor snímky účtu.

Ukážka snímky súboru model.json.

Čo ďalej?

Po úspešnom použití služby Azure Synapse Link for Dataverse zistite, ako môžete analyzovať a spotrebovať svoje údaje pomocou Centrum oboznamovania sa. Na prístup k Centru oboznamovania sa prejdite na Power Apps > Azure Synapse Link. Vyberte prepojenú službu a potom vyberte kartu Centrum objavovania. Tu nájdete odporúčané nástroje a zostavenú dokumentáciu, ktorá vám pomôže z vašich údajov vyťažiť maximum. Centrum objavovania.