Najčastejšie otázky Azure Synapse Link for Dataverse

Tento článok poskytuje informácie o najčastejších otázkach týkajúcich sa exportu údajov tabuliek Microsoft Dataverse do Azure Synapse Analytics a Azure Data Lake.

Môžem manuálne vykonávať úlohy, ako je vytváranie, aktualizácia, odstraňovanie alebo nastavenie zásad automatického odstraňovania pre dátové súbory v pripojenom úložisku Azure?

Zákazník by nemal upravovať dátové súbory a do dátových priečinkov by sa nemali umiestňovať žiadne zákaznícke súbory.

Poznámka

Ak chcete v dátovom jazere vypustiť zastarané a stagnujúce údaje bez porušenia Azure Synapse Link, zvážte použitie funkcie Dopyt a analyzujte prírastkové aktualizácie

Ako získam prístup k svojim vzťahom v tabuľke?

Ak chcete získať prístup k vzťahom many-to-many, vzťah je k dispozícii ako tabuľka, ktorú môžete vybrať na stránke Pridať tabuľky pre nový odkaz a na stránke Spravovať tabuľky pre už existujúci odkaz.

Poznámka

Všetky údaje o vzťahoch sú pri zápise vo formáte CSV predvolene v režime iba pridania.

Azure Synapse Link je bezplatná funkcia s Dataverse. Za používanie Azure Synapse Link for Dataverse nevznikajú dodatočné poplatky podľa Dataverse. Zvážte však potenciálne náklady na službu Azure:

Čo sa stane, keď pridám stĺpec?

Keď pridáte nový stĺpec do tabuľky v zdroji, pridá sa aj na koniec súboru v cieľovom umiestnení v príslušnom oddiele súboru. Zatiaľ čo riadky, ktoré existovali pred pridaním stĺpca, sa v novom stĺpci nezobrazujú, nové alebo aktualizované riadky zobrazujú novo pridaný stĺpec.

Čo sa stane, keď odstránim stĺpec?

Keď odstránite stĺpec z tabuľky v zdroji, stĺpec sa z cieľa nevypustí. Namiesto toho sa riadky už neaktualizujú a pri zachovaní predchádzajúcich riadkov sa označia ako nulové.

Čo sa stane, ak zmením typ údajov stĺpca?

Zmena typu údajov stĺpca je prelomovou zmenou a musíte odpojiť a znova prepojiť.

Čo sa stane, keď odstránim riadok?

Odstránenie riadku sa rieši inak podľa toho, ktoré možnosti zápisu údajov si vyberiete:

  • Aktualizácia na mieste vo formáte CSV: Toto je predvolený režim. Keď v tomto režime odstránite riadok tabuľky, riadok sa odstráni aj z príslušného údajového oddielu v Azure Data Lake. Inými slovami, údaje sa z cieľového miesta odstránia natrvalo.
  • Iba pridanie s formátom CSV a prírastkovou aktualizáciou priečinka: V tomto režime, keď sa odstráni Dataverse riadok tabuľky, nie je ťažké ho odstrániť z cieľa. Namiesto toho sa pridá riadok a nastaví sa ako isDeleted=True do súboru v príslušnom údajovom oddiele v Azure Data Lake.
  • Export do formátu Delta lake: Azure Synapse Link vykoná mäkké vymazanie údajov počas nasledujúceho synchronizačného cyklu delta, po ktorom nasleduje tvrdé vymazanie po 30 dňoch.

Prečo sa mi v exportovanom súbore nezobrazuje hlavička stĺpca?

Azure Synapse Link sa riadi spoločným dátovým modelom, ktorý umožňuje zdieľanie údajov a to v rámci aplikácií a obchodných procesov, ako sú Microsoft Power Apps, Power BI, Dynamics 365 a Azure. V každom priečinku CDM sú metadáta, ako napríklad hlavička stĺpca, uložené v súbore model.json. Viac informácií: Spoločný dátový model a Azure Data Lake Storage Gen2 | Microsoft Learn

Prečo sa dĺžka súboru Model.json pre typy údajov zväčšuje alebo mení a nezachováva to, čo je definované v Dataverse?

Model.json zachováva dĺžku databázy pre veľkosť stĺpca. Dataverse má koncepciu dĺžky databázy pre každý stĺpec. Ak vytvoríte stĺpec s veľkosťou 200 a neskôr ho zmenšíte na 100, Dataverse v Dataverse stále umožňuje, aby boli vaše existujúce údaje prítomné. Robí to tak, že drží DBLength na 200 a MaxLength na 100. To, čo vidíte v Model.json, je DBLength a ak to použijete pre následné procesy, nikdy neposkytnete menší priestor pre svoje Dataverse stĺpce.

Poznámka

Memo polia sú definované ako varchar(max) s predvolenou maximálnou dĺžkou 9999.

Aké formáty dátumu a času možno očakávať pri exporte tabuliek Dataverse?

V exportovaných tabuľkách Dataverse možno očakávať tri formáty dátumu a času.

Názov stĺpca Formát Typ údajov Príklad
SinkCreatedOn a SinkModifiedOn M/d/rrrr H:mm:ss tt datetime 6/28/2021 4:34:35 PM
CreatedOn rrrr-MM-dd'T'HH:mm:ss.sssssssXXX datetimeOffset 2018-05-25T16:21:09.0000000+00:00
Všetky ostatné stĺpce rrrr-MM-dd'T'HH:mm:ss'Z' datetime 2021-06-25T16:21:12Z

Poznámka

Typ údajov CreatedOn sa 7. 2022 zmenil z datetime na datetimeOffset . Ak chcete upraviť formát typu údajov pre tabuľku vytvorenú pred zmenou, zrušte a prečítajte si tabuľku.

Môžete si vybrať rôzne správanie stĺpcov pre stĺpec Dátum a čas v Dataverse, ktorý aktualizuje formát typu údajov. Ďalšie informácie: Správanie a formát stĺpca s dátumom a časom

Prečo sa mi pri niektorých tabuľkách Dataverse zobrazujú názvy súborov 1.csv alebo 1_001.csv namiesto bežných názvov súborov rozdelených podľa dátumu a času?

Toto správanie sa očakáva, keď zvolíte režim exportu len s pripojením a máte tabuľky bez platného stĺpca CreatedOn . Bloby sú usporiadané do súborov, ako napríklad 1.csv, 2.csv (používa sa vlastné rozdelenie z dôvodu absencie platného dátumu vytvorenia). Keď sa ktorýkoľvek oddiel priblíži k 95 % MaxBlockPerBlobLimit, systém automaticky vygeneruje nový súbor – tu znázornený ako 1_001.csv.

Kedy by som mal použiť ročnú alebo mesačnú stratégiu oddielov?

Pre tabuľky Dataverse, kde je objem dát vysoký v rámci jedného roka, odporúčame používať mesačné oddiely. Výsledkom budú menšie súbory a lepší výkon. Okrem toho, ak sa riadky v tabuľkách Dataverse často aktualizujú, rozdelenie do viacerých menších súborov pomáha zlepšiť výkon v prípade scenárov aktualizácií na mieste. Delta Lake je k dispozícii iba s ročným oddielom kvôli jeho vynikajúcemu výkonu v porovnaní s formátom CSV.

Čo je režim iba pridania a aký je rozdiel medzi režimom iba pridania a režimom aktualizácie na mieste?

V režime iba pridania sú prírastkové údaje z tabuliek Dataverse pridané do zodpovedajúceho oddielu súboru v jazere. Ďalšie informácie: Rozšírené možnosti konfigurácie v Azure Synapse Link

Kedy použijem režim iba pridania na historické zobrazenie zmien?

Pre zápis údajov tabuliek Dataverse do priestoru Data Lake je odporúčaná možnosť Iba pripojiť, najmä keď sú objemy údajov vysoké v rámci oddielu s často sa meniacimi údajmi. Toto je opäť bežne používaná a veľmi odporúčaná možnosť pre podnikových zákazníkov. Ďalej sa môžete rozhodnúť použiť tento režim pre scenáre, ktorých zámerom je postupne kontrolovať zmeny z Dataverse a spracovať zmeny pre scenáre ETL, AI a ML. Režim iba pridania poskytuje históriu zmien namiesto najnovšej zmeny alebo miestnej aktualizácie a umožňuje niekoľko časových radov zo scenárov umelej inteligencie, napríklad predikciu alebo prognózovanie analýz na základe historických hodnôt.

Ako získam najaktuálnejší riadok každého záznamu a vylúčim odstránené riadky, keď exportujem údaje v režime iba pripojenia?

V režime iba pridania by ste mali identifikovať najnovšiu verziu záznamu s rovnakým ID pomocou VersionNumber a SinkModifiedOn potom použiť isDeleted=0 na najnovšiu verziu.

Prečo sa mi pri exporte údajov pomocou režimu iba pripojenia zobrazujú duplicitné čísla verzií?

V prípade režimu iba pripojenia, ak Azure Synapse Link for Dataverse nedostane potvrdenie od Azure Data Lake, že údaje boli potvrdené z akéhokoľvek dôvodu, ako je napríklad oneskorenie siete, Azure Synapse Link skúsí to znova v týchto scenáre a znova odovzdajte údaje. Následná spotreba by mala byť odolná voči tomuto scenáru filtrovaním údajov pomocou SinkModifiedOn.

Prečo vidím rozdiely v stĺpcoch Sinkmodifiedon a Modifiedon?

Očakáva sa. Modifiedon je dátum a čas zmeny záznamu v Dataverse; Sinkmodifiedon je dátum a čas zmeny záznamu v dátovom jazere.

Ktoré Dataverse tabuľky nie sú podporované na export?

Žiadna tabuľka, ktorá nemá povolené sledovanie zmien, nie je podporovaná okrem nasledujúcich systémových tabuliek:

  • Attachment
  • Kalendár
  • Calendarrule

Poznámka

Tabuľku auditu na export môžete pridať pomocou Azure Synapse Link for Dataverse. Export tabuľky auditu je však podporovaný iba s profilmi Delta Lake.

Používam funkciu exportu do delta jazera, môžem zastaviť Apache Spark úlohu alebo zmeniť čas vykonania?

Úloha konverzie Delta Lake sa spustí, keď došlo k zmene údajov v nakonfigurovanom časovom intervale. Neexistuje žiadna možnosť zastaviť alebo pozastaviť bazén Apache Spark . Časový interval po vytvorení prepojenia však môžete upraviť v časti Spravovať tabuľky > Rozšírený časový interval.

Vyhľadávacie stĺpce sa skladajú z ID a hodnoty. Vyhľadávacie hodnoty sa menia iba v koreňovej tabuľke. Ak chcete lepšie odrážať hodnotu vyhľadávacieho stĺpca, odporúčame vám spojiť sa s pôvodnou koreňovou tabuľkou, aby ste získali najnovšiu hodnotu.

V Dataverse vypočítané stĺpce uchovávajú iba informácie o vzorci a skutočná hodnota závisí od stĺpca základnej tabuľky. Vypočítané stĺpce sú teda podporované iba vtedy, keď sú všetky stĺpce umiestnené v rovnakej exportovanej tabuľke.

Ktoré Dataverse tabuľky štandardne používajú režim iba pripojenia?

Všetky tabuľky, ktoré nemajú pole createdOn, sa predvolene synchronizujú pomocou režimu iba pripojenia. To zahŕňa tabuľky vzťahov a tabuľku ActivityParty.

Prečo sa mi zobrazuje chybové hlásenie - Nie je možné uviesť obsah adresára na ceste?

  • Dataverse údaje sú uložené v pripojenom úložnom kontajneri. Na vykonávanie operácií čítania a dotazov prostredníctvom pracovného priestoru Synapse potrebujete rolu „Prispievateľ údajov blobu úložiska“ v prepojenom účte úložiska.
  • Ak sa rozhodnete exportovať údaje vo formáte Delta Lake, váš súbor CSV sa po konverzii Delta Lake vyčistí. Musíte vyhľadávať údaje s nerozdelenými tabuľkami cez Synapse Workspace.

Prečo sa mi zobrazuje chybové hlásenie – nedá sa hromadne načítať, pretože súbor je neúplný alebo sa nedá prečítať (iba súbor CSV)?

Údaje Dataverse sa môžu priebežne meniť prostredníctvom vytvárania, aktualizácie a vymazávania transakcií. Táto chyba je spôsobená zmenou základného súboru, keď z neho čítate údaje. V prípade tabuliek s priebežnými zmenami teda zmeňte svoj kanál spotreby tak, aby na spotrebu používal údaje zo snímok (rozdelené tabuľky). Ďalšie informácie: Riešenie problémov s fondom SQL bez servera

Azure Synapse Link for Dataverse je určený na analytické účely. Zákazníkom odporúčame využiť dlhodobé uchovávanie na účely archivácie. Ďalšie informácie: Dataverse prehľad dlhodobého uchovávania údajov

Prečo nevidím žiadne zmeny údajov v dátovom jazere, keď boli záznamy odstránené v Dataverse?

Pri akomkoľvek priamom volaní SQL na odstránenie záznamu sa služba Azure Synapse Link for Dataverse nespustí, pretože sa nevolá BPO.Delete. Vzorovú funkciu nájdete v časti Ako vyčistiť zdedený prístup.