Azure Synapse Link for Dataverse – Najčešća pitanja

Datoteke sa podacima ne bi trebalo da budu modifikovane od strane kupca i nikakve datoteke sa klijentima ne bi trebalo da budu smeštene u fascikle sa podacima.

Da biste pristupili odnosi mnogi-na-više, odnos je dostupan kao tabela za odabir sa stranice Dodaj tabele za novu vezu i iz Upravljanje tabelama za već postojeću vezu.

Azure Synapse Link je besplatna funkcija sa Dataverse. Korišćenje Azure Synapse Link for Dataverse ne izaziva dodatne troškove pod. Dataverse Međutim, razmotrite potencijalne troškove za Azure uslugu:

• Skladištenje podataka u Azure Data Lake Storage Gen2: Azure Storage Data Lake Gen2 Cene | Microsoft Azure
• Troškovi potrošnje podataka (kao što je Sinapse Workspace): Cene - Azure Synapse Analytics | Microsoft Azure Za sveobuhvatne informacije o Microsoft Cost Management-u, idite na: Plan za upravljanje troškovima Azure - Microsoft Cost Management | Microsoft Learn

Kada dodate novu kolonu u tabelu u izvornom kodu, ona je takođe dodata na kraju fajla u odredištu u odgovarajućoj fajl particiji. Dok redovi koji su postojali pre dodavanja kolone nisu prikazani u novoj koloni, novi ili ažurirani redovi prikazuju novo dodatu kolonu.

Kada izbrišete kolonu iz tabele u izvoru, kolona nije ispuštena sa odredišta. Umesto toga, redovi se više ne ažuriraju i označavaju se kao nula uz očuvanje prethodnih redova.

Promena tipa podataka kolone je prekidna promena i potrebno je da se povežete i ponovo povežete.

Brisanje reda obrađuje se različito na osnovu izabranih opcija upisivanja podataka:

• Ažuriranje na mestu sa CSV formatom: Ovo je podrazumevani režim. Kada izbrišete red tabele u ovom režimu, red se takođe briše iz odgovarajuće particije podataka u Azure Data Lake. Drugim rečima, podaci se teško brišu sa odredišta.
• Samo dodatak sa CSV formatom i inkrementalnim ažuriranjem fascikle: U ovom režimu, kada se izbriše red tabele Dataverse , nije teško izbrisan sa odredišta. Umesto toga, red se dodaje i postavlja kao isDeleted=True datoteka u odgovarajućoj particiji podataka u Azure Data Lake.
• Izvoz u format Delta jezera: Azure Synapse Link vrši meko brisanje podataka tokom sledećeg ciklusa delta sinhronizacije, nakon čega sledi hard delete nakon 30 dana.

Azure Synapse Link prati zajednički model podataka kako bi se omogućilo da se podaci i njegovo značenje dele u aplikacijama i poslovnim procesima kao što su Microsoft Power Apps Power BI Dinamics KSNUMKS i Azure. U svakom CDM folderu, metapodaci kao zaglavlje kolone se čuvaju u datoteci model.json. Više informacija: Zajednički model podataka i Azure Data Lake Storage Gen2 | Microsoft Learn

Model.json zadržava dužinu baze podataka za veličinu kolone. Dataverse ima koncept dužine baze podataka za svaku kolonu. Ako kreirate kolonu veličine 200 i kasnije je smanjite na 100, Dataverse i dalje dozvoljava da postojeći podaci budu prisutni Dataverse. To čini držeći DBLength se 200 i MaxLength 100. Ono što vidite u Model.json je i DBLength ako to koristite za nizvodne procese, nikada nećete obezbediti manje prostora za svoje Dataverse kolone.

Postoje tri formata datuma i vremena koje možete da očekujete u izvezenim Dataverse tabelama.

Ovo ponašanje se očekuje kada izaberete režim izvoza samo za dodavanje i imate tabele bez važeće kolone CreatedOn . Blobovi su organizovani u fajlove kao što su 1.csv, 2.csv (koristeći prilagođeno particionisanje zbog odsustva važećeg datuma kreiranja). Kada se bilo koja particija približi 95% od MaxBlockPerBlobLimit, sistem automatski generiše novi fajl—ilustrovano ovde kao 1_001.csv.

Za Dataverse tabele u kojima je obim podataka velik u roku od godinu dana, preporučujemo vam upotrebu mesečnih particija. To rezultira manjim datotekama i boljim performansama. Pored toga, ako se redovi u Dataverse tabelama često ažuriraju, razdvajanje na više manjih datoteka pomaže u poboljšanju performansi u slučaju scenarija ažuriranja na licu mesta. Delta Lake je dostupan samo sa godišnjom particijom zbog svojih superiornih performansi u odnosu na CSV format.

U režimu samo dodavanja, inkrementalni podaci iz Dataverse tabela se dodaju odgovarajućoj particiji fajla u jezeru. Za više informacija: Napredne opcije konfiguracije u Azure Synapse Link

Režim „Samo dodaj“ je preporučena opcija za pisanje podataka Dataverse tabele u jezero, posebno kada je količina podataka velika u particiji sa podacima koji se često menjaju. Opet, ovo je često korišćena i toplo preporučena opcija za poslovne korisnike. Pored toga, ovaj režim možete da koristite za scenarije u kojima je namera postepeni pregled promena Dataverse i obraditi promene za ETL, AI i ML scenarije. Režim „Samo dodaj“ pruža istoriju promena, umesto najnovije promene ili ažuriranja na mestu, i omogućava nekoliko vremenskih serija iz AI scenarija, poput predviđanja ili analitike prognoziranja zasnovanu na istorijskim vrednostima.

U režimu dodavanja samo, trebalo bi da identifikujete najnoviju verziju zapisa sa istim ID-om koristeći VersionNumber i SinkModifiedOn zatim primenite isDeleted=0 na najnoviju verziju.

Za režim samo za dodavanje, ako Azure Synapse Link for Dataverse ne dobije potvrdu iz Azure jezera podataka da su podaci izvršeni iz bilo kog razloga, kao što su kašnjenja mreže, Azure Synapse Link pokušaće ponovo u tim scenarijima i ponovo urezivati podatke. Nizvodna potrošnja treba da bude otporna na ovaj scenario filtriranjem podataka koristeći SinkModifiedOn.

To je očekivano. Modifiedon je datum i vreme u kojem se zapis menja Dataverse; Sinkmodifiedon je datum i vreme kada se zapis menja u jezeru podataka.

Svaka tabela koja nema omogućeno praćenje promena nije podržana pored sledećih sistemskih tabela:

• Prilog
• Kalendar
• Calendarrule

Delta Lake konverzija posao se aktivira kada je došlo do promene podataka u konfigurisanom vremenskom intervalu. Ne postoji mogućnost da se zaustavi ili pauzira bazen. Apache Spark Međutim, možete da izmenite vremenski interval nakon kreiranja veze pod Upravljanje tabelama > Napredni vremenski interval.

Kolone za pretragu se sastoje od ID-a i vrednosti. Vrednosti pretrage se menjaju samo na korenu tabeli. Da biste bolje odražavali vrednost kolone za pretragu, preporučujemo da se pridružite originalnoj korenskoj tabeli da biste dobili najnoviju vrednost.

U Dataverse, izračunate kolone zadržavaju samo informacije o formuli, a stvarna vrednost zavisi od kolone osnovne tabele. Dakle, izračunate kolone su podržane samo kada se sve kolone nalaze u istoj izvezenoj tabeli.

Sve tabele koje nemaju createdOn polje je sinhronizovano korišćenjem dodavanja samo režim po defaultu. Ovo uključuje tabele odnosa i tabelu ActivitiParty.

• Dataverse Podaci se čuvaju u povezanom kontejneru za skladištenje. Potrebna vam je uloga "Storage Blob Data saradnik" na povezanom računu za skladištenje da biste izvršili operacije čitanja i upita putem Sinapse radnog prostora.
• Ako odlučite da izvozite podatke u formatu Delta Lake, vaša CSV datoteka se čisti nakon konverzije Delta Lake. Potrebno je da upitate podatke sa non_partitioned tabelama preko Sinapse Workspace-a.

Dataverse podaci se mogu neprestano menjati kroz kreiranje, ažuriranje i brisanje transakcija. Ova greška je uzrokovana osnovnom datotekom koja se menja kada čitate podatke iz nje. Dakle, za tabele sa stalnim promenama, promenite svoj cevovod potrošnje da biste koristili podatke o snimak (particionirane tabele) za potrošnju. Više informacija: Rešavanje problema bez servera SKL bazen

Azure Synapse Link for Dataverse je dizajniran za analitičke svrhe. Preporučujemo korisnicima da koriste dugoročno zadržavanje u arhivske svrhe. Više informacija: Dataverse pregled dugoročnog zadržavanja podataka

Za bilo koji direktan SKL poziv za uklanjanje zapisa, Azure Synapse Link for Dataverse usluga se ne aktivira jer BPO. Delete se ne zove. Za funkciju uzorka idite na Kako očistiti nasleđeni pristup.

Pogledajte i ovo

Azure Synapse Link for Dataverse