Napredne opcije konfiguracije u Azure Synapse Link
Azure Synapse Link nudi više načina za pisanje i čitanje podataka u skladu sa različitim analitičkim scenarijima. U zavisnosti od vašeg analitičkog scenarija, možete odabrati određenu konfiguraciju iz opcija ispod.
| Scenario | Odnosi se na | Dostupne opcije konfiguracije |
|---|---|---|
| Operativno izveštavanje | Dataverse Tabele, finansije i operacije tabele i entiteti | Sinapse Analitika sa opcijom Delta lake pruža bolje vreme odgovor na upit, posebno primenljivo za upite velikih količina podataka. Više informacija: Sinapse Link sa opcijom Delta jezera |
| Operativno izveštavanje | Dataverse samo tabele | Sinapse Link sa opcijom konfiguracije "Ažuriranje na mestu" obezbeđuje CSV datoteke u vašem jezeru podataka koje se ažuriraju u realnom vremenu Ovo je nasleđena opcija dostupna za Dataverse tabele. Ova opcija nije podržana za tabele iz aplikacije za finansije i operacije |
| Integracija podataka | Dataverse Tabele i finansije i operacije tabele i entiteti | "Opcija Append only obezbeđuje CSV datoteke koje sadrže inkrementalne podatke. Možete izgraditi cevovode koji troše inkrementalne podatke i popunjavaju nizvodne sisteme Korisnički specificirana funkcija particije podataka omogućava da izaberete prilagođenu strategiju particionisanja podataka posebno za Dataverse tabele. Podaci tabele finansija i operacija su podeljeni od strane sistema na osnovu odgovarajuće strategije particije. Ova opcija nije dostupna za aplikacije za finansije i operacije |
Belešku
Azure Synapse Link for Dataverse ranije je bio poznat kao izvoz u jezero podataka. Usluga je preimenovana na snagu maja 2021. godine i nastaviće da izvozi podatke, kao Azure Data Lake Storage i Azure Synapse Analytics. Počevši od septembra 2023. godine, Azure Synapse Link takođe vam omogućava da izaberete podatke iz Dynamics 365 finansijskih i operativnih aplikacija. Nisu svi obrasci integracije podržani sa aplikacije za finansije i operacije. Za uputstva o prelasku sa funkcije izvoza u jezero podataka u aplikacijama za finansije i operacije u Sinapse Link, idite na Vodič za tranziciju.
Ovaj članak pokriva napredne postavke konfiguracije dostupne za Dataverse tabele. Ove opcije nisu dostupne za aplikacije za finansije i operacije.
- Ažuriranja na mestu u odnosu na pisanje samo za prilog.
- Korisnički definisana podela podataka.
Ažuriranja na mestu u odnosu na pisanje samo za prilog
Prilikom pisanja Dataverse podataka tabele u Azure jezero podataka, na osnovu createdOn vrednosti, koja je datum i vreme kada je zapis kreiran, postoje dve različite postavke koje možete izabrati. Oni su, na mestu ažuriranje i samo dodati.
Podrazumevano podešavanje (za tabele gde createdOn je dostupan) je da se uradi ažuriranje na mestu ili upsert (ažuriranje ili umetanje) inkrementalnih podataka u odredištu. Ako je promena nova i odgovarajući red ne postoji u jezeru, u slučaju kreiranja, odredišne datoteke se skeniraju, a promene se ubacuju u odgovarajuću particiju datoteke u jezeru. Ako je promena ažuriranje i red postoji u jezeru, odgovarajuća datoteka u jezeru se ažurira, a ne ubacuje, sa inkrementalnim podacima. Drugim rečima, podrazumevana postavka za sve CUD (kreiranje, ažuriranje, brisanje) promene u Dataverse tabelama, gde createdOn je dostupno, jeste da se uradi ažuriranje na mestu u odredištu, u Azure Data Lake.
Možete da promenite podrazumevano ponašanje ažuriranja na mestu korišćenjem opcionog podešavanja pod nazivom Samo dodavanje. Umesto ažuriranja na mestu, u režimu samo za dodavanje , inkrementalni podaci iz Dataverse tabela se dodaju odgovarajućoj particiji fajlova u jezeru. Ovo je postavka po tabeli i dostupna je kao polje za potvrdu pod Advanced >Show naprednim podešavanjima konfiguracije. Za Dataverse tabele sa uključenim samo dodavanjem , sve CUD promene se inkrementalno dodaju odgovarajućim odredišnim datotekama u jezeru. Kada izaberete ovu opciju, strategija particije podrazumeva Godina i kada se podaci zapisuju u jezero podataka, oni su podeljeni po godišnjoj osnovi. Samo dodavanje je takođe podrazumevano podešavanje za Dataverse tabele koje nemaju createdOn vrednost.
Ova tabela opisuje kako se redovi obrađuju u jezeru protiv CUD događaja za svaku od opcija pisanja podataka.
| Događaj | Ažuriranje na mestu | Samo prilaganje |
|---|---|---|
| Kreiranje | Red je ubačen u fajl particije i zasniva se na createdOn vrednosti u redu. |
Red se dodaje na kraj particionog fajla i zasniva se na createdOn vrednosti zapisa. |
| Ažuriranje | Ako red postoji u datoteci particije, tada se zamenjuje ili ažurira ažuriranim podacima. Ako ne postoji, ubacuje se u datoteku. | Red, zajedno sa ažuriranom verzijom, dodaje se na kraj datoteke particije. |
| Delete | Ako red postoji u datoteci particije, uklanja se iz datoteke. | Red se dodaje na kraj particionog fajla sa IsDelete column = True. |
Belešku
Za Dataverse tabele u kojima je omogućeno samo dodavanje, brisanje reda u izvornom kodu neće obrisati ili ukloniti red u jezeru. Umesto toga, obrisani red se dodaje kao novi red u jezeru i kolona je podešena isDeleted na True.
Prljavo čitanje (ALLOW_INCONSISTENT_READS) za serverless je omogućeno samo za režim dodavanja. ALLOW_INCONSISTENT_READS znači da je korisnik u mogućnosti da čita datoteke koje se mogu stalno menjati dok SELECT je upit pokrenut. Rezultati će biti konzistentni i ekvivalentni čitanju snimak datoteke. (To nije ekvivalentno izolaciji snimak baze podataka zbog različitog vremena generisanja snimak.)
Neće sve promene CUD biti zarobljene samo udodatku: Sinapse Link obrađuje promene u podacima u grupama ili "serijama" pre nego što ih objavi u jezeru podataka. Kao rezultat toga, ako korisnik izvrši promene u kratkom vremenskom intervalu, neće sve promene CUD biti zarobljene u jezeru podataka.
Evo malo više detalja o tome kada da koristite koju od opcija.
- Ažuriranje na mestu: Ova opcija je podrazumevana postavka i preporučuje se samo ako želite da se direktno povežete sa podacima u jezeru i treba vam trenutno stanje (ne istorija ili inkrementalne promene). Datoteka sadrži ceo skup podataka i možete se koristiti putem usluge Power BI ili kopiranjem celokupnog skupa podataka za ETL (Izvoz, Transfer, Učitavanje) kanale.
- Samo dodavanje: Izaberite ovu opciju ako se ne povezujete direktno sa podacima u jezeru i želite da inkrementalno kopirate podatke na drugi cilj koristeći ETL cevovode. Ova opcija obezbeđuje istoriju promena kako bi bili omogućeni AI i ML scenariji.
Možete da uključite Prikaži napredne postavke konfiguracije pod Napredno da Azure Synapse Link for Dataverse prilagodite strategiju particije podataka i izaberete opcije za pisanje u Azure Data Lake.
Podela podataka
Kada pišete Dataverse podatke tabele u Azure Data Lake Storage korišćenjem Azure Synapse Link, tabele su particionisane (umesto jedne datoteke) u jezeru na osnovu createdOn vrednosti u svakom redu u izvoru. Podrazumevana strategija podele je po mesecima, a podaci se dele u Azure jezeru podataka mesečno.
Na osnovu obima Dataverse tabele i distribucije podataka, možete odabrati detaljniju strategiju particionisanja za podelu podataka po godinama. Sa ovom opcijom, kada Dataverse se podaci tabele upisuju u Azure Data Lake, oni će biti podeljeni na godišnjem nivou na osnovu createdOn vrednosti na svakom redu u izvoru. Za tabele createdOn bez kolone, redovi podataka su podeljeni u novi fajl svaki 5,000,000 zapisa. Ovo je postavka po tabeli i dostupna je kao polje za potvrdu pod Napredna>ponuda naprednih podešavanja konfiguracije.
Više detalja sa primerima kako se rukuje podacima u jezeru sa godišnjom ili mesečnom strategijom podele:
