Kopīgot, izmantojot


Vaicājiet un analizējiet pakāpeniskos atjauninājumus, izmantojot Azure Synapse Link for Dataverse

Microsoft Dataverse dati (tostarp dati no Dynamics 365 programmām un finansēm un operācijām) var nepārtraukti mainīties, izveidojot, atjauninot un dzēšot transakcijas. Izmantojot pakāpeniskā atjaunināšanas opciju, varat izveidot inkrementālus datu konveijerus, kas šīs izmaiņas piemēro pakārtotajām sistēmām un datu bāzēm. Azure Synapse Saite, lai eksportētu Dataverse pakāpeniskos datus mapēs ar laika zīmogu, kas satur datu izmaiņas lietotāja norādītajos laika intervālos.

Varat izmantot pakāpeniskas atjaunināšanas līdzekli vairākiem scenārijiem:

  • Atjauniniet pakārtotu datu krātuvi vai datu noliktavu. Iespējams, jums būs jālieto izmaiņas no saviem Power Apps un Dynamics 365 datiem pakārtotā datu krātuvē. Pakāpeniska atjaunināšana ir standarta iespēja lielākajā daļā datu transformācijas rīku, piemēram, Azure datu fabrikā. Tomēr, lai pakāpeniskā atjaunināšanas līdzeklis darbotos, ir jāidentificē ieraksti, kas mainījušies avota tabulās. Pakāpeniskā atjaunināšanas līdzeklis nodrošina mainītos datus kā failu kopu, lai nebūtu jānosaka izmaiņas, salīdzinot tabulu attēlus pirms un pēc.

  • Analizējiet izmaiņas lielās datu kopās. Ja jums ir nepieciešams analizēt izmaiņas lielās datu kopās, pakāpeniskā atjaunināšanas līdzeklis nodrošina nepārtrauktu datu plūsmu mazās partijās, lai jums nebūtu jāglabā visi dati. Izmantojot šo iespēju, jūs varat nomest novecojušus un stagnējošus datus, lai ietaupītu datu glabāšanas izmaksas, kā arī izsekot datu izmaiņām, kas attiecas uz lietotāja noteikto laika periodu.

Azure Synapse Saite arī Dataverse nodrošina iespēju eksportēt un uzturēt tabulu kopiju Azure Data Lake (Gen 2) krātuvē. Varat konfigurēt Azure Synapse Link, lai eksportētu pakāpeniskus datus papildus tabulu kopijas eksportēšanai. Katra konfigurācija (pazīstama kā "Synapse Link profils") var eksportēt tabulas vai pakāpeniskus datus. Lai gan varat izveidot vairākus profilus, vienā profilā nevar konfigurēt gan tabulas, gan pakāpeniskus atjauninājumus.

Svarīgi

Sākotnējā mape ar laika zīmogu tiek izveidota, kad iespējojat šo līdzekli ar datu kopiju. Nākamās laika zīmoga un tabulas mapes tiek izveidotas tikai tad, ja lietotāja norādītajā laika intervālā tiek veikta datu atjaunināšana.

Kad esat izveidojis Synapse Link profilu ar pakāpeniskas atjaunināšanas līdzekli, konfigurācija attiecas uz visām atlasītajām tabulām Synapse Link profilā.

Šo līdzekli nevar iespējot ar opciju: Izveidot savienojumu ar savu Azure Synapse darbvietu. Klientiem, kuriem nepieciešama Azure Synapse analīzes piekļuve, izpildiet šos norādījumus, lai iestatītu saiti: Saites Azure Synapse Dataverse izveide savai Azure Synapse darbvietai

Šis līdzeklis ir ekvivalents līdzeklim Mainīt plūsmas eksportēšanā uz datu ezeru , kas iebūvēts Dynamics 365 finanšu un operāciju programmās. Klientiem, kas izmanto līdzekli Mainīt plūsmas, ir iespēja iespējot Synapse Link profilu ar izmaiņu datiem, neeksportējot tabulas datus.

Priekšnoteikumi

Šajā rokasgrāmatā tiek pieņemts, ka jūs jau esat izpildījis priekšnoteikumus, lai izveidotu Azure Synapse saiti. Papildinformācija: Saites Azure Synapse Dataverse izveide ar Azure Data Lake

  1. Piesakieties Power Apps un atlasiet savu vidi.

  2. Kreisajā navigācijas rūtī atlasiet Azure Synapse Saite. Ja vienums nav sānu paneļa rūtī, atlasiet ... Vairāk un pēc tam atlasiet vajadzīgo vienumu.

  3. Komandjoslā atlasiet + Jauna saite.

  4. Atlasiet abonementu , resursu grupu un krātuves kontu. Atlasiet Tālāk.

  5. Neatlasiet opciju Izveidot savienojumu ar savu Azure Synapse darbvietu. Ja izvēlaties šo opciju, pakāpeniskā atjaunināšanas funkcija tiek atspējota.

  6. Pievienojiet tabulas, kuras vēlaties eksportēt. Ja jūsu Dataverse vide ir saistīta ar finanšu un operāciju programmām, varat atlasīt tabulas arī no finanšu un operāciju programmām.

  7. Atlasiet Papildu.

  8. Ieslēdziet opciju Rādīt papildu konfigurācijas iestatījumus un Iespējot pakāpeniskas atjaunināšanas mapju struktūru.

  9. Ievadiet laika intervālu (minūtēs), cik bieži jātver pakāpeniskie atjauninājumi, un pēc tam atlasiet Saglabāt. 

    Tabulu iestatījumu pievienošana

Piezīmes

Minimālais laika intervāls ir 5 minūtes. Tas nozīmē, ka pakāpeniskā atjaunināšanas mape tiek izveidota ik pēc piecām minūtēm un satur izmaiņas, kas notikušas laika intervālā. Šis iestatījums ir konfigurējams arī pēc saites izveides, izmantojot tabulas pārvaldību. Maksimālais laika intervāls ir 1,140 minūtes (vai 24 stundas).

Pārliecinieties, vai saziņa ar darbvietas Azure Synapse Azure Synapse darbvietu nav pārbaudīta iestatīšanas pirmajā lapā.

Pakāpeniskie dati mapēs ar laika zīmogu tiek glabāti kā ar komatiem atdalīti teksta faili (CSV faili). Delta konvertēšanas līdzekli nevar izmantot pakāpeniskiem datiem un iegūt pakāpeniskus failus Delta parketa formātā.

Skatīt inkrementālo mapi Microsoft Azure krātuvē

Izveidojot Synapse Link profilu ar pakāpeniskiem datiem, sistēma izveido visu tabulu sākotnējo kopiju un saglabā to pirmajā pakāpeniskā atjauninājuma mapē. Kad sākotnējā kopija ir izveidota, sistēma izveido nākamās atjaunināšanas mapes ar mainītiem datiem. Ja nevienā no atlasītajām tabulām nav izmaiņu, nepakāpeniskas datu mapes netiks rādītas.

Lai skatītu papildu datu mapes krātuves kontā, veiciet tālāk norādītās darbības.

  1. Atlasiet vajadzīgo Azure Synapse saiti un pēc tam komandjoslā atlasiet Doties uz Azure datu ezeru .

  2. Sadaļā Datu krātuve atlasiet konteinerus.

  3. Atlasiet dataverse-environmentName-organizationUniqueName. Pakāpeniski atjauninātās mapes tiek nosauktas pēc izveides laikspiedola ("gggg-MM-dd'T'HH:mm:ss.SSSz") saskaņā ar UTC. Ņemiet vērā, ka laika starpība starp mapēm ar laika zīmogu ir laika intervāls, ko esat norādījis papildu iestatījumos.

  4. Katrā laika zīmoga mapē katrai tabulai ir mapes. Ne visas izvēlētās tabulas, iespējams, ir mainījušās laika intervālā, un jūs redzat tikai mapes, kas atbilst tabulām, kuru dati ir mainījušies.

    Pakāpeniskas mapes, kas tiek parādītas Azure datu ezera krātuvē, ko izveidojusi Synapse Link

Piezīmes

Atkārtošanas mehānisma līdzekļu dēļ lietotāja norādītajā laika intervālā var tikt izveidota papildu tukša laika zīmoga mape.

Patērējiet papildu datus

Pakāpeniskus datus var kopēt Azure SQL datu bāzē vai datu noliktavā, izmantojot datu integrācijas rīkus, piemēram, Azure datu fabriku vai Azure Synapse Analytics konveijerus. Mēs piedāvājam datu konveijera paraugu, ko var izmantot šim nolūkam. Papildinformācija:Datu kopēšana Dataverse Azure SQL.

Ja esat Dynamics 365 finanšu un operāciju programmu klients, kas pāriet no izmaiņu plūsmu līdzekļa, varat izmantot GitHub nodrošinātos datu integrācijas parauga rīkus, lai atjauninātu esošos datu cauruļvadus, kas tiek izmantoti ar izmaiņu plūsmu līdzekli.

Varat arī izveidot savu datu konveijeru, lai patērētu papildu datus. Tomēr, izstrādājot savu konveijeri, jāņem vērā šāda labākā prakse:

  • Patērēt datus tikai no iepriekšējām mapēm ar laika zīmogu: tādā veidā varat izvairīties no lasīšanas un rakstīšanas konfliktiem ar Synapse Link pakalpojumu, kas, iespējams, pastāvīgi atjaunina datus pašreizējā mapē. Pašreizējo mapi var atrast, skatot failu Changelog/changelog.info . Šis fails ir tikai lasāms fails, kas satur vienu rindu ar mapes nosaukumu, kas pašlaik ir atjaunināts. Šo failu nevajadzētu atjaunināt, jo tas var izraisīt sistēmas nestabilitāti.
  • Varat skatīt model.json failu, kas atrodas katrā mapē ar laika zīmogu, lai lasītu metadatus, piemēram, tabulas mapēs esošo datu kolonnu nosaukumus. Ņemiet vērā, ka katrs model.json fails mapē, kas atrodas mapēs ar laika zīmogu, satur metadatus visām tabulām, ne tikai tabulām, kas atrodas mapē ar laika zīmogu.
  • Izvairieties no citu žurnālfailu, piemēram, Synapse.log faila, izmantošanas. Šis fails tiek izmantots iekšējiem mērķiem un var neatspoguļot precīzus datus.
  • Apsveriet iespēju izdzēst novecojušās pakāpeniskas mapes no Azure datu ezera pēc apstrādes pabeigšanas. Šobrīd Synapse Link uztur šo failu nomu Azure krātuvē, lai atgūtu no jebkādām kļūmēm. Sistēma pēc kāda laika var atbrīvot nomu. Lai izvairītos no konfliktiem ar sistēmas darbību, ir jāizdzēš tikai tādas pakāpeniskas mapes, kas ir vecākas par 24 stundām .
  • Nevajadzētu modificēt vai dzēst "pašreizējo mapi", kas ir mape, kas atrodas failā Changelog/changelog.info . Ja maināt šo failu, sistēma pārtrauc datu apstrādi.

Inkrementālās mapes Azure datu ezera krātuvē, ko izveidojusi Synapse Link

Skatiet arī:

Kam paredzēta Azure Synapse Link Dataverse?