Upravljanje pohranom u Dataverse aplikacijama za financije i operacije

Kako organizacije ubrzavaju svoja putovanja digitalne transformacije, sposobnost učinkovitog upravljanja podacima postaje strateški poslovni imperativ. S porastom aplikacija pokretanih umjetnom inteligencijom i tijekova rada vođenih Copilotom, poduzeća generiraju i troše podatke neviđenim brzinama. Ovi podaci potiču inovacije, omogućuju personalizirana iskustva i podržavaju donošenje kritičnih odluka, ali samo ako se njima upravlja i pohranjuje inteligentno.

Kako bi podržale ove poslovne potrebe koje se razvijaju, organizacije moraju usvojiti proaktivnu strategiju upravljanja pohranom. To osigurava odgovorno rukovanje podacima koji više nisu potrebni za svakodnevne operacije, oslobađajući kapacitet za radna opterećenja visoke vrijednosti, smanjujući operativno trenje i usklađujući se sa zahtjevima usklađenosti i revizije.

S tehničkog stajališta, učinkovito upravljanje pohranom u Dataverse sustavu Dynamics 365 poboljšava performanse sustava, poboljšava troškovnu učinkovitost i osigurava pridržavanje pravila dugoročnog zadržavanja (LTR). Obje platforme nude alate i mogućnosti automatizacije koje tvrtkama i ustanovama omogućuju upravljanje pohranom.

Implementacijom strategija opisanih u ovom članku tvrtke mogu smanjiti režijske troškove podrške, pojednostaviti usklađenost i otključati veću vrijednost svojih poslovnih aplikacija – pretvarajući pohranu iz ograničenja u konkurentsku prednost.

Ključne prednosti

Učinkovito upravljanje pohranom u Dataverse sustavu Dynamics 365 pruža nekoliko ključnih prednosti koje rješavaju uobičajene bolne točke klijenata i povećavaju ukupnu operativnu učinkovitost.

  • Povećana usklađenost s LTR-om: Učinkovito upravljanje pohranom osigurava da se podaci pohranjuju u skladu s LTR politikama. To ne samo da pomaže u ispunjavanju regulatornih zahtjeva, već također osigurava očuvanje i dostupnost kritičnih podataka kada je to potrebno.

  • Poboljšane performanse: Optimiziranjem upravljanja pohranom organizacije mogu značajno poboljšati performanse svojih sustava. Učinkovita dodjela i upravljanje pohranom smanjuju latenciju i poboljšavaju brzinu dohvaćanja podataka, što dovodi do glatkijih i bržih operacija.

  • Poticanje troškovne učinkovitosti: Učinkovito upravljanje pohranom omogućuje organizacijama da se usredotoče na podatke visoke vrijednosti pojednostavljivanjem i uklanjanjem nereda u svom okruženju pohrane. Zadržavajući samo ono što je potrebno, tvrtke mogu optimizirati svoj otisak pohrane, što dovodi do pametnijeg korištenja resursa i isplative skalabilnosti.

Pozadina

Kako tvrtke ili ustanove rastu i digitaliziraju sve više svojih operacija, količina poslovnih podataka pohranjenih u sustavima kao što Dataverse su Dynamics 365 stalno raste. To uključuje ne samo aktivne, transakcijske podatke, već i povijesne zapise koji se moraju čuvati u svrhu revizije, regulatora ili kontinuiteta poslovanja. S vremenom to nakupljanje može dovesti do pogoršanja performansi, povećanih operativnih troškova i povećanja troškova pohrane, posebno kada podaci koji se više ne koriste aktivno ostaju u razinama pohrane visokih performansi.

Dobro definirana strategija upravljanja pohranom pomaže organizacijama u rješavanju ovih izazova identificiranjem podataka koji se mogu arhivirati, očistiti ili premjestiti u jeftiniju pohranu optimiziranu za čitanje. To je važno za scenarije usklađenosti u kojima podaci moraju ostati nepromjenjivi, s niskim pristupom i samo za čitanje, kao što su financijski zapisi, zapisnici revizije ili regulatorni podnesci. Osiguravanje da se takvi podaci zadržavaju na usklađen način, bez utjecaja na performanse aktivnih sustava, ključni je zahtjev za mnoga poduzeća.

Korištenjem alata i strategija dostupnih na obje platforme, organizacije mogu dobiti bolji uvid u svoj otisak pohrane, smanjiti nepotrebnu potrošnju i osigurati da se s podacima kritičnim za usklađenost postupa na odgovarajući način.

U ovom se članku opisuju praktični pristupi upravljanju pohranom koji korisnicima pomažu da usklade svoje prakse zadržavanja podataka s poslovnim i regulatornim potrebama. To poboljšava performanse sustava, smanjuje operativne troškove i osigurava da se obveze usklađenosti ispunjavaju bez kompromisa.

Zašto pohranjujemo podatke

Da biste odabrali i optimizirali pravi obrazac zadržavanja podataka za svoje podatke, korisno je razmisliti o razlozima i namjenama za koje pohranjujemo podatke.

Operativni podaci

S poslovnom aplikacijom, operativni podaci su ono što se koristi za praćenje prodaje ili financijskih radnji ili radnji u lancu opskrbe.

Tim podacima treba pristupiti u stvarnom vremenu, podržavajući klijente i interne operativne procese koji bilježe granularne radnje kao što su interakcije s kupcima, narudžbe ili aktivnosti zaliha.

S vremenom se operativni podaci mogu prijeći s aktivne upotrebe na rijetko korištenje. Podaci će možda morati biti dostupni u gotovo stvarnom vremenu kako bi se kupcu pomoglo s narudžbom ili u slučaju podrške. Na primjer, razmotrite sljedeće scenarije:

  • Kupac daje narudžbu, dok drugi kupac, koji već neko vrijeme nije u interakciji s tvrtkom, daje narudžbu.
  • Svakoj narudžbi koja je poslana i koja se šalje, stalno se pristupa. Postoje i narudžbe koje su pod jamstvenim rokom od tri godine na koje će se možda trebati pozvati za podršku i eventualno zahtijevati povrat novca.

To može dovesti do faza potreba za pristupom operativnim podacima kao što su:

  • Manje od jedne godine aktivno pristupanih podataka.
  • Manje od tri godine rijetko pristupanih podataka.
  • Više od tri godine u kojima se podacima više ne pristupa operativno.

Priroda operativne pohrane u stvarnom vremenu čini je relativno skupom u usporedbi s drugom pohranom, pa je prepoznavanje kada podacima treba pristupiti operativno, a kada ne važno za definiranje strategija zadržavanja.

Operativna integracija

Kao specijalizirana kategorija operativne uporabe, može se zahtijevati repliciranje podataka između više operativnih sustava, uključujući obrasce kao što su:

  • Bankarstvo: Upravljanje odnosima s klijentima za interakcije s klijentima i replikaciju u više bankarskih sustava. Na primjer, imate tekuće račune, kreditne kartice, hipoteke i sustave provjere kreditne sposobnosti.
  • Proizvodnja: Upravljanje odnosima s kupcima za primanje narudžbi na prvoj liniji i sustav upravljanja resursima poduzeća za upravljanje lancem opskrbe.
  • Policijsko postupanje u hitnim slučajevima: Upravljanje odnosima s klijentima za interakciju s građanima i dispečerski sustavi za policijske uprave nude upravljanje raspoređivanjem.

U tim slučajevima, iako svaki sustav može imati jedinstvene podatke koje prati, često postoje uobičajeni, glavni podaci koje je potrebno dijeliti između sustava i održavati u sinkronizaciji, što dovodi do potreba za integracijom.

Podaci o reviziji

Tvrtka obično ima regulatornu odgovornost čuvati podatke tijekom duljeg razdoblja – na primjer u prosjeku sedam godina – u svrhu revizije, bilo unutarnje ili vanjske, kao što je podrška financijskoj reviziji, regulatorno otkrivanje ili pregled prijevara.

Ti bi podaci obično obuhvaćali i podatke potrebne za operativne svrhe i podatke koji više nisu potrebni, jer omogućuju pregled skupa podataka s jednog mjesta.

Analitički podaci

Organizacije imaju potrebu pregledati i analizirati stanje svog poslovanja. Moraju mjeriti i uspoređivati statistiku tijekom vremena i obuhvaćati više ili sve dijelove poslovanja.

Velika razdoblja i širina podataka tijekom kojih se ova analiza može dogoditi dovode do potrebe za repliciranjem operativnih podataka u specijalizirane, analitičke alate. Time se izbjegava da složena analitika utječe na performanse operativnih sustava, ali također omogućuje analizu skupova podataka koji nadilaze razdoblje za koje su podaci operativni potrebni. Na primjer, možda ćete morati usporediti podatke tijekom sedam godina, a ne tijekom jedne do dvije godine. Međutim, različite analitičke potrebe mogu zahtijevati puna razdoblja zadržavanja podataka ili obuhvaćati samo podatke koji se čuvaju u operativnim sustavima.

Analitički podaci obično omogućuju agregiranje podataka u više dijelova poslovanja i kombiniraju podatke iz više sustava.

Protok podataka

Podaci ovih vrsta obično teku tijekom vremena iz operativnih podataka, a zatim u transakcijske ili povijesne podatke, kao što je prikazano na sljedećoj slici.

Protok podataka.

Različite vrste pohrane

Dataverse Vrste pohrane

Dataverse Organizira pohranu u tri glavne kategorije, od kojih svaka ima različite obrasce korištenja i implikacije na naplatu.

Vrsta pohrane Opis Uobičajeni slučajevi upotrebe
Pohrana baze podataka Pohranjuje strukturirane podatke u tablice – standardne i prilagođene. Poslovni zapisi, metapodaci, odnosi i konfiguracije
Pohrana datoteka Pohranjuje privitke i binarne podatke. Privici e-pošte, slike, dokumenti preneseni putem Power Apps
Pohrana dnevnika Pohranjuje zapisnike revizije i zapisnike praćenja dodataka. Praćenje promjena, revizija, dijagnostika i usklađenost

Vrste pohrane platforme za financije i operacije

Pohranom financija i operacija upravlja se odvojeno, ali se sve više integrira u Power Platform ekosustav. Uključuje sljedeće vrste pohrane.

Vrsta pohrane Opis Uobičajeni slučajevi upotrebe
Operativna pohrana baze podataka Osnovni transakcijski podaci za financije, lanac opskrbe, ljudske resurse i još mnogo toga Unosi u glavnu knjigu, zalihe, narudžbe kupaca
Pohrana za upravljanje dokumentima Binarni veliki objekti (Blobs) pohranjeni u Azure Blob Storage Računi, računi, skenirani dokumenti
Telemetrijski i dijagnostički zapisnici Zapisnici sustava i telemetrijski podaci Praćenje performansi, dijagnostika problema.

Zajednički i integrirani scenariji pohrane

  • Pohrana s dvostrukim pisanjem

    • Omogućuje sinkronizaciju u stvarnom vremenu između Dataverse aplikacija za financije i operacije.
    • Zahtijeva pažljivo upravljanje ulogom i kapacitetima kako bi se izbjeglo udvostručavanje ili prekomjerna upotreba.

  • Dugotrajno zadržavanje (LTR)

    • Premješta povijesne podatke u upravljano podatkovno jezero (MDL).
    • Smanjuje korištenje primarne pohrane uz održavanje usklađenosti i pristupa analitici.
    • Integrira se s:
      • Brzo pretraživanje (Dataverseizvorno pretraživanje)
      • OneLake (analitika temeljena na fabrici)
      • Synapse Link (prilagođena analitika jezera)

Kako vaši podaci rastu tijekom vremena

Kako tvrtke i ustanove povećavaju svoju upotrebu Dataverse platforme za financije i operacije sustava Dynamics 365, rast podataka postaje i znak uspjeha i strateški izazov. Ono što počinje kao vitki, transakcijski skup podataka može se brzo razviti u složenu, višeslojnu podatkovnu imovinu. Ovaj odjeljak istražuje pet ključnih pokretača rasta podataka i njihove implikacije na pohranu, performanse i upravljanje.

Korištenje skladišta podataka na operativnim podacima

Da bi otključale uvide iz operativnih sustava, mnoge tvrtke ili ustanove koriste Azure Synapse Link, OneLake ili izvoz podataka za repliciranje podataka iz Dataverse aplikacija za financije i operacije u analitički sustav. Iako to podržava napredno izvješćivanje i radna opterećenja umjetne inteligencije, uvodi i sljedeće:

  • Redundantna pohrana na svim operativnim i analitičkim slojevima

    Podaci se često dupliciraju između operativnog i analitičkog okruženja. Ova redundancija povećava ukupnu potrošnju pohrane i može dovesti do većih troškova, posebno ako se povijesni podaci čuvaju na neodređeno vrijeme u oba sustava.

  • Režijski troškovi dupliciranja i verzioniranja sheme

    Da bi se održala dosljednost između sustava, tvrtke ili ustanove moraju replicirati promjene sheme – na primjer, nova polja i preimenovane stupce – na operativnim i analitičkim slojevima. To dodaje složenost upravljanju podacima i povećava rizik od pomicanja sheme, što može pokvariti nizvodna izvješća ili modele.

  • Povećano zadržavanje povijesnih podataka za analizu trendova

    Analitički sustavi obično zadržavaju podatke dulje vrijeme kako bi podržali analizu trendova, predviđanje i regulatorno izvješćivanje. Iako je vrijedno, ovo dugoročno zadržavanje može dovesti do napuhanih skupova podataka ako se njima ne upravlja odgovarajućim strategijama arhiviranja i razdoblja.

Skladištenje podataka ključno je za analitiku, ali bez pravilnika o životnom ciklusu može udvostručiti ili utrostručiti vaš otisak pohrane.

Korištenje pretraživanja na podacima

Značajke kao što su Dataverse pretraživanje, Copilot indeksiranje i pretraživanje po važnosti zahtijevaju indeksiranje velikih količina strukturiranih i nestrukturiranih podataka. Ovi indeksi često:

  • Korištenje prostora za pohranu zapisnika i baze podataka

    Indeksi pretraživanja pohranjuju se u pohranu zapisnika i baze podataka. Kako je sve više tablica i polja označeno kao pretraživo, veličina indeksa proporcionalno raste. To može značajno utjecati na ukupnu upotrebu prostora za pohranu, posebno u okruženjima s velikim količinama zapisa ili čestim promjenama sheme.

  • Zadržavanje čak i za neiskorištene ili zastarjele tablice

    Čak i kada su određene tablice zastarjele ili se više ne koriste aktivno, njihovi povezani indeksi pretraživanja mogu ostati osim ako se izričito ne uklone. To dovodi do nepotrebne potrošnje skladišta i može zakomplicirati planiranje kapaciteta.

  • Često se dupliciraju u različitim okruženjima, kao što su razvojna, testna i proizvodna okruženja

    Indeksi pretraživanja obično se repliciraju u razvojnim, testnim i proizvodnim okruženjima. Iako to osigurava dosljedno ponašanje pretraživanja, također umnožava otisak pohrane, osobito kada se okruženja često kloniraju ili osvježavaju.

Pretraživanje poboljšava upotrebljivost i spremnost za umjetnu inteligenciju, ali napuhavanje indeksa tiho doprinosi viškovima pohrane.

Omogućavanje zapisivanja podataka

Zapisnici nadzora, zapisnici praćenja dodataka i telemetrija ključni su za usklađenost, otklanjanje pogrešaka i nadzor. Međutim, imajte na umu sljedeće točke:

  • Pohrana zapisnika raste linearno s upotrebom i brojem korisnika.

    Podaci dnevnika rastu proporcionalno s:

    • Broj korisnika i njihove razine aktivnosti
    • Obujam transakcija i integracija
    • Složenost poslovne logike kao što su dodaci i tijekovi rada

    U okruženjima s visokom upotrebom to može dovesti do brzog širenja tablica zapisnika, trošeći kvote baze podataka i pohrane zapisnika.

  • Zadane postavke zadržavanja često su previše velikodušne, kao što je 90 dana ili više.

    Prema zadanim postavkama, mnoge značajke zapisivanja zadržavaju podatke dulje vrijeme, kao što je 90 dana ili više. Iako to podržava dugoročnu sljedivost, može rezultirati nepotrebnom potrošnjom prostora za pohranu, posebno kada se zapisnici aktivno ne pregledavaju ili izvoze.

  • Zapisnici koje generira sustav naplaćuju se korisniku Dataverse.

    Zapisnici Dataverse koje generira sustav, uključujući zapisnike nadzora i zapisnike praćenja dodataka, ubrajaju se u korisnikovo pravo na pohranu. To znači da bez odgovarajućih strategija čišćenja ili izvoza sječa može izravno doprinijeti prekomjernim količinama skladištenja i povećanim troškovima licenciranja.

O zapisivanju se ne može pregovarati za regulirane industrije, ali mora biti uparen sa strategijama zadržavanja i izvoza, kao što su Azure Monitor ili Log Analytics.

Imati više kopija proizvodnog okruženja

Da bi podržali razvoj, testiranje, obuku i rješavanje problema, korisnici često stvaraju okruženja za testiranje ili klonirana okruženja. Svaki primjerak:

  • Replicira pune podatke i indeksni otisak.
  • Može uključivati neočite ovisnosti kao što su indeksi pretraživanja, zapisnici revizije i metapodaci.
  • Rijetko se čisti nakon upotrebe.

Širenje okoliša glavni je pokretač troškova i složenosti skladištenja. Politike upravljanja i automatizacija ključni su za obuzdavanje.

Optimizacija upita na podacima

Kako količine podataka rastu, a responzivnost aplikacija postaje kritična, klijenti i nezavisni dobavljači softvera često implementiraju različite tehnike optimizacije upita kako bi poboljšali performanse u Dataverse sustavu Dynamics 365. Ove su strategije posebno česte u scenarijima izvješćivanja, analitike i integracije.

Da bi poboljšali performanse, klijenti i nezavisni dobavljači softvera često stvaraju:

  • Prilagođeni indeksi i materijalizirani prikazi

    Oni se koriste za ubrzavanje izvršavanja upita unaprijed računanjem spojeva ili agregacija. Korisni su u scenarijima koji uključuju složene filtre ili velike skupove podataka.

  • Denormalizirane tablice za izvješćivanje

    Da bi pojednostavili izvješćivanje i smanjili složenost upita, razvojni inženjeri često stvaraju spljoštene verzije relacijskih podataka. Ove tablice smanjuju potrebu za spajanjem tijekom izvođenja i poboljšavaju performanse nadzorne ploče.

  • Predmemoriranje slojeva ili agregata

    Podaci kojima se često pristupa ponekad se unaprijed agregiraju ili predmemoriraju u posrednim tablicama ili vanjskim spremištima kako bi se smanjilo opterećenje primarne baze podataka.

Iako oni poboljšavaju responzivnost, oni također:

  • Povećajte potrošnju prostora za pohranu

    Svaki sloj optimizacije uvodi više struktura podataka, bilo da se radi o kopiji postojećih podataka u denormaliziranom formatu, unaprijed izračunatom prikazu ili tablici predmemorije. Te strukture često dupliciraju podatke koji su već pohranjeni negdje drugdje, što dovodi do većeg ukupnog otiska pohrane. U okruženjima sa strogim kvotama za pohranu ili modelima licenciranja temeljenim na troškovima, Dataverse to može brzo eskalirati u prekoračenja koja se mogu izbjeći.

  • Može postati siroče kako se aplikacije razvijaju

    Kako se aplikacije razvijaju, na neke artefakte optimizacije možda se više neće pozivati aktivna izvješća, nadzorne ploče ili integracije. Ovi napušteni objekti nastavljaju trošiti pohranu i mogu čak usporiti operacije sustava, na primjer, tijekom sigurnosnog kopiranja ili indeksiranja, ako nisu identificirani i uklonjeni. Bez redovitih revizija mogu se neprimijećeno akumulirati, potkopavajući same postignuće u učinku za koje su stvorene.

Optimizacija upita ključna je za skaliranje, ali mora biti uravnotežena s higijenom pohrane i podešavanjem na temelju telemetrije.

Indeksi i njihov utjecaj na pohranu

Indeksi su ključni za poboljšanje performansi upita i korištenje brzog dohvaćanja podataka u velikim skupovima podataka. U aplikacijama Dataverse Dynamics 365 finance and operations indeksi se automatski stvaraju za primarne ključeve i polja koja se često postavljaju upiti, a drugi prilagođeni indeksi mogu se definirati za podršku određenim poslovnim scenarijima.

Iako su indeksi ključni za performanse, oni također imaju izravan utjecaj na potrošnju pohrane, koja se često podcjenjuje tijekom dizajna rješenja.

Kako indeksi troše prostor za pohranu

  • Fizičko umnožavanje podataka: Svaki indeks pohranjuje kopiju indeksiranih stupaca, zajedno s pokazivačima na odgovarajuće retke. Što je više stupaca i redaka indeksirano, to je veća veličina indeksa.

  • Rast s količinom podataka: Kako temeljna tablica raste, tako raste i indeks. U okruženjima s visokim transakcijama, indeksi mogu brzo rasti, posebno na velikim, denormaliziranim tablicama ili onima s čestim umetanjima i ažuriranjima.

  • Više indeksa po tablici: uobičajeno je da jedna tablica ima više indeksa, na primjer za pretraživanje, filtriranje, sortiranje i spajanja. Svaki drugi indeks povećava kumulativni otisak pohrane.

  • Indeksi pretraživanja u Dataverse: Značajke kao što su Dataverse pretraživanje i indeksiranje Copilot stvaraju specijalizirane indekse koji obuhvaćaju više polja i tablica. Oni su pohranjeni u tablici DataverseSearch i mogu zauzimati značajan prostor, posebno kada se koriste u više okruženja kao što su razvojna, testna i proizvodna okruženja.

  • Indeksi koje generira sustav: Platforma automatski stvara neke indekse, kao što su polja pretraživanja ili odnosi. Oni mogu ostati čak i ako su povezane tablice zastarjele, osim ako se izričito ne uklone.

Implikacije skladištenja

  • Povećana pohrana baze podataka i zapisnika: indeksi doprinose korištenju baze podataka i pohrane zapisnika, što može utjecati na troškove Dataverse licenciranja.
  • Dupliciranje okruženja: Kada se okruženja kopiraju ili osvježavaju, svi indeksi se dupliciraju, povećavajući upotrebu prostora za pohranu u razvojnim, testnim i proizvodnim okruženjima.
  • Režijski troškovi održavanja: indeksi se moraju ažurirati kako se podaci mijenjaju, što može povećati kašnjenje pisanja i potrošnju resursa.

Utjecaj sinkronizacije sa strane poslužitelja na pohranu

Sinkronizacija Dataverse sa strane poslužitelja omogućuje besprijekornu integraciju e-pošte, sastanaka i zadataka između Microsoft Exchange i Dataverse. Iako povećava produktivnost i automatizaciju, također doprinosi potrošnji pohrane na sljedeće načine.

  • Stvaranje zapisa aktivnosti: Svaka sinkronizirana e-pošta ili obveza generira zapis aktivnosti koji Dataverse uključuje metapodatke, sadržaj tijela i potencijalno privitke.
  • Pohrana privitaka: Ako privici nisu filtrirani ili prebačeni, pohranjuju se izravno u Dataverse, povećavajući potrošnju pohrane.
  • Usklađenost i zadržavanje: tvrtke ili ustanove koje koriste sinkronizaciju sa strane poslužitelja za praćenje usklađenosti mogu zadržati više podataka nego što je potrebno, dodatno povećavajući pohranu.
  • Zaštićeni sadržaj: čak i e-poruke zaštićene Purviewom, iako ograničene vidljivosti sadržaja, i dalje generiraju zapise rezerviranih mjesta koji zauzimaju prostor.

Kako bi upravljale ovim utjecajem, tvrtke bi trebale implementirati politike zadržavanja, razmotriti istovar privitaka i redovito pratiti količine evidencije aktivnosti.

Kako mogu upravljati sve većim prostorom za pohranu?

Bez obzira na to suočavate li se s prekoračenjem prostora za pohranu ili želite ostati ispred njih, upravljanje rastom podataka na Dataverse platformi Dynamics 365 finance and operations zahtijeva promišljen pristup temeljen na pravilima. U ovom se odjeljku navode dvije strateške ulazne točke: reaktivna sanacija i proaktivno upravljanje.

Postoje dva moguća scenarija:

  1. Želite proaktivno primijeniti najbolje prakse za upravljanje pohranom i izbjeći visoke troškove u budućnosti.
  2. Već ste u situaciji u kojoj je potrebno smanjiti veličinu i troškove skladištenja.

Primjena najboljih primjera iz prakse za upravljanje veličinom i troškovima prostora za pohranu

1. scenarij: želite proaktivno primijeniti najbolje prakse za upravljanje pohranom

Ako još niste u kriznom načinu rada, sada je vrijeme da primijenite alate i tehnike za proaktivno upravljanje pohranom.

Konfiguriranje analitike za podatke

Kako tvrtke ili ustanove rastu, tako raste i potreba za izvlačenjem uvida iz operativnih podataka, bez utjecaja na performanse osnovnih poslovnih aplikacija. Microsoft nudi više načina za dopuštanje analitike i Dataverse podataka o financijama i operacijama sustava Dynamics 365 integracijom s vlastitim podatkovnim jezerom ili skladištem.

Evo dviju moćnih opcija koje treba razmotriti:

Mogućnost 1. Koristite Azure Synapse Link – ponesite vlastito jezero

Azure Synapse Link vam omogućuje izravno povezivanje Dataverse s vlastitim radnim prostorom Azure Data Lake ili Synapse. To omogućuje replikaciju operativnih podataka u analitičko okruženje u gotovo stvarnom vremenu, bez pisanja složenih ETL cjevovoda.

Koristima:

  • Pokrenite naprednu analitiku i modele umjetne inteligencije na podacima uživo ili gotovo aktivnim.
  • Izbjegnite utjecaj performansi na svoje proizvodne sustave.
  • Koristite poznate alate kao što su T-SQL, Spark ili Power BI za izvješćivanje.

Primjer slučaja upotrebe: Maloprodajna tvrtka koristi Synapse Link za analizu ponašanja kupaca pri kupnji u različitim regijama, kombinirajući Dataverse podatke o upravljanju odnosima s kupcima s vanjskim tržišnim podacima u vlastitom jezeru.

Mogućnost 2. Koristite OneLake – objedinjena analitika s Microsoft Fabric

OneLake, dio Microsoft Fabric, pruža objedinjeno iskustvo podatkovnog jezera u kojem možete pohranjivati i analizirati podatke iz više izvora, uključujući Dataverse aplikacije za financije i operacije, bez dupliciranja.

Koristima:

  • Centralizirana pohrana za sva analitička radna opterećenja.
  • Izvorna integracija sa Power BI servisima Synapse i AI.
  • Pojednostavljeno upravljanje i sigurnost u svim domenama podataka.

Primjer slučaja upotrebe: Tvrtka za financijske usluge koristi OneLake za konsolidaciju operativnih podataka iz financijskih i operativnih aplikacija i Dataverse s vanjskim ekonomskim pokazateljima, omogućujući modeliranje rizika u stvarnom vremenu i izvršne nadzorne ploče. Na taj način možete odvojiti operativne podatke od osnovnih sustava i omogućiti skalabilnu, isplativu analitiku izvozom tih podataka u vlastita, analitička okruženja, bez dupliciranja radnih opterećenja ili utjecaja na performanse.

Alati i tehnike za smanjenje skladištenja

Dataverse Nudi nekoliko ugrađenih alata i strategija koje pomažu administratorima da učinkovito upravljaju pohranom i održavaju performanse sustava.

Dataverse

Upravljanje podacima pomoću pravilnika o upravljanju

  • Započnite s okruženjima i tablicama koje troše najviše prostora za pohranu.
  • Koristite pravilnike o ponavljajućem upravljanju za predvidljiv rast podataka umjesto da se koristimo samo jednokratnim čišćenjem.
  • Prije nego što ih počnete koristiti u proizvodnji, testirajte kriterije brisanja i zadržavanja u okruženju sigurnosne ograde.
  • Redovito pregledavajte rezultate i neuspjehe pravilnika.
  • Dodavanje kapaciteta pohrane kada su potrebni podaci ne mogu se izbrisati ili premjestiti na dugotrajno zadržavanje.

Čišćenje okoliša i podataka

  • Brisanje neiskorištenih okruženja: Možete izbrisati okruženje za oporavak prostora za pohranu i uklanjanje osobnih podataka (PII).
  • Poslovi masovnog brisanja: možete skupno izbrisati sljedeće podatke:
    • Zastarjeli podaci ili podaci koji nisu relevantni za tvrtku.
    • Nepotrebno ispitivanje ili uzorak podataka.
    • Podaci koji su neispravno uvezeni s ostalih sustava.

Optimizacija datoteka i tablica

  • Smanjite pohranu datoteka pomoću prethodnog pronalaženja: Ovaj vam članak daje 15 metoda za bolje upravljanje pohranom. Koristite jednu ili više ovih metoda za kontrolu vašeg ukupnog korištenja pohrane podataka. Možete izbrisati kategorije podataka kada se ukaže potreba ili postaviti zadatke masovnog brisanja koji će se ponavljati u postavljenim intervalima. Na primjer, možete izbrisati bilješke, privitke, povijest uvoza i druge podatke.
  • Očistite zapise iz tablica poslova sustava (AsyncOperationBase) i zapisnika procesa (WorkflowLogBase): Ako vaša tvrtka ili ustanova uvelike koristi tijekove rada ili tijekove poslovnih procesa, te tablice (AsyncOperationBase, WorkflowLogBase) s vremenom rastu i na kraju postaju dovoljno velike da uvedu probleme s performansama i troše prekomjerni prostor za pohranu u bazi podataka vaše tvrtke ili ustanove. Za WorkflowLogBase možete konfigurirati automatsko brisanje dovršenih pozadinskih poslova tijeka rada.

Dugotrajno čuvanje (LTR) i arhiviranje

Optimizacija indeksa pretraživanja

  • Smanji Dataverse pretraživanje: veličinu prostora za pohranu možete smanjiti izvođenjem svih koraka u Dataverse pojedinostima o pohrani na temelju kapaciteta.
  • Smanjite veličinu tablice DataverseSearch: Tablica DataverseSearch je kumulativna pohrana koju koristi Dataverse indeks pretraživanja. Obuhvaća podatke iz svih polja koja se mogu pretraživati, dohvaćati i filtrirati tablica koje ste indeksirali za svoje okruženje. Veličinu tablice možete smanjiti uklanjanjem stupaca za pronalaženje, stupaca prikaza i uvjeta filtriranja za jednu ili više tablica. Možete isključiti Dataverse pretraživanje za uklanjanje svih indeksiranih podataka.
Aplikacije za financije i operacije

Aplikacije za financije i operacije pružaju fleksibilne mogućnosti za upravljanje pohranom u proizvodnim okruženjima i okruženjima za testiranje.

Upravljanje okolišem

  • Ograničite broj punih proizvodnih kopija: Možete smanjiti ukupnu potrošnju prostora za pohranu aplikacija za financije i operacije uklanjanjem potpunih proizvodnih kopija u okruženjima za testiranje. Ako, primjerice, imate pet kopija proizvodnih okruženja u memoriji za testiranje, potrošnja prostora za pohranu zbroj je proizvodnje plus pet kopija proizvodnih okruženja u memoriji za testiranje.
  • Skraćivanje podataka u okruženjima za testiranje: Skraćivanjem podataka u okruženju za testiranje možete smanjiti ukupni otisak pohrane. Možete slijediti metode u nastavku za čišćenje podataka u pješčaniku.
    • Postupak vraćanja omogućuje otvaranje i obrezivanje
    • Napišite T-SQL
    • Napišite X++
  • Izvođenje kopije bez transakcija između okruženja: Kopiranje okruženja za aplikacije za financije i operacije tradicionalno je uključivalo potpuno dupliciranje baze podataka, uključujući konfiguraciju, glavne podatke i transakcije, što, iako je korisno za otklanjanje pogrešaka, značajno povećava potrošnju prostora za pohranu u financijama i operacijama i Dataverse.

Prilagođeno čišćenje i upravljanje zapisnicima

  • Napišite prilagođene rutine čišćenja prema potrebi: Možete napisati prilagođene rutine čišćenja prema potrebi vaše tvrtke za čišćenje neželjenih podataka.
  • Izbjegavajte pohranjivanje zapisnika: SysDatabaseLog možete premjestiti u manje transakcijsku bazu podataka kako biste smanjili ukupni otisak pohrane.

Arhivsko i dugoročno čuvanje

Ugrađene rutine čišćenja

  • Rutine čišćenja: u sustavu Dynamics 365 Finance i rutine Dynamics 365 Supply Chain Management čišćenja dostupne su u različitim modulima. Rutine čišćenja pružaju pregled rutina koje su trenutno dostupne. Nakon kopiranja baze podataka za testiranje, pokrenite ove rutine čišćenja proaktivno da biste uklonili nepotrebne tablice, kao što su povijest serije, zapisnici i povijest maloprodajnih transakcija. Izbrišite zastarjele ili nerelevantne podatke.
  • Arhiviranje podataka o transakcijama kreditne kartice: Opisuje posao arhiviranja koji Dynamics 365 Commerce može pomoći u oslobađanju prostora u bazi podataka arhiviranjem tokena za plaćanje kreditnom karticom.

Smanjite veličinu i troškove skladištenja

Scenarij 2: Već ste u situaciji u kojoj je potrebno smanjiti veličinu i troškove pohrane

Procijenite što troši prostor za pohranu

  • Koristite Power Platform centar za administratore i izvješća o pohrani za financije i operacije da biste identificirali tablice, vrste datoteka i zapisnike koji najviše troše.
  • Upotrijebite telemetriju, ako je dostupna, da biste pripisali upotrebu određenim aplikacijama, korisnicima ili poslovnim jedinicama.

Dajte prioritet kandidatima za čišćenje

  • Usredotočite se na:
    • Tablice postavljanja i integracije, kao što su međuspremnici s dvostrukim pisanjem
    • Zapisnici nadzora: zadržite ih u vlastitoj pohrani
    • Neiskorištena okruženja ili izolirana okruženja
    • Napušteni metapodaci i indeksi pretraživanja
    • Brisanje onoga što vam nije potrebno, na primjer skupno brisanje

Koristite Synapse Link i OneLake za analitičko izvješćivanje

  • Izvezite analitičke podatke u Synapse Link.
  • Koristite OneLake za pristup zadržanim podacima i poslovnim podacima u svrhu izvješćivanja i analitike.

Primjena dugoročnog zadržavanja (LTR)

  • Premjestite povijesne podatke u Managed Data Lake (MDL) pomoću LTR pravila.
  • Održavajte pristup pretraživanju i analitici putem brzog pretraživanja, Synapse Linka ili OneLakea.

Primjeri uporabe

Slučajevi upotrebe za upravljanje pohranom u Dataverse i financijskim i operativnim okruženjima ključni su za optimizaciju prostora baze podataka, poboljšanje performansi sustava i ispunjavanje regulatornih zahtjeva. U nastavku su navedeni neki tipični scenariji koji pokazuju kako se ove strategije mogu primijeniti:

  • Upravljanje rastom povijesnih podataka

    • Scenarij: Tvrtka je aktivna u sustavu Dynamics 365 već nekoliko godina i prikupila je velike količine povijesnih transakcija i privitaka.
    • Akcija: Implementirajte dugoročne strategije zadržavanja za zadržavanje neaktivnih podataka, smanjenje veličine primarne baze podataka i održavanje usklađenosti sa zahtjevima revizije.

  • Zadržavanje podataka na temelju usklađenosti

    • Scenarij: Regulirani klijent u industriji mora čuvati financijske podatke ili podatke o klijentima sedam do deset godina u formatu zaštićenom od neovlaštenog mijenjanja.
    • Akcija: Koristite LTR da biste zadržali nepromjenjive podatke samo za čitanje u skladu sa zakonskim i regulatornim zahtjevima, a da pritom poslovni podaci budu vitki bez ugrožavanja analitike i izvješćivanja.

  • Optimizacija indeksa pretraživanja i Copilota

    • Scenarij: Dataverse Pretraživanje i Copilot indeksiranje omogućeni su u svim okruženjima, uključujući neiskorištene tablice.
    • Akcija: Nadzirajte polja koja se mogu pretraživati i onemogućite indeksiranje za tablice male vrijednosti ili zastarjele tablice. Nadgledajte veličinu tablice DataverseSearch i optimizirajte konfiguracije da biste smanjili pohranu zapisnika i baze podataka.

  • Upravljanje revizijom i telemetrijom

    • Scenarij: zapisnici praćenja dodataka i zapisnici nadzora brzo rastu, troše prostor za pohranu i utječu na performanse.
    • Akcija: Izvezite zapisnike u vanjske sustave, kao što je Azure Monitor, i automatizirajte čišćenje starih unosa da biste održali vidljivost bez napuhavanja prostora za pohranu.

  • Integracija skladišta podataka i analitike

    • Scenarij: Tvrtka ili ustanova replicira operativne podatke u Azure Synapse OneLake za analitiku, što dovodi do duplicirane pohrane.
    • Akcija: Koristite inkrementalne izvoze, primijenite filtre i izbjegnite potpunu replikaciju skupa podataka da biste smanjili redundanciju i omogućili bogate uvide.

  • Smanjenje viškova skladišta

    • Scenarij: Klijent prima obavijest o prekoračenju Dataverse kvote za pohranu, što dovodi do neočekivanih troškova.
    • Akcija: Koristite izvješća o kapacitetu da biste identificirali tablice koje najviše troše, očistili zastarjela okruženja i uklonili neiskorištene privitke ili zapisnike. Razmislite o premještanju hladnih podataka – obično povijesnih zapisa ili zapisa kojima se rijetko pristupa – na jeftinije razine pohrane.

  • Optimizacija performansi u velikim tablicama

    • Scenarij: Poslovni kritični procesi usporavaju se zbog velikih tablica.
    • Radnja: Arhivirajte stare zapise, očistite poslove sustava, na primjer AsyncOperationBase i WorkflowLogBase.

  • Upravljanje životnim ciklusom okruženja

    • Scenarij: Razvojna i testna okruženja kloniraju se iz proizvodnje, duplicirajući sve podatke i indekse.
    • Akcija: Skratite okruženja za testiranje nakon osvježavanja, onemogućite nepotrebno indeksiranje pretraživanja i uklonite testne podatke da biste smanjili suvišnu potrošnju prostora za pohranu. Izbrišite neiskorištena okruženja za testiranje radi uštede prostora za pohranu.

Studije slučaja

Studija slučaja 1: Smanjenje viškova skladišta čišćenjem indeksa

Profil klijenta: Globalna proizvodna tvrtka koja koristi Dynamics 365 za opskrbni lanac te aplikacije za financije i operacije.

Izazov: Kupac je doživio neočekivano prekoračenje pohrane i pogoršanje performansi u svom proizvodnom okruženju. Istraga je otkrila da se više prilagođenih indeksa i materijaliziranih prikaza, stvorenih tijekom rane implementacije, više ne koristi, ali i dalje zauzimaju značajnu pohranu.

Rješenje: Tim je proveo tromjesečnu reviziju svih prilagođenih indeksa i uklonio one na koje se ne pozivaju aktivni upiti ili izvješća. Također su implementirali politiku upravljanja za pregled novih zahtjeva za indeks prije uvođenja.

Ishod:

  • Smanjena pohrana baze podataka za 28%.
  • Poboljšana izvedba upita za 15%.
  • Izbjegao je predviđeni $12,000 godišnje u ostalim troškovima skladištenja.

Studija slučaja 2: Arhiviranje povijesnih podataka radi ispunjavanja ciljeva usklađenosti i performansi

Profil klijenta: Tvrtka za financijske usluge koja koristi Dataverse Dynamics 365 za uključivanje klijenata i funkciju upravljanja slučajevima.

Izazov: Tvrtka je trebala čuvati evidenciju o klijentima više od sedam godina kako bi ispunila regulatorne zahtjeve, ali sve veća količina neaktivnih podataka usporavala je aktivne tijekove rada i povećavala troškove pohrane.

Rješenje: Klijent je implementirao dugoročnu strategiju zadržavanja koristeći Dataverse arhivske mogućnosti. Neaktivni zapisi premješteni su na razinu pohrane samo za čitanje, optimiziranu za troškove, dok su aktivni podaci ostali u pohrani visokih performansi.

Ishod:

  • Arhivirano preko 1,2 milijuna zapisa.
  • Smanjena je veličina primarne baze podataka za 40%.
  • Održava potpunu mogućnost revizije i usklađenost s pravilima zadržavanja.

Studija slučaja 3: Pojednostavnjenje indeksa pretraživanja u različitim okruženjima

Profil klijenta: Maloprodajna organizacija s više Dataverse okruženja, uključujući razvojna, testna i proizvodna okruženja, koja podržava rješenje za upravljanje odnosima s klijentima s omogućenim Copilotom.

Izazov: indeksi pretraživanja korišteni su u svim okruženjima, uključujući neiskorištene tablice i testne podatke. To je dovelo do napuhanih tablica DataverseSearch i nepotrebne potrošnje prostora za pohranu.

Rješenje: Tim je pregledao polja koja se mogu pretraživati i prestao koristiti indeksiranje na nekritičnim tablicama u razvojnim i testnim okruženjima. Također su automatizirali čišćenje indeksa tijekom osvježavanja okruženja.

Ishod:

  • Smanjena pohrana indeksa pretraživanja za 35%.
  • Poboljšano vrijeme osvježavanja okruženja za 20%.
  • Smanjena ukupna upotreba zapisnika i pohrane baze podataka.

Studija slučaja 4: Korištenje izvoza podataka za analitiku bez dupliciranja prostora za pohranu

Profil klijenta: Pružatelj zdravstvenih usluga koji koristi Dynamics 365 i Dataverse za angažman i naplatu pacijenata.

Izazov: Analitički tim trebao je pristup operativnim podacima za analizu trendova i modeliranje umjetne inteligencije, ali dupliciranje podataka u zasebno skladište povećavalo je troškove skladištenja i složenost.

Rješenje: Klijent je koristio Azure Synapse Link s inkrementalnim izvozom i slojevitom pohranom u OneLakeu. Zadržali su samo bitne analitičke podatke i primijenili politike zadržavanja kako bi upravljali povijesnom dubinom.

Ishod:

  • Omogućena analitika u stvarnom vremenu bez utjecaja na operativne sustave.
  • Smanjena redundantna pohrana za 45%.
  • Poboljšano upravljanje životnim ciklusom analitičkih podataka.

Zaključak

Učinkovito upravljanje pohranom ključno je za održavanje performansi sustava i optimizaciju korištenja resursa u okruženjima sustava Dynamics 365. Rutine čišćenja i arhivski poslovi opisani u ovom članku pružaju robusna rješenja za oslobađanje dragocjenog prostora u bazi podataka i pojednostavljenje operacija. Korištenjem ovih alata kao što su LTR i slične tehnike, korisnici mogu riješiti uobičajene izazove pohrane i stvoriti održive prakse upravljanja podacima. Nadalje, studije slučaja iz stvarnog svijeta pokazuju učinkovitost ovih pristupa, nudeći uvid u njihovu praktičnu primjenu. Usvajanje ovih strategija osnažuje organizacije da proaktivno upravljaju svojim potrebama za pohranom i poboljšaju ukupnu učinkovitost.

Reference

Čišćenje skladišta u Dataverse:

Čišćenje skladišta u financijama i operacijama:

Kapacitet skladišta:

  • Zadnji put ažurirano u