Správa úložiska v aplikáciách financií a prevádzky Dataverse

Keďže organizácie zrýchľujú svoje cesty digitálnej transformácie, schopnosť efektívne spravovať dáta sa stáva strategickým obchodným imperatívom. S nástupom aplikácií založených na umelej inteligencii a pracovných postupov riadených systémom Copilot, podniky generujú a spotrebúvajú dáta bezprecedentnou rýchlosťou. Tieto dáta podporujú inovácie, umožňujú personalizované zážitky a podporujú kritické rozhodovanie – ale iba ak sú inteligentne riadené a ukladané.

Aby organizácie mohli podporiť tieto vyvíjajúce sa obchodné potreby, musia prijať proaktívnu stratégiu správy úložísk. Vďaka tomu sa s údajmi, ktoré už nie sú potrebné pre každodennú prevádzku, zaobchádza zodpovedne, čím sa uvoľní kapacita pre vysokohodnotné úlohy, znížia sa prevádzkové trenie a dodržia sa požiadavky na dodržiavanie predpisov a audit.

Z technického hľadiska efektívna správa úložiska v systémoch Dynamics 365 zvyšuje výkon systému, zvyšuje nákladovú efektívnosť a zabezpečuje dodržiavanie politík dlhodobého uchovávania údajov (LTR). Dataverse Obe platformy ponúkajú nástroje a automatizačné funkcie, ktoré organizáciám umožňujú spravovať úložisko.

Implementáciou stratégií uvedených v tomto článku môžu podniky znížiť réžiu podpory, zefektívniť dodržiavanie predpisov a získať väčšiu hodnotu zo svojich obchodných aplikácií – čím sa úložisko z obmedzenia stane konkurenčnou výhodou.

Kľúčové výhody

Efektívna správa úložiska v systéme Dynamics 365 poskytuje niekoľko kľúčových výhod, ktoré riešia bežné problémy zákazníkov a zvyšujú celkovú prevádzkovú efektivitu. Dataverse

  • Zvýšený súlad s LTR: Efektívna správa úložiska zabezpečuje, že údaje sú uložené v súlade s politikami LTR. To nielen pomáha pri plnení regulačných požiadaviek, ale tiež zabezpečuje, že kritické údaje sú zachované a dostupné v prípade potreby.

  • Zlepšený výkon: Optimalizáciou správy úložiska môžu organizácie výrazne zlepšiť výkon svojich systémov. Efektívne prideľovanie a správa úložiska znižuje latenciu a zvyšuje rýchlosť načítavania údajov, čo vedie k plynulejším a rýchlejším operáciám.

  • Zvyšovanie nákladovej efektívnosti: Efektívna správa úložísk umožňuje organizáciám sústrediť sa na vysokocenné dáta zefektívnením a zefektívnením ich úložného prostredia. Ponechaním iba toho, čo je nevyhnutné, môžu firmy optimalizovať svoju úložnú kapacitu, čo vedie k inteligentnejšiemu využívaniu zdrojov a nákladovo efektívnej škálovateľnosti.

Pozadie

S rastom organizácií a digitalizáciou čoraz väčšieho množstva svojich operácií sa objem obchodných údajov uložených v systémoch ako Dynamics 365 neustále zvyšuje. Dataverse To zahŕňa nielen aktívne transakčné údaje, ale aj historické záznamy, ktoré sa musia uchovávať na účely auditu, regulácie alebo zabezpečenia kontinuity podnikania. Postupom času môže táto akumulácia viesť k zníženiu výkonu, zvýšeniu prevádzkových nákladov a rastúcim nákladom na úložisko – najmä ak dáta, ktoré sa už aktívne nepoužívajú, zostávajú vo vysokovýkonných úložných vrstvách.

Dobre definovaná stratégia správy úložiska pomáha organizáciám riešiť tieto výzvy identifikáciou údajov, ktoré je možné archivovať, vyčistiť alebo presunúť do lacnejšieho úložiska optimalizovaného na čítanie. Toto je dôležité pre scenáre dodržiavania predpisov, kde údaje musia zostať nemenné, s nízkym prístupom a určené len na čítanie, ako sú napríklad finančné záznamy, protokoly auditu alebo regulačné podania. Zabezpečenie toho, aby sa takéto údaje uchovávali v súlade s predpismi bez ovplyvnenia výkonu živých systémov, je kľúčovou požiadavkou pre mnohé podniky.

Používaním nástrojov a stratégií dostupných na oboch platformách môžu organizácie získať lepší prehľad o svojej úložnej stope, znížiť zbytočnú spotrebu a zabezpečiť, aby sa s údajmi kritickými z hľadiska dodržiavania predpisov zaobchádzalo správne.

Tento článok načrtáva praktické prístupy k správe úložísk, ktoré pomáhajú zákazníkom zosúladiť ich postupy uchovávania údajov s obchodnými a regulačnými potrebami. To zlepšuje výkon systému, znižuje prevádzkové náklady a zabezpečuje bezkompromisné splnenie povinností týkajúcich sa súladu.

Prečo uchovávame údaje

Pre výber a optimalizáciu správneho spôsobu uchovávania údajov je dôležité zamyslieť sa nad dôvodmi a spôsobmi použitia, na ktoré údaje uchovávame.

Prevádzkové údaje

V obchodnej aplikácii sa prevádzkové údaje používajú na sledovanie predaja, finančných alebo dodávateľských akcií.

K týmto údajom je potrebné pristupovať v reálnom čase, čo podporuje procesy zákazníkov a interné prevádzkové procesy, ktoré zaznamenávajú podrobné akcie, ako sú interakcie so zákazníkmi, objednávky alebo aktivity v oblasti zásob.

Postupom času sa prevádzkové údaje môžu presunúť z aktívne používaných na zriedkavo používané. Dáta môžu byť potrebné dostupné takmer v reálnom čase, aby pomohli zákazníkovi s objednávkou alebo v prípade podpory. Napríklad, zvážte nasledujúce scenáre:

  • Zákazník zadá objednávku, zatiaľ čo iný zákazník, ktorý s firmou nejaký čas nekomunikoval, zadá objednávku.
  • Každá objednávka, ktorá bola zadaná a odosiela sa, je neustále skontrolovaná. Existujú aj objednávky, na ktoré sa vzťahuje trojročná záručná doba, na ktoré môže byť potrebné odkázať sa pri žiadosti o podporu a prípadne si vyžiadať vrátenie peňazí.

To môže viesť k fázam potrieb prístupu k prevádzkovým údajom, ako napríklad:

  • Menej ako jeden rok aktívneho prístupu k údajom.
  • Menej ako tri roky zriedkavo využívaných údajov.
  • Viac ako tri roky, počas ktorých už nie je možné prevádzkovo pristupovať k údajom.

Vzhľadom na to, že operačné úložisko pracuje v reálnom čase, je relatívne drahé v porovnaní s inými úložiskami, takže pre definovanie stratégií uchovávania údajov je dôležité rozpoznať, kedy je potrebné k údajom operatívne pristupovať a kedy nie.

Operačná integrácia

Ako špecializovaná kategória operačného použitia môže byť potrebné replikovať údaje medzi viacerými operačnými systémami vrátane vzorov, ako sú:

  • Bankovníctvo Riadenie vzťahov so zákazníkmi pre interakcie so zákazníkmi v prvej línii a replikáciu do viacerých bankových systémov. Napríklad máte bežné účty, kreditné karty, hypotéky a systémy na kontrolu úverovej histórie.
  • Výroba Riadenie vzťahov so zákazníkmi pre prijímanie objednávok na prvej línii a systém riadenia podnikových zdrojov pre riadenie dodávateľského reťazca.
  • Riešenie policajných núdzových situácií Riadenie vzťahov so zákazníkmi pre interakcie s občanmi a dispečerské systémy pre policajné oddelenia ponúkajú riadenie nasadenia.

V týchto prípadoch, hoci každý systém môže sledovať jedinečné údaje, často existujú spoločné hlavné údaje, ktoré je potrebné medzi systémami zdieľať a synchronizovať, čo vedie k potrebám integrácie.

Údaje z auditu

Podnik má zvyčajne regulačnú zodpovednosť za uchovávanie údajov dlhší čas – napríklad v priemere sedem rokov – na účely auditu, či už interného alebo externého, ako je podpora finančného auditu, zverejňovanie informácií regulačnými orgánmi alebo kontrola podvodov.

Tieto údaje by zvyčajne zahŕňali údaje potrebné na prevádzkové účely aj údaje, ktoré už nie sú potrebné, pretože umožňujú kontrolu celého súboru údajov z jedného miesta.

Analytické údaje

Organizácie majú potrebu preskúmať a analyzovať stav svojho podnikania. Musia merať a porovnávať štatistiky v priebehu času a pokrývať viacero alebo všetky časti podniku.

Veľké obdobia a šírka údajov, počas ktorých môže táto analýza prebiehať, vedú k potrebe replikovať prevádzkové údaje do špecializovaných analytických nástrojov. Vďaka tomu sa zabráni tomu, aby komplexná analytika ovplyvňovala výkon operačných systémov, ale zároveň sa umožňuje analýza naprieč súbormi údajov, ktorá presahuje obdobie, pre ktoré sú údaje potrebné z prevádzkového hľadiska. Napríklad možno budete musieť porovnať údaje za sedem rokov, a nie za jeden až dva roky. Rôzne analytické potreby však môžu vyžadovať celé obdobia uchovávania údajov alebo sa môžu vzťahovať iba na údaje uchovávané v operačných systémoch.

Analytické údaje zvyčajne umožňujú agregáciu údajov z viacerých častí podniku a kombinujú údaje z viacerých systémov.

Tok údajov

Dáta týchto typov zvyčajne v priebehu času prechádzajú z prevádzkových údajov a potom do transakčných alebo historických údajov, ako je znázornené na nasledujúcom obrázku.

Tok údajov.

Rôzne typy úložného priestoru

Dataverse typy úložísk

Dataverse organizuje úložisko do troch hlavných kategórií, pričom každá má odlišné vzorce používania a dôsledky pre fakturáciu.

Typ ukladacieho priestoru Description Bežné prípady použitia
Úložisko databázy Ukladá štruktúrované dáta do tabuliek – štandardných aj vlastných. Obchodné záznamy, metadáta, vzťahy a konfigurácie
Ukladanie súborov Ukladá prílohy a binárne údaje. Prílohy e-mailov, obrázky, dokumenty nahrané prostredníctvom Power Apps
Úložisko protokolov Ukladá protokoly auditu a protokoly sledovania doplnkov. Sledovanie zmien, audit, diagnostika a dodržiavanie predpisov

Typy úložísk platformy Finance and Operations

Finančné a prevádzkové úložisko sa spravuje samostatne, ale čoraz viac sa integruje do ekosystému. Power Platform Zahŕňa nasledujúce typy úložísk.

Typ ukladacieho priestoru Description Bežné prípady použitia
Operačné úložisko databázy Základné transakčné údaje pre financie, dodávateľský reťazec, ľudské zdroje a ďalšie Záznamy v účtovnej knihe, zásoby, objednávky zákazníkov
Úložisko pre správu dokumentov Veľké binárne objekty (Bloby) uložené v úložisku Azure Blob Storage Faktúry, potvrdenky, naskenované dokumenty
Telemetrické a diagnostické protokoly Systémové protokoly a telemetrické údaje Monitorovanie výkonu, diagnostika problémov.

Scenáre zdieľaného a integrovaného úložiska

  • Úložisko s dvojitým zápisom

    • Umožňuje synchronizáciu v reálnom čase medzi aplikáciami pre financie a operácie. Dataverse
    • Vyžaduje si starostlivé riadenie úloh a kapacít, aby sa predišlo duplicite alebo nadmernému využívaniu.

  • Dlhodobá retencia (LTR)

    • Presunie historické údaje do spravovaného dátového jazera (MDL).
    • Znižuje využitie primárneho úložiska a zároveň zachováva súlad s predpismi a prístup k analytickým nástrojom.
    • Integruje sa s:
      • Rýchle vyhľadávanie (Dataverse-natívne vyhľadávanie)
      • OneLake (analytika založená na látkach)
      • Synapse Link (vlastná analýza jazier)

Ako vaše dáta rastú v priebehu času

S rastúcim využívaním platformy Dynamics 365 pre financie a operácie v organizáciách sa rast dát stáva znakom úspechu aj strategickou výzvou. Dataverse Čo sa začína ako štíhly, transakčný súbor údajov, sa môže rýchlo vyvinúť do komplexného, viacvrstvového dátového majetku. Táto časť skúma päť kľúčových faktorov rastu dát a ich dôsledky pre ukladanie, výkon a riadenie.

Používanie dátového skladu na prevádzkové údaje

Na získanie prehľadov z operačných systémov mnoho organizácií používa platformy Link, OneLake alebo export údajov na replikáciu údajov z finančných a prevádzkových aplikácií do analytického systému. Azure Synapse Dataverse Hoci to podporuje pokročilé reportovanie a pracovné zaťaženie umelou inteligenciou, prináša to aj:

  • Redundantné úložisko naprieč operačnými a analytickými vrstvami

    Dáta sa často duplikujú medzi operačným a analytickým prostredím. Táto redundancia zvyšuje celkovú spotrebu úložiska a môže viesť k vyšším nákladom, najmä ak sa historické údaje uchovávajú v oboch systémoch na neurčito.

  • Duplikácia schém a réžia verzií

    Aby sa zachovala konzistencia medzi systémami, organizácie musia replikovať zmeny schémy – napríklad nové polia a premenované stĺpce – naprieč operačnou aj analytickou vrstvou. To zvyšuje zložitosť správy údajov a riziko posunu schémy, čo môže narušiť následné zostavy alebo modely.

  • Zvýšené uchovávanie historických údajov pre analýzu trendov

    Analytické systémy zvyčajne uchovávajú údaje dlhšie obdobie na podporu analýzy trendov, prognóz a regulačného reportingu. Aj keď je toto dlhodobé uchovávanie cenné, môže viesť k nafúknutým súborom údajov, ak sa nespravuje pomocou správnych stratégií archivácie a vrstvenia.

Dátové skladovanie je nevyhnutné pre analytiku, ale bez politík životného cyklu môže zdvojnásobiť alebo strojnásobiť vašu úložnú stopu.

Používanie vyhľadávania v údajoch

Funkcie ako vyhľadávanie, indexovanie Copilot a vyhľadávanie podľa relevancie vyžadujú indexovanie veľkých objemov štruktúrovaných a neštruktúrovaných údajov. Dataverse Tieto indexy často:

  • Spotrebujte úložisko protokolov a databázy

    Indexy vyhľadávania sú uložené v úložisku protokolov aj databázy. S tým, ako sa označí viac tabuliek a polí ako prehľadávateľných, sa úmerne zväčšuje aj veľkosť indexu. To môže výrazne ovplyvniť celkové využitie úložiska, najmä v prostrediach s veľkým objemom záznamov alebo častými zmenami schémy.

  • Zachovať aj pre nepoužívané alebo zastarané tabuľky

    Aj keď sú určité tabuľky zastarané alebo sa už aktívne nepoužívajú, ich priradené vyhľadávacie indexy môžu pretrvávať, pokiaľ nie sú explicitne odstránené. To vedie k zbytočnej spotrebe úložného priestoru a môže skomplikovať plánovanie kapacity.

  • Často sa duplikujú v rôznych prostrediach, ako sú vývojové, testovacie a produkčné prostredia.

    Indexy vyhľadávania sa zvyčajne replikujú v rámci vývojového, testovacieho a produkčného prostredia. Aj keď to zaisťuje konzistentné vyhľadávanie, zároveň to znásobuje úložnú stopu, najmä keď sa prostredia často klonujú alebo obnovujú.

Vyhľadávanie zlepšuje použiteľnosť a pripravenosť na umelú inteligenciu, ale nafúknutie indexu je tichým prispievateľom k nadmernému využitiu úložiska.

Povolenie protokolovania údajov

Denníky auditu, denníky sledovania doplnkov a telemetria sú kľúčové pre dodržiavanie predpisov, ladenie a monitorovanie. Všimnite si však nasledujúce body:

  • Úložisko protokolov rastie lineárne s používaním a počtom používateľov.

    Údaje v protokoloch rastú úmerne s:

    • Počet používateľov a ich úroveň aktivity
    • Objem transakcií a integrácií
    • Zložitosť obchodnej logiky, ako sú pluginy a pracovné postupy

    V prostrediach s vysokou mierou používania to môže viesť k rýchlemu rozširovaniu tabuliek protokolov, čo spotrebuje kvóty databázy aj úložiska protokolov.

  • Predvolené hodnoty uchovávania sú často príliš štedré, napríklad 90 dní alebo viac.

    Mnohé funkcie protokolovania štandardne uchovávajú údaje dlhší čas, napríklad 90 dní alebo viac. Aj keď to podporuje dlhodobú sledovateľnosť, môže to viesť k zbytočnej spotrebe úložiska, najmä ak sa protokoly aktívne nekontrolujú alebo neexportujú.

  • Systémom generované protokoly sú fakturované zákazníkovi v Dataverse.

    V Dataverse Systémom generované protokoly vrátane protokolov auditu a protokolov sledovania doplnkov sa započítavajú do nároku zákazníka na úložisko. To znamená, že bez riadnych stratégií čistenia alebo exportu môže protokolovanie priamo prispieť k prekročeniu úložiska a zvýšeným nákladom na licencie.

Zaznamenávanie údajov nie je v regulovaných odvetviach obchodovateľné, ale musí byť spárované so stratégiami uchovávania a exportu, ako napríklad Azure Monitor alebo Log Analytics.

Viacero kópií produkčného prostredia

Na podporu vývoja, testovania, školenia a riešenia problémov zákazníci často vytvárajú sandboxové alebo klonované prostredia. Každá kópia:

  • Replikuje kompletné dáta a indexovú stopu.
  • Môže zahŕňať nezrejmé závislosti, ako sú vyhľadávacie indexy, protokoly auditu a metadáta.
  • Po použití sa zriedka čistí.

Rozrastanie prostredia je hlavným faktorom ovplyvňujúcim náklady a zložitosť skladovania. Politiky riadenia a automatizácia sú kľúčové pre obmedzenie.

Optimalizácia dotazov na dátach

S rastúcim objemom dát a stáva sa kritickou rýchlosťou odozvy aplikácií zákazníci a ISV často implementujú rôzne techniky optimalizácie dotazov na zlepšenie výkonu. Dataverse a Dynamics 365. Tieto stratégie sú obzvlášť bežné v scenároch náročných na tvorbu prehľadov, analýzu a integráciu.

Na zlepšenie výkonu zákazníci a ISV často vytvárajú:

  • Vlastné indexy a materializované zobrazenia

    Tieto sa používajú na zrýchlenie vykonávania dotazov predbežným výpočtom spojení alebo agregácií. Sú užitočné v scenároch zahŕňajúcich zložité filtre alebo veľké súbory údajov.

  • Denormalizované tabuľky pre reporting

    Pre zjednodušenie tvorby prehľadov a zníženie zložitosti dotazov vývojári často vytvárajú sploštené verzie relačných údajov. Tieto tabuľky znižujú potrebu spojení za behu a zlepšujú výkon dashboardu.

  • Ukladanie vrstiev alebo agregátov do vyrovnávacej pamäte

    Často používané údaje sú niekedy vopred agregované alebo uložené do vyrovnávacej pamäte v medziľahlých tabuľkách alebo externých úložiskách, aby sa znížilo zaťaženie primárnej databázy.

Hoci zlepšujú reakcie, zároveň:

  • Zvýšiť využitie úložiska

    Každá optimalizačná vrstva zavádza viac dátových štruktúr, či už ide o kópiu existujúcich údajov v denormalizovanom formáte, predpočítaný pohľad alebo tabuľku vyrovnávacej pamäte. Tieto štruktúry často duplikujú údaje, ktoré sú už uložené inde, čo vedie k väčšej celkovej úložnej stope. V prostrediach s prísnymi kvótami úložiska alebo modelmi licencovania založenými na nákladoch, ako napríklad Dataverse, sa to môže rýchlo vystupňovať do prekročení limitov, ktorým sa dá vyhnúť.

  • S vývojom aplikácií sa môžu stať osirelými

    S vývojom aplikácií sa niektoré artefakty optimalizácie nemusia odkazovať na aktívne zostavy, dashboardy alebo integrácie. Tieto osireté objekty naďalej spotrebúvajú úložisko a môžu dokonca spomaliť prevádzku systému, napríklad počas zálohovania alebo indexovania, ak nie sú identifikované a odstránené. Bez pravidelných auditov sa môžu hromadiť bez povšimnutia, čo podkopáva práve tie zlepšenia výkonnosti, na ktoré boli vytvorené.

Optimalizácia dotazov je nevyhnutná pre škálovanie, ale musí byť vyvážená hygienou úložiska a ladením na základe telemetrie.

Indexy a ich vplyv na úložisko

Indexy sú nevyhnutné na zlepšenie výkonu dotazov a rýchle načítanie údajov vo veľkých súboroch údajov. V aplikáciách Finance and Operations aj v aplikáciách Dynamics 365 sa indexy automaticky vytvárajú pre primárne kľúče a často dotazované polia a na podporu špecifických obchodných scenárov je možné definovať aj ďalšie vlastné indexy. Dataverse

Hoci sú indexy kľúčové pre výkon, majú aj priamy vplyv na spotrebu úložiska, ktorá sa počas návrhu riešenia často podceňuje.

Ako indexy spotrebúvajú úložisko

  • Fyzická duplikácia údajov: Každý index uchováva kópiu indexovaných stĺpcov spolu s ukazovateľmi na zodpovedajúce riadky. Čím viac stĺpcov a riadkov je indexovaných, tým väčšia je veľkosť indexu.

  • Rast s objemom dát: S rastom podkladovej tabuľky rastie aj index. V prostrediach s vysokým počtom transakcií môžu indexy rýchlo rásť, najmä na veľkých, denormalizovaných tabuľkách alebo na tabuľkách s častým vkladaním a aktualizáciou.

  • Viacero indexov na tabuľku: Je bežné, že jedna tabuľka má viacero indexov, napríklad pre vyhľadávanie, filtrovanie, triedenie a spájanie. Každý ďalší index prispieva ku kumulatívnu úložnú stopu.

  • Vyhľadávacie indexy v Dataverse: Funkcie ako Dataverse vyhľadávanie a indexovanie Copilot vytvárajú špecializované indexy, ktoré zahŕňajú viacero polí a tabuliek. Tieto sú uložené v tabuľke DataverseSearch a môžu zaberať značné množstvo miesta, najmä pri použití vo viacerých prostrediach, ako sú vývojové, testovacie a produkčné prostredia.

  • Systémom generované indexy: Niektoré indexy sú automaticky vytvorené platformou, napríklad pre vyhľadávacie polia alebo vzťahy. Tieto môžu pretrvávať, aj keď sú priradené tabuľky zastarané, pokiaľ nie sú explicitne odstránené.

Dôsledky skladovania

  • Zvýšené úložisko databázy a protokolov: Indexy prispievajú k využitiu úložiska databázy aj protokolov, čo môže ovplyvniť náklady na licencie v Dataverse.
  • Duplikácia prostredia: Pri kopírovaní alebo obnovení prostredí sa duplikujú všetky indexy, čo zvyšuje využitie úložiska vo vývojovom, testovacom a produkčnom prostredí.
  • Réžia údržby: Indexy sa musia aktualizovať pri zmene údajov, čo môže zvýšiť latenciu zápisu a spotrebu zdrojov.

Vplyv synchronizácie na strane servera na úložisko

Synchronizácia na strane servera v Dataverse umožňuje bezproblémovú integráciu e-mailov, schôdzok a úloh medzi Microsoft Exchange a Dataverse. Aj keď to zvyšuje produktivitu a automatizáciu, prispieva to aj k spotrebe úložného priestoru nasledujúcimi spôsobmi.

  • Vytvorenie záznamu o aktivite: Každý synchronizovaný e-mail alebo schôdzka vygeneruje záznam o aktivite v Dataverse, ktorý obsahuje metadáta, obsah tela správy a prípadne aj prílohy.
  • Úložisko príloh: Ak prílohy nie sú filtrované alebo uvoľnené, ukladajú sa priamo do Dataverse, čím sa zvyšuje využitie úložiska.
  • Súlad a uchovávanie údajov: Organizácie používajúce synchronizáciu na strane servera na sledovanie súladu si môžu uchovávať viac údajov, ako je potrebné, čím sa ďalej zvyšuje objem úložiska.
  • Chránený obsah: Aj e-maily chránené funkciou Purview, hoci majú obmedzenú viditeľnosť obsahu, stále generujú zástupné záznamy, ktoré zaberajú miesto.

Aby podniky zvládli tento dopad, mali by zaviesť politiky uchovávania údajov, zvážiť uvoľnenie príloh a pravidelne monitorovať objemy záznamov o aktivitách.

Ako môžem spravovať neustále rastúci úložný priestor?

Či už čelíte nadmernému úložisku alebo sa snažíte udržať si náskok pred ním, riadenie rastu dát v platforme Dynamics 365 Finance and Operations si vyžaduje premyslený prístup založený na politikách. Dataverse Táto časť načrtáva dva strategické vstupné body: reaktívnu nápravu a proaktívne riadenie.

Existujú dva možné scenáre:

  1. Chcete proaktívne uplatňovať osvedčené postupy na správu úložiska a vyhnúť sa vysokým nákladom v budúcnosti.
  2. Už ste v situácii, kedy je nevyhnutné znížiť veľkosť úložiska a náklady.

Aplikujte osvedčené postupy na správu veľkosti úložiska a nákladov

Scenár 1: Chcete proaktívne uplatňovať osvedčené postupy na správu úložiska

Ak ešte nie ste v krízovom režime, teraz je čas použiť nástroje a techniky na proaktívnu správu úložiska.

Konfigurácia analytických údajov

S rastom organizácií rastie aj potreba získavať poznatky z prevádzkových údajov bez toho, aby to ovplyvnilo výkonnosť kľúčových obchodných aplikácií. Spoločnosť Microsoft ponúka viacero spôsobov, ako povoliť analýzu finančných a prevádzkových údajov systému Dynamics 365 integráciou s vaším vlastným dátovým jazerom alebo dátovým skladom. Dataverse

Tu sú dve účinné možnosti, ktoré môžete zvážiť:

Možnosť 1. Použite odkaz – prineste si vlastné jazero Azure Synapse

Azure Synapse Prepojenie vám umožňuje pripojiť sa priamo k vášmu vlastnému pracovnému priestoru Azure Data Lake alebo Synapse. Dataverse To umožňuje replikáciu prevádzkových údajov do analytického prostredia takmer v reálnom čase bez nutnosti písania zložitých ETL kanálov.

Výhody:

  • Spúšťajte pokročilú analytiku a modely umelej inteligencie na živých alebo takmer živých dátach.
  • Zabráňte vplyvu na výkon vašich produkčných systémov.
  • Na vytváranie prehľadov používajte známe nástroje ako T-SQL, Spark alebo **. Power BI

Príklad prípadu použitia: Maloobchodná spoločnosť používa Synapse Link na analýzu správania zákazníkov pri nákupe v rôznych regiónoch, pričom kombinuje Dataverse údaje o riadení vzťahov so zákazníkmi s externými trhovými údajmi vo vlastnom prostredí.

Možnosť 2. Používajte OneLake – jednotnú analytiku s Microsoft Fabric

OneLake, súčasť služby Microsoft Fabric, poskytuje jednotné prostredie pre dátové jazero, kde môžete ukladať a analyzovať údaje z viacerých zdrojov vrátane finančných a prevádzkových aplikácií bez duplikácie. Dataverse

Výhody:

  • Centralizované úložisko pre všetky analytické úlohy.
  • Natívna integrácia so službami Power BI, Synapse a umelou inteligenciou.
  • Zjednodušená správa a zabezpečenie naprieč dátovými doménami.

Príklad prípadu použitia: Finančná spoločnosť používa OneLake na konsolidáciu prevádzkových údajov z finančných a prevádzkových aplikácií a Dataverse s externými ekonomickými ukazovateľmi, čo umožňuje modelovanie rizík v reálnom čase a riadiace panely pre manažérov. Týmto spôsobom môžete oddeliť prevádzkové údaje od svojich základných systémov a umožniť škálovateľnú a nákladovo efektívnu analýzu exportom týchto údajov do ich vlastných analytických prostredí bez duplikovania pracovných zaťažení alebo ovplyvnenia výkonu.

Nástroje a techniky na zníženie úložného priestoru

Dataverse ponúka niekoľko vstavaných nástrojov a stratégií, ktoré pomáhajú správcom efektívne spravovať úložisko a udržiavať výkon systému.

Dataverse

Spravovanie údajov pomocou politík riadenia

  • Začnite s prostrediami a tabuľkami, ktoré spotrebúvajú najviac ukladacieho priestoru.
  • Používanie opakovaných politík riadenia pre predvídateľný rast údajov namiesto toho, aby ste sa spoliehali iba na jednorazové čistenie.
  • Testovanie kritérií odstránenia a uchovávania údajov v testovacom prostredí (sandbox) pred ich použitím v produkčnom prostredí.
  • Pravidelne kontrolujte výsledky a zlyhania politík.
  • Pridanie kapacity úložiska v prípade, že požadované údaje nie je možné odstrániť alebo presunúť do dlhodobého uchovávania údajov.

Čistenie prostredia a údajov

  • Odstránenie nepoužívaných prostredí: Prostredie môžete odstrániť, aby ste uvoľnili úložný priestor a odstránili osobné identifikačné údaje (PII).
  • Úlohy hromadného mazania: Nasledujúce údaje môžete hromadne odstrániť:
    • Zastarané údaje alebo údaje, ktoré sú pre podnikanie irelevantné.
    • Nepotrebné testovacích či vzorových údajov.
    • Údaje nesprávne importované z iných systémov.

Optimalizácia súborov a tabuliek

  • Znížte úložisko súborov pomocou rozšíreného vyhľadávania: Tento článok vám poskytne 15 metód na lepšiu správu úložiska. Na riadenie celkového využitia ukladacieho priestoru údajov využite jednu alebo viac z týchto metód. Kategórie údajov môžete vymazať podľa potreby alebo nastaviť hromadné úlohy vymazania, ktoré sa budú opakovať v stanovených intervaloch. Môžete napríklad odstrániť poznámky, prílohy, históriu importu a ďalšie údaje.
  • Vyčistenie záznamov z tabuliek systémových úloh (AsyncOperationBase) a denníka procesov (WorkflowLogBase): Ak vaša organizácia vo veľkej miere využíva pracovné postupy alebo toky obchodných procesov, tieto tabuľky (AsyncOperationBase, WorkflowLogBase) časom rastú a nakoniec sa stanú dostatočne veľkými na to, aby spôsobili problémy s výkonom a spotrebovali nadmerné množstvo úložiska v databáze vašej organizácie. Pre WorkflowLogBase môžete nakonfigurovať automatické mazanie dokončených úloh pracovného postupu na pozadí .

Dlhodobé uchovávanie (LTR) a archivácia

Optimalizácia indexu vyhľadávania

  • Znížiť Dataverse vyhľadávanie: Veľkosť úložiska môžete zmenšiť vykonaním všetkých krokov uvedených v Dataverse podrobnostiach o úložisku na základe kapacity.
  • Zmenšite veľkosť tabuľky DataverseSearch: Tabuľka DataverseSearch je kumulatívny úložný priestor používaný vyhľadávacím indexom Dataverse . Zahŕňa údaje zo všetkých prehľadateľných, načítateľných a filtrovateľných polí tabuliek, ktoré ste indexovali pre svoje prostredie. Veľkosť tabuľky môžete zmenšiť odstránením stĺpcov vyhľadávania, stĺpcov zobrazenia a podmienok filtrovania pre jednu alebo viac tabuliek. Môžete vypnúť vyhľadávanie Dataverse na odstránenie všetkých indexovaných údajov.
Aplikácie na riadenie financií a prevádzok

Aplikácie pre financie a operácie poskytujú flexibilné možnosti správy úložiska v produkčných aj sandboxových prostrediach.

Manažment životného prostredia

  • Obmedzenie počtu plných produkčných kópií: Celkovú spotrebu úložiska finančných a prevádzkových aplikácií môžete znížiť odstránením plných produkčných kópií v sandboxových prostrediach. Napríklad, ak máte päť kópií produkčných prostredí v sandboxe, vaša spotreba úložiska je súčtom produkcie plus päť kópií produkčných prostredí v sandboxe.
  • Orezanie údajov v sandbox prostrediach: Orezaním údajov v sandbox prostredí môžete znížiť celkovú úložnú stopu. Na vyčistenie údajov v sandboxe môžete použiť nasledujúce metódy.
    • Proces obnovy umožňuje otvorenie a orezanie
    • Napíšte T-SQL
    • Napíšte X++
  • Vykonajte beztransakčnú kópiu medzi prostrediami: Kopírovanie prostredia pre finančné a prevádzkové aplikácie tradične zahŕňalo úplnú duplikáciu databázy vrátane konfigurácie, kmeňových údajov a transakcií, čo je síce užitočné na ladenie, ale výrazne zvyšuje spotrebu úložiska vo financiách aj prevádzke Dataverse.

Vlastné čistenie a správa protokolov

  • Podľa potreby si napíšte vlastné čistiace postupy: Podľa potreby vašej firmy si môžete napísať vlastné čistiace postupy na vyčistenie nechcených údajov.
  • Vyhnite sa ukladaniu protokolov: Súbor SysDatabaseLog môžete presunúť do menej transakčnej databázy, aby ste znížili celkovú úložnú stopu.

Archívne a dlhodobé uchovávanie

Vstavané čistiace rutiny

  • Čistiace rutiny: V aplikácii Dynamics 365 Finance a Dynamics 365 Supply Chain Management sú čistiace rutiny dostupné v rôznych moduloch. Postupy čistenia poskytujú prehľad postupov, ktoré sú momentálne k dispozícii. Po skopírovaní databázy sandbox spustite tieto čistiace rutiny proaktívne, aby ste odstránili nepotrebné tabuľky, ako napríklad históriu dávok, protokoly a históriu maloobchodných transakcií. Odstráňte zastarané alebo irelevantné údaje.
  • Archivácia údajov o transakciách kreditnou kartou: Opisuje archivačnú úlohu v Dynamics 365 Commerce , ktorá môže pomôcť uvoľniť miesto v databáze archiváciou tokenov platieb kreditnou kartou.

Znížte veľkosť úložiska a náklady

Scenár 2: Už sa nachádzate v situácii, kedy je nevyhnutné znížiť veľkosť úložiska a náklady

Zhodnoťte, čo spotrebúva úložisko

  • Na identifikáciu tabuliek, typov súborov a protokolov s najvyššou spotrebou použite Power Platform centrum spravovania a zostavy úložiska pre financie a operácie.
  • Na priradenie používania konkrétnym aplikáciám, používateľom alebo obchodným jednotkám použite telemetriu, ak je k dispozícii.

Uprednostnite kandidátov na upratovanie

  • Zamerajte sa na:
    • Tabuľky pre fázovanie a integráciu, ako napríklad vyrovnávacie pamäte s dvojitým zápisom
    • Záznamy auditu: Uschovajte si ich vo vlastnom úložisku
    • Nepoužívané prostredia alebo sandboxy
    • Osirelé metadáta a vyhľadávacie indexy
    • Odstráňte, čo nepotrebujete, napríklad hromadné odstránenie

Na analytické reportovanie použite Synapse Link a OneLake

  • Exportujte analytické údaje do Synapse Link.
  • Na prístup k uchovávaným údajom a obchodným údajom na účely prehľadov a analýz použite OneLake.

Použiť dlhodobé uchovávanie (LTR)

  • Presunúť historické údaje do spravovaného dátového jazera (MDL) pomocou politík LTR.
  • Zachovajte si prístup k vyhľadávaniu a analytike prostredníctvom funkcií Quick Find, Synapse Link alebo OneLake.

Prípady použitia

Prípady použitia správy úložiska v prostredí financií a prevádzky sú kľúčové pre optimalizáciu databázového priestoru, zvýšenie výkonu systému a splnenie regulačných požiadaviek. Dataverse Nižšie sú uvedené niektoré typické scenáre, ktoré demonštrujú, ako možno tieto stratégie uplatniť:

  • Riadenie rastu historických údajov

    • Scenár: Firma používa systém Dynamics 365 už niekoľko rokov a nahromadila veľké objemy historických transakcií a príloh.
    • Akcia: Implementujte dlhodobé stratégie uchovávania údajov na uchovanie neaktívnych údajov, zníženie veľkosti primárnej databázy a zachovanie súladu s požiadavkami auditu.

  • Uchovávanie údajov na základe dodržiavania predpisov

    • Scenár: Regulovaný zákazník z odvetvia musí uchovávať finančné alebo zákaznícke údaje sedem až desať rokov v chránenom formáte.
    • Akcia: Použite LTR na uchovanie nemenných údajov určených len na čítanie v súlade s právnymi a regulačnými požiadavkami a zároveň zachujte efektívnosť obchodných údajov bez kompromisov v oblasti analytiky a reportovania.

  • Optimalizácia vyhľadávania a indexu Copilot

    • Scenár: Dataverse Vyhľadávanie a indexovanie Copilot sú povolené vo všetkých prostrediach vrátane nepoužívaných tabuliek.
    • Akcia: Auditovať vyhľadávateľné polia a zakázať indexovanie pre tabuľky s nízkou hodnotou alebo zastarané tabuľky. Monitorujte veľkosť tabuľky DataverseSearch a optimalizujte konfigurácie, aby ste znížili úložisko protokolov a databázy.

  • Správa auditu a telemetrie

    • Scenár: Denníky sledovania a auditu doplnkov rýchlo rastú, spotrebúvajú úložisko a ovplyvňujú výkon.
    • Akcia: Exportovať protokoly do externých systémov, ako je Azure Monitor, a automatizovať čistenie starých záznamov, aby sa zachovala prehľadnosť bez zahltenia úložiska.

  • Integrácia dátových skladov a analytických nástrojov

    • Scenár: Organizácia replikuje prevádzkové údaje do Azure Synapse alebo OneLake na účely analýzy, čo vedie k duplicitnému úložisku.
    • Akcia: Používajte prírastkové exporty, aplikujte filtre a vyhnite sa úplnej replikácii súboru údajov, aby ste minimalizovali redundanciu a zároveň umožnili bohaté prehľady.

  • Zníženie prekročenia úložného priestoru

    • Scenár: Zákazník dostane oznámenie o prekročení svojej Dataverse kvóty úložiska, čo vedie k neočakávaným nákladom.
    • Akcia: Pomocou prehľadov kapacity identifikujte tabuľky s najvyššou spotrebou, vyčistite zastarané prostredia a odstráňte nepoužívané prílohy alebo protokoly. Zvážte presun nepoužívaných údajov – zvyčajne historických alebo zriedkavo prístupných záznamov – do lacnejších úložných úrovní.

  • Optimalizácia výkonu vo veľkých tabuľkách

    • Scenár: Obchodne kritické procesy sa spomaľujú kvôli veľkým tabuľkám.
    • Akcia: Archivovať staré záznamy, vyčistiť systémové úlohy, napríklad AsyncOperationBase a WorkflowLogBase.

  • Riadenie životného cyklu životného prostredia

    • Scenár: Vývojové a testovacie prostredia sú klonované z produkčného prostredia, čím sa duplikujú všetky údaje a indexy.
    • Akcia: Po obnovení orežte prostredia sandbox, zakážte nepotrebné indexovanie vyhľadávania a odstráňte testovacie údaje, aby ste znížili spotrebu redundantného úložiska. Odstráňte nepoužívané prostredia sandbox, aby ste ušetrili úložisko.

Prípadové štúdie

Prípadová štúdia 1: Zníženie nadmerného úložiska prostredníctvom čistenia indexov

Profil zákazníka: Globálna výrobná spoločnosť používajúca Dynamics 365 pre dodávateľský reťazec a finančné a prevádzkové aplikácie.

Problém: Zákazník zaznamenal neočakávané prekročenie úložného priestoru a zníženie výkonu vo svojom produkčnom prostredí. Vyšetrovanie odhalilo, že viaceré vlastné indexy a materializované zobrazenia vytvorené počas skoršej implementácie sa už nepoužívali, ale stále spotrebúvali značné množstvo úložného priestoru.

Riešenie: Tím vykonal štvrťročný audit všetkých vlastných indexov a odstránil tie, na ktoré neodkazujú aktívne dotazy alebo zostavy. Taktiež zaviedli politiku riadenia na kontrolu nových žiadostí o indexovanie pred nasadením.

Výsledok:

  • Znížené úložisko databázy o 28 %.
  • Zlepšený výkon dotazov o 15 %.
  • Ušetrilo sa predpokladaných $12,000 ročne na iných nákladoch na skladovanie.

Prípadová štúdia 2: Archivácia historických údajov na splnenie cieľov v oblasti dodržiavania predpisov a výkonnosti

Profil zákazníka: Finančná firma používajúca Dataverse a Dynamics 365 na zaškolenie zákazníkov a správu prípadov.

Výzva: Firma potrebovala uchovávať záznamy o zákazníkoch viac ako sedem rokov, aby splnila regulačné požiadavky, ale rastúci objem neaktívnych údajov spomaľoval aktívne pracovné postupy a zvyšoval náklady na ukladanie.

Riešenie: Zákazník implementoval stratégiu dlhodobého uchovávania údajov s využitím archivačných možností spoločnosti Dataverse. Neaktívne záznamy boli presunuté do úložiska určeného len na čítanie s optimalizovanými nákladmi, zatiaľ čo aktívne údaje zostali vo vysokovýkonnom úložisku.

Výsledok:

  • Archivovaných viac ako 1,2 milióna záznamov.
  • Znížená veľkosť primárnej databázy o 40 %.
  • Zachovala plnú auditovateľnosť a súlad s politikami uchovávania údajov.

Prípadová štúdia 3: Zjednodušenie vyhľadávacích indexov v rôznych prostrediach

Profil zákazníka: Maloobchodná organizácia s viacerými Dataverse prostrediami vrátane vývojového, testovacieho a produkčného prostredia, ktorá podporuje riešenie riadenia vzťahov so zákazníkmi s podporou platformy Copilot.

Výzva: Vyhľadávacie indexy boli použité vo všetkých prostrediach vrátane nepoužívaných tabuliek a testovacích údajov. To viedlo k nafúknutým tabuľkám DataverseSearch a zbytočnému využívaniu úložiska.

Riešenie: Tím skontroloval vyhľadávateľné polia a prestal používať indexovanie nekritických tabuliek vo vývojových a testovacích prostrediach. Taktiež automatizovali čistenie indexov počas obnovovania prostredia.

Výsledok:

  • Znížené úložisko indexu vyhľadávania o 35 %.
  • Zlepšené časy obnovovania prostredia o 20 %.
  • Znížené celkové využitie úložiska protokolov a databázy.

Prípadová štúdia 4: Použitie exportu údajov na analytické účely bez duplicitného úložiska

Profil zákazníka: Poskytovateľ zdravotnej starostlivosti používajúci Dynamics 365 Dataverse na interakciu s pacientmi a fakturáciu.

Výzva: Analytický tím potreboval prístup k prevádzkovým údajom na analýzu trendov a modelovanie umelej inteligencie, ale duplikovanie údajov do samostatného skladu zvyšovalo náklady na skladovanie a zložitosť.

Riešenie: Zákazník použil Azure Synapse Link s prírastkovým exportom a viacvrstvovým úložiskom v OneLake. Uchovávali iba nevyhnutné analytické údaje a uplatňovali pravidlá uchovávania údajov na správu historickej hĺbky.

Výsledok:

  • Umožnila analýzu v reálnom čase bez ovplyvnenia operačných systémov.
  • Znížené redundantné úložisko o 45 %.
  • Vylepšené riadenie životného cyklu analytických údajov.

Záver

Efektívna správa úložiska je kľúčová pre udržanie výkonu systému a optimalizáciu využitia zdrojov v prostrediach Dynamics 365. Postupy čistenia a archivácie uvedené v tomto článku poskytujú robustné riešenia na uvoľnenie cenného priestoru v databáze a zefektívnenie operácií. Pomocou týchto nástrojov, ako je LTR a podobné techniky, môžu zákazníci riešiť bežné problémy s ukladaním údajov a vytvárať udržateľné postupy správy údajov. Okrem toho, prípadové štúdie z reálneho sveta preukazujú účinnosť týchto prístupov a ponúkajú pohľad na ich praktické aplikácie. Prijatie týchto stratégií umožňuje organizáciám proaktívne riadiť svoje potreby v oblasti úložiska a zvyšovať celkovú efektivitu.

Odkazy

Vyčistenie úložiska v Dataverse:

Vyčistenie úložiska vo financiách a prevádzke:

Úložná kapacita:

  • Naposledy aktualizované: