Gestionarea spațiului de stocare în aplicațiile financiare și operaționale Dataverse

Pe măsură ce organizațiile își accelerează parcursul transformării digitale, capacitatea de a gestiona eficient datele devine un imperativ strategic pentru afaceri. Odată cu creșterea aplicațiilor bazate pe inteligență artificială și a fluxurilor de lucru bazate pe Copilot, companiile generează și consumă date în ritmuri fără precedent. Aceste date alimentează inovația, permit experiențe personalizate și susțin luarea deciziilor critice - dar numai dacă sunt guvernate și stocate inteligent.

Pentru a susține aceste nevoi de afaceri în continuă evoluție, organizațiile trebuie să adopte o strategie proactivă de gestionare a stocării. Acest lucru asigură că datele care nu mai sunt necesare pentru operațiunile zilnice sunt gestionate în mod responsabil, eliberând capacitate pentru sarcini de lucru cu valoare ridicată, reducând dificultățile operaționale și aliniindu-se cu cerințele de conformitate și audit.

Din punct de vedere tehnic, gestionarea eficientă a spațiului de stocare în **și Dynamics 365** îmbunătățește performanța sistemului, îmbunătățește eficiența costurilor și asigură respectarea politicilor de retenție pe termen lung (LTR). Dataverse Ambele platforme oferă instrumente și capacități de automatizare care permit organizațiilor să gestioneze spațiul de stocare.

Prin implementarea strategiilor descrise în acest articol, companiile pot reduce cheltuielile generale de asistență, pot eficientiza conformitatea și pot obține o valoare mai mare din aplicațiile lor de business - transformând stocarea dintr-o constrângere într-un avantaj competitiv.

Beneficii cheie

Gestionarea eficientă a spațiului de stocare în **și Dynamics 365** oferă mai multe beneficii cheie care abordează punctele slabe comune ale clienților și îmbunătățesc eficiența operațională generală. Dataverse

  • Conformitate sporită cu LTR: Gestionarea eficientă a stocării asigură că datele sunt stocate în conformitate cu politicile LTR. Acest lucru nu numai că ajută la îndeplinirea cerințelor de reglementare, dar asigură și că datele critice sunt păstrate și accesibile atunci când este nevoie.

  • Performanță îmbunătățită: Prin optimizarea gestionării spațiului de stocare, organizațiile pot îmbunătăți semnificativ performanța sistemelor lor. Alocarea și gestionarea eficientă a spațiului de stocare reduc latența și îmbunătățesc viteza de recuperare a datelor, ducând la operațiuni mai fluide și mai rapide.

  • Creșterea eficienței costurilor: Gestionarea eficientă a spațiului de stocare permite organizațiilor să se concentreze pe datele de mare valoare prin eficientizarea și eliminarea dezordinei din peisajul de stocare. Păstrând doar ceea ce este necesar, companiile își pot optimiza amprenta de stocare, ceea ce duce la o utilizare mai inteligentă a resurselor și la o scalabilitate eficientă din punct de vedere al costurilor.

Fundal

Pe măsură ce organizațiile cresc și își digitalizează mai multe operațiuni, volumul datelor de afaceri stocate în sisteme precum și Dynamics 365 crește constant. Dataverse Aceasta include nu doar datele active, tranzacționale, ci și înregistrările istorice care trebuie păstrate în scopuri de audit, reglementare sau continuitate a afacerii. În timp, această acumulare poate duce la degradarea performanței, creșterea cheltuielilor operaționale și creșterea costurilor de stocare - în special atunci când datele care nu mai sunt utilizate în mod activ rămân în niveluri de stocare de înaltă performanță.

O strategie de gestionare a stocării bine definită ajută organizațiile să abordeze aceste provocări prin identificarea datelor care pot fi arhivate, curățate sau mutate în spații de stocare optimizate pentru citire, cu costuri mai mici. Acest lucru este important pentru scenariile de conformitate în care datele trebuie să rămână imuabile, cu acces redus și doar pentru citire, cum ar fi înregistrările financiare, jurnalele de audit sau documentele depuse în conformitate cu reglementările. Asigurarea faptului că aceste date sunt păstrate într-un mod conform, fără a afecta performanța sistemelor active, este o cerință cheie pentru multe întreprinderi.

Prin utilizarea instrumentelor și strategiilor disponibile în ambele platforme, organizațiile pot obține o vizibilitate mai bună asupra amprentei lor de stocare, pot reduce consumul inutil și se pot asigura că datele critice pentru conformitate sunt gestionate corespunzător.

Acest articol prezintă abordări practice pentru gestionarea stocării, care ajută clienții să își alinieze practicile de păstrare a datelor cu nevoile afacerii și de reglementare. Acest lucru îmbunătățește performanța sistemului, reduce cheltuielile operaționale și asigură îndeplinirea obligațiilor de conformitate fără compromisuri.

De ce stocăm datele

Pentru a selecta și optimiza modelul potrivit de păstrare a datelor, este important să reflectați asupra motivelor și utilizărilor pentru care stocăm datele.

Date operaționale

Într-o aplicație de business, datele operaționale sunt cele folosite pentru a urmări vânzările sau acțiunile financiare sau ale lanțului de aprovizionare.

Aceste date trebuie accesate în timp real, sprijinind procesele operaționale interne și ale clienților care înregistrează acțiuni granulare, cum ar fi interacțiunile cu clienții, comenzile sau activitățile de inventar.

În timp, datele operaționale pot trece de la a fi utilizate activ la a fi utilizate rar. Datele ar putea necesita acces aproape în timp real, pentru a ajuta un client cu o comandă sau într-un caz de asistență. De exemplu, luați în considerare următoarele scenarii:

  • Un client plasează o comandă, în timp ce un alt client, care nu a interacționat cu afacerea de ceva vreme, plasează o comandă.
  • Fiecare comandă plasată și expediată este accesată în mod constant. Există, de asemenea, comenzi care se află sub o perioadă de garanție de trei ani și care pot necesita asistență și, eventual, o rambursare.

Acest lucru poate duce la faze ale nevoilor de acces la date operaționale, cum ar fi:

  • Date accesate activ timp de mai puțin de un an.
  • Mai puțin de trei ani de date accesate rar.
  • Mai mult de trei ani în care datele nu mai sunt accesate din punct de vedere operațional.

Natura în timp real a stocării operaționale o face relativ scumpă în comparație cu alte tipuri de stocare, așadar recunoașterea momentului în care datele trebuie accesate operațional și când nu este importantă pentru definirea strategiilor de retenție.

Integrare operațională

Ca categorie specializată de utilizare operațională, poate fi necesară replicarea datelor între mai multe sisteme operaționale, inclusiv modele precum:

  • Bancar Managementul relațiilor cu clienții pentru interacțiunile cu clienții din prima linie și replicarea către mai multe sisteme bancare. De exemplu, aveți conturi curente, carduri de credit, credite ipotecare și sisteme de verificare a creditului.
  • Fabricație Managementul relațiilor cu clienții pentru preluarea comenzilor în prima linie și sistem de management al resurselor întreprinderii pentru managementul lanțului de aprovizionare.
  • Gestionarea situațiilor de urgență de către poliție Managementul relațiilor cu clienții pentru interacțiunile cu cetățenii și sistemele de dispecerat pentru departamentele de poliție oferă managementul implementării.

În aceste cazuri, deși fiecare sistem poate avea date unice pe care le urmărește, există adesea date principale comune care trebuie partajate între sisteme și menținute sincronizate, ceea ce duce la nevoi de integrare.

Date de audit

O companie are de obicei responsabilitatea reglementată de a păstra datele pentru perioade lungi de timp - de exemplu, în medie, șapte ani - în scopuri de audit, fie interne, fie externe, cum ar fi susținerea auditului financiar, divulgarea reglementată sau analiza fraudelor.

Aceste date ar cuprinde, de obicei, atât datele necesare în scopuri operaționale, cât și datele care nu mai sunt necesare, deoarece permit examinarea întregului set de date dintr-un singur loc.

Date analitice

Organizațiile au nevoie să își revizuiască și să analizeze starea afacerilor lor. Acestea trebuie să măsoare și să compare statisticile în timp și să acopere mai multe sau toate părțile afacerii.

Perioadele mari și amploarea datelor asupra cărora se poate realiza această analiză duc la necesitatea replicării datelor operaționale în instrumente analitice specializate. Acest lucru evită ca analizele complexe să afecteze performanța sistemelor operaționale, dar permite și analiza seturilor de date care depășesc perioada pentru care datele sunt necesare din punct de vedere operațional. De exemplu, s-ar putea să fie nevoie să comparați datele pe o perioadă de șapte ani, mai degrabă decât pe o perioadă de unu sau doi ani. Totuși, diferitele nevoi de analiză pot necesita perioade complete de păstrare a datelor sau pot acoperi doar datele păstrate în sistemele operaționale.

Datele analitice permit de obicei agregarea datelor din mai multe părți ale afacerii și combină date din mai multe sisteme.

Fluxul de date

Datele de aceste tipuri trec de obicei în timp de la datele operaționale și apoi de la datele tranzacționale sau istorice, așa cum se arată în imaginea următoare.

Fluxul de date.

Diferite tipuri de depozitare

Dataverse tipuri de stocare

Dataverse organizează stocarea în trei categorii principale, fiecare cu modele distincte de utilizare și implicații de facturare.

Tip de stocare Descriere Cazuri comune de utilizare
Stocarea bazei de date Stochează date structurate în tabele - standard și personalizate. Înregistrări de afaceri, metadate, relații și configurații
Spațiu de stocare fișiere Stochează atașamente și date binare. Atașamente de e-mail, imagini, documente încărcate prin Power Apps
Depozitarea jurnalelor Stochează jurnalele de audit și jurnalele de urmărire a pluginurilor. Urmărirea modificărilor, auditarea, diagnosticarea și conformitatea

Tipuri de stocare pe platformele financiare și operaționale

Stocarea financiară și cea operațională sunt gestionate separat, dar sunt din ce în ce mai integrate în ecosistem. Power Platform Include următoarele tipuri de stocare.

Tip de stocare Descriere Cazuri comune de utilizare
Stocarea bazei de date operaționale Date tranzacționale de bază pentru finanțe, lanț de aprovizionare, resurse umane și multe altele Intrări în registru, stocuri, comenzi clienți
Stocarea documentelor Obiecte binare mari (Bloburi) stocate în Azure Blob Storage Facturi, chitanțe, documente scanate
Jurnale de telemetrie și diagnosticare Jurnalele de sistem și datele de telemetrie Monitorizarea performanței, diagnosticarea problemelor.

Scenarii de stocare partajată și integrată

  • Stocare duală cu scriere

    • Permite sincronizarea în timp real între aplicațiile financiare și operaționale. Dataverse
    • Necesită o gestionare atentă a rolurilor și a capacității pentru a evita duplicarea sau utilizarea excesivă.

  • Retenție pe termen lung (LTR)

    • Mută datele istorice într-un lac de date gestionat (MDL).
    • Reduce utilizarea spațiului de stocare principal, menținând în același timp accesul la conformitate și analize.
    • Se integrează cu:
      • Căutare rapidă (Dataverse-căutare nativă)
      • OneLake (analiză bazată pe materiale textile)
      • Synapse Link (analiză personalizată a lacurilor)

Cum cresc datele dvs. în timp

Pe măsură ce organizațiile își extind utilizarea Dynamics 365 și a platformei financiare și operaționale, creșterea numărului de date devine atât un semn al succesului, cât și o provocare strategică. Dataverse Ceea ce începe ca un set de date tranzacțional simplificat poate evolua rapid într-o bază de date complexă, cu mai multe straturi. Această secțiune explorează cinci factori cheie ai creșterii datelor și implicațiile acestora asupra stocării, performanței și guvernanței.

Utilizarea depozitării de date pe date operaționale

Pentru a accesa informații din sistemele operaționale, multe organizații utilizează Link, OneLake sau exportul de date pentru a replica date din aplicațiile financiare și operaționale într-un sistem analitic. Azure Synapse Dataverse Deși acest lucru acceptă raportarea avansată și sarcinile de lucru bazate pe inteligență artificială, introduce și:

  • Stocare redundantă între nivelurile operaționale și analitice

    Datele sunt adesea duplicate între mediile operaționale și cele analitice. Această redundanță crește consumul total de stocare și poate duce la costuri mai mari, mai ales dacă datele istorice sunt păstrate pe termen nelimitat în ambele sisteme.

  • Duplicarea schemei și cheltuielile generale de versiune

    Pentru a menține consecvența între sisteme, organizațiile trebuie să reproducă modificările schemei - de exemplu, câmpuri noi și coloane redenumite - atât în straturile operaționale, cât și în cele analitice. Acest lucru adaugă complexitate guvernanței datelor și crește riscul de deviație a schemelor, care poate deteriora rapoartele sau modelele din aval.

  • Creșterea păstrării datelor istorice pentru analiza tendințelor

    Sistemele analitice păstrează de obicei datele pentru perioade mai lungi de timp pentru a susține analiza tendințelor, prognoza și raportarea reglementărilor. Deși valoroasă, această păstrare pe termen lung poate duce la seturi de date supradimensionate dacă nu este gestionată cu strategii adecvate de arhivare și de clasificare pe niveluri.

Depozitarea datelor este esențială pentru analiză, dar fără politici privind ciclul de viață, aceasta poate dubla sau tripla amprenta de stocare.

Utilizarea căutării pe date

Funcții precum căutarea, indexarea Copilot și căutarea după relevanță necesită indexarea unor volume mari de date structurate și nestructurate. Dataverse Acești indici adesea:

  • Consumă spațiu de stocare în jurnal și în baza de date

    Indexurile de căutare sunt stocate atât în memoria jurnalelor, cât și în cea a bazei de date. Pe măsură ce mai multe tabele și câmpuri sunt marcate ca fiind accesibile pentru căutare, dimensiunea indexului crește proporțional. Acest lucru poate avea un impact semnificativ asupra utilizării generale a spațiului de stocare, în special în mediile cu volume mari de înregistrări sau modificări frecvente ale schemei.

  • Persistă chiar și pentru tabelele neutilizate sau depreciate

    Chiar și atunci când anumite tabele sunt depreciate sau nu mai sunt utilizate în mod activ, indexurile de căutare asociate acestora pot persista, cu excepția cazului în care sunt eliminate în mod explicit. Acest lucru duce la un consum inutil de spațiu de stocare și poate complica planificarea capacității.

  • Sunt adesea duplicate în medii diferite, cum ar fi mediile de dezvoltare, testare și producție

    Indexurile de căutare sunt de obicei replicate în medii de dezvoltare, testare și producție. Deși acest lucru asigură un comportament de căutare consistent, multiplică și amprenta de stocare, în special atunci când mediile sunt clonate sau reîmprospătate frecvent.

Căutarea îmbunătățește utilizabilitatea și pregătirea pentru inteligența artificială, dar supraîncărcarea indexului contribuie silențios la suprasolicitarea spațiului de stocare.

Activarea înregistrării datelor

Jurnalele de audit, jurnalele de urmărire a pluginurilor și telemetria sunt esențiale pentru conformitate, depanare și monitorizare. Totuși, rețineți următoarele aspecte:

  • Stocarea jurnalelor crește liniar odată cu utilizarea și numărul de utilizatori.

    Datele din jurnal cresc proporțional cu:

    • Numărul de utilizatori și nivelurile lor de activitate
    • Volumul tranzacțiilor și integrărilor
    • Complexitatea logicii de business, cum ar fi plugin-urile și fluxurile de lucru

    În mediile cu utilizare intensă, acest lucru poate duce la extinderea rapidă a tabelelor de jurnal, consumând atât cotele de stocare ale bazei de date, cât și cele ale jurnalelor.

  • Valori implicite de retenție sunt adesea prea generoase, cum ar fi 90 de zile sau mai mult.

    În mod implicit, multe funcții de înregistrare a datelor păstrează datele pentru perioade lungi de timp, cum ar fi 90 de zile sau mai mult. Deși acest lucru susține trasabilitatea pe termen lung, poate duce la un consum inutil de spațiu de stocare, mai ales atunci când jurnalele nu sunt revizuite sau exportate în mod activ.

  • Jurnalele generate de sistem sunt facturate clientului în Dataverse.

    În Dataverse, jurnalele generate de sistem, inclusiv jurnalele de audit și jurnalele de urmărire a pluginurilor, sunt luate în considerare în cadrul drepturilor de stocare ale clientului. Aceasta înseamnă că, fără strategii adecvate de curățare sau export, înregistrarea în jurnal poate contribui direct la suprasolicitarea spațiului de stocare și la creșterea costurilor de licențiere.

Înregistrarea datelor în jurnal nu este negociabilă pentru industriile reglementate, dar trebuie asociată cu strategii de retenție și export, cum ar fi Azure Monitor sau Log Analytics.

Deținerea mai multor copii ale mediului de producție

Pentru a sprijini dezvoltarea, testarea, instruirea și depanarea, clienții creează adesea medii sandbox sau clonate. Fiecare exemplar:

  • Replică amprenta completă a datelor și a indexului.
  • Poate include dependențe neevidente, cum ar fi indexuri de căutare, jurnale de audit și metadate.
  • Se curăță rar după utilizare.

Extinderea mediului este un factor major al costurilor și complexității stocării. Politicile de guvernanță și automatizarea sunt esențiale pentru limitarea răspândirii.

Optimizarea interogărilor asupra datelor

Pe măsură ce volumele de date cresc și timpul de răspuns al aplicațiilor devine esențial, clienții și ISV-urile implementează adesea diverse tehnici de optimizare a interogărilor pentru a îmbunătăți performanța în Dataverse și Dynamics 365. Aceste strategii sunt deosebit de frecvente în scenariile de raportare, analiză și integrare complexă.

Pentru a îmbunătăți performanța, clienții și ISV-urile creează adesea:

  • Indexuri personalizate și vizualizări materializate

    Acestea sunt folosite pentru a accelera execuția interogărilor prin precalcularea joncțiunilor sau agregărilor. Sunt utile în scenarii care implică filtre complexe sau seturi de date mari.

  • Tabele denormalizate pentru raportare

    Pentru a simplifica raportarea și a reduce complexitatea interogărilor, dezvoltatorii creează adesea versiuni aplatizate ale datelor relaționale. Aceste tabele reduc nevoia de joncțiuni la runtime și îmbunătățesc performanța tabloului de bord.

  • Cache-ul straturilor sau agregatelor

    Datele accesate frecvent sunt uneori preagregate sau memorate în cache în tabele intermediare sau depozite externe pentru a reduce încărcarea bazei de date primare.

Deși acestea îmbunătățesc răspunsul, ele și:

  • Creșterea utilizării spațiului de stocare

    Fiecare strat de optimizare introduce mai multe structuri de date, fie că este vorba de o copie a datelor existente într-un format denormalizat, o vizualizare precalculată sau un tabel din cache. Aceste structuri duplică adesea datele deja stocate în altă parte, ceea ce duce la o amprentă totală de stocare mai mare. În mediile cu cote de stocare stricte sau modele de licențiere bazate pe costuri, cum ar fi Dataverse, acest lucru poate escalada rapid în depășiri evitabile.

  • Pot deveni orfane pe măsură ce aplicațiile evoluează

    Pe măsură ce aplicațiile evoluează, este posibil ca unele artefacte de optimizare să nu mai fie referențiate de rapoartele, tablourile de bord sau integrările active. Aceste obiecte orfane continuă să consume spațiu de stocare și pot chiar încetini operațiunile sistemului, de exemplu, în timpul copiilor de rezervă sau al indexării, dacă nu sunt identificate și eliminate. Fără audituri regulate, acestea se pot acumula neobservate, subminând chiar câștigurile de performanță pentru care au fost create.

Optimizarea interogărilor este esențială pentru scalare, dar trebuie echilibrată cu igiena stocării și reglarea bazată pe telemetrie.

Indexurile și impactul lor asupra stocării

Indexurile sunt esențiale pentru îmbunătățirea performanței interogărilor și utilizarea regăsirii rapide a datelor în seturi de date mari. În ambele aplicații, **finance and operations** și Dynamics 365, indexurile sunt create automat pentru cheile primare și câmpurile interogate frecvent, putând fi definite și alte indexuri personalizate pentru a susține scenarii specifice de business. Dataverse

Deși indexurile sunt esențiale pentru performanță, acestea au și un impact direct asupra consumului de spațiu de stocare, adesea subestimat în timpul proiectării soluției.

Cum consumă indexurile spațiu de stocare

  • Duplicarea fizică a datelor: Fiecare index stochează o copie a coloanelor indexate, împreună cu pointeri către rândurile corespunzătoare. Cu cât sunt indexate mai multe coloane și rânduri, cu atât este mai mare dimensiunea indexului.

  • Creștere odată cu volumul de date: Pe măsură ce tabelul subiacent crește, crește și indexul. În mediile cu multe tranzacții, indexurile pot crește rapid, în special în tabelele mari, denormalizate sau în cele cu inserări și actualizări frecvente.

  • Mai mulți indexuri per tabel: Este obișnuit ca un singur tabel să aibă mai mulți indexuri, de exemplu pentru căutare, filtrare, sortare și joncțiuni. Fiecare alt index se adaugă la amprenta cumulativă de stocare.

  • Indexuri de căutare în Dataverse: Funcții precum Dataverse căutarea și indexarea Copilot creează indexuri specializate care acoperă mai multe câmpuri și tabele. Acestea sunt stocate în tabelul *DataverseSearch* și pot consuma mult spațiu, în special atunci când sunt utilizate în mai multe medii, cum ar fi mediile de dezvoltare, testare și producție.

  • Indexuri generate de sistem: Unii indexuri sunt creați automat de platformă, cum ar fi cei pentru câmpuri de căutare sau relații. Acestea pot persista chiar dacă tabelele asociate sunt depreciate, cu excepția cazului în care sunt eliminate în mod explicit.

Implicații privind depozitarea

  • Spațiu de stocare sporit în baza de date și jurnalele: Indexurile contribuie atât la utilizarea spațiului de stocare în baza de date, cât și în jurnalele de date, ceea ce poate afecta costurile de licențiere în Dataverse.
  • Duplicarea mediului: Când mediile sunt copiate sau actualizate, toți indexurile sunt duplicate, amplificând utilizarea spațiului de stocare în mediile de dezvoltare, testare și producție.
  • Costuri suplimentare de întreținere: Indexurile trebuie actualizate pe măsură ce datele se modifică, ceea ce poate crește latența la scriere și consumul de resurse.

Impactul sincronizării pe server asupra spațiului de stocare

Sincronizarea la nivel de server în Dataverse permite integrarea perfectă a e-mailurilor, programărilor și sarcinilor între Microsoft Exchange și Dataverse. Deși îmbunătățește productivitatea și automatizarea, contribuie și la consumul de spațiu de stocare în următoarele moduri.

  • Crearea înregistrărilor de activitate: Fiecare e-mail sau programare sincronizată generează o înregistrare de activitate în Dataverse, care include metadate, conținut și, eventual, atașamente.
  • Stocarea atașamentelor: Dacă atașamentele nu sunt filtrate sau descărcate, acestea sunt stocate direct în Dataverse, crescând utilizarea spațiului de stocare.
  • Conformitate și păstrare: Organizațiile care utilizează sincronizarea pe server pentru urmărirea conformității pot păstra mai multe date decât este necesar, ceea ce umflă și mai mult spațiul de stocare.
  • Conținut protejat: Chiar și e-mailurile protejate prin Purview, deși au o vizibilitate limitată a conținutului, generează înregistrări substituente care consumă spațiu.

Pentru a gestiona acest impact, companiile ar trebui să implementeze politici de retenție, să ia în considerare descărcarea atașamentelor și să monitorizeze periodic volumele înregistrărilor de activitate.

Cum pot gestiona spațiul de stocare în continuă creștere?

Indiferent dacă vă confruntați deja cu depășiri ale spațiului de stocare sau doriți să le depășiți, gestionarea creșterii datelor în Dataverse și în platforma financiară și operațională Dynamics 365 necesită o abordare deliberată, bazată pe politici. Această secțiune prezintă două puncte de intrare strategice: remedierea reactivă și guvernanța proactivă.

Există două scenarii posibile:

  1. Doriți să aplicați proactiv cele mai bune practici pentru a gestiona spațiul de stocare și a evita costurile ridicate în viitor.
  2. Te afli deja într-o situație în care reducerea dimensiunii spațiului de stocare și a costurilor este necesară.

Aplicați cele mai bune practici pentru a gestiona dimensiunea și costurile de stocare

Scenariul 1: Doriți să aplicați proactiv cele mai bune practici pentru gestionarea spațiului de stocare

Dacă nu te afli încă în modul de criză, acum este momentul să aplici instrumente și tehnici pentru a gestiona proactiv spațiul de stocare.

Configurați analizele pentru datele dvs.

Pe măsură ce organizațiile cresc, crește și nevoia de a extrage informații din datele operaționale, fără a afecta performanța aplicațiilor de bază ale afacerii. Microsoft oferă mai multe modalități de a permite analize asupra datelor financiare și operaționale Dynamics 365 prin integrarea cu propriul lac sau depozit de date. Dataverse

Iată două opțiuni puternice de luat în considerare:

Opțiune 1. Folosește Azure Synapse Link – adu-ți propriul lac

Azure Synapse Link vă permite să vă conectați direct la propriul spațiu de lucru Azure Data Lake sau Synapse. Dataverse Acest lucru permite replicarea aproape în timp real a datelor operaționale într-un mediu analitic, fără a scrie conducte ETL complexe.

Beneficii:

  • Rulați analize avansate și modele de inteligență artificială pe date live sau aproape live.
  • Evitați impactul asupra performanței sistemelor dumneavoastră de producție.
  • Folosește instrumente familiare precum T-SQL, Spark sau Power BI pentru raportare.

Exemplu de caz de utilizare: O companie de retail folosește Synapse Link pentru a analiza comportamentul de cumpărare al clienților în diferite regiuni, combinând Dataverse datele de gestionare a relațiilor cu clienții cu date externe de piață din propriul lac.

Opțiune 2. Folosește OneLake – analiză unificată cu Microsoft Fabric

OneLake, parte a Microsoft Fabric, oferă o experiență unificată de tip data lake, unde puteți stoca și analiza date din mai multe surse, inclusiv Dataverse și aplicații financiare și operaționale, fără duplicare.

Beneficii:

  • Stocare centralizată pentru toate sarcinile de lucru analitice.
  • Integrare nativă cu Power BI, Synapse și servicii de inteligență artificială.
  • Guvernanță și securitate simplificate în toate domeniile de date.

Exemplu de caz de utilizare: O firmă de servicii financiare folosește OneLake pentru a consolida datele operaționale din aplicațiile financiare și operaționale și Dataverse cu indicatori economici externi, permițând modelarea riscurilor în timp real și crearea de tablouri de bord executive. Procedând astfel, puteți decupla datele operaționale de sistemele dvs. principale și puteți permite analize scalabile și eficiente din punct de vedere al costurilor, exportând aceste date în propriile medii analitice, fără a duplica sarcinile de lucru sau a afecta performanța.

Instrumente și tehnici pentru reducerea spațiului de depozitare

Dataverse oferă mai multe instrumente și strategii integrate pentru a ajuta administratorii să gestioneze eficient stocarea și să mențină performanța sistemului.

Dataverse

Curățarea mediului și a datelor

  • Ștergeți mediile neutilizate: Puteți șterge un mediu pentru a recupera spațiu de stocare și pentru a elimina informațiile de identificare personală (PII).
  • Ștergere în bloc: Puteți șterge următoarele date în bloc:
    • Date învechite sau date irelevante pentru afacere.
    • Date de testare sau eșantion de care nu aveți nevoie.
    • Date importate incorect din alte sisteme.

Optimizarea fișierelor și tabelelor

Păstrarea pe termen lung (LTR) și arhivarea

Optimizarea indexului de căutare

  • Reduceți Dataverse căutarea: Puteți reduce dimensiunea spațiului de stocare efectuând toți pașii din Dataverse detaliile privind stocarea bazată pe capacitate.
  • Reduceți dimensiunea tabelului DataverseSearch: Tabelul DataverseSearch este spațiul de stocare cumulativ utilizat de indexul Dataverse de căutare. Include datele din toate câmpurile care pot fi căutate, recuperate și filtrate din tabelele pe care le-ați indexat pentru mediul dvs. Puteți reduce dimensiunea tabelului eliminând coloanele de căutare, coloanele de vizualizare și condițiile de filtrare pentru unul sau mai multe tabele. Puteți dezactiva căutarea Dataverse pentru a elimina toate datele indexate.
Aplicații pentru finanțe și operațiuni

Aplicațiile financiare și operaționale oferă opțiuni flexibile pentru gestionarea spațiului de stocare în mediile de producție și sandbox.

Managementul mediului

  • Limitați numărul de copii complete de producție: Puteți reduce consumul total de spațiu de stocare al aplicațiilor financiare și operaționale prin eliminarea copiilor complete de producție din mediile sandbox. De exemplu, dacă aveți cinci copii ale mediilor de producție într-un sandbox, consumul de spațiu de stocare este suma dintre producție și cinci copii ale mediilor de producție dintr-un sandbox.
  • Eliminarea datelor în mediile sandbox: Prin eliminarea datelor într-un mediu sandbox, puteți reduce amprenta generală a spațiului de stocare. Puteți urma metodele de mai jos pentru a curăța datele din sandbox.
    • Procesul de restaurare oferă o execuție de deschidere și tăiere
    • Scrie T-SQL
    • Scrie X++
  • Efectuați o copie fără tranzacții între medii: Copierea mediului pentru aplicațiile financiare și operaționale a implicat în mod tradițional duplicarea completă a bazei de date, inclusiv configurația, datele principale și tranzacțiile, ceea ce, deși este util pentru depanare, crește semnificativ consumul de spațiu de stocare atât în domeniul financiar, cât și în cel operațional, și Dataverse.

Curățare personalizată și gestionare a jurnalelor

  • Scrieți rutine de curățare personalizate, după cum este necesar: Puteți scrie rutine de curățare personalizate, după cum este necesar pentru afacerea dvs., pentru a curăța datele nedorite.
  • Evitați stocarea jurnalelor: Puteți muta SysDatabaseLog într-o bază de date mai puțin tranzacțională pentru a reduce amprenta totală de stocare.

Arhivare și păstrare pe termen lung

Rutine de curățenie încorporate

  • Rutine de curățare: În Dynamics 365 Finance și Dynamics 365 Supply Chain Management, rutinele de curățare sunt disponibile în diverse module. Rutine de curățare oferă o prezentare generală a rutinelor disponibile în prezent. După copierea bazei de date sandbox, executați aceste rutine de curățare în mod proactiv pentru a elimina tabelele inutile, cum ar fi istoricul loturilor, jurnalele și istoricul tranzacțiilor de vânzare cu amănuntul. Ștergeți datele învechite sau irelevante.
  • Arhivarea datelor tranzacțiilor cu cardul de credit: Descrie o sarcină de arhivare în Dynamics 365 Commerce care poate ajuta la eliberarea spațiului în baza de date prin arhivarea token-urilor de plată cu cardul de credit.

Reduceți dimensiunea și costurile de stocare

Scenariul 2: Vă aflați deja într-o situație în care reducerea dimensiunii spațiului de stocare și a costurilor este necesară

Evaluează ce consumă spațiu de stocare

  • Folosiți centrul de administrare și rapoartele de stocare din departamentul financiar și operațional pentru a identifica tabelele, tipurile de fișiere și jurnalele care consumă cel mai mult. Power Platform
  • Folosește telemetria, dacă este disponibilă, pentru a atribui utilizarea anumitor aplicații, utilizatori sau unități de afaceri.

Prioritizează candidații pentru curățenie

  • Se concentreze pe:
    • Tabele de staging și integrare, cum ar fi bufferele cu scriere duală
    • Jurnale de audit: Păstrați-le în propriul spațiu de stocare
    • Medii neutilizate sau sandbox-uri
    • Metadate și indexuri de căutare orfane
    • Ștergeți ce nu aveți nevoie, de exemplu, ștergerea în bloc

Folosește Synapse Link și OneLake pentru raportare analitică

  • Exportați datele analitice în Synapse Link.
  • Folosește OneLake pentru a accesa datele păstrate și datele de afaceri în scopuri de raportare și analiză.

Aplicați retenția pe termen lung (LTR)

  • Mutați datele istorice într-un Managed Data Lake (MDL) folosind politici LTR.
  • Mențineți accesul la căutare și analiză prin intermediul funcției Quick Find, Synapse Link sau OneLake.

Cazuri de utilizare

Cazurile de utilizare pentru gestionarea stocării în mediile financiare și operaționale sunt esențiale pentru optimizarea spațiului din baza de date, îmbunătățirea performanței sistemului și îndeplinirea cerințelor de reglementare. Dataverse Mai jos sunt câteva scenarii tipice care demonstrează cum pot fi aplicate aceste strategii:

  • Gestionarea creșterii datelor istorice

    • Scenariu: O firmă este activă pe Dynamics 365 de mai mulți ani și a acumulat volume mari de tranzacții istorice și atașamente.
    • Acțiune: Implementați strategii de păstrare pe termen lung pentru a păstra datele inactive, a reduce dimensiunea bazei de date principale și a menține conformitatea cu cerințele de audit.

  • Păstrarea datelor bazată pe conformitate

    • Scenariu: Un client din industrie reglementat trebuie să păstreze datele financiare sau datele despre clienți timp de șapte până la zece ani într-un format inviolabil.
    • Acțiune: Utilizați LTR pentru a păstra datele imuabile, doar în citire, în conformitate cu cerințele legale și de reglementare, menținând în același timp datele de afaceri eficiente, fără a compromite analizele și raportarea.

  • Optimizarea indexului de căutare și Copilot

    • Scenariu: Dataverse Căutarea și indexarea Copilot sunt activate în toate mediile, inclusiv în tabelele neutilizate.
    • Acțiune: Verificați câmpurile care pot fi căutate și dezactivați indexarea pentru tabelele cu valoare mică sau perimate. Monitorizați dimensiunea tabelului DataverseSearch și optimizați configurațiile pentru a reduce stocarea în jurnal și în baza de date.

  • Managementul auditului și al telemetriei

    • Scenariu: Jurnalele de urmărire și jurnalele de audit ale pluginurilor cresc rapid, consumând spațiu de stocare și afectând performanța.
    • Acțiune: Exportați jurnalele către sisteme externe, cum ar fi Azure Monitor, și automatizați curățarea intrărilor vechi pentru a menține vizibilitatea fără a suprasolicita spațiul de stocare.

  • Integrarea depozitării de date și a analizei

    • Scenariu: Organizația replică datele operaționale în Azure Synapse sau în OneLake pentru analiză, ceea ce duce la duplicarea spațiului de stocare.
    • Acțiune: Folosiți exporturi incrementale, aplicați filtre și evitați replicarea completă a setului de date pentru a minimiza redundanța, permițând în același timp obținerea de informații bogate.

  • Reducerea supraîncărcărilor de stocare

    • Scenariu: Un client primește o notificare privind depășirea cotei sale Dataverse de stocare, ceea ce duce la costuri neașteptate.
    • Acțiune: Folosiți rapoartele de capacitate pentru a identifica tabelele cu cel mai mare consum de date, a curăța mediile învechite și a elimina atașamentele sau jurnalele neutilizate. Luați în considerare mutarea datelor neactualizate — de obicei înregistrări istorice sau accesate rar — către niveluri de stocare cu costuri mai mici.

  • Optimizarea performanței în tabele mari

    • Scenariu: Procesele critice pentru afacere încetinesc din cauza tabelelor mari.
    • Acțiune: Arhivați înregistrările vechi, curățați joburile de sistem, de exemplu AsyncOperationBase și WorkflowLogBase.

  • Managementul ciclului de viață al mediului

    • Scenariu: Mediile de dezvoltare și testare sunt clonate din producție, duplicând toate datele și indexurile.
    • Acțiune: Eliminați mediile sandbox după o actualizare, dezactivați indexarea inutilă a căutărilor și eliminați datele de testare pentru a reduce consumul redundant de spațiu de stocare. Ștergeți mediile sandbox neutilizate pentru a economisi spațiu de stocare.

Studii de caz

Studiu de caz 1: Reducerea suprasolicitării spațiului de stocare prin curățarea indexului

Profil client: O companie globală de producție care utilizează Dynamics 365 pentru aplicații de lanț de aprovizionare și financiare și operaționale.

Provocare: Clientul se confrunta cu supraîncărcări neașteptate ale spațiului de stocare și cu o degradare a performanței în mediul său de producție. Investigația a relevat că mai mulți indexuri personalizate și vizualizări materializate, create în timpul implementării timpurii, nu mai erau utilizate, dar încă ocupau o cantitate semnificativă de spațiu de stocare.

Soluție: Echipa a efectuat un audit trimestrial al tuturor indexurilor personalizate și i-a eliminat pe cei la care nu se referea interogările sau rapoartele active. De asemenea, au implementat o politică de guvernanță pentru a revizui noile solicitări de indexare înainte de implementare.

Rezultat:

  • Spațiul de stocare în baza de date a fost redus cu 28%.
  • Performanța interogărilor a fost îmbunătățită cu 15%.
  • Am evitat un $12,000 estimat pe an pentru alte costuri de stocare.

Studiu de caz 2: Arhivarea datelor istorice pentru îndeplinirea obiectivelor de conformitate și performanță

Profil client: O firmă de servicii financiare care utilizează Dataverse Dynamics 365 pentru funcționalitatea de integrare a clienților și de gestionare a cazurilor.

Provocare: Firma trebuia să păstreze înregistrările clienților timp de mai mult de șapte ani pentru a îndeplini cerințele de reglementare, dar volumul tot mai mare de date inactive încetinea fluxurile de lucru active și creștea costurile de stocare.

Soluție: Clientul a implementat o strategie de păstrare pe termen lung utilizând capacitățile de arhivare ale Dataverse. Înregistrările inactive au fost mutate într-un nivel de stocare doar pentru citire, optimizat din punct de vedere al costurilor, în timp ce datele active au rămas în spațiu de stocare de înaltă performanță.

Rezultat:

  • A arhivat peste 1,2 milioane de înregistrări.
  • Dimensiunea bazei de date principale a fost redusă cu 40%.
  • A menținut auditabilitatea deplină și conformitatea cu politicile de retenție.

Studiu de caz 3: Optimizarea indexurilor de căutare în diferite medii

Profil client: O organizație de retail cu mai multe Dataverse medii, inclusiv medii de dezvoltare, testare și producție, care acceptă o soluție de gestionare a relațiilor cu clienții compatibilă cu Copilot.

Provocare: Indexurile de căutare au fost utilizate în toate mediile, inclusiv în tabele neutilizate și date de testare. Acest lucru a dus la tabele DataverseSearch umflate și la un consum inutil de spațiu de stocare.

Soluție: Echipa a revizuit câmpurile care pot fi căutate și a încetat să mai utilizeze indexarea pe tabelele necritice în mediile de dezvoltare și testare. De asemenea, au automatizat curățarea indexului în timpul actualizărilor mediului.

Rezultat:

  • Spațiul de stocare al indexului de căutare a fost redus cu 35%.
  • Timpii de reîmprospătare a mediului au fost îmbunătățiți cu 20%.
  • Utilizarea generală redusă a jurnalelor și a spațiului de stocare în baza de date a fost redusă.

Studiu de caz 4: Utilizarea exportului de date pentru analiză fără duplicarea spațiului de stocare

Profil client: Un furnizor de servicii medicale care utilizează Dynamics 365 și Dataverse pentru implicarea pacienților și facturare.

Provocare: Echipa de analiză avea nevoie de acces la date operaționale pentru analiza tendințelor și modelarea prin inteligență artificială, dar duplicarea datelor într-un depozit separat creștea costurile de stocare și complexitatea.

Soluție: Clientul a folosit Azure Synapse Link cu export incremental și stocare pe niveluri în OneLake. Au păstrat doar datele analitice esențiale și au aplicat politici de păstrare pentru a gestiona profunzimea istorică.

Rezultat:

  • A permis analize în timp real fără a afecta sistemele operaționale.
  • Stocare redundantă redusă cu 45%.
  • Guvernanță îmbunătățită asupra ciclului de viață al datelor analitice.

Concluzie

Gestionarea eficientă a spațiului de stocare este crucială pentru menținerea performanței sistemului și optimizarea utilizării resurselor în mediile Dynamics 365. Rutinele de curățare și sarcinile de arhivare descrise în acest articol oferă soluții robuste pentru a elibera spațiu valoros în baza de date și a eficientiza operațiunile. Prin utilizarea acestor instrumente precum LTR și tehnici similare, clienții pot aborda provocările comune legate de stocare și pot crea practici sustenabile de gestionare a datelor. În plus, studiile de caz din lumea reală demonstrează eficacitatea acestor abordări, oferind perspective asupra aplicațiilor lor practice. Adoptarea acestor strategii permite organizațiilor să își gestioneze proactiv nevoile de stocare și să își îmbunătățească eficiența generală.

Referințe

Curățarea spațiului de stocare în Dataverse:

Curățenie depozit în departamentul financiar și operațional:

Capacitate de stocare:

  • Last updated on