Gestione dell'archiviazione in Dataverse e nelle app per la finanza e le operazioni

Man mano che le organizzazioni accelerano il loro percorso di trasformazione digitale, la capacità di gestire i dati in modo efficace diventa un imperativo aziendale strategico. Con l'avvento delle applicazioni basate sull'intelligenza artificiale e dei flussi di lavoro basati su Copilot, le aziende generano e consumano dati a velocità senza precedenti. Questi dati alimentano l'innovazione, consentono esperienze personalizzate e supportano processi decisionali critici, ma solo se gestiti e archiviati in modo intelligente.

Per supportare queste esigenze aziendali in continua evoluzione, le organizzazioni devono adottare una strategia proattiva di gestione dello storage. Ciò garantisce che i dati non più necessari per le operazioni quotidiane vengano gestiti in modo responsabile, liberando capacità per carichi di lavoro di alto valore, riducendo l'attrito operativo e allineandosi ai requisiti di conformità e audit.

Da un punto di vista tecnico, una gestione efficace dell'archiviazione in Dataverse e Dynamics 365 migliora le prestazioni del sistema, aumenta l'efficienza dei costi e garantisce il rispetto dei criteri di conservazione a lungo termine (LTR). Entrambe le piattaforme offrono strumenti e funzionalità di automazione che consentono alle organizzazioni di gestire lo storage.

Implementando le strategie descritte in questo articolo, le aziende possono ridurre i costi di supporto, semplificare la conformità e ottenere un valore maggiore dalle loro applicazioni aziendali, trasformando lo storage da un vincolo in un vantaggio competitivo.

Vantaggi chiave

Una gestione efficace dell'archiviazione in Dynamics 365 offre diversi vantaggi chiave che risolvono i problemi comuni dei clienti e migliorano l'efficienza operativa complessiva. Dataverse

  • Maggiore conformità con LTR: una gestione efficace dell'archiviazione garantisce che i dati vengano archiviati in conformità con le policy LTR. Ciò non solo contribuisce a soddisfare i requisiti normativi, ma garantisce anche che i dati critici siano preservati e accessibili quando necessario.

  • Prestazioni migliorate: ottimizzando la gestione dello storage, le organizzazioni possono migliorare significativamente le prestazioni dei propri sistemi. Un'allocazione e una gestione efficienti dello storage riducono la latenza e migliorano la velocità di recupero dei dati, consentendo operazioni più fluide e rapide.

  • Migliorare l'efficienza dei costi: una gestione efficace dello storage consente alle organizzazioni di concentrarsi sui dati di alto valore, semplificando e riordinando il proprio ambiente di storage. Conservando solo ciò che è necessario, le aziende possono ottimizzare lo spazio di archiviazione, ottenendo così un utilizzo più intelligente delle risorse e una scalabilità conveniente.

Sfondo

Man mano che le organizzazioni crescono e digitalizzano sempre più le loro operazioni, il volume di dati aziendali archiviati in sistemi come Dynamics 365 aumenta costantemente. Dataverse Ciò include non solo i dati attivi e transazionali, ma anche i registri storici che devono essere conservati per scopi di audit, normativi o di continuità aziendale. Nel tempo, questo accumulo può portare a un degrado delle prestazioni, a un aumento dei costi operativi e a un aumento dei costi di archiviazione, soprattutto quando i dati che non vengono più utilizzati attivamente rimangono in livelli di archiviazione ad alte prestazioni.

Una strategia di gestione dell'archiviazione ben definita aiuta le organizzazioni ad affrontare queste sfide identificando i dati che possono essere archiviati, ripuliti o spostati su un archivio ottimizzato per la lettura e a costi inferiori. Ciò è importante per gli scenari di conformità in cui i dati devono rimanere immutabili, di accesso limitato e di sola lettura, come registri finanziari, registri di controllo o documenti normativi. Garantire che tali dati siano conservati in modo conforme, senza compromettere le prestazioni dei sistemi attivi, è un requisito fondamentale per molte aziende.

Utilizzando gli strumenti e le strategie disponibili in entrambe le piattaforme, le organizzazioni possono ottenere una maggiore visibilità del loro spazio di archiviazione, ridurre i consumi non necessari e garantire che i dati critici per la conformità vengano gestiti in modo appropriato.

In questo articolo vengono illustrati gli approcci pratici alla gestione dell'archiviazione che aiutano i clienti ad allineare le proprie pratiche di conservazione dei dati alle esigenze aziendali e normative. Ciò migliora le prestazioni del sistema, riduce i costi operativi e garantisce che gli obblighi di conformità siano rispettati senza compromessi.

Perché memorizziamo i dati

Per selezionare e ottimizzare il modello di conservazione dei dati più adatto ai tuoi dati, è importante riflettere sui motivi e sugli usi per cui li memorizziamo.

Dati operativi

In un'applicazione aziendale, i dati operativi sono quelli utilizzati per monitorare le vendite, le azioni finanziarie o quelle della catena di fornitura.

È necessario accedere a questi dati in tempo reale, supportando i processi operativi interni e dei clienti che registrano azioni granulari quali interazioni con i clienti, ordini o attività di inventario.

Nel corso del tempo, l'uso dei dati operativi potrebbe passare dall'essere attivo all'essere poco frequente. Potrebbe essere necessario che i dati siano accessibili quasi in tempo reale, per assistere un cliente con un ordine o in un caso di supporto. Si consideri ad esempio gli scenari seguenti:

  • Un cliente effettua un ordine, mentre un altro cliente, che non interagisce con l'azienda da un po' di tempo, effettua un ordine.
  • Ogni ordine effettuato e in fase di spedizione viene costantemente monitorato. Ci sono anche ordini con un periodo di garanzia di tre anni che potrebbero richiedere assistenza e, eventualmente, un rimborso.

Ciò può comportare fasi di necessità di accesso ai dati operativi quali:

  • Meno di un anno di dati a cui si è avuto accesso attivo.
  • Meno di tre anni di dati consultati raramente.
  • Sono passati più di tre anni da quando i dati non sono più operativamente accessibili.

La natura in tempo reale dell'archiviazione operativa la rende relativamente costosa rispetto ad altri tipi di archiviazione, quindi è importante riconoscere quando è necessario accedere operativamente ai dati e quando no per definire le strategie di conservazione.

Integrazione operativa

In quanto categoria specializzata di utilizzo operativo, potrebbe essere necessario replicare i dati tra più sistemi operativi, inclusi modelli quali:

  • Bancario : Gestione delle relazioni con i clienti per le interazioni in prima linea con i clienti e replicazione su più sistemi bancari. Ad esempio, esistono conti correnti, carte di credito, mutui e sistemi di controllo del credito.
  • Produzione : Gestione delle relazioni con i clienti per l'acquisizione degli ordini in prima linea e sistema di gestione delle risorse aziendali per la gestione della supply chain.
  • Gestione delle emergenze della polizia: la gestione delle relazioni con i cittadini per le interazioni con i cittadini e i sistemi di gestione degli interventi per i dipartimenti di polizia consentono la gestione dell'impiego delle risorse.

In questi casi, sebbene ogni sistema possa tenere traccia di dati univoci, spesso ci sono dati master comuni che devono essere condivisi tra i sistemi e mantenuti sincronizzati, il che comporta esigenze di integrazione.

Dati di audit

In genere, un'azienda ha la responsabilità normativa di conservare i dati per periodi prolungati, ad esempio in media sette anni, per finalità di audit, sia interne che esterne, come il supporto all'audit finanziario, all'informativa normativa o alla verifica delle frodi.

Questi dati normalmente comprendono sia i dati necessari per scopi operativi sia quelli non più necessari, poiché consentono la revisione dell'intero set di dati da un unico posto.

Dati di analisi

Le organizzazioni hanno bisogno di rivedere e analizzare lo stato della propria attività. Devono misurare e confrontare le statistiche nel tempo e che riguardano più o tutte le parti dell'azienda.

L'ampiezza dei periodi e dei dati su cui può essere eseguita questa analisi comporta la necessità di replicare i dati operativi in strumenti di analisi specializzati. In questo modo si evita che analisi complesse influiscano sulle prestazioni dei sistemi operativi, ma si consente anche l'analisi di set di dati che vanno oltre il periodo per il quale i dati sono necessari a livello operativo. Ad esempio, potrebbe essere necessario confrontare i dati relativi a un periodo di sette anni anziché di uno o due anni. Tuttavia, esigenze di analisi diverse potrebbero richiedere periodi di conservazione dei dati completi o riguardare solo i dati conservati nei sistemi operativi.

I dati analitici in genere consentono l'aggregazione dei dati provenienti da più parti dell'azienda e combinano i dati provenienti da più sistemi.

Flusso di dati

I dati di questo tipo solitamente fluiscono nel tempo dai dati operativi ai dati transazionali o storici, come mostrato nell'immagine seguente.

Il flusso di dati.

Diversi tipi di archiviazione

Tipi di archiviazione di Dataverse

Dataverse organizza lo storage in tre categorie principali, ciascuna con modelli di utilizzo e implicazioni di fatturazione distinti.

Tipo di spazio di archiviazione Descrzione Casi d'uso comuni
Archiviazione del database Memorizza i dati strutturati in tabelle standard e personalizzate. Registri aziendali, metadati, relazioni e configurazioni
Archiviazione dei file Memorizza allegati e dati binari. Allegati e-mail, immagini, documenti caricati tramite Power Apps
Archiviazione dei registri Memorizza i log di controllo e i log di traccia dei plugin. Tracciamento delle modifiche, controllo, diagnostica e conformità

Tipi di archiviazione della piattaforma finanziaria e operativa

L'archiviazione finanziaria e quella operativa vengono gestite separatamente, ma vengono sempre più integrate nell'ecosistema. Power Platform Include i seguenti tipi di archiviazione.

Tipo di spazio di archiviazione Descrzione Casi d'uso comuni
Archiviazione di database operativi Dati transazionali fondamentali per finanza, catena di fornitura, risorse umane e altro ancora Registrazioni contabili, inventario, ordini clienti
Archiviazione per la gestione dei documenti Oggetti binari di grandi dimensioni (BLOB) archiviati in Archiviazione BLOB di Azure Fatture, ricevute, documenti scansionati
Registri di telemetria e diagnostica Registri di sistema e dati di telemetria Monitoraggio delle prestazioni, diagnostica dei problemi.

Scenari di archiviazione condivisi e integrati

  • Archiviazione a doppia scrittura

    • Consente la sincronizzazione in tempo reale tra Dataverse e le app finanziarie e operative.
    • Richiede un'attenta gestione dei ruoli e delle capacità per evitare duplicazioni o utilizzi eccessivi.

  • Conservazione a lungo termine (LTR)

    • Sposta i dati storici su un Managed Data Lake (MDL).
    • Riduce l'utilizzo dello storage primario mantenendo al contempo conformità e accesso all'analisi.
    • Si integra con:
      • Ricerca rapida (Dataverse-ricerca nativa)
      • OneLake (analisi basata su Fabric)
      • Collegamento a Synapse (analisi personalizzata del lago)

Come i tuoi dati crescono nel tempo

Man mano che le organizzazioni ampliano l'utilizzo della piattaforma Dynamics 365 Finance and Operations, la crescita dei dati diventa sia un segno di successo che una sfida strategica. Dataverse Ciò che inizia come un set di dati snello e transazionale può evolversi rapidamente in un patrimonio di dati complesso e multistrato. Questa sezione esplora cinque fattori chiave della crescita dei dati e le loro implicazioni per l'archiviazione, le prestazioni e la governance.

Utilizzo del data warehousing sui dati operativi

Per ricavare informazioni utili dai sistemi operazionali, molte organizzazioni utilizzano Azure Collegamento a Synapse, OneLake o l'esportazione dei dati per replicare i dati da Dataverse e dalle app finanziarie e operative in un sistema analitico. Oltre a supportare carichi di lavoro di reporting e intelligenza artificiale avanzati, introduce anche:

  • Archiviazione ridondante su livelli operativi e analitici

    Spesso i dati vengono duplicati tra l'ambiente operativo e quello analitico. Questa ridondanza aumenta il consumo complessivo di spazio di archiviazione e può comportare costi più elevati, soprattutto se i dati storici vengono conservati indefinitamente in entrambi i sistemi.

  • Duplicazione dello schema e sovraccarico del controllo delle versioni

    Per mantenere la coerenza tra i sistemi, le organizzazioni devono replicare le modifiche dello schema (ad esempio, nuovi campi e colonne rinominate) sia nei livelli operativi che in quelli analitici. Ciò aggiunge complessità alla governance dei dati e aumenta il rischio di deviazione dello schema, che può causare l'interruzione di report o modelli a valle.

  • Maggiore conservazione dei dati storici per l'analisi delle tendenze

    I sistemi analitici solitamente conservano i dati per periodi più lunghi per supportare l'analisi delle tendenze, le previsioni e la rendicontazione normativa. Sebbene preziosa, questa conservazione a lungo termine può portare a set di dati sovradimensionati se non gestita con strategie di archiviazione e livelli adeguati.

Il data warehousing è essenziale per l'analisi, ma senza policy sul ciclo di vita può raddoppiare o triplicare lo spazio di archiviazione.

Utilizzo della ricerca sui dati

Funzionalità come la ricerca, l'indicizzazione Copilot e la ricerca per pertinenza richiedono l'indicizzazione di grandi volumi di dati strutturati e non strutturati. Dataverse Questi indici spesso:

  • Consumare lo spazio di archiviazione del registro e del database

    Gli indici di ricerca vengono archiviati sia nel registro che nel database. Man mano che più tabelle e campi vengono contrassegnati come ricercabili, la dimensione dell'indice aumenta proporzionalmente. Ciò può avere un impatto significativo sull'utilizzo complessivo dello spazio di archiviazione, soprattutto in ambienti con grandi volumi di record o frequenti modifiche dello schema.

  • Persistere anche per le tabelle inutilizzate o deprecate

    Anche quando determinate tabelle sono deprecate o non vengono più utilizzate attivamente, gli indici di ricerca associati potrebbero persistere, a meno che non vengano rimossi esplicitamente. Ciò comporta un consumo di spazio di archiviazione non necessario e può complicare la pianificazione della capacità.

  • Sono spesso duplicati in più ambienti, come quelli di sviluppo, test e produzione

    Gli indici di ricerca vengono in genere replicati negli ambienti di sviluppo, test e produzione. Ciò garantisce un comportamento di ricerca coerente, ma moltiplica anche lo spazio di archiviazione, in particolare quando gli ambienti vengono clonati o aggiornati frequentemente.

La ricerca migliora l'usabilità e la predisposizione all'intelligenza artificiale, ma il sovraccarico dell'indice è un fattore silenzioso che contribuisce agli eccessi di spazio di archiviazione.

Abilitazione della registrazione dei dati

I registri di controllo, i registri di traccia dei plug-in e la telemetria sono essenziali per la conformità, il debug e il monitoraggio. Tuttavia, tieni presente i seguenti punti:

  • L'archiviazione dei log cresce in modo lineare con l'utilizzo e il numero di utenti.

    I dati del registro crescono proporzionalmente con:

    • Il numero di utenti e i loro livelli di attività
    • Il volume delle transazioni e delle integrazioni
    • La complessità della logica aziendale come plug-in e flussi di lavoro

    In ambienti ad alto utilizzo, ciò può portare a una rapida espansione delle tabelle di log, consumando sia le quote di archiviazione del database sia quelle dei log.

  • Valori predefiniti di conservazione sono spesso troppo generosi, ad esempio 90 giorni o più.

    Per impostazione predefinita, molte funzionalità di registrazione conservano i dati per periodi prolungati, ad esempio 90 giorni o più. Sebbene ciò favorisca la tracciabilità a lungo termine, può comportare un inutile consumo di spazio di archiviazione, soprattutto quando i registri non vengono esaminati o esportati attivamente.

  • Registri generati dal sistema vengono fatturati al cliente in Dataverse.

    In Dataverse, i log generati dal sistema, inclusi i log di controllo e i log di traccia dei plug-in, vengono conteggiati nel diritto di archiviazione del cliente. Ciò significa che, senza adeguate strategie di pulizia o di esportazione, la raccolta dei log può contribuire direttamente a sforamenti della capacità di archiviazione e all'aumento dei costi di licenza.

La registrazione è imprescindibile per i settori regolamentati, ma deve essere abbinata a strategie di conservazione ed esportazione, come Monitoraggio di Azure o Log Analytics.

Avere più copie dell'ambiente di produzione

Per supportare lo sviluppo, i test, la formazione e la risoluzione dei problemi, i clienti spesso creano ambienti sandbox o clonati. Ogni copia:

  • Replica l'intero spazio occupato dai dati e dagli indici.
  • Può includere dipendenze non ovvie come indici di ricerca, registri di controllo e metadati.
  • Raramente viene pulito dopo l'uso.

L'espansione degli ambienti è uno dei principali fattori che determinano i costi e la complessità dello stoccaggio. Le politiche di governance e l'automazione sono essenziali per il contenimento.

Ottimizzazione delle query sui dati

Con l'aumento dei volumi di dati e la reattività delle applicazioni che diventa critica, i clienti e gli ISV spesso implementano varie tecniche di ottimizzazione delle query per migliorare le prestazioni in Dataverse e Dynamics 365. Queste strategie sono particolarmente comuni negli scenari in cui è richiesta molta rendicontazione, analisi e integrazione.

Per migliorare le prestazioni, clienti e ISV spesso creano:

  • Indici personalizzati e viste materializzate

    Vengono utilizzati per accelerare l'esecuzione delle query mediante il precalcolo di join o aggregazioni. Sono utili in scenari che coinvolgono filtri complessi o set di dati di grandi dimensioni.

  • Tabelle denormalizzate per la segnalazione

    Per semplificare la creazione di report e ridurre la complessità delle query, gli sviluppatori spesso creano versioni appiattite dei dati relazionali. Queste tabelle riducono la necessità di join in fase di esecuzione e migliorano le prestazioni della dashboard.

  • Livelli o aggregati di memorizzazione nella cache

    Talvolta i dati a cui si accede di frequente vengono preaggregati o memorizzati nella cache in tabelle intermedie o archivi esterni per ridurre il carico sul database primario.

Oltre a migliorare la reattività, questi accorgimenti:

  • Aumentare l'utilizzo dello spazio di archiviazione

    Ogni livello di ottimizzazione introduce più strutture dati, che si tratti di una copia di dati esistenti in un formato denormalizzato, di una vista precalcolata o di una tabella cache. Queste strutture spesso duplicano dati già archiviati altrove, con conseguente maggiore ingombro complessivo dello spazio di archiviazione. In ambienti con quote di archiviazione rigide o modelli di licenza basati sui costi, come Dataverse, questo può rapidamente trasformarsi in eccedenze evitabili.

  • Possono diventare orfani man mano che le app si evolvono

    Con l'evoluzione delle applicazioni, alcuni artefatti di ottimizzazione potrebbero non essere più referenziati da report, dashboard o integrazioni attivi. Questi oggetti orfani continuano a consumare spazio di archiviazione e potrebbero addirittura rallentare le operazioni di sistema, ad esempio durante i backup o l'indicizzazione, se non vengono identificati e rimossi. Senza controlli regolari, possono accumularsi inosservati, vanificando gli stessi miglioramenti in termini di prestazioni per i quali erano stati creati.

L'ottimizzazione delle query è essenziale per la scalabilità, ma deve essere bilanciata con l'igiene dello storage e la messa a punto basata sulla telemetria.

Indici e il loro impatto sullo storage

Gli indici sono essenziali per migliorare le prestazioni delle query e per utilizzare un rapido recupero dei dati in set di dati di grandi dimensioni. Sia in Dataverse sia nelle app Dynamics 365 Finance and Operations, gli indici vengono creati automaticamente per le chiavi primarie e i campi interrogati più frequentemente, ed è inoltre possibile definire altri indici personalizzati per supportare specifici scenari aziendali.

Sebbene gli indici siano fondamentali per le prestazioni, hanno anche un impatto diretto sul consumo di storage, spesso sottovalutato durante la progettazione della soluzione.

Come gli indici consumano spazio di archiviazione

  • Duplicazione fisica dei dati: ogni indice memorizza una copia delle colonne indicizzate, insieme ai puntatori alle righe corrispondenti. Maggiore è il numero di colonne e righe indicizzate, maggiore sarà la dimensione dell'indice.

  • Crescita con il volume dei dati: man mano che la tabella sottostante cresce, cresce anche l'indice. Negli ambienti con un elevato numero di transazioni, gli indici possono crescere rapidamente, soprattutto su tabelle denormalizzate di grandi dimensioni o su quelle con inserimenti e aggiornamenti frequenti.

  • Più indici per tabella: è comune che una singola tabella abbia più indici, ad esempio per la ricerca, il filtraggio, l'ordinamento e le unioni. Ogni altro indice contribuisce all'ingombro cumulativo dello storage.

  • Indici di ricerca in Dataverse: funzionalità come la Dataverse ricerca e l'indicizzazione Copilot creano indici specializzati che si estendono su più campi e tabelle. Questi vengono memorizzati nella tabella DataverseSearch e possono occupare molto spazio, soprattutto se utilizzati in più ambienti, ad esempio di sviluppo, test e produzione.

  • Indici generati dal sistema: alcuni indici vengono creati automaticamente dalla piattaforma, ad esempio per i campi di ricerca o le relazioni. Possono persistere anche se le tabelle associate sono deprecate, a meno che non vengano rimosse esplicitamente.

Implicazioni di archiviazione

  • Aumento dello spazio di archiviazione del database e dei log: gli indici contribuiscono all'utilizzo dello spazio di archiviazione del database e dei log, il che può incidere sui costi di licenza in Dataverse.
  • Duplicazione dell'ambiente: quando gli ambienti vengono copiati o aggiornati, tutti gli indici vengono duplicati, amplificando l'utilizzo dello storage negli ambienti di sviluppo, test e produzione.
  • Sovraccarico di manutenzione: gli indici devono essere aggiornati man mano che i dati cambiano, il che può aumentare la latenza di scrittura e il consumo di risorse.

Impatto della sincronizzazione lato server sullo storage

La sincronizzazione lato server Dataverse consente l'integrazione perfetta di e-mail, appuntamenti e attività tra Microsoft Exchange e Dataverse. Oltre a migliorare la produttività e l'automazione, contribuisce anche al consumo di spazio di archiviazione nei seguenti modi.

  • Creazione di record di attività: ogni e-mail o appuntamento sincronizzato genera un record di attività in Dataverse, che include metadati, contenuto del corpo e potenzialmente allegati.
  • Archiviazione allegati: se gli allegati non vengono filtrati o scaricati, vengono archiviati direttamente in Dataverse, aumentando l'utilizzo dello spazio di archiviazione.
  • Conformità e conservazione: le organizzazioni che utilizzano la sincronizzazione lato server per il monitoraggio della conformità potrebbero conservare più dati del necessario, aumentando ulteriormente lo spazio di archiviazione.
  • Contenuto protetto: anche le email protette da Purview, sebbene la visibilità del contenuto sia limitata, generano comunque record segnaposto che occupano spazio.

Per gestire questo impatto, le aziende dovrebbero implementare policy di conservazione, valutare la possibilità di trasferire gli allegati e monitorare regolarmente i volumi dei record delle attività.

Come posso gestire lo spazio di archiviazione in continua crescita?

Che si stia già riscontrando un eccesso di spazio di archiviazione o che si voglia prevenirlo, la gestione della crescita dei dati nella piattaforma finanziaria e operativa Dynamics 365 richiede un approccio deliberato e basato su policy. Dataverse Questa sezione delinea due punti di ingresso strategici: la bonifica reattiva e la governance proattiva.

Ci sono due possibili scenari:

  1. Vuoi applicare in modo proattivo le best practice per gestire lo storage ed evitare costi elevati in futuro.
  2. Ti trovi già in una situazione in cui è necessario ridurre le dimensioni e i costi di archiviazione.

Applicare le best practice per gestire le dimensioni e i costi di archiviazione

Scenario 1: si desidera applicare in modo proattivo le best practice per gestire l'archiviazione

Se non sei ancora in modalità crisi, ora è il momento di applicare strumenti e tecniche per gestire lo storage in modo proattivo.

Configura l'analisi per i tuoi dati

Con la crescita delle organizzazioni aumenta anche l'esigenza di estrarre informazioni dai dati operativi, senza compromettere le prestazioni delle applicazioni aziendali principali. Microsoft offre diversi modi per abilitare l'analisi dei dati di Dataverse e di Dynamics 365 Finance and Operations, integrandoli con il proprio data lake o data warehouse.

Ecco due valide opzioni da considerare:

Opzione 1. Usa Azure Collegamento a Synapse – porta il tuo lago

Azure Collegamento a Synapse consente di connettere Dataverse direttamente al proprio Azure Data Lake o all'area di lavoro Synapse. Ciò consente la replicazione quasi in tempo reale dei dati operativi in un ambiente analitico, senza dover scrivere complesse pipeline ETL.

Vantaggi:

  • Esegui analisi avanzate e modelli di intelligenza artificiale su dati live o quasi live.
  • Evita di compromettere le prestazioni dei tuoi sistemi di produzione.
  • Utilizzare strumenti familiari come T-SQL, Spark o Power BI per la creazione di report.

Esempio di caso d'uso: Un'azienda di vendita al dettaglio utilizza Collegamento a Synapse per analizzare il comportamento di acquisto dei clienti in diverse regioni, combinando Dataverse dati di gestione delle relazioni con i clienti con dati di mercato esterni nel proprio bacino.

Opzione 2. Utilizza OneLake: analisi unificata con Microsoft Fabric

OneLake, parte di Microsoft Fabric, offre un'esperienza di data lake unificata in cui è possibile archiviare e analizzare dati provenienti da più fonti, tra cui Dataverse app finanziarie e operative, senza duplicazioni.

Vantaggi:

  • Archiviazione centralizzata per tutti i carichi di lavoro analitici.
  • Integrazione nativa con Power BI, Synapse e servizi di intelligenza artificiale.
  • Governance e sicurezza semplificate nei domini di dati.

Esempio di caso d'uso: Un'azienda di servizi finanziari utilizza OneLake per consolidare i dati operativi provenienti da app finanziarie e operative e Dataverse con indicatori economici esterni, consentendo la modellazione del rischio in tempo reale e dashboard esecutive. In questo modo, è possibile separare i dati operativi dai sistemi principali e consentire analisi scalabili e convenienti esportando tali dati nei rispettivi ambienti analitici, senza duplicare i carichi di lavoro o influire sulle prestazioni.

Strumenti e tecniche per ridurre lo stoccaggio

Dataverse offre numerosi strumenti e strategie integrati per aiutare gli amministratori a gestire in modo efficiente lo storage e a mantenere elevate le prestazioni del sistema.

Dataverse

Gestire i dati con i criteri di governance

  • Iniziare con gli ambienti e le tabelle che utilizzano la maggior parte delle risorse di archiviazione.
  • Usa criteri di governance ricorrenti per gestire una crescita prevedibile dei dati anziché basarti solo su una pulizia una tantum.
  • Testare l'eliminazione e i criteri di conservazione in un ambiente sandbox prima di usarli nell'ambiente di produzione.
  • Rivedi regolarmente i risultati e gli errori dei criteri.
  • Aggiungere capacità di archiviazione quando i dati necessari non possono essere eliminati o spostati nella conservazione a lungo termine.

Pulizia dell'ambiente e dei dati

  • Elimina ambienti inutilizzati: puoi eliminare un ambiente per recuperare spazio di archiviazione e rimuovere informazioni di identificazione personale (PII).
  • Processi di eliminazione in blocco: è possibile eliminare in blocco i seguenti dati:
    • Dati obsoleti o irrilevanti per l'azienda.
    • Dati di test o di esempio non necessari.
    • Dati importati in modo non corretto da altri sistemi.

Ottimizzazione di file e tabelle

Conservazione a lungo termine (LTR) e archiviazione

Ottimizzazione dell'indice di ricerca

  • Riduci la ricerca Dataverse: Puoi ridurre le dimensioni dello spazio di archiviazione eseguendo tutti i passaggi indicati in Dettagli sull'archiviazione basata sulla capacità di Dataverse.
  • Ridurre le dimensioni della tabella DataverseSearch: la tabella DataverseSearch rappresenta lo spazio di archiviazione cumulativo utilizzato dall'indice di ricerca. Dataverse Include i dati di tutti i campi con contenuto ricercabile, recuperabile e filtrabile delle tabelle che hai indicizzato per il tuo ambiente. È possibile ridurre le dimensioni della tabella rimuovendo le colonne di ricerca, le colonne di visualizzazione e le condizioni di filtro per una o più tabelle. È possibile disattivare la ricerca Dataverse per rimuovere tutti i dati indicizzati.
App per la finanza e le operazioni

Le app per la finanza e le operazioni offrono opzioni flessibili per la gestione dell'archiviazione negli ambienti di produzione e sandbox.

Gestione ambientale

  • Limita il numero di copie di produzione complete: puoi ridurre il consumo di spazio di archiviazione complessivo delle app finanziarie e operative rimuovendo le copie di produzione complete negli ambienti sandbox. Ad esempio, se si dispone di cinque copie di ambienti di produzione in un sandbox, il consumo di spazio di archiviazione è pari alla somma della produzione più cinque copie di ambienti di produzione in un sandbox.
  • Ridurre i dati negli ambienti sandbox: riducendo i dati in un ambiente sandbox, è possibile ridurre l'ingombro complessivo dello storage. Per pulire i dati nella sandbox è possibile seguire i metodi indicati di seguito.
    • Il processo di ripristino comprende operazioni di apertura e limitazione
    • Scrivi T-SQL
    • Scrivi X++
  • Eseguire una copia senza transazioni tra ambienti: la copia dell'ambiente per le app finanziarie e operative ha tradizionalmente comportato la duplicazione completa del database, inclusi configurazione, dati master e transazioni, che, sebbene utile per il debug, aumenta significativamente il consumo di spazio di archiviazione sia in ambito finanziario che operativo e Dataverse.

Pulizia personalizzata e gestione dei registri

  • Scrivi routine di pulizia personalizzate in base alle necessità: puoi scrivere routine di pulizia personalizzate in base alle esigenze della tua azienda per ripulire i dati indesiderati.
  • Evitare di archiviare i log: è possibile spostare SysDatabaseLog in un database meno transazionale per ridurre l'ingombro di archiviazione complessivo.

Archiviazione e conservazione a lungo termine

Routine di pulizia integrate

  • Routine di pulizia: in Dynamics 365 Field Service e Dynamics 365 Sales, le routine di pulizia sono disponibili in vari moduli. Routine di pulizia fornisce una panoramica delle routine attualmente disponibili. Dopo aver copiato il database sandbox, eseguire queste routine di pulizia in modo proattivo per rimuovere le tabelle non necessarie, come la cronologia dei batch, i registri e la cronologia delle transazioni al dettaglio. Elimina i dati obsoleti o irrilevanti.
  • Archiviazione dei dati delle transazioni con carta di credito: descrive un'attività di archiviazione in Dynamics 365 Business Central che può aiutare a liberare spazio nel database archiviando i token di pagamento con carta di credito.

Ridurre le dimensioni e i costi di archiviazione

Scenario 2: ti trovi già in una situazione in cui è necessario ridurre le dimensioni e i costi di archiviazione

Valutare cosa sta consumando spazio di archiviazione

  • Utilizzare il centro di amministrazione e i report di archiviazione di finanza e operazioni per identificare le tabelle, i tipi di file e i registri più utilizzati. Power Platform
  • Se disponibile, utilizzare la telemetria per attribuire l'utilizzo a specifiche app, utenti o unità aziendali.

Dare priorità ai candidati per la pulizia

  • Concentrarsi su:
    • Tabelle di integrazione e staging, come i buffer di scrittura doppia
    • Registri di controllo: conservali nel tuo archivio personale
    • Ambienti inutilizzati o sandbox
    • Metadati e indici di ricerca orfani
    • Elimina ciò di cui non hai bisogno, ad esempio elimina in blocco

Utilizzare Collegamento a Synapse e OneLake per la reportistica analitica

  • Esportare i dati analitici su Collegamento a Synapse.
  • Utilizzare OneLake per accedere ai dati conservati e ai dati aziendali a fini di reporting e analisi.

Applicare la conservazione a lungo termine (LTR)

  • Spostare i dati storici su un Managed Data Lake (MDL) utilizzando i criteri LTR.
  • Mantieni l'accesso alla ricerca e all'analisi tramite Ricerca rapida, Collegamento a Synapse o OneLake.

Casi d'uso

I casi d'uso per la gestione dell'archiviazione negli ambienti finanziari e operativi sono fondamentali per ottimizzare lo spazio del database, migliorare le prestazioni del sistema e soddisfare i requisiti normativi. Dataverse Di seguito sono riportati alcuni scenari tipici che dimostrano come è possibile applicare queste strategie:

  • Gestione della crescita dei dati storici

    • Scenario: un'azienda utilizza Dynamics 365 da diversi anni e ha accumulato grandi volumi di transazioni storiche e allegati.
    • Azione: implementare strategie di conservazione a lungo termine per conservare i dati inattivi, ridurre le dimensioni del database primario e mantenere la conformità ai requisiti di audit.

  • Conservazione dei dati basata sulla conformità

    • Scenario: Un cliente di un settore regolamentato deve conservare i dati finanziari o i dati dei clienti per sette-dieci anni in un formato a prova di manomissione.
    • Azione: utilizzare LTR per conservare i dati immutabili e di sola lettura in conformità con i requisiti legali e normativi, mantenendo al contempo i dati aziendali snelli senza compromettere l'analisi e il reporting.

  • Ottimizzazione dell'indice di Search e Copilot

    • Scenario: Dataverse La ricerca e l'indicizzazione Copilot sono abilitate in tutti gli ambienti, incluse le tabelle non utilizzate.
    • Azione: verificare i campi ricercabili e disattivare l'indicizzazione per le tabelle di basso valore o deprecate. Monitorare le dimensioni della tabella DataverseSearch e ottimizzare le configurazioni per ridurre lo spazio di archiviazione dei log e del database.

  • Gestione degli audit e della telemetria

    • Scenario: i log di traccia e di controllo dei plug-in stanno crescendo rapidamente, consumando spazio di archiviazione e influendo sulle prestazioni.
    • Azione: esportare i log su sistemi esterni, come Monitoraggio di Azure, e automatizzare la pulizia delle vecchie voci per mantenere la visibilità senza appesantire lo spazio di archiviazione.

  • Integrazione di data warehousing e analisi dei dati

    • Scenario: l'organizzazione replica i dati operativi su Azure Synapse o OneLake per l'analisi, con conseguente duplicazione dello spazio di archiviazione.
    • Azione: utilizzare esportazioni incrementali, applicare filtri ed evitare la replica completa del set di dati per ridurre al minimo la ridondanza, consentendo al contempo approfondimenti approfonditi.

  • Riduzione degli eccessi di spazio di archiviazione

    • Scenario: Un cliente riceve una notifica relativa al superamento della sua Dataverse quota di archiviazione, con conseguenti costi imprevisti.
    • Azione: utilizzare i report sulla capacità per identificare le tabelle più utilizzate, ripulire gli ambienti obsoleti e rimuovere allegati o registri inutilizzati. Si consideri la possibilità di spostare i dati inutilizzati, in genere record storici o a cui si accede raramente, su livelli di archiviazione più economici.

  • Ottimizzazione delle prestazioni nelle tabelle di grandi dimensioni

    • Scenario: I processi critici per l'azienda rallentano a causa delle tabelle di grandi dimensioni.
    • Azione: archiviare vecchi record, pulire i processi di sistema, ad esempio AsyncOperationBase e WorkflowLogBase.

  • Gestione del ciclo di vita dell'ambiente

    • Scenario: gli ambienti di sviluppo e test vengono clonati dalla produzione, duplicando tutti i dati e gli indici.
    • Azione: Ridurre gli ambienti sandbox dopo un aggiornamento, disattivare l'indicizzazione delle ricerche non necessarie e rimuovere i dati di prova per ridurre il consumo di spazio di archiviazione ridondante. Eliminare gli ambienti sandbox non utilizzati per risparmiare spazio di archiviazione.

Casi di studio

Caso di studio 1: riduzione degli eccessi di spazio di archiviazione tramite la pulizia dell'indice

Profilo del cliente: Un'azienda manifatturiera globale che utilizza Dynamics 365 per la supply chain e le app per la finanza e le operazioni.

Sfida: il cliente riscontrava eccedenze di spazio di archiviazione impreviste e un calo delle prestazioni nel suo ambiente di produzione. L'indagine ha rivelato che numerosi indici personalizzati e viste materializzate, creati durante l'implementazione iniziale, non erano più in uso, ma continuavano a consumare una notevole quantità di spazio di archiviazione.

Soluzione: il team ha eseguito un audit trimestrale di tutti gli indici personalizzati e ha rimosso quelli a cui non facevano riferimento query o report attivi. Hanno inoltre implementato una politica di governance per esaminare le nuove richieste di indicizzazione prima della distribuzione.

Risultato:

  • Riduzione del 28% dello spazio di archiviazione del database.
  • Prestazioni delle query migliorate del 15%.
  • Evitati altri costi di archiviazione previsti pari a 12.000 $ all'anno.

Caso di studio 2: Archiviazione dei dati storici per soddisfare gli obiettivi di conformità e prestazioni

Profilo del cliente: una società di servizi finanziari che utilizza Dataverse e Dynamics 365 per le funzionalità di onboarding dei clienti e gestione dei casi.

Sfida: l'azienda aveva bisogno di conservare i dati dei clienti per più di sette anni per soddisfare i requisiti normativi, ma il crescente volume di dati inattivi rallentava i flussi di lavoro attivi e aumentava i costi di archiviazione.

Soluzione: Il cliente ha implementato una strategia di conservazione a lungo termine utilizzando le funzionalità di archiviazione di Dataverse. I record inattivi sono stati spostati in un livello di archiviazione di sola lettura e con costi ottimizzati, mentre i dati attivi sono rimasti nell'archiviazione ad alte prestazioni.

Risultato:

  • Archiviati oltre 1,2 milioni di record.
  • Riduzione del 40% delle dimensioni del database primario.
  • Mantenimento della piena verificabilità e conformità alle policy di conservazione.

Caso di studio 3: Semplificazione degli indici di ricerca tra gli ambienti

Profilo del cliente: un'organizzazione di vendita al dettaglio con più ambienti, tra cui ambienti di sviluppo, test e produzione, che supportano una soluzione di gestione delle relazioni con i clienti abilitata per Copilot. Dataverse

Sfida: gli indici di ricerca sono stati utilizzati in tutti gli ambienti, comprese le tabelle inutilizzate e i dati di prova. Ciò ha portato a tabelle DataverseSearch gonfie e a un consumo di spazio di archiviazione non necessario.

Soluzione: il team ha rivisto i campi ricercabili e ha smesso di utilizzare l'indicizzazione su tabelle non critiche negli ambienti di sviluppo e test. Hanno anche automatizzato la pulizia dell'indice durante i refresh dell'ambiente.

Risultato:

  • Riduzione del 35% dello spazio di archiviazione dell'indice di ricerca.
  • Tempi di aggiornamento dell'ambiente migliorati del 20%.
  • Riduzione complessiva dell'utilizzo dello spazio di archiviazione dei registri e del database.

Caso di studio 4: utilizzo dell'esportazione dei dati per l'analisi senza duplicare lo storage

Profilo del cliente: un operatore sanitario che utilizza Dynamics 365 e Dataverse per il coinvolgimento dei pazienti e la fatturazione.

Sfida: il team di analisi aveva bisogno di accedere ai dati operativi per l'analisi delle tendenze e la modellazione dell'intelligenza artificiale, ma la duplicazione dei dati in un magazzino separato aumentava i costi di archiviazione e la complessità.

Soluzione: il cliente ha utilizzato Azure Collegamento a Synapse con esportazione incrementale e archiviazione a livelli in OneLake. Hanno conservato solo i dati analitici essenziali e applicato criteri di conservazione per gestire la profondità storica.

Risultato:

  • Abilita l'analisi in tempo reale senza influire sui sistemi operativi.
  • Riduzione del 45% dello spazio di archiviazione ridondante.
  • Miglioramento della governance del ciclo di vita dei dati analitici.

Conclusione

Una gestione efficace dell'archiviazione è fondamentale per mantenere le prestazioni del sistema e ottimizzare l'utilizzo delle risorse negli ambienti Dynamics 365. Le routine di pulizia e le attività di archiviazione descritte in questo articolo forniscono soluzioni efficaci per liberare prezioso spazio nel database e semplificare le operazioni. Utilizzando strumenti come LTR e tecniche simili, i clienti possono affrontare le comuni sfide di archiviazione e creare pratiche di gestione dei dati sostenibili. Inoltre, studi di casi concreti dimostrano l'efficacia di questi approcci, offrendo spunti sulle loro applicazioni pratiche. L'adozione di queste strategie consente alle organizzazioni di gestire in modo proattivo le proprie esigenze di archiviazione e di migliorare l'efficienza complessiva.

Riferimenti

Pulizia dello spazio di archiviazione in Dataverse:

Pulizia degli archivi in ambito finanziario e operativo:

Capacità di archiviazione:

  • Ultimo aggiornamento: