Gestion du stockage dans Dataverse et les applications de finances et d’opérations

À mesure que les entreprises accélèrent leur transformation numérique, la capacité à gérer efficacement les données devient un impératif stratégique pour l’entreprise. Avec l’essor des applications basées sur l’IA et des flux de travail pilotés par Copilot, les entreprises génèrent et consomment des données à un rythme sans précédent. Ces données alimentent l’innovation, permettent des expériences personnalisées et prennent en charge la prise de décisions critiques, mais seulement si elles sont gouvernées et stockées intelligemment.

Pour répondre à ces besoins métier en constante évolution, les entreprises doivent adopter une stratégie proactive de gestion du stockage. Cela garantit que les données qui ne sont plus nécessaires aux opérations quotidiennes sont traitées de manière responsable, libérant ainsi de la capacité pour les charges de travail de grande valeur, réduisant les frictions opérationnelles et s’alignant sur les exigences de conformité et d’audit.

D’un point de vue technique, une gestion efficace du stockage dans Dataverse et Dynamics 365 améliore les performances du système, améliore la rentabilité et garantit le respect des politiques de conservation à long terme (LTR). Les deux plates-formes offrent des outils et des capacités d’automatisation qui permettent aux entreprises de gérer le stockage.

En mettant en œuvre les stratégies décrites dans cet article, les entreprises peuvent réduire les frais généraux de support, rationaliser la conformité et libérer une plus grande valeur de leurs applications métier, transformant ainsi le stockage d’une contrainte en un avantage concurrentiel.

Principaux avantages

Une gestion efficace du stockage dans Dataverse et Dynamics 365 offre plusieurs avantages clés qui permettent de résoudre les problèmes courants des clients et d’améliorer l’efficacité opérationnelle globale.

  • Conformité accrue avec LTR : une gestion efficace du stockage garantit que les données sont stockées conformément aux politiques LTR. Cela permet non seulement de répondre aux exigences réglementaires, mais garantit également que les données critiques sont préservées et accessibles en cas de besoin.

  • Amélioration des performances : en optimisant la gestion du stockage, les entreprises peuvent améliorer considérablement les performances de leurs systèmes. Une allocation et une gestion efficaces du stockage réduisent la latence et améliorent la vitesse de récupération des données, ce qui permet des opérations plus fluides et plus rapides.

  • Rentabilité : une gestion efficace du stockage permet aux entreprises de se concentrer sur les données de grande valeur en rationalisant et en désencombrant leur environnement de stockage. En ne conservant que ce qui est nécessaire, les entreprises peuvent optimiser leur empreinte de stockage, ce qui se traduit par une utilisation plus intelligente des ressources et une évolutivité rentable.

Origine

Au fur et à mesure que les organisations se développent et numérisent une plus grande partie de leurs opérations, le volume de données commerciales stockées dans des systèmes comme Dataverse et Dynamics 365 augmente régulièrement. Cela inclut non seulement les données transactionnelles actives, mais également les enregistrements historiques qui doivent être conservés à des fins d’audit, de réglementation ou de continuité des activités. Au fil du temps, cette accumulation peut entraîner une dégradation des performances, une augmentation des frais généraux d’exploitation et une augmentation des coûts de stockage, en particulier lorsque les données qui ne sont plus activement utilisées restent dans des niveaux de stockage hautes performances.

Une stratégie de gestion du stockage bien définie aide les entreprises à relever ces défis en identifiant les données qui peuvent être archivées, nettoyées ou déplacées vers un stockage moins coûteux et optimisé en lecture. Ceci est important pour les scénarios de conformité où les données doivent rester immuables, peu accessibles et en lecture seule, telles que les enregistrements financiers, les journaux d’audit ou les dépôts réglementaires. S’assurer que ces données sont conservées de manière conforme, sans affecter les performances des systèmes en direct, est une exigence clé pour de nombreuses entreprises.

En utilisant les outils et les stratégies disponibles sur les deux plateformes, les entreprises peuvent obtenir une meilleure visibilité sur leur empreinte de stockage, réduire la consommation inutile et s’assurer que les données critiques de conformité sont traitées de manière appropriée.

Cet article présente des approches pratiques de gestion du stockage qui aident les clients à aligner leurs pratiques de conservation des données sur les besoins de l’entreprise et de la réglementation. Cela permet d’améliorer les performances du système, de réduire les frais généraux opérationnels et de garantir que les obligations de conformité sont respectées sans compromis.

Pourquoi stockons-nous les données ?

Pour sélectionner et optimiser le bon modèle de conservation des données pour vos données, il est utile de réfléchir aux raisons et aux utilisations pour lesquelles nous stockons les données.

Données opérationnelles

Avec une application métier, les données opérationnelles sont ce qui est utilisé pour suivre les ventes ou les actions financières ou de la chaîne d’approvisionnement.

Ces données doivent être accessibles en temps réel, ce qui prend en charge les processus opérationnels internes et les clients qui enregistrent des actions granulaires telles que les interactions avec les clients, les commandes ou les activités d’inventaire.

Au fil du temps, les données opérationnelles peuvent passer d’une utilisation active à une utilisation peu fréquente. Les données peuvent avoir besoin d’être accessibles en quasi-temps réel, pour aider un client à passer une commande ou dans un cas d’assistance. Par exemple, prenez les scénarios suivants :

  • Un client passe une commande, tandis qu’un autre client, qui n’a pas interagi avec l’entreprise depuis un certain temps, passe une commande.
  • Chaque commande qui a été passée et qui est en cours d’expédition est consultée en permanence. Il existe également des commandes qui sont soumises à une période de garantie de trois ans et qui peuvent devoir être référencées pour l’assistance et éventuellement nécessiter un remboursement.

Cela peut conduire à des phases de besoins opérationnels d’accès aux données, telles que :

  • Moins d’un an de données consultées activement.
  • Moins de trois ans de données rarement consultées.
  • Plus de trois ans pendant lesquels les données ne sont plus consultées sur le plan opérationnel.

La nature en temps réel du stockage opérationnel le rend relativement coûteux par rapport à d’autres stockages, il est donc important de reconnaître quand les données doivent être consultées de manière opérationnelle et quand elles ne le sont pas pour définir les stratégies de rétention.

Intégration opérationnelle

En tant que catégorie spécialisée d’utilisation opérationnelle, les données peuvent devoir être répliquées entre plusieurs systèmes opérationnels, y compris des modèles tels que :

  • Services bancaires : gestion de la relation client pour les interactions de première ligne avec les clients et réplication vers plusieurs systèmes bancaires. Par exemple, vous avez des comptes courants, des cartes de crédit, des prêts hypothécaires et des systèmes de vérification de crédit.
  • Fabrication : gestion de la relation client pour la prise de commandes de première ligne et système de gestion des ressources d’entreprise pour la gestion de la chaîne d’approvisionnement.
  • Gestion des urgences policières : la gestion de la relation client pour les interactions avec les citoyens et un système de répartition pour les services de police offrent une gestion des déploiements.

Dans ces cas, bien que chaque système puisse avoir des données uniques qu’il suit, il existe souvent des données de référence communes qui doivent être partagées entre les systèmes et maintenues synchronisées, ce qui entraîne des besoins d’intégration.

Données d’audit

Une entreprise a généralement la responsabilité réglementaire de conserver les données pendant de longues périodes, par exemple pendant sept ans en moyenne, à des fins d’audit, qu’il soit interne ou externe, comme le soutien de l’audit financier, de la divulgation réglementaire ou de l’examen des fraudes.

Ces données couvrent généralement à la fois les données nécessaires à des fins opérationnelles et les données qui ne sont plus nécessaires, car elles permettent d’examiner l’ensemble du jeu de données à partir d’un seul endroit.

Données d’analyse

Les organisations ont besoin d’examiner et d’analyser l’état de leurs activités. Ils doivent mesurer et comparer les statistiques au fil du temps et couvrant plusieurs ou toutes les parties de l’entreprise.

En raison de la grande quantité et de l’étendue des données sur lesquelles cette analyse peut avoir lieu, il est nécessaire de répliquer les données opérationnelles dans des outils d’analyse spécialisés. Cela évite que les analyses complexes n’affectent les performances des systèmes opérationnels, mais permet également d’analyser des ensembles de données qui vont au-delà de la période pour laquelle les données sont nécessaires sur le plan opérationnel. Par exemple, vous devrez peut-être comparer les données sur sept ans, plutôt que sur un ou deux ans. Toutefois, des besoins d’analyse différents peuvent nécessiter des périodes de conservation complètes des données ou ne couvrir que les données conservées dans les systèmes opérationnels.

Les données analytiques permettent généralement d’agréger des données dans plusieurs parties de l’entreprise et de combiner les données de plusieurs systèmes.

Flux de données

Les données de ces types s’écoulent généralement au fil du temps à partir des données opérationnelles, puis vers les données transactionnelles ou historiques, comme illustré dans l’image suivante.

Le flux de données.

Différents types de stockage

Types de stockage Dataverse

Dataverse organise le stockage en trois catégories principales, chacune ayant des modèles d’utilisation et des implications de facturation distincts.

Type de stockage Description Cas d’utilisation courants
Stockage de base de données Stocke les données structurées dans des tables — standard et personnalisées. Enregistrements métier, métadonnées, relations et configurations
Stockage de fichiers Stocke les pièces jointes et les données binaires. Pièces jointes d’e-mail, images, documents téléchargés via Power Apps
Stockage de journaux Stocke les journaux d’audit et les journaux de suivi des plug-ins. Suivi des modifications, audit, diagnostics et conformité

Types de stockage de la plateforme de finances et d’opérations

Le stockage de finances et d’opérations est géré séparément, mais est de plus en plus intégré à l’écosystème Power Platform. Il comprend les types de stockage suivants.

Type de stockage Description Cas d’utilisation courants
Stockage de la base de données opérationnelle Données transactionnelles de base pour la finance, la chaîne d’approvisionnement, les ressources humaines, etc Écritures comptables, stocks, commandes clients
Stockage de gestion des documents Objets binaires volumineux (blobs) stockés dans le stockage d’objets blob Azure Factures, reçus, documents numérisés
Journaux de télémétrie et de diagnostic Journaux système et données de télémétrie Surveillance des performances, diagnostic des problèmes.

Scénarios de stockage partagé et intégré

  • Stockage à double écriture

    • Permet la synchronisation en temps réel entre Dataverse et les applications de finances et d’opérations.
    • Nécessite une gestion minutieuse des rôles et des capacités afin d’éviter les doublons ou les utilisations excessives.

  • Conservation des données à long terme (LTR)

    • Déplace les données historiques vers un lac de données géré (MDL)
    • Réduit l’utilisation du stockage principal tout en préservant la conformité et l’accès aux analyses.
    • S’intègre avec :
      • Recherche rapide (recherche native de Dataverse)
      • OneLake (analyse basée sur Fabric)
      • Synapse Link (analyse personnalisée de lac de données)

Croissance de vos données au fil du temps

Au fur et à mesure que les entreprises élargissent leur utilisation de Dataverse et la plateforme de finances et d’opérations Dynamics 365, la croissance des données devient à la fois un signe de réussite et un défi stratégique. Ce qui commence comme un ensemble de données transactionnel peut rapidement évoluer vers un paysage de données complexe et multicouche. Cette section explore cinq facteurs clés de la croissance des données et leurs implications pour le stockage, les performances et la gouvernance.

Utilisation de l’entreposage de données sur les données opérationnelles

Pour déverrouiller les informations des systèmes opérationnels, de nombreuses organisations utilisent Azure Synapse Link, OneLake ou l’exportation de données pour répliquer les données depuis Dataverse et les applications de finances et d’opérations dans un système analytique. Bien qu’il prenne en charge les charges de travail avancées de création de rapports et d’IA, il introduit également les éléments suivants :

  • Stockage redondant entre les couches opérationnelles et analytiques

    Les données sont souvent dupliquées entre les environnements opérationnels et analytiques. Cette redondance augmente la consommation globale de stockage et peut entraîner des coûts plus élevés, en particulier si les données historiques sont conservées indéfiniment dans les deux systèmes.

  • Surcharge liée à la duplication de schéma et au contrôle de version

    Pour maintenir la cohérence entre les systèmes, les organisations doivent répliquer les modifications de schéma (par exemple, les nouveaux champs et les colonnes renommées) dans les couches opérationnelles et analytiques. Cela ajoute de la complexité à la gouvernance des données et augmente le risque de dérive du schéma, qui peut briser les rapports ou les modèles en aval.

  • Conservation accrue des données historiques pour l’analyse des tendances

    Les systèmes analytiques conservent généralement les données pendant de plus longues périodes pour prendre en charge l’analyse des tendances, les prévisions et les rapports réglementaires. Bien que précieuse, cette conservation à long terme peut conduire à des ensembles de données gonflés si elle n’est pas gérée avec des stratégies d’archivage et de hiérarchisation appropriées.

L’entreposage de données est essentiel pour l’analyse, mais sans politiques de cycle de vie, il peut doubler ou tripler votre empreinte de stockage.

Utilisation de la recherche sur les données

Des fonctionnalités telles que la recherche Dataverse, l’indexation Copilot et la recherche par pertinence nécessitent l’indexation de grands volumes de données structurées et non structurées. Ces index sont souvent les suivants :

  • Consommer le stockage des journaux et des bases de données

    Les index de recherche sont stockés à la fois dans le stockage des journaux et dans le stockage des bases de données. Plus il y a de tables et de champs marqués comme pouvant faire l’objet d’une recherche, plus la taille de l’index augmente proportionnellement. Cela peut avoir un impact significatif sur l’utilisation globale du stockage, en particulier dans les environnements avec de grands volumes d’enregistrements ou des changements de schéma fréquents.

  • Conserver même pour les tables inutilisées ou déconseillées

    Même lorsque certaines tables sont déconseillées ou ne sont plus utilisées activement, les index de recherche associés peuvent persister, sauf s’ils sont explicitement supprimés. Cela entraîne une consommation de stockage inutile et peut compliquer la planification des capacités.

  • Sont souvent dupliqués dans les différents environnements, tels que les environnements de développement, de test et de production

    Les index de recherche sont généralement répliqués dans les environnements de développement, de test et de production. Bien que cela garantisse un comportement de recherche cohérent, cela multiplie également l’empreinte de stockage, en particulier lorsque les environnements sont clonés ou actualisés fréquemment.

La recherche améliore la convivialité et la préparation de l’IA, mais le gonflement des index contribue silencieusement aux dépassements de stockage.

Activation de la journalisation des données

Les journaux d’audit, les journaux de suivi des plug-ins et la télémétrie sont essentiels pour la conformité, le débogage et la surveillance. Notez toutefois les points suivants :

  • Le stockage des journaux croît de manière linéaire en fonction de l’utilisation et du nombre d’utilisateurs.

    Les données de journal augmentent proportionnellement avec :

    • Le nombre d’utilisateurs et leur niveau d’activité
    • Le volume des transactions et des intégrations
    • La complexité de la logique métier, comme les plug-ins et les workflows

    Dans les environnements à forte utilisation, cela peut entraîner une expansion rapide des tables de journaux, consommant à la fois des quotas de base de données et de stockage de journaux.

  • Les valeurs par défaut de conservation sont souvent trop généreuses, par exemple 90 jours ou plus.

    Par défaut, de nombreuses fonctionnalités de journalisation conservent les données pendant de longues périodes, par exemple 90 jours ou plus. Bien que cela prenne en charge la traçabilité à long terme, cela peut entraîner une consommation de stockage inutile, en particulier lorsque les journaux ne sont pas activement examinés ou exportés.

  • Les journaux générés par le système sont facturés au client dans Dataverse.

    Dans Dataverse, les journaux générés par le système, y compris les journaux d’audit et les journaux de suivi des plug-ins, sont comptabilisés dans les droits de stockage du client. Cela signifie qu’en l’absence de stratégies de nettoyage ou d’exportation appropriées, la journalisation peut contribuer directement aux dépassements de stockage et à l’augmentation des coûts de licence.

La journalisation n’est pas négociable pour les industries réglementées, mais doit être associée à des stratégies de rétention et d’exportation, telles que Azure Monitor ou Log Analytics.

Disposer de plusieurs copies de l’environnement de production

Pour prendre en charge le développement, les tests, la formation et le dépannage, les clients créent souvent des environnements bac à sable ou clonés. Chaque exemplaire :

  • Réplique l’intégralité des données et de l’empreinte de l’index.
  • Peut inclure des dépendances non évidentes telles que des index de recherche, des journaux d’audit et des métadonnées.
  • Est rarement nettoyé après utilisation.

La prolifération de l’environnement est un facteur majeur de coût et de complexité du stockage. Les stratégies de gouvernance et l’automatisation sont essentielles à l’endiguement.

Optimisation des requêtes sur les données

À mesure que les volumes de données augmentent et que la réactivité des applications devient critique, les clients et les éditeurs de logiciels indépendants mettent souvent en œuvre diverses techniques d’optimisation des requêtes pour améliorer les performances dans Dataverse et Dynamics 365. Ces stratégies sont particulièrement courantes dans les scénarios de création de rapports, d’analyse et d’intégration.

Pour améliorer les performances, les clients et les éditeurs de logiciels indépendants créent souvent :

  • Index personnalisés et vues matérialisées

    Ceux-ci sont utilisés pour accélérer l’exécution des requêtes en précalculant les jointures ou les agrégations. Ils sont utiles dans les scénarios impliquant des filtres complexes ou des ensembles de données volumineux.

  • Tableaux dénormalisés pour la création de rapports

    Pour simplifier la création de rapports et réduire la complexité des requêtes, les développeurs créent souvent des versions aplaties des données relationnelles. Ces tables réduisent le besoin de jointures d’exécution et améliorent les performances du tableau de bord.

  • Mise en cache de couches ou d’agrégats

    Les données fréquemment consultées sont parfois préagrégées ou mises en cache dans des tables intermédiaires ou des magasins externes afin de réduire la charge sur la base de données primaire.

Bien que ceux-ci améliorent la réactivité, ils :

  • Augmente l’utilisation du stockage

    Chaque couche d’optimisation introduit davantage de structures de données, qu’il s’agisse d’une copie de données existantes dans un format dénormalisé, d’une vue précalculée ou d’une table de cache. Ces structures dupliquent souvent des données déjà stockées ailleurs, ce qui entraîne une plus grande empreinte de stockage globale. Dans les environnements avec des quotas de stockage stricts ou des modèles de licence basés sur les coûts, par exemple Dataverse, cela peut rapidement dégénérer en dépassements évitables.

  • Peut devenir orphelin au fur et à mesure de l’évolution des applications

    Au fur et à mesure que les applications évoluent, certains artefacts d’optimisation peuvent ne plus être référencés par des rapports, des tableaux de bord ou des intégrations actifs. Ces objets orphelins continuent de consommer de l’espace de stockage et peuvent même ralentir les opérations du système, par exemple lors des sauvegardes ou de l’indexation, s’ils ne sont pas identifiés et supprimés. En l’absence d’audits réguliers, ils peuvent s’accumuler sans que l’on s’en aperçoive, ce qui compromet les gains de performance pour lesquels ils ont été créés.

L’optimisation des requêtes est essentielle pour la mise à l’échelle, mais elle doit être équilibrée avec l’hygiène du stockage et le réglage basé sur la télémétrie.

Les index et leur impact sur le stockage

Les index sont essentiels pour améliorer les performances des requêtes et utiliser une récupération rapide des données dans les ensembles de données volumineux. Dans Dataverse et les applications de finances et d’opérations Dynamics 365, des index sont automatiquement créés pour les clés primaires et les champs fréquemment interrogés, et d’autres index personnalisés peuvent être définis pour prendre en charge des scénarios métier spécifiques.

Si les index sont essentiels pour les performances, ils ont également un impact direct sur la consommation de stockage, souvent sous-estimée lors de la conception de la solution.

Comment les index consomment du stockage

  • Duplication physique des données : chaque index stocke une copie des colonnes indexées, ainsi que des pointeurs vers les lignes correspondantes. Plus il y a de colonnes et de lignes indexées, plus la taille de l’index est importante.

  • Croissance avec le volume de données : à mesure que la table sous-jacente augmente, l’index augmente également. Dans les environnements où les transactions sont élevées, les index peuvent croître rapidement, en particulier sur les tables volumineuses et dénormalisées ou celles avec des insertions et des mises à jour fréquentes.

  • Plusieurs index par table : il est courant qu’une même table ait plusieurs index, par exemple pour la recherche, le filtrage, le tri et les jointures. Chaque autre index augmente l’empreinte de stockage cumulée.

  • Index de recherche dans Dataverse : des fonctionnalités telles que la recherche Dataverse et l’indexation Copilot créent des index spécialisés qui couvrent plusieurs champs et tables. Ceux-ci sont stockés dans la table DataverseSearch et peuvent consommer beaucoup d’espace, en particulier lorsqu’ils sont utilisés dans plusieurs environnements tels que des environnements de développement, de test et de production.

  • Index générés par le système : certains index sont créés automatiquement par la plateforme, par exemple pour les champs de recherche ou les relations. Celles-ci peuvent persister même si les tables associées sont déconseillées, à moins qu’elles ne soient explicitement supprimées.

Implications pour le stockage

  • Augmentation du stockage des bases de données et des journaux : les index contribuent à la fois à l’utilisation de la base de données et du stockage des journaux, ce qui peut affecter les coûts de licence Dataverse.
  • Duplication de l’environnement : lorsque les environnements sont copiés ou actualisés, tous les index sont dupliqués, ce qui amplifie l’utilisation du stockage dans les environnements de développement, de test et de production.
  • Surcharge de maintenance : les index doivent être mis à jour à mesure que les données changent, ce qui peut augmenter la latence d’écriture et la consommation de ressources.

Impact de la synchronisation côté serveur sur le stockage

La synchronisation côté serveur dans Dataverse permet une intégration transparente des courriers électroniques, des rendez-vous et des tâches dans Microsoft Exchange et Dataverse. Bien qu’il améliore la productivité et l’automatisation, il contribue également à la consommation de stockage de la manière suivante.

  • Création d’un enregistrement d’activité : chaque courrier électronique ou rendez-vous synchronisé génère un enregistrement d’activité dans Dataverse, qui comprend des métadonnées, le contenu du corps et éventuellement des pièces jointes.
  • Stockage des pièces jointes : si les pièces jointes ne sont pas filtrées ou déchargées, elles sont stockées directement dans Dataverse, ce qui augmente l’utilisation de l’espace de stockage.
  • Conformité et conservation : les organisations qui utilisent la synchronisation côté serveur pour le suivi de la conformité peuvent conserver plus de données que nécessaire, ce qui augmente encore la consommation de stockage.
  • Contenu protégé : même les e-mails protégés par Purview, bien que leur visibilité du contenu soit limitée, génèrent toujours des enregistrements d’espace réservé qui consomment de l’espace.

Pour gérer cet impact, les entreprises doivent mettre en œuvre des politiques de rétention, envisager de décharger les pièces jointes et surveiller régulièrement les volumes d’enregistrements d’activité.

Comment puis-je gérer l’espace de stockage qui ne cesse de croître ?

Que vous soyez déjà confronté à des dépassements de stockage ou que vous souhaitiez garder une longueur d’avance, la gestion de la croissance des données dans Dataverse et la plateforme de finances et d’opérations Dynamics 365 nécessite une approche délibérée et axée sur les politiques. Cette section décrit deux points d’entrée stratégiques : la remédiation réactive et la gouvernance proactive.

Deux scénarios sont possibles :

  1. Vous souhaitez appliquer de manière proactive les meilleures pratiques pour gérer le stockage et éviter des coûts élevés à l’avenir.
  2. Vous êtes déjà dans une situation où il est nécessaire de réduire la taille et le coût de stockage.

Appliquer les meilleures pratiques pour gérer la taille et les coûts de stockage

Scénario 1 : vous souhaitez appliquer de manière proactive les meilleures pratiques pour gérer le stockage

Si vous n’êtes pas encore en mode crise, c’est le moment d’appliquer des outils et des techniques pour gérer le stockage de manière proactive.

Configurer l’analyse de vos données

Au fur et à mesure que les entreprises se développent, il est de plus en plus nécessaire d’extraire des informations des données opérationnelles, sans affecter les performances des applications métier principales. Microsoft offre plusieurs façons d’analyser les données de Dataverse et des applications de finances et d’opérations Dynamics 365 en les intégrant à votre propre lac de données ou entrepôt.

Voici deux options efficaces à prendre en considération :

Option 1. Utiliser Azure Synapse Link : apportez votre propre lac de données

Azure Synapse Link vous permet de connecter Dataverse directement à votre propre espace de travail Azure Data Lake ou Synapse. Cela permet de répliquer en temps quasi réel des données opérationnelles dans un environnement analytique, sans écrire de pipelines ETL complexes.

Avantages :

  • Exécutez des analyses avancées et des modèles IA sur des données en direct ou quasi-en direct.
  • Évitez l’impact sur les performances de vos systèmes de production.
  • Utilisez des outils familiers tels que T-SQL, Spark ou Power BI pour la création de rapports.

Exemple de cas d’utilisation : une société de vente au détail utilise Synapse Link pour analyser le comportement d’achat des clients dans toutes les régions, en combinant les données de gestion de la relation client Dataverse avec des données de marché externes dans son propre lac.

Option 2. Utiliser OneLake : l’analyse unifiée avec Microsoft Fabric

OneLake, faisant partie de Microsoft Fabric, fournit une expérience de lac de données unifiée où vous pouvez stocker et analyser des données provenant de plusieurs sources, y compris Dataverse et les applications de finances et d’opérations, sans duplication.

Avantages :

  • Stockage centralisé pour toutes les charges de travail analytiques.
  • Intégration native avec Power BI, Synapse et les services d’IA.
  • Gouvernance et sécurité simplifiées dans tous les domaines de données.

Exemple de cas d’utilisation : une société de services financiers utilise OneLake pour consolider les données opérationnelles des applications de finances et d’opérations et de Dataverse avec des indicateurs économiques externes, permettant la modélisation des risques en temps réel et l’obtention de tableaux de bord exécutifs. En procédant ainsi, vous pouvez découpler les données opérationnelles de vos systèmes centraux et permettre des analyses évolutives et rentables en exportant ces données vers leurs propres environnements analytiques, sans dupliquer les charges de travail ni affecter les performances.

Outils et techniques pour réduire le stockage

Dataverse propose plusieurs outils et stratégies intégrés pour aider les administrateurs à gérer efficacement le stockage et à maintenir les performances du système.

Dataverse

Nettoyage de l’environnement et des données

  • Supprimer les environnements inutilisés : vous pouvez supprimer un environnement pour récupérer de l’espace de stockage et supprimer des informations d’identification personnelle (PII).
  • Tâches de suppression en bloc : vous pouvez supprimer en bloc les données suivantes :
    • Données périmées ou données inutiles à l’entreprise
    • Données de test ou exemple de données inutiles
    • Données incorrectement importées depuis d’autres systèmes.

Optimisation des fichiers et des tables

Conservation à long terme (LTR) et archivage

Optimisation de l’index de recherche

  • Réduire la recherche Dataverse : vous pouvez réduire la taille de stockage en effectuant toutes les étapes décrites dans Détails sur le stockage Dataverse basé sur la capacité.
  • Réduire la taille de la table DataverseSearch : la table DataverseSearch est le stockage cumulé utilisé par l’index de recherche Dataverse. Elle inclut les données de tous les champs consultables, récupérables et filtrables des tables que vous avez indexées pour votre environnement. Vous pouvez réduire la taille de la table en supprimant les conditions Colonnes de recherche, Colonnes d’affichage et Filtre pour une ou plusieurs tables. Vous pouvez désactiver la recherche Dataverse pour supprimer toutes les données indexées.
Applications de finances et d’opérations

Les applications de finances et d’opérations offrent des options flexibles pour gérer le stockage dans les environnements de production et de bac à sable.

Gestion des environnements

  • Limiter le nombre de copies de production complètes : vous pouvez réduire la consommation de stockage globale des applications de finances et d’opérations en supprimant les copies de production complètes dans les environnements de bac à sable. Par exemple, si vous avez cinq copies d’environnements de production dans un bac à sable, votre consommation de stockage est la somme de la production plus cinq copies des environnements de production dans un bac à sable.
  • Réduire les données dans les environnements de bac à sable : en réduisant les données dans un environnement de bac à sable, vous pouvez réduire l’encombrement global du stockage. Vous pouvez suivre les méthodes ci-dessous pour nettoyer les données dans l’environnement de bac à sable.
    • Le processus de restauration fournit une exécution d’ouverture et de réduction
    • Écrire T-SQL
    • Écriture X++
  • Effectuer une copie sans transaction entre les environnements : la copie d’environnement pour les applications de finances et d’opérations a traditionnellement impliqué une duplication complète de la base de données, y compris la configuration, les données de base et les transactions, ce qui, bien qu’utile pour le débogage, augmente considérablement la consommation de stockage dans les applications de finances et d’opérations et Dataverse.

Nettoyage personnalisé et gestion des journaux

  • Écrivez des routines de nettoyage personnalisées si nécessaire : vous pouvez écrire des routines de nettoyage personnalisées selon les besoins de votre entreprise pour nettoyer les données indésirables.
  • Éviter de stocker des journaux : vous pouvez déplacer SysDatabaseLog vers une base de données moins transactionnelle afin de réduire l’encombrement global du stockage.

Archivage et conservation à long terme

Routines de nettoyage intégrées

  • Routines de nettoyage : dans Dynamics 365 Finance et Dynamics 365 Supply Chain Management, les routines de nettoyage sont disponibles dans différents modules. Les routines de nettoyage fournissent une vue d’ensemble des routines actuellement disponibles. Après avoir copié la base de données sandbox, exécutez ces routines de nettoyage de manière proactive pour supprimer les tables inutiles, telles que l’historique des lots, les journaux et l’historique des transactions de vente au détail. Supprimez les données obsolètes ou non pertinentes.
  • Archivage des données de transaction par carte de crédit : décrit un travail d’archivage dans Dynamics 365 Commerce qui peut aider à libérer de l’espace dans la base de données en archivant les jetons de paiement par carte de crédit.

Réduire la taille et les coûts de stockage

Scénario 2 : vous êtes déjà dans une situation où il est nécessaire de réduire la taille et le coût de stockage

Évaluer ce qui consomme du stockage

  • Utilisez le centre d’administration Power Platform et les rapports de stockage de finances et d’opérations pour identifier les tables, les types de fichiers et les journaux qui consomment le plus.
  • Utilisez la télémétrie, si elle est disponible, pour attribuer l’utilisation à des applications, des utilisateurs ou des divisions spécifiques.

Prioriser les candidats au nettoyage

  • Mettez l’accent sur :
    • Tables de mise en lots et d’intégration, telles que les mémoires tampons à double écriture
    • Journaux d’audit : conservez-les dans votre propre stockage
    • Environnements ou bacs à sable inutilisés
    • Métadonnées orphelines et index de recherche
    • Supprimez ce dont vous n’avez pas besoin, par exemple la suppression en bloc

Utiliser Synapse Link et OneLake pour les rapports analytiques

  • Exportez les données analytiques vers Synapse Link.
  • Utilisez OneLake pour accéder aux données conservées et aux données commerciales à des fins de reporting et d’analyse.

Appliquer la conservation à long terme (LTR)

  • Déplacez les données historiques vers un Data Lake géré (MDL) à l’aide de stratégies LTR.
  • Maintenez l’accès à la recherche et aux analyses via Recherche rapide, Synapse Link ou OneLake.

Cas d’utilisation

Les cas d’utilisation pour la gestion du stockage dans Dataverse et les environnements de finances et d’opérations sont essentiels pour optimiser l’espace de la base de données, améliorer les performances du système et répondre aux exigences réglementaires. Vous trouverez ci-dessous quelques scénarios typiques qui illustrent comment ces stratégies peuvent être appliquées :

  • Gérer la croissance des données historiques

    • Scénario : une entreprise est active sur Dynamics 365 depuis plusieurs années et a accumulé de grands volumes de transactions historiques et de pièces jointes.
    • Action : mettez en œuvre des stratégies de conservation à long terme pour conserver les données inactives, réduire la taille de la base de données principale et maintenir la conformité aux exigences d’audit.

  • Conservation des données basée sur la conformité

    • Scénario : un client d’un secteur réglementé doit conserver les données financières ou les données client pendant sept à dix ans dans un format inviolable.
    • Action : utilisez LTR pour conserver les données immuables en lecture seule conformément aux exigences légales et réglementaires, tout en conservant des données commerciales allégées sans compromettre l’analyse et la création de rapports.

  • Optimisation de la recherche et de l’index Copilot

    • Scénario : la recherche Dataverse et l’indexation Copilot sont activées dans tous les environnements, y compris les tables inutilisées.
    • Action : auditez les champs de recherche et désactivez l’indexation pour les tables de faible valeur ou obsolètes. Surveillez la taille de la table DataverseSearch et optimisez les configurations pour réduire le stockage des journaux et des bases de données.

  • Audit et gestion de la télémétrie

    • Scénario : les journaux de suivi de plug-in et les journaux d’audit augmentent rapidement, consommant du stockage et affectant les performances.
    • Action : exportez les journaux vers des systèmes externes, comme Azure Monitor, et automatisez le nettoyage des anciennes entrées pour maintenir la visibilité sans surcharger le stockage.

  • Intégration de l’entrepôt de données et de l’analyse

    • Scénario : l’organisation réplique les données opérationnelles vers Azure Synapse ou OneLake pour l’analyse, ce qui entraîne un stockage dupliqué.
    • Action : utilisez des exportations incrémentielles, appliquez des filtres et évitez la réplication complète des jeux de données pour minimiser la redondance tout en permettant d’obtenir des informations riches.

  • Réduire les dépassements de stockage

    • Scénario : un client reçoit une notification l’informant d’un dépassement de son quota de stockage Dataverse, ce qui entraîne des coûts imprévus.
    • Action : utilisez les rapports de capacité pour identifier les tables qui consomment le plus, nettoyez les environnements obsolètes et supprimez les pièces jointes ou les journaux inutilisés. Envisagez de déplacer les données froides, généralement des enregistrements historiques ou rarement consultés, vers des niveaux de stockage moins coûteux.

  • Optimisation des performances dans les grandes tables

    • Scénario : les processus critiques pour l’entreprise ralentissent en raison de tables volumineuses.
    • Action : archivez les anciens enregistrements, nettoyez les tâches système, par exemple AsyncOperationBase et WorkflowLogBase.

  • Gestion du cycle de vie de l'environnement

    • Scénario : les environnements de développement et de test sont clonés à partir de la production, ce qui duplique toutes les données et tous les index.
    • Action : optimisez les environnements de bac à sable après une actualisation, désactivez l’indexation des recherches inutiles et supprimez les données de test pour réduire la consommation de stockage redondante. Supprimez les environnements de bac à sable inutilisés pour économiser de l’espace de stockage.

Étude de cas

Étude de cas n° 1 : Réduire les dépassements de stockage grâce au nettoyage des index

Profil du client : une société de fabrication mondiale utilisant Dynamics 365 pour la chaîne d’approvisionnement et des applications de finances et d’opérations.

Défi : le client rencontrait des dépassements de stockage inattendus et une dégradation des performances dans son environnement de production. L’enquête a révélé que plusieurs index personnalisés et vues matérialisées, créés au début de la mise en œuvre, n’étaient plus utilisés mais consommaient toujours un espace de stockage important.

Solution : l’équipe a effectué un audit trimestriel de tous les index personnalisés et a supprimé ceux qui n’étaient pas référencés par des requêtes ou des rapports actifs. Ils ont également mis en œuvre une stratégie de gouvernance pour examiner les nouvelles demandes d’index avant le déploiement.

Résultat :

  • Réduction du stockage des bases de données de 28 %.
  • Amélioration des performances des requêtes de 15 %.
  • A évité des coûts de stockage supplémentaires prévus de 12 000 $ par an.

Étude de cas 2 : Archivage des données historiques pour atteindre les objectifs de conformité et de performance

Profil du client : une société de services financiers qui utilise Dataverse et Dynamics 365 pour les fonctionnalités d’intégration des clients et de gestion des dossiers.

Défi : l’entreprise devait conserver les dossiers des clients pendant plus de sept ans pour répondre aux exigences réglementaires, mais le volume croissant de données inactives ralentissait les flux de travail actifs et augmentait les coûts de stockage.

Solution : le client a mis en œuvre une stratégie de conservation à long terme en utilisant les capacités d’archivage de Dataverse. Les enregistrements inactifs ont été déplacés vers un niveau de stockage en lecture seule et optimisé en termes de coûts, tandis que les données actives sont restées dans un stockage hautes performances.

Résultat :

  • Archivage de plus de 1,2 million d’enregistrements.
  • Réduction de la taille de la base de données primaire de 40 %.
  • Maintien d’une auditabilité totale et d’une conformité aux politiques de rétention.

Étude de cas 3 : Rationalisation des index de recherche dans les environnements

Profil du client : une organisation de vente au détail avec plusieurs environnements Dataverse, y compris des environnements de développement, de test et de production, prenant en charge une solution de gestion des relations client compatible avec Copilot.

Défi : les index de recherche étaient utilisés dans tous les environnements, y compris les tables inutilisées et les données de test. Cela a gonflé les tables DataverseSearch et entraîné une consommation de stockage inutile.

Solution : l’équipe a examiné les champs de recherche et a cessé d’utiliser l’indexation sur les tables non critiques dans les environnements de développement et de test. Ils ont également automatisé le nettoyage des index lors des actualisations de l’environnement.

Résultat :

  • Réduction de 35 % du stockage de l’index de recherche.
  • Amélioration de 20 % des temps d’actualisation de l’environnement.
  • Réduction de l’utilisation globale du stockage des journaux et des bases de données.

Étude de cas 4 : Utilisation de l’exportation de données pour l’analyse sans dupliquer le stockage

Profil du client : un fournisseur de soins de santé qui utilise Dynamics 365 et Dataverse pour l’engagement et la facturation des patients.

Défi : l’équipe d’analyse avait besoin d’accéder aux données opérationnelles pour l’analyse des tendances et la modélisation de l’IA, mais la duplication des données dans un entrepôt séparé augmentait les coûts de stockage et la complexité.

Solution : le client a utilisé Azure Synapse Link avec l’exportation incrémentielle et le stockage hiérarchisé dans OneLake. Ils n’ont conservé que les données analytiques essentielles et ont appliqué des politiques de conservation pour gérer la profondeur historique.

Résultat :

  • A permis l’analyse en temps réel sans impact sur les systèmes opérationnels.
  • Réduction de 45 % du stockage redondant.
  • Amélioration de la gouvernance tout au long du cycle de vie des données analytiques.

Conclusion

Une gestion efficace du stockage est cruciale pour maintenir les performances du système et optimiser l’utilisation des ressources dans les environnements Dynamics 365. Les routines de nettoyage et les tâches d’archivage décrites dans cet article fournissent des solutions robustes pour libérer de l’espace précieux dans la base de données et rationaliser les opérations. En utilisant des outils tels que LTR et des techniques similaires, les clients peuvent relever les défis de stockage courants et créer des pratiques de gestion des données durables. De plus, des études de cas réelles démontrent l’efficacité de ces approches, offrant un aperçu de leurs applications pratiques. L’adoption de ces stratégies permet aux entreprises de gérer de manière proactive leurs besoins en matière de stockage et d’améliorer leur efficacité globale.

Références

Nettoyage du stockage dans Dataverse :

Nettoyage du stockage dans les applications de finances et d’opérations :

Capacité de stockage :

  • Last updated on