Gerenciamento de armazenamento no Dataverse e nos aplicativos de finanças e operações

À medida que as organizações aceleram suas jornadas de transformação digital, a capacidade de gerenciar dados de forma eficaz se torna um imperativo estratégico de negócios. Com o surgimento de aplicativos com tecnologia de IA e fluxos de trabalho orientados pelo Copilot, as empresas estão gerando e consumindo dados em taxas sem precedentes. Esses dados alimentam a inovação, permitem experiências personalizadas e dão suporte à tomada de decisões críticas, mas somente se forem governados e armazenados de forma inteligente.

Para dar suporte a essas necessidades empresariais em evolução, as organizações devem adotar uma estratégia proativa de geranciamento de armazenamento. Isso garante que os dados que não são mais necessários para as operações diárias sejam tratados de forma responsável, liberando capacidade para cargas de trabalho de alto valor, reduzindo o atrito operacional e alinhando-se aos requisitos de conformidade e auditoria.

Do ponto de vista técnico, o geranciamento eficaz de armazenamento no Dynamics 365 melhora o desempenho do sistema, melhora a eficiência de custos e garante a adesão às políticas de retenção de longo prazo (LTR). Dataverse Ambas as plataformas oferecem ferramentas e recursos de automação que capacitam as organizações a gerenciar o armazenamento.

Ao implementar as estratégias descritas neste artigo, as empresas podem reduzir a sobrecarga de suporte, otimizar a conformidade e extrair maior valor de seus aplicativos de negócios, transformando o armazenamento de uma restrição em uma vantagem competitiva.

Principais benefícios

O geranciamento eficaz de armazenamento no Dynamics 365 oferece vários benefícios importantes que abordam problemas comuns dos clientes e melhoram a eficiência operacional geral. Dataverse

  • Maior conformidade com LTR: o geranciamento eficaz de armazenamento garante que os dados sejam armazenados em conformidade com as políticas de LTR. Isso não apenas ajuda a atender aos requisitos regulatórios, mas também garante que dados críticos sejam preservados e acessíveis quando necessário.

  • Desempenho aprimorado: Ao otimizar o geranciamento de armazenamento, as organizações podem melhorar significativamente o desempenho de seus sistemas. A alocação e o geranciamento eficientes de armazenamento reduzem a latência e melhoram a velocidade de recuperação de dados, resultando em operações mais rápidas e suaves.

  • Aumentando a eficiência de custos: O geranciamento eficaz de armazenamento permite que as organizações se concentrem em dados de alto valor, simplificando e eliminando a desorganização de seu cenário de armazenamento. Ao reter apenas o necessário, as empresas podem otimizar seu espaço de armazenamento, o que leva a uma utilização mais inteligente de recursos e escalabilidade econômica.

Tela de fundo

À medida que as organizações crescem e digitalizam mais de suas operações, o volume de dados comerciais armazenados em sistemas como o Dynamics 365 aumenta constantemente. Dataverse Isso inclui não apenas dados ativos e transacionais, mas também registros históricos que devem ser retidos para fins de auditoria, regulamentação ou continuidade de negócios. Com o tempo, esse acúmulo pode levar à degradação do desempenho, aumento da sobrecarga operacional e aumento dos custos de armazenamento, especialmente quando os dados que não são mais usados ativamente permanecem em camadas de armazenamento de alto desempenho.

Uma estratégia de geranciamento de armazenamento bem definida ajuda as organizações a enfrentar esses desafios, identificando dados que podem ser arquivados, limpos ou movidos para armazenamento de menor custo e otimizado para leitura. Isso é importante para cenários de conformidade em que os dados devem permanecer imutáveis, de baixo acesso e somente leitura, como registros financeiros, logs de auditoria ou documentos regulatórios. Garantir que esses dados sejam retidos de maneira compatível, sem afetar o desempenho dos sistemas ativos, é um requisito fundamental para muitas empresas.

Ao usar as ferramentas e estratégias disponíveis em ambas as plataformas, as organizações podem obter melhor visibilidade de seu espaço de armazenamento, reduzir o consumo desnecessário e garantir que dados críticos de conformidade sejam tratados adequadamente.

Este artigo descreve abordagens práticas para geranciamento de armazenamento que ajudam os clientes a alinhar suas práticas de retenção de dados com as necessidades comerciais e regulatórias. Isso melhora o desempenho do sistema, reduz a sobrecarga operacional e garante que as obrigações de conformidade sejam cumpridas sem comprometimento.

Por que armazenamos dados

Para selecionar e otimizar o padrão de retenção de dados correto para seus dados, é importante refletir sobre os motivos e usos para os quais armazenamos dados.

Dados operacionais

Em um aplicativo empresarial, os dados operacionais são usados para rastrear vendas, ações financeiras ou da cadeia de suprimentos.

Esses dados precisam ser acessados em tempo real, dando suporte aos processos operacionais internos e do cliente que registram ações granulares, como interações com clientes, pedidos ou atividades de estoque.

Com o tempo, os dados operacionais podem deixar de ser usados ativamente e passar a ser usados com pouca frequência. Pode ser necessário que os dados estejam acessíveis quase em tempo real para ajudar um cliente com um pedido ou em um caso de suporte. Por exemplo, leve em consideração os seguintes cenários:

  • Um cliente faz um pedido, enquanto outro cliente, que não interage com a empresa há algum tempo, também faz um pedido.
  • Cada pedido feito e enviado está sendo acessado constantemente. Também há pedidos com período de garantia de três anos que podem precisar ser consultados para suporte e possivelmente exigir um reembolso.

Isso pode levar a fases de necessidades de acesso a dados operacionais, como:

  • Menos de um ano de dados acessados ativamente.
  • Menos de três anos de dados acessados com pouca frequência.
  • Mais de três anos em que os dados não são mais acessados operacionalmente.

A natureza em tempo real do armazenamento operacional o torna relativamente caro em comparação a outros tipos de armazenamento, portanto, reconhecer quando os dados precisam ser acessados operacionalmente e quando não é importante para definir estratégias de retenção.

Integração operacional

Como uma categoria especializada de uso operacional, pode ser necessário replicar dados entre vários sistemas operacionais, incluindo padrões como:

  • Bancário : Gerenciamento de relacionamento com o cliente para interações com clientes de linha de frente e replicação para vários sistemas bancários. Por exemplo, você tem contas correntes, cartões de crédito, hipotecas e sistemas de verificação de crédito.
  • Fabricação : Gerenciamento de relacionamento com o cliente para recebimento de pedidos de linha de frente e sistema de geranciamento de recursos empresariais para geranciamento da cadeia de suprimentos.
  • Atendimento de emergência policial : O geranciamento de relacionamento com o cliente para interações com cidadãos e sistemas de despacho para departamentos de polícia oferecem geranciamento de implantação.

Nesses casos, embora cada sistema possa ter dados exclusivos para rastrear, geralmente há dados mestres comuns que precisam ser compartilhados entre os sistemas e mantidos sincronizados, o que leva a necessidades de integração.

Dados de auditoria

Normalmente, uma empresa tem responsabilidade regulatória para manter dados por longos períodos — por exemplo, sete anos em média — para fins de auditoria, sejam eles internos ou externos, como suporte à auditoria financeira, divulgação regulatória ou revisão de fraudes.

Esses dados normalmente abrangem tanto os dados necessários para fins operacionais quanto os que não são mais necessários, pois permitem a revisão de todo o conjunto de dados em um único lugar.

Dados de análise

As organizações precisam revisar e analisar o estado de seus negócios. Eles devem medir e comparar estatísticas ao longo do tempo e abrangendo várias ou todas as partes do negócio.

Os grandes períodos e a amplitude de dados nos quais essa análise pode ocorrer levam à necessidade de replicar dados operacionais em ferramentas analíticas especializadas. Isso evita que análises complexas afetem o desempenho dos sistemas operacionais, mas também permite análises em conjuntos de dados que vão além do período para o qual os dados são necessários operacionalmente. Por exemplo, talvez você precise comparar dados de sete anos, em vez de um ou dois anos. No entanto, diferentes necessidades analíticas podem exigir períodos completos de retenção de dados ou abranger apenas os dados retidos em sistemas operacionais.

Dados analíticos geralmente permitem a agregação de dados de várias partes do negócio e combinam dados de vários sistemas.

Fluxo de dados

Os dados desses tipos geralmente fluem ao longo do tempo dos dados operacionais para os dados transacionais ou históricos, conforme mostrado na imagem a seguir.

O fluxo de dados.

Diferentes tipos de armazenamento

Dataverse tipos de armazenamento

Dataverse organiza o armazenamento em três categorias principais, cada uma com padrões de uso e implicações de cobrança distintos.

Tipo de armazenamento Description Casos de uso comuns
Armazenamento de banco de dados Armazena dados estruturados em tabelas — padrão e personalizadas. Registros comerciais, metadados, relacionamentos e configurações
Armazenamento de arquivo Armazena anexos e dados binários. Anexos de e-mail, imagens, documentos enviados por meio de Power Apps
Armazenamento de logs Armazena logs de auditoria e logs de rastreamento de plug-ins. Rastreamento de mudanças, auditoria, diagnóstico e conformidade

Tipos de armazenamento de plataforma de finanças e operações

O armazenamento financeiro e operacional é gerenciado separadamente, mas está sendo cada vez mais integrado ao ecossistema. Power Platform Inclui os seguintes tipos de armazenamento.

Tipo de armazenamento Description Casos de uso comuns
Armazenamento de banco de dados operacional Dados transacionais essenciais para finanças, cadeia de suprimentos, recursos humanos e muito mais Lançamentos contábeis, estoque, pedidos de clientes
Armazenamento de geranciamento de documentos Objetos binários grandes (Blobs) armazenados no Azure Blob Storage Faturas, recibos, documentos digitalizados
Registros de telemetria e diagnóstico Registros do sistema e dados de telemetria Monitoramento de desempenho, diagnóstico de problemas.

Cenários de armazenamento compartilhado e integrado

  • Armazenamento de gravação dupla

    • Permite sincronização em tempo real entre Dataverse e aplicativos financeiros e operacionais.
    • Requer geranciamento cuidadoso de funções e capacidade para evitar duplicação ou uso excessivo.

  • Retenção de longo prazo (LTR)

    • Move dados históricos para um Managed Data Lake (MDL).
    • Reduz o uso do armazenamento primário, mantendo a conformidade e o acesso analítico.
    • Integra-se com:
      • Busca rápida (Dataverse-busca nativa)
      • OneLake (análise baseada em tecido)
      • Synapse Link (análise de lago personalizada)

Como seus dados crescem ao longo do tempo

À medida que as organizações ampliam o uso do Dynamics 365 e da plataforma financeira e de operações, o crescimento de dados se torna um sinal de sucesso e um desafio estratégico. Dataverse O que começa como um conjunto de dados enxuto e transacional pode evoluir rapidamente para um conjunto de dados complexo e multicamadas. Esta seção explora cinco principais impulsionadores do crescimento de dados e suas implicações para armazenamento, desempenho e governança.

Usando data warehouse em dados operacionais

Para desbloquear insights de sistemas operacionais, muitas organizações usam Azure Synapse Link, OneLake ou exportação de dados para replicar dados de Dataverse aplicativos financeiros e operacionais em um sistema analítico. Embora isso ofereça suporte a relatórios avançados e cargas de trabalho de IA, também introduz:

  • Armazenamento redundante em camadas operacionais e analíticas

    Os dados são frequentemente duplicados entre os ambientes operacional e analítico. Essa redundância aumenta o consumo geral de armazenamento e pode levar a custos mais altos, especialmente se os dados históricos forem retidos indefinidamente em ambos os sistemas.

  • Duplicação de esquema e sobrecarga de controle de versão

    Para manter a consistência entre os sistemas, as organizações devem replicar alterações de esquema — por exemplo, novos campos e colunas renomeadas — nas camadas operacional e analítica. Isso adiciona complexidade à governança de dados e aumenta o risco de desvio de esquema, o que pode interromper relatórios ou modelos posteriores.

  • Maior retenção de dados históricos para análise de tendências

    Os sistemas analíticos normalmente retêm dados por períodos mais longos para dar suporte à análise de tendências, previsões e relatórios regulatórios. Embora valiosa, essa retenção de longo prazo pode levar a conjuntos de dados inchados se não for gerenciada com estratégias adequadas de arquivamento e hierarquização.

O armazenamento de dados é essencial para análises, mas sem políticas de ciclo de vida, ele pode dobrar ou triplicar sua área de armazenamento.

Usando a pesquisa nos dados

Recursos como Dataverse pesquisa, indexação do Copilot e pesquisa de relevância exigem a indexação de grandes volumes de dados estruturados e não estruturados. Esses índices frequentemente:

  • Consumir armazenamento de log e banco de dados

    Os índices de pesquisa são armazenados no log e no banco de dados. À medida que mais tabelas e campos são marcados como pesquisáveis, o tamanho do índice aumenta proporcionalmente. Isso pode impactar significativamente o uso geral do armazenamento, especialmente em ambientes com grandes volumes de registros ou alterações frequentes de esquema.

  • Persistir mesmo para tabelas não utilizadas ou obsoletas

    Mesmo quando certas tabelas são descontinuadas ou não são mais usadas ativamente, seus índices de pesquisa associados podem persistir, a menos que sejam explicitamente removidos. Isso leva ao consumo desnecessário de armazenamento e pode complicar o planejamento de capacidade.

  • Geralmente são duplicados em ambientes como desenvolvimento, teste e produção

    Os índices de pesquisa geralmente são replicados em ambientes de desenvolvimento, teste e produção. Embora isso garanta um comportamento de pesquisa consistente, também multiplica o espaço de armazenamento, principalmente quando os ambientes são clonados ou atualizados com frequência.

A pesquisa melhora a usabilidade e a prontidão da IA, mas o inchaço do índice é um fator silencioso que contribui para o excesso de armazenamento.

Habilitando o registro de dados

Logs de auditoria, logs de rastreamento de plug-ins e telemetria são essenciais para conformidade, depuração e monitoramento. No entanto, observe os seguintes pontos:

  • O armazenamento de logs cresce linearmente com o uso e a contagem de usuários.

    Os dados de log crescem proporcionalmente com:

    • O número de usuários e seus níveis de atividade
    • O volume de transações e integrações
    • A complexidade da lógica de negócios, como plug-ins e fluxos de trabalho

    Em ambientes de alto uso, isso pode levar à rápida expansão de tabelas de log, consumindo cotas de armazenamento de log e de banco de dados.

  • Padrões de retenção são muitas vezes muito generosas, como 90 dias ou mais.

    Por padrão, muitos recursos de registro retêm dados por longos períodos, como 90 dias ou mais. Embora isso ofereça suporte à rastreabilidade de longo prazo, pode resultar em consumo desnecessário de armazenamento, especialmente quando os logs não são revisados ou exportados ativamente.

  • Logs gerados pelo sistema são faturados ao cliente em Dataverse.

    Em Dataverse, logs gerados pelo sistema, incluindo logs de auditoria e logs de rastreamento de plug-ins, são contabilizados no direito de armazenamento do cliente. Isso significa que, sem estratégias adequadas de limpeza ou exportação, a exploração madeireira pode contribuir diretamente para excedentes de armazenamento e aumento dos custos de licenciamento.

O registro não é negociável para setores regulamentados, mas deve ser combinado com estratégias de retenção e exportação, como Azure Monitor ou Log Analytics.

Ter várias cópias do ambiente de produção

Para dar suporte ao desenvolvimento, testes, treinamento e solução de problemas, os clientes geralmente criam ambientes sandbox ou clonados. Cada cópia:

  • Replica todos os dados e a pegada do índice.
  • Pode incluir dependências não óbvias, como índices de pesquisa, logs de auditoria e metadados.
  • Raramente é limpo após o uso.

A dispersão do ambiente é um dos principais impulsionadores dos custos e da complexidade do armazenamento. Políticas de governança e automação são essenciais para a contenção.

Otimização de consultas sobre os dados

À medida que os volumes de dados aumentam e a capacidade de resposta dos aplicativos se torna crítica, os clientes e os ISVs frequentemente implementam várias técnicas de otimização de consulta para melhorar o desempenho em Dataverse e Dynamics 365. Essas estratégias são especialmente comuns em cenários de relatórios, análises e integração intensa.

Para melhorar o desempenho, clientes e ISVs geralmente criam:

  • Índices personalizados e visualizações materializadas

    Eles são usados para acelerar a execução de consultas por meio do pré-computação de junções ou agregações. Eles são úteis em cenários que envolvem filtros complexos ou grandes conjuntos de dados.

  • Tabelas desnormalizadas para relatórios

    Para simplificar os relatórios e reduzir a complexidade das consultas, os desenvolvedores geralmente criam versões simplificadas de dados relacionais. Essas tabelas reduzem a necessidade de junções em tempo de execução e melhoram o desempenho do painel.

  • Camadas ou agregados de cache

    Dados acessados com frequência às vezes são pré-agregados ou armazenados em cache em tabelas intermediárias ou armazenamentos externos para reduzir a carga no banco de dados primário.

Embora melhorem a capacidade de resposta, elas também:

  • Aumentar o uso do armazenamento

    Cada camada de otimização introduz mais estruturas de dados, seja uma cópia de dados existentes em um formato desnormalizado, uma visualização pré-computada ou uma tabela de cache. Essas estruturas geralmente duplicam dados já armazenados em outro lugar, resultando em uma área de armazenamento geral maior. Em ambientes com cotas de armazenamento rígidas ou modelos de licenciamento baseados em custos, como Dataverse, isso pode rapidamente evoluir para excedentes evitáveis.

  • Podem se tornar órfãos à medida que os aplicativos evoluem

    À medida que os aplicativos evoluem, alguns artefatos de otimização podem não ser mais referenciados por relatórios, painéis ou integrações ativos. Esses objetos órfãos continuam consumindo armazenamento e podem até mesmo tornar as operações do sistema mais lentas, por exemplo, durante backups ou indexação, se não forem identificados e removidos. Sem auditorias regulares, eles podem se acumular sem serem notados, prejudicando os ganhos de desempenho que foram criados para oferecer.

A otimização de consultas é essencial para escala, mas deve ser equilibrada com higiene de armazenamento e ajuste orientado por telemetria.

Índices e seu impacto no armazenamento

Os índices são essenciais para melhorar o desempenho da consulta e usar a recuperação rápida de dados em grandes conjuntos de dados. Nos aplicativos financeiros e de operações do Dynamics 365 e do Dynamics 365, os índices são criados automaticamente para chaves primárias e campos consultados com frequência, e outros índices personalizados podem ser definidos para dar suporte a cenários comerciais específicos. Dataverse

Embora os índices sejam essenciais para o desempenho, eles também têm um impacto direto no consumo de armazenamento, muitas vezes subestimado durante o design da solução.

Como os índices consomem armazenamento

  • Duplicação física de dados: Cada índice armazena uma cópia das colunas indexadas, juntamente com ponteiros para as linhas correspondentes. Quanto mais colunas e linhas forem indexadas, maior será o tamanho do índice.

  • Crescimento com volume de dados: À medida que a tabela subjacente cresce, o índice também cresce. Em ambientes com muitas transações, os índices podem crescer rapidamente, especialmente em tabelas grandes e desnormalizadas ou aquelas com inserções e atualizações frequentes.

  • Vários índices por tabela: É comum que uma única tabela tenha vários índices, por exemplo, para pesquisa, filtragem, classificação e junções. Cada outro índice é adicionado à pegada de armazenamento cumulativa.

  • Índices de pesquisa em Dataverse: Recursos como Dataverse pesquisa e indexação do Copilot criam índices especializados que abrangem vários campos e tabelas. Eles são armazenados na tabela DataverseSearch e podem consumir espaço significativo, especialmente quando usados em vários ambientes, como desenvolvimento, teste e produção.

  • Índices gerados pelo sistema: alguns índices são criados automaticamente pela plataforma, como para campos de pesquisa ou relacionamentos. Elas podem persistir mesmo que as tabelas associadas sejam descontinuadas, a menos que sejam explicitamente removidas.

Implicações de armazenamento

  • Aumento do armazenamento de banco de dados e log: Os índices contribuem para o uso do armazenamento de banco de dados e log, o que pode afetar os custos de licenciamento em Dataverse.
  • Duplicação de ambiente: quando os ambientes são copiados ou atualizados, todos os índices são duplicados, ampliando o uso de armazenamento nos ambientes de desenvolvimento, teste e produção.
  • Sobrecarga de manutenção: os índices devem ser atualizados conforme os dados mudam, o que pode aumentar a latência de gravação e o consumo de recursos.

Impacto da sincronização do lado do servidor no armazenamento

A sincronização do lado do servidor em Dataverse permite a integração perfeita de e-mails, compromissos e tarefas entre Microsoft Exchange e Dataverse. Ao mesmo tempo em que melhora a produtividade e a automação, também contribui para o consumo de armazenamento das seguintes maneiras.

  • Criação de registro de atividade: Cada e-mail ou compromisso sincronizado gera um registro de atividade em Dataverse, que inclui metadados, conteúdo do corpo e, potencialmente, anexos.
  • Armazenamento de anexos: se os anexos não forem filtrados ou descarregados, eles serão armazenados diretamente em Dataverse, aumentando o uso do armazenamento.
  • Conformidade e retenção: Organizações que usam sincronização do lado do servidor para rastreamento de conformidade podem reter mais dados do que o necessário, aumentando ainda mais o armazenamento.
  • Conteúdo protegido: Mesmo e-mails protegidos pelo Purview, embora limitados em visibilidade de conteúdo, ainda geram registros de espaço reservado que consomem espaço.

Para gerenciar esse impacto, as empresas devem implementar políticas de retenção, considerar a transferência de anexos e monitorar os volumes de registros de atividades regularmente.

Como posso gerenciar o armazenamento em constante crescimento?

Não importa se você já enfrenta excessos de armazenamento ou quer ficar à frente deles, gerenciar o crescimento de dados no Dynamics 365 e na plataforma de finanças e operações exige uma abordagem deliberada e orientada por políticas. Dataverse Esta seção descreve dois pontos de entrada estratégicos: remediação reativa e governança proativa.

Existem dois cenários possíveis:

  1. Você deseja aplicar proativamente as melhores práticas para gerenciar o armazenamento e evitar altos custos no futuro.
  2. Você já está em uma situação em que é necessário reduzir o tamanho e o custo do armazenamento.

Aplique as melhores práticas para gerenciar o tamanho e os custos de armazenamento

Cenário 1: Você deseja aplicar proativamente as melhores práticas para gerenciar o armazenamento

Se você ainda não está em modo de crise, agora é a hora de aplicar ferramentas e técnicas para gerenciar o armazenamento de forma proativa.

Configurar análises para seus dados

À medida que as organizações crescem, também aumenta a necessidade de extrair insights de dados operacionais, sem afetar o desempenho dos principais aplicativos de negócios. A Microsoft oferece várias maneiras de permitir análises em dados financeiros e operacionais do Dynamics 365 por meio da integração com seu próprio data lake ou warehouse. Dataverse

Aqui estão duas opções poderosas a serem consideradas:

Opção 1. Use Azure Synapse Link – traga seu próprio lago

Azure Synapse O Link permite que você se conecte Dataverse diretamente ao seu próprio espaço de trabalho do Azure Data Lake ou Synapse. Isso permite a replicação quase em tempo real de dados operacionais em um ambiente analítico, sem precisar escrever pipelines ETL complexos.

Benefícios:

  • Execute análises avançadas e modelos de IA em dados ativos ou quase ativos.
  • Evite impacto no desempenho dos seus sistemas de produção.
  • Use ferramentas conhecidas como T-SQL, Spark ou Power BI para relatórios.

Exemplo de caso de uso: Uma empresa de varejo usa o Synapse Link para analisar o comportamento de compra do cliente em diferentes regiões, combinando Dataverse dados de geranciamento de relacionamento com o cliente com dados externos de mercado em seu próprio lago.

Opção 2. Use OneLake – análise unificada com Microsoft Fabric

O OneLake, parte do Microsoft Fabric, fornece uma experiência unificada de data lake onde você pode armazenar e analisar dados de várias fontes, incluindo Dataverse e aplicativos financeiros e operacionais, sem duplicação.

Benefícios:

  • Armazenamento centralizado para todas as cargas de trabalho analíticas.
  • Integração nativa com Power BI, Synapse e serviços de IA.
  • Governança e segurança simplificadas em domínios de dados.

Exemplo de caso de uso: Uma empresa de serviços financeiros usa o OneLake para consolidar dados operacionais de aplicativos financeiros e operacionais e Dataverse com indicadores econômicos externos, permitindo modelagem de risco em tempo real e painéis executivos. Ao fazer isso, você pode desacoplar dados operacionais dos seus sistemas principais e permitir análises escaláveis e econômicas exportando esses dados para seus próprios ambientes analíticos, sem duplicar cargas de trabalho ou afetar o desempenho.

Ferramentas e técnicas para reduzir o armazenamento

Dataverse oferece diversas ferramentas e estratégias integradas para ajudar os administradores a gerenciar o armazenamento de forma eficiente e manter o desempenho do sistema.

Dataverse

Limpeza de dados e ambiente

  • Excluir ambientes não utilizados: Você pode excluir um ambiente para recuperar espaço de armazenamento e remover Informações de Identificação Pessoal (PII).
  • Tarefas de exclusão em massa: Você pode excluir os seguintes dados em massa:
    • Dados obsoletos ou irrelevantes para o negócio.
    • Dados de teste desnecessários ou dados de exemplo.
    • Dados importados incorretamente de outros sistemas.

Otimização de arquivos e tabelas

Retenção de longo prazo (LTR) e arquivamento

Otimização do índice de pesquisa

  • Reduzir Dataverse pesquisa: você pode reduzir o tamanho do armazenamento executando todas as etapas em Dataverse detalhes de armazenamento baseados em capacidade.
  • Reduza o tamanho da tabela DataverseSearch: A tabela DataverseSearch é o armazenamento cumulativo usado pelo Dataverse índice de pesquisa. Inclui os dados de todos os campos pesquisáveis, recuperáveis e filtráveis das tabelas que você indexou para o seu ambiente. Você pode reduzir o tamanho da tabela removendo colunas de localização, colunas de visualização e condições de filtro para uma ou mais tabelas. Você pode desativar a pesquisa do Dataverse para remover todos os dados indexados.
Aplicativos de finanças e operações

Os aplicativos financeiros e operacionais oferecem opções flexíveis para gerenciar o armazenamento em ambientes de produção e sandbox.

Gestão ambiental

  • Limite o número de cópias de produção completas: você pode reduzir o consumo geral de armazenamento de aplicativos financeiros e operacionais removendo cópias de produção completas em ambientes de sandbox. Por exemplo, se você tiver cinco cópias de ambientes de produção em um sandbox, seu consumo de armazenamento será a soma da produção mais cinco cópias de ambientes de produção em um sandbox.
  • Reduzir dados em ambientes de sandbox: ao reduzir os dados em um ambiente de sandbox, você pode reduzir o espaço total de armazenamento. Você pode seguir os métodos abaixo para limpar os dados na sandbox.
    • O processo de restauração fornece uma execução de abertura e corte
    • Escreva T-SQL
    • Escreva X++
  • Execute uma cópia sem transações entre ambientes: a cópia de ambiente para aplicativos financeiros e operacionais tradicionalmente envolve a duplicação completa do banco de dados, incluindo configuração, dados mestres e transações, o que, embora útil para depuração, aumenta significativamente o consumo de armazenamento em finanças e operações e Dataverse.

Limpeza personalizada e geranciamento de logs

  • Escreva rotinas de limpeza personalizadas conforme necessário: Você pode escrever rotinas de limpeza personalizadas conforme necessário para sua empresa limpar os dados indesejados.
  • Evite armazenar logs: você pode mover o SysDatabaseLog para um banco de dados menos transacional para reduzir o espaço geral de armazenamento.

Arquivamento e retenção de longo prazo

Rotinas de limpeza integradas

  • Rotinas de limpeza: No Dynamics 365 Finance e Dynamics 365 Supply Chain Management, as rotinas de limpeza estão disponíveis em vários módulos. Rotinas de limpeza fornecem uma visão geral das rotinas que estão disponíveis atualmente. Depois de copiar o banco de dados sandbox, execute essas rotinas de limpeza proativamente para remover tabelas desnecessárias, como histórico de lote, logs e histórico de transações de varejo. Exclua dados desatualizados ou irrelevantes.
  • Arquivar dados de transações de cartão de crédito: descreve uma tarefa de arquivamento em Dynamics 365 Commerce que pode ajudar a liberar espaço no banco de dados arquivando tokens de pagamento de cartão de crédito.

Reduza o tamanho e os custos de armazenamento

Cenário 2: Você já está em uma situação em que é necessário reduzir o tamanho e o custo do armazenamento

Avalie o que está consumindo armazenamento

  • Use o centro de administração e os relatórios de armazenamento de finanças e operações para identificar as tabelas, os tipos de arquivo e os logs de maior consumo. Power Platform
  • Use telemetria, se disponível, para atribuir uso a aplicativos, usuários ou unidades de negócios específicos.

Priorizar candidatos para limpeza

  • Focar em:
    • Tabelas de preparação e integração, como buffers de gravação dupla
    • Registros de auditoria: mantenha-os em seu próprio armazenamento
    • Ambientes não utilizados ou sandboxes
    • Metadados e índices de pesquisa órfãos
    • Exclua o que você não precisa, por exemplo, exclusão em massa

Use Synapse Link e OneLake para relatórios analíticos

  • Exporte os dados analíticos para o Synapse Link.
  • Use o OneLake para acessar os dados retidos e dados comerciais para fins de relatórios e análises.

Aplicar retenção de longo prazo (LTR)

  • Mova dados históricos para um Managed Data Lake (MDL) usando políticas LTR.
  • Mantenha o acesso à pesquisa e à análise por meio da Localização Rápida, Synapse Link ou OneLake.

Casos de uso

Casos de uso para geranciamento de armazenamento em ambientes financeiros e operacionais são essenciais para otimizar o espaço do banco de dados, melhorar o desempenho do sistema e atender aos requisitos regulatórios. Dataverse Abaixo estão alguns cenários típicos que demonstram como essas estratégias podem ser aplicadas:

  • Gerenciando o crescimento de dados históricos

    • Cenário: Uma empresa está ativa no Dynamics 365 há vários anos e acumulou grandes volumes de transações históricas e anexos.
    • Ação: Implementar estratégias de retenção de longo prazo para reter dados inativos, reduzir o tamanho do banco de dados primário e manter a conformidade com os requisitos de auditoria.

  • Retenção de dados orientada por conformidade

    • Cenário: Um cliente de um setor regulamentado deve reter dados financeiros ou de clientes por sete a dez anos em um formato à prova de violação.
    • Ação: Use o LTR para reter os dados imutáveis e somente leitura em conformidade com os requisitos legais e regulatórios, mantendo os dados comerciais enxutos sem comprometer a análise e os relatórios.

  • Otimização do índice de pesquisa e Copilot

    • Cenário: Dataverse A indexação de pesquisa e Copilot é habilitada em todos os ambientes, incluindo tabelas não utilizadas.
    • Ação: Audite campos pesquisáveis e desabilite a indexação para tabelas de baixo valor ou obsoletas. Monitore o tamanho da tabela DataverseSearch e otimize as configurações para reduzir o armazenamento de log e banco de dados.

  • Gestão de auditoria e telemetria

    • Cenário: Os logs de rastreamento e auditoria de plug-ins estão crescendo rapidamente, consumindo armazenamento e impactando o desempenho.
    • Ação: Exporte logs para sistemas externos, como o Azure Monitor, e automatize a limpeza de entradas antigas para manter a visibilidade sem sobrecarregar o armazenamento.

  • Integração de armazenamento e análise de dados

    • Cenário: A organização replica dados operacionais para Azure Synapse ou OneLake para análise, resultando em armazenamento duplicado.
    • Ação: Use exportações incrementais, aplique filtros e evite a replicação completa do conjunto de dados para minimizar a redundância e, ao mesmo tempo, permitir insights valiosos.

  • Reduzindo excedentes de armazenamento

    • Cenário: Um cliente recebe uma notificação sobre exceder sua Dataverse cota de armazenamento, o que leva a custos inesperados.
    • Ação: Use relatórios de capacidade para identificar as tabelas de maior consumo, limpar ambientes obsoletos e remover anexos ou logs não utilizados. Considere mover dados frios — geralmente registros históricos ou acessados com pouca frequência — para camadas de armazenamento de menor custo.

  • Otimizando o desempenho em tabelas grandes

    • Cenário: Processos críticos de negócios estão ficando lentos devido a tabelas grandes.
    • Ação: arquivar registros antigos, limpar trabalhos do sistema, por exemplo, AsyncOperationBase e WorkflowLogBase.

  • Gestão do ciclo de vida do ambiente

    • Cenário: Os ambientes de desenvolvimento e teste são clonados da produção, duplicando todos os dados e índices.
    • Ação: reduza os ambientes de sandbox após uma atualização, desabilite a indexação de pesquisa desnecessária e remova os dados de teste para reduzir o consumo de armazenamento redundante. Exclua ambientes sandbox não utilizados para economizar armazenamento.

Estudos de caso

Estudo de caso 1: Redução de excedentes de armazenamento por meio da limpeza de índices

Perfil do cliente: Uma empresa global de manufatura que usa o Dynamics 365 para aplicativos de cadeia de suprimentos, finanças e operações.

Desafio: O cliente estava enfrentando excessos inesperados de armazenamento e degradação de desempenho em seu ambiente de produção. A investigação revelou que vários índices personalizados e visualizações materializadas, criados durante a implementação inicial, não estavam mais em uso, mas ainda consumiam armazenamento significativo.

Solução: A equipe conduziu uma auditoria trimestral de todos os índices personalizados e removeu aqueles não referenciados por consultas ou relatórios ativos. Eles também implementaram uma política de governança para revisar novas solicitações de índice antes da implantação.

Resultado:

  • Reduziu o armazenamento do banco de dados em 28%.
  • Desempenho de consulta melhorado em 15%.
  • Evitou uma projeção de $12,000 por ano em outros custos de armazenamento.

Estudo de caso 2: arquivamento de dados históricos para atender às metas de conformidade e desempenho

Perfil do cliente: Uma empresa de serviços financeiros que usa Dataverse e Dynamics 365 para integração de clientes e funcionalidade de geranciamento de casos.

Desafio: A empresa precisava manter registros de clientes por mais de sete anos para atender aos requisitos regulatórios, mas o crescente volume de dados inativos estava retardando os fluxos de trabalho ativos e aumentando os custos de armazenamento.

Solução: O cliente implementou uma estratégia de retenção de longo prazo usando os recursos de arquivamento da Dataverse. Os registros inativos foram movidos para uma camada de armazenamento somente leitura e com custo otimizado, enquanto os dados ativos permaneceram no armazenamento de alto desempenho.

Resultado:

  • Mais de 1,2 milhão de registros arquivados.
  • Tamanho do banco de dados primário reduzido em 40%.
  • Manteve total auditabilidade e conformidade com as políticas de retenção.

Estudo de caso 3: Simplificando índices de pesquisa em todos os ambientes

Perfil do cliente: Uma organização de varejo com vários Dataverse ambientes, incluindo ambientes de desenvolvimento, teste e produção, dando suporte a uma solução de geranciamento de relacionamento com o cliente habilitada pelo Copilot.

Desafio: Os índices de pesquisa foram usados em todos os ambientes, incluindo tabelas não utilizadas e dados de teste. Isso levou a tabelas inchadas do DataverseSearch e ao consumo desnecessário de armazenamento.

Solução: A equipe revisou os campos pesquisáveis e parou de usar indexação em tabelas não críticas em ambientes de desenvolvimento e teste. Eles também automatizaram a limpeza de índices durante atualizações de ambiente.

Resultado:

  • Reduziu o armazenamento do índice de pesquisa em 35%.
  • Melhoramos o tempo de atualização do ambiente em 20%.
  • Redução do uso geral de armazenamento de log e banco de dados.

Estudo de caso 4: Usando exportação de dados para análise sem duplicar o armazenamento

Perfil do cliente: Um provedor de serviços de saúde que usa o Dynamics 365 e Dataverse para engajamento e faturamento de pacientes.

Desafio: A equipe de análise precisava de acesso a dados operacionais para análise de tendências e modelagem de IA, mas a duplicação de dados em um depósito separado estava aumentando os custos e a complexidade do armazenamento.

Solução: O cliente usou o Azure Synapse Link com exportação incremental e armazenamento em camadas no OneLake. Eles retiveram apenas dados analíticos essenciais e aplicaram políticas de retenção para gerenciar a profundidade histórica.

Resultado:

  • Análises em tempo real habilitadas sem impactar os sistemas operacionais.
  • Reduziu o armazenamento redundante em 45%.
  • Melhor governança sobre o ciclo de vida de dados analíticos.

Conclusão

O geranciamento eficaz de armazenamento é crucial para manter o desempenho do sistema e otimizar a utilização de recursos em ambientes do Dynamics 365. As rotinas de limpeza e os trabalhos de arquivamento descritos neste artigo fornecem soluções robustas para liberar espaço valioso no banco de dados e otimizar as operações. Ao usar ferramentas como LTR e técnicas semelhantes, os clientes podem enfrentar desafios comuns de armazenamento e criar práticas sustentáveis de geranciamento de dados. Além disso, estudos de casos do mundo real demonstram a eficácia dessas abordagens, oferecendo insights sobre suas aplicações práticas. A adoção dessas estratégias permite que as organizações gerenciem proativamente suas necessidades de armazenamento e aumentem a eficiência geral.

Referências

Limpeza de armazenamento em Dataverse:

Limpeza de armazenamento em finanças e operações:

Capacidade de armazenamento:

  • Last updated on