Gestão do armazenamento no Dataverse e aplicações de finanças e operações

À medida que as organizações aceleram suas jornadas de transformação digital, a capacidade de gerenciar dados de forma eficaz torna-se um imperativo estratégico de negócios. Com o aumento de aplicativos alimentados por IA e fluxos de trabalho orientados por Copilot, as empresas estão a gerar e consumindo dados a taxas sem precedentes. Esses dados alimentam a inovação, permitem experiências personalizadas e apoiam a tomada de decisões críticas, mas apenas se forem governados e armazenados de forma inteligente.

Para dar suporte a essas necessidades de negócios em evolução, as organizações devem adotar uma estratégia proativa de gerenciamento de armazenamento. Isso garante que os dados que não são mais necessários para as operações diárias sejam tratados de forma responsável, liberando capacidade para cargas de trabalho de alto valor, reduzindo o atrito operacional e alinhando-se aos requisitos de conformidade e auditoria.

Do ponto de vista técnico, o gerenciamento eficaz do armazenamento no Dataverse Dynamics 365 melhora o desempenho do sistema, melhora a eficiência de custos e garante a aderência às políticas de retenção de longo prazo (LTR). Ambas as plataformas oferecem ferramentas e recursos de automação que capacitam as organizações a gerenciar o armazenamento.

Ao implementar as estratégias descritas neste artigo, as empresas podem reduzir as despesas gerais de suporte, simplificar a conformidade e obter maior valor de seus aplicativos de negócios — transformando o armazenamento de uma restrição em uma vantagem competitiva.

Principais benefícios

O gerenciamento eficaz do armazenamento no Dataverse Dynamics 365 oferece vários benefícios importantes que abordam os pontos problemáticos comuns dos clientes e melhoram a eficiência operacional geral.

  • Maior conformidade com LTR: o gerenciamento de armazenamento eficaz garante que os dados sejam armazenados em conformidade com as políticas de LTR. Isso não só ajuda a atender aos requisitos regulamentares, mas também garante que os dados críticos sejam preservados e acessíveis quando necessário.

  • Melhor desempenho: ao otimizar o gerenciamento de armazenamento, as organizações podem melhorar significativamente o desempenho de seus sistemas. A alocação e o gerenciamento eficientes de armazenamento reduzem a latência e melhoram a velocidade de recuperação de dados, levando a operações mais suaves e rápidas.

  • Impulsionando a eficiência de custos: o gerenciamento eficaz do armazenamento permite que as organizações se concentrem em dados de alto valor, simplificando e organizando seu cenário de armazenamento. Ao reter apenas o necessário, as empresas podem otimizar sua pegada de armazenamento, levando a uma utilização de recursos mais inteligente e escalabilidade econômica.

Fundo

À medida que as organizações crescem e digitalizam mais de suas operações, o volume de dados corporativos armazenados em sistemas como Dataverse o Dynamics 365 aumenta constantemente. Isso inclui não apenas dados ativos e transacionais, mas também registros históricos que devem ser mantidos para fins de auditoria, regulamentação ou continuidade de negócios. Com o tempo, esse acúmulo pode levar à degradação do desempenho, aumento da sobrecarga operacional e aumento dos custos de armazenamento — especialmente quando os dados que não são mais usados ativamente permanecem em níveis de armazenamento de alto desempenho.

Uma estratégia de gerenciamento de armazenamento bem definida ajuda as organizações a enfrentar esses desafios, identificando dados que podem ser arquivados, limpos ou movidos para um armazenamento otimizado para leitura e de baixo custo. Isso é importante para cenários de conformidade em que os dados devem permanecer imutáveis, de baixo acesso e somente leitura, como registros financeiros, logs de auditoria ou arquivamentos regulamentares. Garantir que esses dados sejam retidos de forma compatível, sem afetar o desempenho dos sistemas ativos, é um requisito fundamental para muitas empresas.

Usando as ferramentas e estratégias disponíveis em ambas as plataformas, as organizações podem obter melhor visibilidade de sua pegada de armazenamento, reduzir o consumo desnecessário e garantir que os dados críticos de conformidade sejam tratados adequadamente.

Este artigo descreve abordagens práticas para o gerenciamento de armazenamento que ajudam os clientes a alinhar suas práticas de retenção de dados às necessidades normativas e de negócios. Isso melhora o desempenho do sistema, reduz a sobrecarga operacional e garante que as obrigações de conformidade sejam cumpridas sem compromisso.

Por que armazenamos dados

Para selecionar e otimizar o padrão de retenção de dados certo para seus dados, é valioso refletir sobre os motivos e usos pelos quais armazenamos dados.

Dados operacionais

Com um aplicativo de negócios, os dados operacionais são o que é usado para rastrear vendas ou ações financeiras ou da cadeia de suprimentos.

Esses dados precisam ser acessados em tempo real, dando suporte aos processos operacionais internos e do cliente que registram ações granulares, como interações com clientes, pedidos ou atividades de estoque.

Com o tempo, os dados operacionais podem deixar de ser usados ativamente para serem usados com pouca frequência. Os dados podem precisar estar acessíveis quase em tempo real, para ajudar um cliente com um pedido ou em um caso de suporte. Por exemplo, considere os seguintes cenários:

  • Um cliente faz um pedido, enquanto outro cliente, que não interage com a empresa há algum tempo, faz um pedido.
  • Cada pedido que foi feito e está a ser enviado, está a ser acessado constantemente. Há também pedidos que estão sob um período de garantia de três anos que podem precisar ser referenciados para suporte e, possivelmente, exigir um reembolso.

Tal pode conduzir a fases de necessidades operacionais de acesso aos dados, tais como:

  • Menos de um ano de dados acedidos ativamente.
  • Menos de três anos de dados pouco acessados.
  • Mais de três anos em que os dados já não são acedidos operacionalmente.

A natureza em tempo real do armazenamento operacional torna isso relativamente caro em comparação com outros armazenamentos, portanto, reconhecer quando os dados precisam ser acessados operacionalmente e quando não precisam é importante para definir estratégias de retenção.

Integração operacional

Como categoria especializada de uso operacional, os dados podem ser obrigados a ser replicados entre vários sistemas operacionais, incluindo padrões como:

  • Banking: Gestão de relacionamento com o cliente para interações com clientes na linha de frente e replicação para vários sistemas bancários. Por exemplo, você tem contas correntes, cartões de crédito, hipoteca e sistemas de verificação de crédito.
  • Manufatura: Gestão de relacionamento com o cliente para tomada de pedidos na linha de frente e sistema de gerenciamento de recursos empresariais para gerenciamento da cadeia de suprimentos.
  • Tratamento de emergências policiais: a gestão do relacionamento com o cliente para interações com os cidadãos e um sistema de despacho para departamentos de polícia oferecem gerenciamento de implantação.

Nesses casos, embora cada sistema possa ter dados exclusivos que rastreia, muitas vezes há dados mestres comuns que precisam ser compartilhados entre os sistemas e mantidos em sincronia, levando a necessidades de integração.

Dados de auditoria

Uma empresa normalmente tem a responsabilidade regulatória de manter os dados por longos períodos, por exemplo, por sete anos, em média, para fins de auditoria, seja interna ou externa, como suporte a auditoria financeira, divulgação regulatória ou revisão de fraudes.

Normalmente, esses dados abrangem tanto os dados necessários para fins operacionais quanto os dados que não são mais necessários, pois permitem a revisão de todo o conjunto de dados de um só lugar.

Dados de análise

As organizações têm a necessidade de rever e analisar o estado dos seus negócios. Eles devem medir e comparar estatísticas ao longo do tempo e abrangendo várias ou todas as partes do negócio.

Os grandes períodos e a amplitude de dados durante os quais essa análise pode ocorrer levam à necessidade de replicar dados operacionais em ferramentas de análise especializadas. Isso evita que análises complexas afetem o desempenho dos sistemas operacionais, mas também permite análises entre conjuntos de dados que vão além do período para o qual os dados são necessários operacionalmente. Por exemplo, poderá ter de comparar dados ao longo de sete anos, em vez de mais de um a dois anos. Diferentes necessidades analíticas, no entanto, podem exigir períodos completos de retenção de dados ou abranger apenas os dados retidos em sistemas operacionais.

Os dados analíticos normalmente permitem a agregação de dados em várias partes do negócio e combinam dados de vários sistemas.

Fluxo de dados

Os dados desses tipos normalmente fluem ao longo do tempo de dados operacionais e, em seguida, para dados transacionais ou históricos, conforme mostrado na imagem a seguir.

O fluxo de dados.

Diferentes tipos de armazenamento

Dataverse Tipos de armazenamento

Dataverse Organiza o armazenamento em três categorias principais, cada uma com padrões de uso e implicações de faturamento distintos.

Tipo de armazenamento Description Casos comuns de utilização
Armazenamento de banco de dados Armazena dados estruturados em tabelas — padrão e personalizadas. Registros de negócios, metadados, relacionamentos e definições
Armazenamento de ficheiros Armazena anexos e dados binários. Anexos de e-mail, imagens, documentos carregados através de Power Apps
Armazenamento de logs Armazena logs de auditoria e logs de rastreamento de plug-ins. Controle de alterações, auditoria, diagnóstico e conformidade

Tipos de armazenamento de plataforma de finanças e operações

O armazenamento de finanças e operações é gerenciado separadamente, mas está cada vez mais integrado ao Power Platform ecossistema. Inclui os seguintes tipos de armazenamento.

Tipo de armazenamento Description Casos comuns de utilização
Armazenamento operacional de banco de dados Principais dados transacionais para finanças, cadeia de suprimentos, recursos humanos e muito mais Entradas contábeis, inventário, pedidos de clientes
Armazenamento de gerenciamento de documentos Objetos binários grandes (Blobs) armazenados no Armazenamento de Blobs do Azure Faturas, recibos, documentos digitalizados
Telemetria e logs de diagnóstico Logs do sistema e dados de telemetria Monitoramento de desempenho, diagnóstico de problemas.

Cenários de armazenamento compartilhado e integrado

  • Armazenamento de gravação dupla

    • Permite a sincronização em tempo real entre Dataverse as aplicações de finanças e operações.
    • Requer um gerenciamento cuidadoso de funções e capacidade para evitar duplicação ou uso excessivo.

  • Retenção a longo prazo (LTR)

    • Move dados históricos para um MDL (Managed Data Lake).
    • Reduz o uso do armazenamento principal e, ao mesmo tempo, mantém a conformidade e o acesso à análise.
    • Integra-se com:
      • Busca rápida (Dataversepesquisa nativa)
      • OneLake (análise baseada em malha)
      • Synapse Link (análise personalizada do lago)

Como seus dados crescem ao longo do tempo

À medida que as organizações escalam seu uso Dataverse e a plataforma de finanças e operações do Dynamics 365, o crescimento de dados se torna um sinal de sucesso e um desafio estratégico. O que começa como um conjunto de dados enxuto e transacional pode evoluir rapidamente para um conjunto de dados complexo e multicamadas. Esta secção explora cinco principais impulsionadores do crescimento de dados e suas implicações para o armazenamento, o desempenho e a governança.

Usando armazenamento de dados em dados operacionais

Para desbloquear informações de sistemas operacionais, muitas organizações usam Azure Synapse o Link, o OneLake ou a exportação de dados para replicar dados de aplicativos de Dataverse finanças e operações em um sistema analítico. Embora isso suporte relatórios avançados e cargas de trabalho de IA, também introduz:

  • Armazenamento redundante entre camadas operacionais e analíticas

    Os dados são frequentemente duplicados entre os ambientes operacional e analítico. Essa redundância aumenta o consumo geral de armazenamento e pode levar a custos mais altos, especialmente se os dados históricos forem retidos indefinidamente em ambos os sistemas.

  • Duplicação de esquema e sobrecarga de controle de versão

    Para manter a consistência entre os sistemas, as organizações devem replicar as alterações de esquema — por exemplo, novos campos e colunas renomeadas — nas camadas operacional e analítica. Isso adiciona complexidade à governança de dados e aumenta o risco de desvio de esquema, que pode quebrar relatórios ou modelos downstream.

  • Maior retenção de dados históricos para análise de tendências

    Os sistemas analíticos normalmente retêm dados por períodos mais longos para dar suporte à análise de tendências, previsão e relatórios regulamentares. Embora valiosa, essa retenção de longo prazo pode levar a conjuntos de dados inchados se não forem gerenciados com estratégias adequadas de arquivamento e hierarquização.

O armazenamento de dados é essencial para a análise, mas, sem políticas de ciclo de vida, pode duplicar ou triplicar o seu espaço de armazenamento.

Utilizar a pesquisa nos dados

Recursos como Dataverse pesquisa, indexação Copilot e pesquisa de relevância exigem a indexação de grandes volumes de dados estruturados e não estruturados. Estes índices frequentemente:

  • Consumir armazenamento de log e banco de dados

    Os índices de pesquisa são armazenados no armazenamento de log e banco de dados. À medida que mais tabelas e campos são marcados como pesquisáveis, o tamanho do índice cresce proporcionalmente. Isso pode afetar significativamente o uso geral do armazenamento, especialmente em ambientes com grandes volumes de registros ou alterações frequentes de esquema.

  • Persistir mesmo para tabelas não utilizadas ou preteridas

    Mesmo quando determinadas tabelas são preteridas ou não são mais usadas ativamente, seus índices de pesquisa associados podem persistir, a menos que sejam explicitamente removidos. Isso leva a um consumo de armazenamento desnecessário e pode complicar o planeamento de capacidade.

  • Muitas vezes são duplicados entre ambientes, como ambientes de desenvolvimento, teste e produção

    Os índices de pesquisa geralmente são replicados em ambientes de desenvolvimento, teste e produção. Embora isso garanta um comportamento de pesquisa consistente, também multiplica o espaço de armazenamento, especialmente quando os ambientes são clonados ou atualizados com frequência.

A pesquisa melhora a usabilidade e a prontidão da IA, mas o inchaço do índice é um contribuinte silencioso para os excessos de armazenamento.

Habilitando o registro em log nos dados

Logs de auditoria, logs de rastreamento de plug-in e telemetria são essenciais para conformidade, depuração e monitoramento. No entanto, tenha em atenção os seguintes pontos:

  • O armazenamento de logs cresce linearmente com o uso e a contagem de usuários.

    Os dados de log crescem proporcionalmente com:

    • O número de usuários e seus níveis de atividade
    • O volume de transações e integrações
    • A complexidade da lógica de negócios, como plug-ins e fluxos de trabalho

    Em ambientes de alto uso, isso pode levar à rápida expansão das tabelas de log, consumindo cotas de banco de dados e armazenamento de log.

  • Os padrões de retenção geralmente são muito generosos , como 90 dias ou mais.

    Por padrão, muitos recursos de registro retêm dados por períodos prolongados, como 90 dias ou mais. Embora isso ofereça suporte à rastreabilidade a longo prazo, pode resultar em consumo de armazenamento desnecessário, especialmente quando os logs não são ativamente revisados ou exportados.

  • Os logs gerados pelo sistema são cobrados ao cliente Dataverse.

    Os Dataverse logs gerados pelo sistema, incluindo logs de auditoria e logs de rastreamento de plug-in, são contados em relação ao direito de armazenamento do cliente. Isso significa que, sem estratégias adequadas de limpeza ou exportação, o registro em log pode contribuir diretamente para excessos de armazenamento e aumento dos custos de licenciamento.

O registro em log não é negociável para setores regulamentados, mas deve ser emparelhado com estratégias de retenção e exportação, como o Azure Monitor ou o Log Analytics.

Ter várias cópias do ambiente de produção

Para dar suporte ao desenvolvimento, teste, treinamento e solução de problemas, os clientes geralmente criam ambientes de área restrita ou clonados. Cada cópia:

  • Replica todos os dados e a pegada do índice.
  • Pode incluir dependências não óbvias, como índices de pesquisa, logs de auditoria e metadados.
  • Raramente é limpo após o uso.

A expansão do ambiente é um dos principais fatores de custo e complexidade do armazenamento. Políticas de governança e automação são fundamentais para a contenção.

Otimização de consultas sobre os dados

À medida que os volumes de dados aumentam e a capacidade de resposta dos aplicativos se torna crítica, os clientes e ISVs geralmente implementam várias técnicas de otimização de consulta para melhorar o desempenho no Dataverse Dynamics 365. Essas estratégias são especialmente comuns em cenários de relatórios, análises e integração pesada.

Para melhorar o desempenho, os clientes e ISVs geralmente criam:

  • Índices personalizados e visualizações materializadas

    Eles são usados para acelerar a execução de consultas por pré-computação de junções ou agregações. Eles são úteis em cenários que envolvem filtros complexos ou grandes conjuntos de dados.

  • Tabelas desnormalizadas para relatórios

    Para simplificar os relatórios e reduzir a complexidade das consultas, os desenvolvedores geralmente criam versões niveladas de dados relacionais. Essas tabelas reduzem a necessidade de junções de tempo de execução e melhoram o desempenho do painel.

  • Camadas de cache ou agregações

    Os dados acessados com frequência às vezes são pré-agregados ou armazenados em cache em tabelas intermediárias ou armazenamentos externos para reduzir a carga no banco de dados primário.

Embora melhorem a capacidade de resposta, também:

  • Aumentar o uso do armazenamento

    Cada camada de otimização introduz mais estruturas de dados, seja uma cópia de dados existentes em um formato desnormalizado, uma exibição pré-computada ou uma tabela de cache. Essas estruturas muitas vezes duplicam dados já armazenados em outros lugares, levando a uma maior pegada de armazenamento geral. Em ambientes com cotas de armazenamento rígidas ou modelos de licenciamento baseados em custos, isso Dataverse pode rapidamente se transformar em excessos evitáveis.

  • Pode ficar órfão à medida que as aplicações evoluem

    À medida que os aplicativos evoluem, alguns artefatos de otimização podem não ser mais referenciados por relatórios, painéis ou integrações ativos. Esses objetos órfãos continuam a consumir armazenamento e podem até mesmo retardar as operações do sistema, por exemplo, durante backups ou indexação, se não forem identificados e removidos. Sem auditorias regulares, podem acumular-se despercebidas, comprometendo os próprios ganhos de desempenho que foram criados para apoiar.

A otimização de consultas é essencial para a escala, mas deve ser equilibrada com a higiene do armazenamento e o ajuste orientado por telemetria.

Índices e seu impacto no armazenamento

Os índices são essenciais para melhorar o desempenho da consulta e usar a recuperação rápida de dados em grandes conjuntos de dados. Em ambos os Dataverse aplicativos de finanças e operações do Dynamics 365, os índices são criados automaticamente para chaves primárias e campos consultados com freqüência, e outros índices personalizados podem ser definidos para dar suporte a cenários de negócios específicos.

Embora os índices sejam críticos para o desempenho, eles também têm um impacto direto no consumo de armazenamento, muitas vezes subestimado durante o projeto da solução.

Como os índices consomem armazenamento

  • Duplicação física de dados: cada índice armazena uma cópia das colunas indexadas, juntamente com ponteiros para as linhas correspondentes. Quanto mais colunas e linhas indexadas, maior o tamanho do índice.

  • Crescimento com volume de dados: à medida que a tabela subjacente cresce, o índice também cresce. Em ambientes de alta transação, os índices podem crescer rapidamente, especialmente em tabelas grandes e desnormalizadas ou naquelas com inserções e atualizações frequentes.

  • Vários índices por tabela: é comum que uma única tabela tenha vários índices, por exemplo, para pesquisa, filtragem, classificação e junções. Cada outro índice aumenta a pegada de armazenamento acumulada.

  • Pesquisar índices em Dataverse: Recursos como Dataverse pesquisa e indexação Copilot criam índices especializados que abrangem vários campos e tabelas. Eles são armazenados na tabela DataverseSearch e podem consumir espaço significativo, especialmente quando usados em vários ambientes, como ambientes de desenvolvimento, teste e produção.

  • Índices gerados pelo sistema: alguns índices são criados automaticamente pela plataforma, como para campos de pesquisa ou relacionamentos. Eles podem persistir mesmo se as tabelas associadas forem preteridas, a menos que sejam explicitamente removidas.

Implicações de armazenamento

  • Aumento do armazenamento de banco de dados e log: os índices contribuem para o uso do banco de dados e do armazenamento de logs, o que pode afetar os custos Dataverse de licenciamento.
  • Duplicação de ambiente: quando os ambientes são copiados ou atualizados, todos os índices são duplicados, ampliando o uso do armazenamento em ambientes de desenvolvimento, teste e produção.
  • Sobrecarga de manutenção: os índices devem ser atualizados à medida que os dados são alterados, o que pode aumentar a latência de gravação e o consumo de recursos.

Impacto da sincronização no servidor no armazenamento

A sincronização do lado do servidor permite Dataverse a integração perfeita de e-mails, compromissos e tarefas entre Microsoft Exchange e Dataverse. Ao mesmo tempo que melhora a produtividade e a automatização, também contribui para o consumo de armazenamento das seguintes formas.

  • Criação de registro de atividade: cada e-mail ou compromisso sincronizado gera um registro Dataverse de atividade, que inclui metadados, conteúdo do corpo e potencialmente anexos.
  • Armazenamento de anexos: se os anexos não forem filtrados ou descarregados, eles serão armazenados diretamente Dataverse, aumentando o uso do armazenamento.
  • Conformidade e retenção: as organizações que usam a sincronização no servidor para controle de conformidade podem reter mais dados do que o necessário, inflando ainda mais o armazenamento.
  • Conteúdo protegido: mesmo os e-mails protegidos pela Purview, embora limitados em visibilidade de conteúdo, ainda geram registros de espaço reservado que consomem espaço.

Para gerenciar esse impacto, as empresas devem implementar políticas de retenção, considerar o descarregamento de anexos e monitorar os volumes de registro de atividade regularmente.

Como posso gerenciar o armazenamento em constante crescimento?

Quer já esteja a enfrentar excessos de armazenamento ou pretenda manter-se à frente deles, gerir o crescimento de dados na Dataverse plataforma de finanças e operações do Dynamics 365 requer uma abordagem deliberada e orientada por políticas. Esta secção descreve dois pontos de entrada estratégicos: remediação reativa e governança proativa.

Existem dois cenários possíveis:

  1. Você deseja aplicar proativamente as práticas recomendadas para gerenciar o armazenamento e evitar altos custos no futuro.
  2. Você já está em uma situação em que é necessário reduzir o tamanho e o custo do armazenamento.

Aplicar práticas recomendadas para gerenciar o tamanho e os custos de armazenamento

Cenário 1: Você deseja aplicar proativamente as práticas recomendadas para gerenciar o armazenamento

Se você ainda não está no modo de crise, agora é a hora de aplicar ferramentas e técnicas para gerenciar o armazenamento de forma proativa.

Configurar análises para seus dados

À medida que as organizações crescem, cresce também a necessidade de extrair insights de dados operacionais, sem afetar o desempenho dos principais aplicativos de negócios. A Microsoft oferece várias maneiras de permitir análises e Dataverse dados de finanças e operações do Dynamics 365 integrando-se ao seu próprio data lake ou depósito.

Aqui estão duas opções poderosas a considerar:

Opção 1. Use Azure Synapse Link – traga seu próprio lago

Azure Synapse O Link permite que você se conecte Dataverse diretamente ao seu próprio espaço de trabalho do Azure Data Lake ou Sinapse. Isso permite a replicação quase em tempo real de dados operacionais em um ambiente analítico, sem escrever pipelines ETL complexos.

Benefícios:

  • Execute análises avançadas e modelos de IA em dados ao vivo ou quase ao vivo.
  • Evite o impacto no desempenho de seus sistemas de produção.
  • Use ferramentas familiares como T-SQL, Spark ou Power BI para relatórios.

Exemplo de caso de uso: Uma empresa de retalho usa o Synapse Link para analisar o comportamento de compra do cliente em todas as regiões, combinando Dataverse dados de gerenciamento de relacionamento com o cliente com dados externos de mercado em seu próprio lago.

Opção 2. Use o OneLake – análise unificada com Microsoft Fabric

O OneLake, parte de Microsoft Fabric, fornece uma experiência unificada de data lake onde você pode armazenar e analisar dados de várias fontes, incluindo Dataverse aplicativos de finanças e operações, sem duplicação.

Benefícios:

  • Armazenamento centralizado para todas as cargas de trabalho analíticas.
  • Integração nativa com Power BI serviços Synapse e AI.
  • Governança e segurança simplificadas em domínios de dados.

Exemplo de caso de uso: uma empresa de serviços financeiros usa o OneLake para consolidar dados operacionais de aplicativos de finanças e operações e Dataverse com indicadores econômicos externos, permitindo modelagem de risco e painéis executivos em tempo real. Ao fazer isso, você pode dissociar os dados operacionais de seus sistemas principais e permitir análises escaláveis e econômicas exportando esses dados para seus próprios ambientes analíticos, sem duplicar cargas de trabalho ou afetar o desempenho.

Ferramentas e técnicas para reduzir o armazenamento

Dataverse oferece várias ferramentas e estratégias integradas para ajudar os administradores a gerenciar o armazenamento de forma eficiente e manter o desempenho do sistema.

Dataverse

Ambiente e limpeza de dados

  • Excluir ambientes não utilizados: Você pode excluir um ambiente para recuperar espaço de armazenamento e remover informações pessoalmente identificáveis (PII).
  • Trabalhos de exclusão em massa: Você pode excluir os seguintes dados em massa:
    • Dados obsoletos ou dados irrelevantes para o negócio.
    • Dados desnecessários de teste ou de exemplo.
    • Dados importados incorrectamente de outros sistemas.

Otimização de arquivos e tabelas

  • Reduza o armazenamento de arquivos usando a localização antecipada: este artigo fornece 15 métodos para gerenciar melhor seu armazenamento. Utilize um ou mais destes métodos para controlar a utilização total de armazenamento de dados. Pode eliminar categorias de dados à medida que for necessário, ou configurar tarefas de eliminação em massa para serem executadas em intervalos definidos. Por exemplo, pode eliminar notas, anexos, histórico de importação e outros dados.
  • Limpar registros de tabelas de trabalho do sistema (AsyncOperationBase) e log de processos (WorkflowLogBase): se sua organização fizer uso intenso de fluxos de trabalho ou fluxos de processos de negócios, essas tabelas (AsyncOperationBase, WorkflowLogBase) crescem com o tempo e, eventualmente, se tornam grandes o suficiente para introduzir problemas de desempenho e consumir armazenamento excessivo no banco de dados da organização. Para WorkflowLogBase, você pode configurar para excluir automaticamente trabalhos de fluxo de trabalho em segundo plano concluídos.

Retenção de longo prazo (LTR) e arquivamento

Otimização do índice de pesquisa

  • Reduzir Dataverse a pesquisa: você pode reduzir o tamanho do armazenamento executando todas as etapas em detalhes Dataverse de armazenamento baseados emcapacidade.
  • Reduzir o tamanho da tabela DataverseSearch: A tabela DataverseSearch é o Dataverse armazenamento cumulativo usado pelo índice de pesquisa. Inclui os dados de todos os campos pesquisáveis, recuperáveis e filtrados das tabelas que indexou para o seu ambiente. Você pode reduzir o tamanho da tabela removendo colunas de localização, colunas de exibição e condições de filtro para uma ou mais tabelas. Pode desativar a pesquisa Dataverse para remover todos os dados indexados.
Aplicações de finanças e operações

Os aplicativos de finanças e operações oferecem opções flexíveis para gerenciar o armazenamento em ambientes de produção e sandbox.

Gestão ambiental

  • Limitar o número de cópias de produção completas: você pode reduzir o consumo geral de armazenamento de aplicativos de finanças e operações removendo cópias de produção completas em ambientes de área restrita. Por exemplo, se você tiver cinco cópias de ambientes de produção em uma área restrita, seu consumo de armazenamento será a soma da produção mais cinco cópias de ambientes de produção em uma área restrita.
  • Cortar dados em ambientes de área restrita: ao cortar os dados em um ambiente de área restrita, você pode reduzir o espaço total de armazenamento. Você pode seguir os métodos abaixo para limpar os dados na área restrita.
    • O processo de restauração fornece uma execução de abertura e corte
    • Escrever T-SQL
    • Escrever X++
  • Execute uma cópia sem transações entre ambientes: a cópia de ambiente para aplicativos de finanças e operações tradicionalmente envolve a duplicação completa do banco de dados, incluindo configuração, dados mestre e transações, o que, embora útil para depuração, aumenta significativamente o consumo de armazenamento em finanças e operações Dataverse.

Limpeza personalizada e gerenciamento de logs

  • Escreva rotinas de limpeza personalizadas conforme necessário: Você pode escrever rotinas de limpeza personalizadas conforme necessário para sua empresa para limpar os dados indesejados.
  • Evite armazenar logs: você pode mover SysDatabaseLog para um banco de dados menos transacional para reduzir o espaço total de armazenamento.

Arquivo e retenção a longo prazo

Rotinas de limpeza incorporadas

  • Rotinas de limpeza: no Dynamics 365 Finance e Dynamics 365 Supply Chain Management, as rotinas de limpeza estão disponíveis em vários módulos. As rotinas de limpeza fornecem uma visão geral das rotinas atualmente disponíveis. Depois de copiar o banco de dados de área restrita, execute essas rotinas de limpeza proativamente para remover tabelas desnecessárias, como histórico de lotes, logs e histórico de transações de retalho. Excluir dados desatualizados ou irrelevantes.
  • Arquivar dados de transações de cartão de crédito: descreve um trabalho de arquivamento que Dynamics 365 Commerce pode ajudar a liberar espaço no banco de dados arquivando tokens de pagamento de cartão de crédito.

Reduza o tamanho e os custos de armazenamento

Cenário 2: Você já está em uma situação em que é necessário reduzir o tamanho e o custo do armazenamento

Avalie o que está a consumir armazenamento

  • Use o centro de administração e os Power Platform relatórios de armazenamento de finanças e operações para identificar tabelas, tipos de arquivo e logs que consomem mais.
  • Use a telemetria, se disponível, para atribuir o uso a aplicativos, usuários ou unidades de negócios específicos.

Priorize candidatos de limpeza

  • Foco em:
    • Tabelas de preparo e integração, como buffers de gravação dupla
    • Logs de auditoria: guarde-os em seu próprio armazenamento
    • Ambientes ou ambientes de proteção não utilizados
    • Metadados órfãos e índices de pesquisa
    • Exclua o que você não precisa, por exemplo, excluir em massa

Use o Synapse Link e o OneLake para relatórios analíticos

  • Exporte os dados analíticos para Synapse Link.
  • Use o OneLake para acessar os dados retidos e os dados corporativos para fins analíticos e de relatórios.

Aplicar retenção de longo prazo (LTR)

  • Mova dados históricos para um MDL (Managed Data Lake) usando políticas LTR.
  • Mantenha o acesso à pesquisa e à análise através do Quick Find, Synapse Link ou OneLake.

Casos de utilização

Os casos de uso para gerenciamento de armazenamento e Dataverse ambientes financeiros e operacionais são essenciais para otimizar o espaço do banco de dados, melhorar o desempenho do sistema e atender aos requisitos normativos. Abaixo estão alguns cenários típicos que demonstram como essas estratégias podem ser aplicadas:

  • Gerenciando o crescimento de dados históricos

    • Cenário: uma empresa está ativa no Dynamics 365 há vários anos e acumulou grandes volumes de transações históricas e anexos.
    • Ação: Implementar estratégias de retenção de longo prazo para reter dados inativos, reduzir o tamanho do banco de dados principal e manter a conformidade com os requisitos de auditoria.

  • Retenção de dados orientada pela conformidade

    • Cenário: Um cliente do setor regulamentado deve reter dados financeiros ou de clientes por sete a dez anos em um formato à prova de violação.
    • Ação: Use o LTR para reter os dados imutáveis e somente leitura em conformidade com os requisitos legais e regulamentares, mantendo os dados de negócios enxutos sem comprometer as análises e os relatórios.

  • Otimização do índice de pesquisa e copiloto

    • Cenário: Dataverse A indexação de pesquisa e copiloto está habilitada em todos os ambientes, incluindo tabelas não utilizadas.
    • Ação: Auditar campos pesquisáveis e desativar a indexação de tabelas de baixo valor ou preteridas. Monitore o tamanho da tabela DataverseSearch e otimize as definições para reduzir o armazenamento de log e banco de dados.

  • Gestão de auditoria e telemetria

    • Cenário: Os logs de rastreamento de plug-in e os logs de auditoria estão a crescer rapidamente, consumindo armazenamento e afetando o desempenho.
    • Ação: exporte logs para sistemas externos, como o Azure Monitor, e automatize a limpeza de entradas antigas para manter a visibilidade sem sobrecarregar o armazenamento.

  • Integração de data warehousing e analytics

    • Cenário: a organização replica dados operacionais para Azure Synapse o OneLake ou para análise, levando ao armazenamento duplicado.
    • Ação: use exportações incrementais, aplique filtros e evite a replicação completa do conjunto de dados para minimizar a redundância e, ao mesmo tempo, permitir insights avançados.

  • Reduzir os excessos de armazenamento

    • Cenário: um cliente recebe uma notificação sobre exceder sua Dataverse cota de armazenamento, levando a custos inesperados.
    • Ação: use relatórios de capacidade para identificar tabelas que consomem mais, limpar ambientes obsoletos e remover anexos ou logs não utilizados. Considere mover dados frios — normalmente registros históricos ou acessados com pouca frequência — para níveis de armazenamento de baixo custo.

  • Otimizando o desempenho em tabelas grandes

    • Cenário: Os processos críticos para os negócios estão a desacelerar devido a tabelas grandes.
    • Ação: Arquivar registros antigos, limpar trabalhos do sistema, por exemplo, AsyncOperationBase e WorkflowLogBase.

  • Gerenciamento do ciclo de vida do ambiente

    • Cenário: Os ambientes de desenvolvimento e teste são clonados da produção, duplicando todos os dados e índices.
    • Ação: Corte ambientes de área restrita após uma atualização, desative a indexação de pesquisa desnecessária e remova os dados de teste para reduzir o consumo de armazenamento redundante. Exclua ambientes de área restrita não utilizados para economizar armazenamento.

Casos práticos

Estudo de caso 1: Reduzir os excessos de armazenamento através da limpeza do índice

Perfil do cliente: uma empresa de manufatura global que usa o Dynamics 365 para aplicativos de cadeia de suprimentos e finanças e operações.

Desafio: o cliente estava a enfrentar excessos de armazenamento inesperados e degradação do desempenho em seu ambiente de produção. A investigação revelou que vários índices personalizados e visualizações materializadas, criados durante a implementação inicial, não estavam mais em uso, mas ainda consumiam armazenamento significativo.

Solução: A equipa realizou uma auditoria trimestral de todos os índices personalizados e removeu aqueles não referenciados por consultas ou relatórios ativos. Eles também implementaram uma política de governança para revisar novas solicitações de índice antes da implantação.

Resultado:

  • Redução do armazenamento do banco de dados em 28%.
  • Desempenho de consulta melhorado em 15%.
  • Evitou uma projeção de $12,000 por ano em outros custos de armazenamento.

Estudo de caso 2: Arquivamento de dados históricos para atender às metas de conformidade e desempenho

Perfil do cliente: uma empresa de serviços financeiros que usa Dataverse a funcionalidade Dynamics 365 for customer onboarding and case management.

Desafio: a empresa precisava manter os registros dos clientes por mais de sete anos para atender aos requisitos normativos, mas o crescente volume de dados inativos estava a desacelerar os fluxos de trabalho ativos e aumentando os custos de armazenamento.

Solução: o cliente implementou uma estratégia de retenção de longo prazo usando Dataverse os recursos de arquivamento. Os registros inativos foram movidos para um nível de armazenamento somente leitura e com custo otimizado, enquanto os dados ativos permaneceram em armazenamento de alto desempenho.

Resultado:

  • Arquivou mais de 1,2 milhões de registos.
  • Reduziu o tamanho do banco de dados primário em 40%.
  • Manteve total auditabilidade e conformidade com as políticas de retenção.

Estudo de caso 3: Simplificando índices de pesquisa entre ambientes

Perfil do cliente: uma organização de retalho com vários Dataverse ambientes, incluindo ambientes de desenvolvimento, teste e produção, suportando uma solução de gerenciamento de relacionamento com o cliente habilitada para Copilot.

Desafio: Os índices de pesquisa foram usados em todos os ambientes, incluindo tabelas não utilizadas e dados de teste. Isso levou a tabelas DataverseSearch inchadas e consumo de armazenamento desnecessário.

Solução: A equipa revisou campos pesquisáveis e parou de usar indexação em tabelas não críticas em ambientes de desenvolvimento e teste. Eles também automatizaram a limpeza do índice durante as atualizações do ambiente.

Resultado:

  • Redução do armazenamento do índice de pesquisa em 35%.
  • Tempos de atualização do ambiente melhorados em 20%.
  • Redução do uso geral do armazenamento de logs e bancos de dados.

Estudo de caso 4: Usando a exportação de dados para análise sem duplicar o armazenamento

Perfil do cliente: um prestador de cuidados de saúde que utiliza o Dynamics 365 e Dataverse para envolvimento e faturação do paciente.

Desafio: a equipa de análise precisava de acesso a dados operacionais para análise de tendências e modelagem de IA, mas a duplicação de dados em um armazém separado estava a aumentar os custos e a complexidade do armazenamento.

Solução: o cliente usou Azure Synapse o Link com exportação incremental e armazenamento hierárquico no OneLake. Eles retiveram apenas dados analíticos essenciais e aplicaram políticas de retenção para gerenciar a profundidade histórica.

Resultado:

  • Habilitado para análises em tempo real sem afetar os sistemas operacionais.
  • Redução do armazenamento redundante em 45%.
  • Governança aprimorada ao longo do ciclo de vida dos dados analíticos.

Conclusão

O gerenciamento eficaz do armazenamento é crucial para manter o desempenho do sistema e otimizar a utilização de recursos em ambientes do Dynamics 365. As rotinas de limpeza e os trabalhos de arquivamento descritos neste artigo fornecem soluções robustas para liberar espaço valioso no banco de dados e simplificar as operações. Usando essas ferramentas como LTR e técnicas semelhantes, os clientes podem enfrentar desafios comuns de armazenamento e criar práticas sustentáveis de gerenciamento de dados. Além disso, estudos de caso do mundo real demonstram a eficácia dessas abordagens, oferecendo insights sobre suas aplicações práticas. A adoção dessas estratégias permite que as organizações gerenciem proativamente suas necessidades de armazenamento e melhorem a eficiência geral.

Referências

Limpeza de armazenamento em Dataverse:

Limpeza de armazenamento em finanças e operações:

Capacidade de armazenamento:

  • Last updated on