Administración de almacenamiento en Dataverse y aplicaciones de finanzas y operaciones

A medida que las organizaciones aceleran sus viajes de transformación digital, la capacidad de gestionar datos de manera eficaz se convierte en un imperativo comercial estratégico. Con el auge de las aplicaciones impulsadas por IA y los flujos de trabajo impulsados por Copilot, las empresas están generando y consumiendo datos a un ritmo sin precedentes. Estos datos impulsan la innovación, permiten experiencias personalizadas y respaldan la toma de decisiones críticas, pero solo si se gestionan y almacenan de forma inteligente.

Para respaldar estas necesidades comerciales cambiantes, las organizaciones deben adoptar una estrategia proactiva de gestión del almacenamiento. Esto garantiza que los datos que ya no son necesarios para las operaciones diarias se gestionen de forma responsable, liberando capacidad para cargas de trabajo de alto valor, reduciendo la fricción operativa y alineándose con los requisitos de cumplimiento y auditoría.

Desde un punto de vista técnico, la gestión eficaz del almacenamiento en Dynamics 365 mejora el rendimiento del sistema, mejora la rentabilidad y garantiza el cumplimiento de las políticas de retención a largo plazo (LTR). Dataverse Ambas plataformas ofrecen herramientas y capacidades de automatización que permiten a las organizaciones administrar el almacenamiento.

Al implementar las estrategias descritas en este artículo, las empresas pueden reducir los gastos generales de soporte, optimizar el cumplimiento y obtener un mayor valor de sus aplicaciones comerciales, convirtiendo el almacenamiento de una limitación en una ventaja competitiva.

Beneficios clave

La gestión eficaz del almacenamiento en Dynamics 365 ofrece varios beneficios clave que abordan los problemas más comunes de los clientes y mejoran la eficiencia operativa general. Dataverse

  • Mayor cumplimiento de LTR: una gestión eficaz del almacenamiento garantiza que los datos se almacenen de conformidad con las políticas LTR. Esto no solo ayuda a cumplir con los requisitos reglamentarios, sino que también garantiza que los datos críticos se conserven y sean accesibles cuando sea necesario.

  • Rendimiento mejorado: al optimizar la gestión del almacenamiento, las organizaciones pueden mejorar significativamente el rendimiento de sus sistemas. La asignación y gestión eficientes del almacenamiento reducen la latencia y mejoran la velocidad de recuperación de datos, lo que genera operaciones más fluidas y rápidas.

  • Impulsar la eficiencia de costos:La gestión eficaz del almacenamiento permite a las organizaciones centrarse en datos de alto valor al optimizar y despejar su panorama de almacenamiento. Al conservar solo lo necesario, las empresas pueden optimizar su espacio de almacenamiento, lo que genera una utilización más inteligente de los recursos y una escalabilidad rentable.

Información

A medida que las organizaciones crecen y digitalizan más de sus operaciones, el volumen de datos comerciales almacenados en sistemas como Dynamics 365 aumenta constantemente. Dataverse Esto incluye no sólo datos transaccionales activos, sino también registros históricos que deben conservarse para fines de auditoría, regulatorios o de continuidad comercial. Con el tiempo, esta acumulación puede provocar una degradación del rendimiento, un aumento de la sobrecarga operativa y un aumento de los costos de almacenamiento, especialmente cuando los datos que ya no se utilizan activamente permanecen en niveles de almacenamiento de alto rendimiento.

Una estrategia de gestión de almacenamiento bien definida ayuda a las organizaciones a abordar estos desafíos al identificar datos que se pueden archivar, limpiar o trasladar a un almacenamiento optimizado para lectura y de menor costo. Esto es importante para escenarios de cumplimiento donde los datos deben permanecer inmutables, de bajo acceso y de solo lectura, como registros financieros, registros de auditoría o presentaciones regulatorias. Garantizar que dichos datos se conserven de manera conforme, sin afectar el rendimiento de los sistemas en vivo, es un requisito clave para muchas empresas.

Al utilizar las herramientas y estrategias disponibles en ambas plataformas, las organizaciones pueden obtener una mejor visibilidad de su espacio de almacenamiento, reducir el consumo innecesario y garantizar que los datos críticos para el cumplimiento se manejen de manera adecuada.

Este artículo describe enfoques prácticos para la gestión del almacenamiento que ayudan a los clientes a alinear sus prácticas de retención de datos con las necesidades comerciales y regulatorias. Esto mejora el rendimiento del sistema, reduce los gastos operativos y garantiza que se cumplan las obligaciones de cumplimiento sin concesiones.

¿Por qué almacenamos datos?

Para seleccionar y optimizar el patrón de retención de datos adecuado para sus datos, es valioso reflexionar sobre los motivos y usos para los que almacenamos los datos.

Datos operativos

Con una aplicación comercial, los datos operativos son los que se utilizan para realizar el seguimiento de las ventas o las acciones financieras o de la cadena de suministro.

Es necesario acceder a estos datos en tiempo real, lo que respalda los procesos operativos internos y de los clientes que registran acciones granulares como interacciones con clientes, pedidos o actividades de inventario.

Con el tiempo, los datos operativos pueden pasar de usarse activamente a usarse con poca frecuencia. Es posible que sea necesario acceder a los datos casi en tiempo real para ayudar a un cliente con un pedido o en un caso de soporte. Por ejemplo, suponga los siguientes escenarios:

  • Un cliente realiza un pedido, mientras que otro cliente, que no ha interactuado con la empresa durante algún tiempo, realiza otro pedido.
  • Cada pedido que se ha realizado y está siendo enviado, está siendo accedido constantemente. También hay pedidos que tienen un período de garantía de tres años y que pueden necesitar referencia para obtener soporte y posiblemente requerir un reembolso.

Esto puede dar lugar a fases de necesidades de acceso a datos operativos como:

  • Menos de un año de datos accedidos activamente.
  • Menos de tres años de datos a los que se accede con poca frecuencia.
  • Más de tres años en los que ya no se accede a los datos de forma operativa.

La naturaleza en tiempo real del almacenamiento operativo hace que sea relativamente costoso en comparación con otros tipos de almacenamiento, por lo que reconocer cuándo es necesario acceder a los datos de manera operativa y cuándo no es importante para definir estrategias de retención.

Integración operativa

Como categoría especializada de uso operativo, puede requerirse que los datos se repliquen entre múltiples sistemas operativos, incluidos patrones como:

  • Bancario :Gestión de relaciones con clientes para interacciones de primera línea con clientes y replicación en múltiples sistemas bancarios. Por ejemplo, tienes cuentas corrientes, tarjetas de crédito, hipotecas y sistemas de verificación de crédito.
  • Fabricación :Gestión de relaciones con el cliente para la toma de pedidos de primera línea y sistema de gestión de recursos empresariales para la gestión de la cadena de suministro.
  • Manejo de emergencias policiales :La gestión de las relaciones con los clientes para las interacciones con los ciudadanos y los sistemas de despacho para los departamentos de policía ofrecen gestión de la implementación.

En estos casos, si bien cada sistema puede tener datos únicos que rastrea, a menudo hay datos maestros comunes que deben compartirse entre los sistemas y mantenerse sincronizados, lo que genera necesidades de integración.

Datos de auditoría

Una empresa normalmente tiene la responsabilidad regulatoria de conservar datos durante períodos prolongados (por ejemplo, siete años en promedio) para fines de auditoría, ya sea interna o externa, como respaldar auditorías financieras, divulgación regulatoria o revisión de fraudes.

Estos datos normalmente abarcan tanto datos necesarios para fines operativos como datos que ya no son necesarios, ya que permiten la revisión de todo el conjunto de datos desde un solo lugar.

Datos de análisis

Las organizaciones tienen la necesidad de revisar y analizar el estado de su negocio. Deben medir y comparar estadísticas a lo largo del tiempo y que abarquen varias o todas las partes del negocio.

Los grandes períodos y la amplitud de los datos sobre los que puede realizarse este análisis conducen a la necesidad de replicar datos operativos en herramientas de análisis especializadas. Esto evita que los análisis complejos afecten el rendimiento de los sistemas operativos, pero también permite el análisis de conjuntos de datos que van más allá del período para el cual se necesitan los datos operativamente. Por ejemplo, es posible que necesite comparar datos de siete años, en lugar de uno o dos años. Sin embargo, las diferentes necesidades de análisis pueden requerir períodos completos de retención de datos o solo abarcar los datos retenidos en los sistemas operativos.

Los datos analíticos generalmente permiten la agregación de datos de múltiples partes de la empresa y combinan datos de múltiples sistemas.

Flujo de datos

Los datos de este tipo normalmente fluyen a lo largo del tiempo desde datos operativos hasta datos transaccionales o históricos, como se muestra en la siguiente imagen.

El flujo de datos.

Diferentes tipos de almacenamiento

Dataverse tipos de almacenamiento

Dataverse organiza el almacenamiento en tres categorías principales, cada una con patrones de uso e implicaciones de facturación distintos.

Tipo de almacenamiento Description Casos de uso comunes
Almacenamiento de bases de datos Almacena datos estructurados en tablas: estándar y personalizadas. Registros comerciales, metadatos, relaciones y configuraciones
Almacenamiento de archivos Almacena archivos adjuntos y datos binarios. Archivos adjuntos de correo electrónico, imágenes, documentos cargados a través de Power Apps
Almacenamiento de registros Almacena registros de auditoría y registros de seguimiento de complementos. Seguimiento de cambios, auditoría, diagnóstico y cumplimiento

Tipos de almacenamiento de plataformas de finanzas y operaciones

El almacenamiento de finanzas y operaciones se gestiona por separado, pero cada vez se integra más en el ecosistema. Power Platform Incluye los siguientes tipos de almacenamiento.

Tipo de almacenamiento Description Casos de uso comunes
Almacenamiento de bases de datos operativas Datos transaccionales fundamentales para finanzas, cadena de suministro, recursos humanos y más Asientos contables, inventario, pedidos de clientes
Almacenamiento de gestión de documentos Objetos binarios grandes (Blobs) almacenados en Azure Blob Storage Facturas, recibos, documentos escaneados
Registros de telemetría y diagnóstico Registros del sistema y datos de telemetría Monitoreo del rendimiento, diagnóstico de problemas.

Escenarios de almacenamiento compartido e integrado

  • Almacenamiento de doble escritura

    • Permite la sincronización en tiempo real entre Dataverse y aplicaciones de finanzas y operaciones.
    • Requiere una gestión cuidadosa de los roles y la capacidad para evitar la duplicación o el uso excesivo.

  • Retención a largo plazo (LTR)

    • Mueve datos históricos a un lago de datos administrado (MDL).
    • Reduce el uso del almacenamiento principal al tiempo que mantiene el cumplimiento y el acceso al análisis.
    • Se integra con:
      • Búsqueda rápida (Dataverse-búsqueda nativa)
      • OneLake (análisis basado en Fabric)
      • Synapse Link (análisis de lagos personalizados)

Cómo crecen sus datos con el tiempo

A medida que las organizaciones amplían el uso de la plataforma de finanzas y operaciones Dynamics 365, el crecimiento de los datos se convierte tanto en una señal de éxito como en un desafío estratégico. Dataverse Lo que comienza como un conjunto de datos transaccionales ágiles puede evolucionar rápidamente hasta convertirse en un conjunto de datos complejo y de múltiples capas. Esta sección explora cinco impulsores clave del crecimiento de los datos y sus implicaciones para el almacenamiento, el rendimiento y la gobernanza.

Uso del almacenamiento de datos en datos operativos

Para extraer información de los sistemas operativos, muchas organizaciones utilizan Link, OneLake o la exportación de datos para replicar datos desde aplicaciones financieras y de operaciones en un sistema analítico. Azure Synapse Dataverse Si bien esto admite informes avanzados y cargas de trabajo de IA, también presenta:

  • Almacenamiento redundante en las capas operativas y analíticas

    A menudo, los datos se duplican entre los entornos operativos y analíticos. Esta redundancia aumenta el consumo general de almacenamiento y puede generar costos más altos, especialmente si los datos históricos se conservan indefinidamente en ambos sistemas.

  • Duplicación de esquemas y sobrecarga de control de versiones

    Para mantener la coherencia entre los sistemas, las organizaciones deben replicar los cambios de esquema (por ejemplo, nuevos campos y columnas renombradas) en las capas operativas y analíticas. Esto agrega complejidad a la gobernanza de datos y aumenta el riesgo de desviaciones del esquema, lo que puede dañar los informes o modelos posteriores.

  • Mayor retención de datos históricos para el análisis de tendencias

    Los sistemas analíticos generalmente retienen datos durante períodos más largos para respaldar el análisis de tendencias, las previsiones y los informes regulatorios. Si bien es valiosa, esta retención a largo plazo puede generar conjuntos de datos inflados si no se gestiona con estrategias de archivo y niveles adecuados.

El almacenamiento de datos es esencial para el análisis, pero sin políticas de ciclo de vida, puede duplicar o triplicar su espacio de almacenamiento.

Utilizando la búsqueda en los datos

Funciones como la búsqueda, la indexación de Copilot y la búsqueda por relevancia requieren la indexación de grandes volúmenes de datos estructurados y no estructurados. Dataverse Estos índices a menudo:

  • Consumir almacenamiento de registros y bases de datos

    Los índices de búsqueda se almacenan tanto en el registro como en el almacenamiento de la base de datos. A medida que se marcan más tablas y campos como buscables, el tamaño del índice crece proporcionalmente. Esto puede afectar significativamente el uso general del almacenamiento, especialmente en entornos con grandes volúmenes de registros o cambios frecuentes de esquema.

  • Persistir incluso para tablas no utilizadas o en desuso

    Incluso cuando ciertas tablas quedan obsoletas o ya no se utilizan activamente, sus índices de búsqueda asociados pueden persistir a menos que se eliminen explícitamente. Esto genera un consumo de almacenamiento innecesario y puede complicar la planificación de la capacidad.

  • A menudo se duplican en distintos entornos, como entornos de desarrollo, prueba y producción.

    Los índices de búsqueda normalmente se replican en entornos de desarrollo, prueba y producción. Si bien esto garantiza un comportamiento de búsqueda consistente, también multiplica la huella de almacenamiento, en particular cuando los entornos se clonan o se actualizan con frecuencia.

La búsqueda mejora la usabilidad y la preparación para la IA, pero el aumento del índice es un factor silencioso que contribuye al exceso de almacenamiento.

Habilitar el registro de datos

Los registros de auditoría, los registros de seguimiento de complementos y la telemetría son fundamentales para el cumplimiento, la depuración y la supervisión. Sin embargo, tenga en cuenta los siguientes puntos:

  • El almacenamiento de registros crece linealmente con el uso y el número de usuarios.

    Los datos de registro crecen proporcionalmente con:

    • El número de usuarios y sus niveles de actividad
    • El volumen de transacciones e integraciones
    • La complejidad de la lógica empresarial, como los complementos y los flujos de trabajo.

    En entornos de alto uso, esto puede generar una rápida expansión de las tablas de registro, consumiendo cuotas de almacenamiento de registros y de bases de datos.

  • Valores predeterminados de retención A menudo son demasiado generosos, como 90 días o más.

    De forma predeterminada, muchas funciones de registro conservan datos durante períodos prolongados, como 90 días o más. Si bien esto favorece la trazabilidad a largo plazo, puede generar un consumo de almacenamiento innecesario, especialmente cuando los registros no se revisan ni se exportan de forma activa.

  • registros generados por el sistema se facturan al cliente en Dataverse.

    En Dataverse Los registros generados por el sistema, incluidos los registros de auditoría y los registros de seguimiento de complementos, se contabilizan en relación con el derecho de almacenamiento del cliente. Esto significa que sin estrategias adecuadas de limpieza o exportación, la tala puede contribuir directamente a excesos de almacenamiento y a mayores costos de licencias.

El registro no es negociable para las industrias reguladas, pero debe combinarse con estrategias de retención y exportación, como Azure Monitor o Log Analytics.

Tener múltiples copias del entorno de producción

Para respaldar el desarrollo, las pruebas, la capacitación y la resolución de problemas, los clientes a menudo crean entornos sandbox o clonados. Cada copia:

  • Replica la huella completa de datos e índices.
  • Puede incluir dependencias no obvias como índices de búsqueda, registros de auditoría y metadatos.
  • Rara vez se limpia después de su uso.

La expansión del entorno es un factor importante que aumenta los costos y la complejidad del almacenamiento. Las políticas de gobernanza y la automatización son claves para la contención.

Optimización de consultas sobre los datos

A medida que los volúmenes de datos crecen y la capacidad de respuesta de las aplicaciones se vuelve crítica, los clientes y los ISV a menudo implementan varias técnicas de optimización de consultas para mejorar el rendimiento en Dataverse y Dynamics 365. Estas estrategias son especialmente comunes en escenarios que requieren gran cantidad de informes, análisis e integración.

Para mejorar el rendimiento, los clientes y los ISV a menudo crean:

  • Índices personalizados y vistas materializadas

    Se utilizan para acelerar la ejecución de consultas mediante el precálculo de uniones o agregaciones. Son útiles en escenarios que involucran filtros complejos o grandes conjuntos de datos.

  • Tablas desnormalizadas para informes

    Para simplificar los informes y reducir la complejidad de las consultas, los desarrolladores a menudo crean versiones planas de datos relacionales. Estas tablas reducen la necesidad de uniones en tiempo de ejecución y mejoran el rendimiento del panel.

  • Capas o agregados de almacenamiento en caché

    Los datos a los que se accede con frecuencia a veces se agregan previamente o se almacenan en caché en tablas intermedias o almacenes externos para reducir la carga en la base de datos principal.

Si bien estos mejoran la capacidad de respuesta, también:

  • Aumentar el uso del almacenamiento

    Cada capa de optimización introduce más estructuras de datos, ya sea una copia de datos existentes en un formato desnormalizado, una vista precalculada o una tabla de caché. Estas estructuras a menudo duplican datos que ya están almacenados en otro lugar, lo que genera un mayor espacio de almacenamiento general. En entornos con cuotas de almacenamiento estrictas o modelos de licencias basados en costos, como Dataverse, esto puede escalar rápidamente a excesos evitables.

  • Pueden quedar huérfanas a medida que las aplicaciones evolucionan

    A medida que las aplicaciones evolucionan, es posible que algunos artefactos de optimización ya no sean referenciados por informes, paneles o integraciones activos. Estos objetos huérfanos continúan consumiendo almacenamiento e incluso pueden ralentizar las operaciones del sistema, por ejemplo, durante las copias de seguridad o la indexación, si no se identifican y eliminan. Sin auditorías regulares, pueden acumularse sin que se detecten, minando las mejoras de rendimiento que fueron creadas para respaldar.

La optimización de consultas es esencial para la escala, pero debe equilibrarse con la higiene del almacenamiento y el ajuste impulsado por telemetría.

Índices y su impacto en el almacenamiento

Los índices son esenciales para mejorar el rendimiento de las consultas y utilizar la recuperación rápida de datos en grandes conjuntos de datos. En ambas aplicaciones de finanzas y operaciones de Dynamics 365, se crean automáticamente índices para claves principales y campos consultados con frecuencia, y se pueden definir otros índices personalizados para respaldar escenarios comerciales específicos. Dataverse

Si bien los índices son fundamentales para el rendimiento, también tienen un impacto directo en el consumo de almacenamiento, que a menudo se subestima durante el diseño de la solución.

Cómo los índices consumen almacenamiento

  • Duplicación física de datos: cada índice almacena una copia de las columnas indexadas, junto con punteros a las filas correspondientes. Cuanto más columnas y filas se indexen, mayor será el tamaño del índice.

  • Crecimiento con el volumen de datos: a medida que crece la tabla subyacente, también lo hace el índice. En entornos de muchas transacciones, los índices pueden crecer rápidamente, especialmente en tablas grandes y desnormalizadas o aquellas con inserciones y actualizaciones frecuentes.

  • Múltiples índices por tabla: es común que una sola tabla tenga múltiples índices, por ejemplo, para búsqueda, filtrado, ordenación y uniones. Cada otro índice se suma a la huella de almacenamiento acumulada.

  • Índices de búsqueda en Dataverse: funciones como la búsqueda y la indexación Copilot crean índices especializados que abarcan múltiples campos y tablas. Dataverse Estos se almacenan en la tabla DataverseSearch y pueden consumir un espacio significativo, especialmente cuando se utilizan en múltiples entornos, como entornos de desarrollo, prueba y producción.

  • Índices generados por el sistema: la plataforma crea automáticamente algunos índices, como por ejemplo para campos de búsqueda o relaciones. Estos pueden persistir incluso si las tablas asociadas quedan obsoletas, a menos que se eliminen explícitamente.

Implicaciones de almacenamiento

  • Mayor almacenamiento de bases de datos y registros: los índices contribuyen al uso tanto de las bases de datos como del almacenamiento de registros, lo que puede afectar los costos de licencia en Dataverse.
  • Duplicación del entorno: cuando se copian o actualizan los entornos, se duplican todos los índices, lo que amplifica el uso del almacenamiento en los entornos de desarrollo, prueba y producción.
  • Sobrecarga de mantenimiento: Los índices deben actualizarse a medida que cambian los datos, lo que puede aumentar la latencia de escritura y el consumo de recursos.

Impacto de la sincronización del lado del servidor en el almacenamiento

La sincronización del lado del servidor en Dataverse permite una integración perfecta de correos electrónicos, citas y tareas entre Microsoft Exchange y Dataverse. Si bien mejora la productividad y la automatización, también contribuye al consumo de almacenamiento de las siguientes maneras.

  • Creación de registro de actividad: cada correo electrónico o cita sincronizados generan un registro de actividad en Dataverse, que incluye metadatos, contenido del cuerpo y, potencialmente, archivos adjuntos.
  • Almacenamiento de archivos adjuntos: si los archivos adjuntos no se filtran ni se descargan, se almacenan directamente en Dataverse, lo que aumenta el uso de almacenamiento.
  • Cumplimiento y retención: Las organizaciones que utilizan la sincronización del lado del servidor para el seguimiento del cumplimiento pueden retener más datos de los necesarios, lo que aumenta aún más el almacenamiento.
  • Contenido protegido: Incluso los correos electrónicos protegidos por Purview, aunque tienen una visibilidad de contenido limitada, aún generan registros de marcador de posición que consumen espacio.

Para gestionar este impacto, las empresas deben implementar políticas de retención, considerar la descarga de archivos adjuntos y monitorear periódicamente los volúmenes de registros de actividad.

¿Cómo puedo administrar el almacenamiento en constante crecimiento?

Ya sea que se enfrente a excesos de almacenamiento o que desee mantenerse a la vanguardia de ellos, administrar el crecimiento de los datos en la plataforma de finanzas y operaciones Dynamics 365 requiere un enfoque deliberado e impulsado por políticas. Dataverse En esta sección se describen dos puntos de entrada estratégicos: la remediación reactiva y la gobernanza proactiva.

Hay dos escenarios posibles:

  1. Desea aplicar de forma proactiva las mejores prácticas para administrar el almacenamiento y evitar costos elevados en el futuro.
  2. Ya se encuentra en una situación en la que es necesario reducir el tamaño y el costo del almacenamiento.

Aplique las mejores prácticas para administrar el tamaño y los costos de almacenamiento

Escenario 1: Desea aplicar de forma proactiva las mejores prácticas para administrar el almacenamiento

Si todavía no está en modo de crisis, ahora es el momento de aplicar herramientas y técnicas para gestionar el almacenamiento de forma proactiva.

Configurar análisis para sus datos

A medida que las organizaciones crecen, también crece la necesidad de extraer información de los datos operativos, sin afectar el rendimiento de las principales aplicaciones comerciales. Microsoft ofrece múltiples formas de permitir el análisis de datos financieros y de operaciones de Dynamics 365 mediante la integración con su propio almacén o lago de datos. Dataverse

Aquí hay dos opciones poderosas a considerar:

Opción 1. UseLink – traiga su propio lago Azure Synapse

Azure Synapse El vínculo le permite conectarse Dataverse directamente a su propio espacio de trabajo de Azure Data Lake o Synapse. Esto permite la replicación casi en tiempo real de datos operativos en un entorno analítico, sin necesidad de escribir pipelines ETL complejos.

Beneficios:

  • Ejecute análisis avanzados y modelos de IA en datos en vivo o casi en vivo.
  • Evite el impacto en el rendimiento de sus sistemas de producción.
  • Utilice herramientas conocidas como T-SQL, Spark o Power BI para generar informes.

Ejemplo de caso de uso: Una empresa minorista utiliza Synapse Link para analizar el comportamiento de compra de los clientes en diferentes regiones, combinando Dataverse datos de gestión de relaciones con los clientes con datos externos del mercado en su propio lago.

Opción 2. Utilice OneLake: análisis unificado con Microsoft Fabric

OneLake, parte de Microsoft Fabric, ofrece una experiencia de lago de datos unificado donde puede almacenar y analizar datos de múltiples fuentes, incluidas aplicaciones de finanzas y operaciones, sin duplicación. Dataverse

Beneficios:

  • Almacenamiento centralizado para todas las cargas de trabajo analíticas.
  • Integración nativa con Power BI, Synapse y servicios de inteligencia artificial.
  • Gobernanza y seguridad simplificadas en todos los dominios de datos.

Ejemplo de caso de uso: Una empresa de servicios financieros utiliza OneLake para consolidar datos operativos de aplicaciones financieras y de operaciones y con indicadores económicos externos, lo que permite crear modelos de riesgo en tiempo real y crear paneles ejecutivos. Dataverse Al hacer esto, puede disociar los datos operativos de sus sistemas centrales y permitir análisis escalables y rentables al exportar esos datos a sus propios entornos analíticos, sin duplicar cargas de trabajo ni afectar el rendimiento.

Herramientas y técnicas para reducir el almacenamiento

Dataverse ofrece varias herramientas y estrategias integradas para ayudar a los administradores a gestionar el almacenamiento de manera eficiente y mantener el rendimiento del sistema.

Dataverse

Medio ambiente y limpieza de datos

  • Eliminar entornos no utilizados: puede eliminar un entorno para recuperar espacio de almacenamiento y eliminar información de identificación personal (PII).
  • Trabajos de eliminación masiva: puede eliminar los siguientes datos de forma masiva:
    • Datos obsoletos o que no son relevantes para el negocio.
    • Datos de ejemplo o de prueba innecesarios.
    • Datos que se importan incorrectamente desde otros sistemas.

Optimización de archivos y tablas

Retención a largo plazo (LTR) y archivo

Optimización del índice de búsqueda

  • Reducir la Dataverse búsqueda: puede reducir el tamaño de almacenamiento realizando todos los pasos en Dataverse detalles de almacenamiento basados en capacidad.
  • Reducir el tamaño de la tabla DataverseSearch: La tabla DataverseSearch es el almacenamiento acumulativo utilizado por el Dataverse índice de búsqueda. Incluye los datos de todos los campos que se pueden buscar, recuperar y filtrar de las tablas que ha indexado para su entorno. Puede reducir el tamaño de la tabla eliminando columnas de búsqueda, columnas de visualización y condiciones de filtro para una o más tablas. Puede desactivar la búsqueda de Dataverse para eliminar todos los datos indexados.
Aplicaciones de finanzas y operaciones

Las aplicaciones de finanzas y operaciones ofrecen opciones flexibles para administrar el almacenamiento en entornos de producción y sandbox.

Gestión del medio ambiente

  • Limite la cantidad de copias de producción completas: puede reducir el consumo general de almacenamiento de las aplicaciones de finanzas y operaciones eliminando copias de producción completas en entornos sandbox. Por ejemplo, si tiene cinco copias de entornos de producción en un entorno sandbox, su consumo de almacenamiento es la suma de la producción más cinco copias de entornos de producción en un entorno sandbox.
  • Recortar datos en entornos sandbox: al recortar los datos en un entorno sandbox, puede reducir el espacio de almacenamiento general. Puede seguir los métodos a continuación para limpiar los datos en la zona protegida.
    • El proceso de restauración proporciona una ejecución de apertura y recorte.
    • Escribir T-SQL
    • Escribe X++
  • Realizar una copia sin transacciones entre entornos: la copia del entorno para aplicaciones de finanzas y operaciones tradicionalmente ha implicado la duplicación completa de la base de datos, incluida la configuración, los datos maestros y las transacciones, lo que, si bien es útil para la depuración, aumenta significativamente el consumo de almacenamiento tanto en finanzas como en operaciones y Dataverse.

Limpieza personalizada y gestión de registros

  • Escriba rutinas de limpieza personalizadas según sea necesario: puede escribir rutinas de limpieza personalizadas según lo necesite su empresa para limpiar los datos no deseados.
  • Evite almacenar registros: puede mover SysDatabaseLog a una base de datos menos transaccional para reducir el espacio de almacenamiento general.

Conservación de archivos y a largo plazo

Rutinas de limpieza integradas

  • Rutinas de limpieza: en Dynamics 365 Finance y Dynamics 365 Supply Chain Management, las rutinas de limpieza están disponibles en varios módulos. Rutinas de limpieza proporciona una descripción general de las rutinas que están disponibles actualmente. Después de copiar la base de datos sandbox, ejecute estas rutinas de limpieza de forma proactiva para eliminar tablas innecesarias, como el historial de lotes, los registros y el historial de transacciones minoristas. Eliminar datos obsoletos o irrelevantes.
  • Archivar datos de transacciones de tarjetas de crédito: describe un trabajo de archivado en Dynamics 365 Commerce que puede ayudar a liberar espacio en la base de datos al archivar tokens de pago de tarjetas de crédito.

Reducir el tamaño y los costos de almacenamiento

Escenario 2: Ya se encuentra en una situación en la que es necesario reducir el tamaño y el costo del almacenamiento

Evaluar qué está consumiendo almacenamiento

  • Utilice el centro de administración y los informes de almacenamiento de finanzas y operaciones para identificar las tablas, los tipos de archivos y los registros de mayor consumo. Power Platform
  • Utilice la telemetría, si está disponible, para atribuir el uso a aplicaciones, usuarios o unidades de negocio específicos.

Priorizar a los candidatos para la limpieza

  • Concentrarse en:
    • Tablas de integración y preparación, como buffers de escritura dual
    • Registros de auditoría: consérvelos en su propio almacenamiento
    • Entornos no utilizados o sandboxes
    • Metadatos huérfanos e índices de búsqueda
    • Elimina lo que no necesitas, por ejemplo, eliminación masiva.

Utilice Synapse Link y OneLake para informes analíticos

  • Exportar los datos analíticos a Synapse Link.
  • Utilice OneLake para acceder a los datos retenidos y a los datos comerciales para fines analíticos y de informes.

Aplicar retención a largo plazo (LTR)

  • Mueva datos históricos a un lago de datos administrado (MDL) mediante políticas LTR.
  • Mantenga el acceso a la búsqueda y al análisis a través de Búsqueda rápida, Synapse Link o OneLake.

Casos de uso

Los casos de uso para la gestión del almacenamiento en entornos financieros y operativos son fundamentales para optimizar el espacio de la base de datos, mejorar el rendimiento del sistema y cumplir con los requisitos normativos. Dataverse A continuación se presentan algunos escenarios típicos que demuestran cómo se pueden aplicar estas estrategias:

  • Gestión del crecimiento de datos históricos

    • Escenario: Una empresa ha estado activa en Dynamics 365 durante varios años y ha acumulado grandes volúmenes de transacciones históricas y archivos adjuntos.
    • Acción: Implementar estrategias de retención a largo plazo para conservar datos inactivos, reducir el tamaño de la base de datos principal y mantener el cumplimiento de los requisitos de auditoría.

  • Retención de datos impulsada por el cumplimiento

    • Escenario: Un cliente de una industria regulada debe conservar datos financieros o de clientes durante siete a diez años en un formato a prueba de manipulaciones.
    • Acción: Utilice LTR para conservar los datos inmutables y de solo lectura de conformidad con los requisitos legales y reglamentarios, al mismo tiempo que mantiene los datos comerciales optimizados sin comprometer el análisis y los informes.

  • Optimización del índice de búsqueda y copiloto

    • Escenario: Dataverse La búsqueda y la indexación de Copilot están habilitadas en todos los entornos, incluidas las tablas no utilizadas.
    • Acción: Auditar los campos de búsqueda y deshabilitar la indexación para tablas de bajo valor o en desuso. Supervise el tamaño de la tabla DataverseSearch y optimice las configuraciones para reducir el almacenamiento de registros y bases de datos.

  • Gestión de auditoría y telemetría

    • Escenario: Los registros de seguimiento de complementos y los registros de auditoría están creciendo rápidamente, consumiendo almacenamiento y afectando el rendimiento.
    • Acción: Exportar registros a sistemas externos, como Azure Monitor, y automatizar la limpieza de entradas antiguas para mantener la visibilidad sin saturar el almacenamiento.

  • Integración de almacenamiento y análisis de datos

    • Escenario: La organización replica datos operativos en OneLake para análisis, lo que genera almacenamiento duplicado. Azure Synapse
    • Acción: utilice exportaciones incrementales, aplique filtros y evite la replicación completa del conjunto de datos para minimizar la redundancia y, al mismo tiempo, permitir obtener información valiosa.

  • Reducción de los excedentes de almacenamiento

    • Escenario: Un cliente recibe una notificación sobre el exceso de su Dataverse cuota de almacenamiento, lo que genera costos inesperados.
    • Acción: Utilice los informes de capacidad para identificar las tablas de mayor consumo, limpiar entornos obsoletos y eliminar archivos adjuntos o registros no utilizados. Considere trasladar datos fríos (normalmente registros históricos o a los que se accede con poca frecuencia) a niveles de almacenamiento de menor costo.

  • Optimización del rendimiento en tablas grandes

    • Escenario: Los procesos críticos para el negocio se están ralentizando debido al gran tamaño de las tablas.
    • Acción: Archivar registros antiguos, limpiar trabajos del sistema, por ejemplo AsyncOperationBase y WorkflowLogBase.

  • Gestión del ciclo de vida del entorno

    • Escenario: Los entornos de desarrollo y prueba se clonan desde la producción, duplicando todos los datos e índices.
    • Acción: Recortar los entornos sandbox después de una actualización, deshabilitar la indexación de búsqueda innecesaria y eliminar los datos de prueba para reducir el consumo de almacenamiento redundante. Elimine los entornos sandbox no utilizados para ahorrar almacenamiento.

Casos prácticos

Caso práctico 1: Reducción del exceso de almacenamiento mediante la limpieza de índices

Perfil del cliente: Una empresa de fabricación global que utiliza Dynamics 365 para aplicaciones de cadena de suministro, finanzas y operaciones.

Desafío: El cliente estaba experimentando excesos de almacenamiento inesperados y una degradación del rendimiento en su entorno de producción. La investigación reveló que varios índices personalizados y vistas materializadas, creados durante la implementación inicial, ya no estaban en uso, pero aún consumían una cantidad significativa de almacenamiento.

Solución: El equipo realizó una auditoría trimestral de todos los índices personalizados y eliminó aquellos que no estaban referenciados por consultas o informes activos. También implementaron una política de gobernanza para revisar nuevas solicitudes de índice antes de la implementación.

Resultado:

  • Se redujo el almacenamiento de la base de datos en un 28%.
  • Se mejoró el rendimiento de las consultas en un 15%.
  • Se evitó un gasto proyectado de $12,000 por año en otros costos de almacenamiento.

Caso práctico 2: Archivar datos históricos para alcanzar los objetivos de cumplimiento y rendimiento

Perfil del cliente: Una empresa de servicios financieros que utiliza Dynamics 365 para la incorporación de clientes y la funcionalidad de gestión de casos. Dataverse

Desafío: La empresa necesitaba conservar los registros de los clientes durante más de siete años para cumplir con los requisitos reglamentarios, pero el creciente volumen de datos inactivos estaba ralentizando los flujos de trabajo activos y aumentando los costos de almacenamiento.

Solución: El cliente implementó una estrategia de retención a largo plazo utilizando las capacidades de archivo de Dataverse. Los registros inactivos se trasladaron a un nivel de almacenamiento de solo lectura y con costos optimizados, mientras que los datos activos permanecieron en un almacenamiento de alto rendimiento.

Resultado:

  • Archivados más de 1,2 millones de registros.
  • Se redujo el tamaño de la base de datos primaria en un 40%.
  • Mantuvo la plena auditabilidad y el cumplimiento de las políticas de retención.

Estudio de caso 3: Optimización de los índices de búsqueda en distintos entornos

Perfil del cliente: Una organización minorista con múltiples entornos, incluidos entornos de desarrollo, prueba y producción, que respaldan una solución de gestión de relaciones con el cliente habilitada para Copilot. Dataverse

Desafío: Se utilizaron índices de búsqueda en todos los entornos, incluidas tablas no utilizadas y datos de prueba. Esto dio lugar a tablas de DataverseSearch infladas y a un consumo de almacenamiento innecesario.

Solución: El equipo revisó los campos de búsqueda y dejó de usar la indexación en tablas no críticas en entornos de desarrollo y prueba. También automatizaron la limpieza del índice durante las actualizaciones del entorno.

Resultado:

  • Se redujo el almacenamiento del índice de búsqueda en un 35%.
  • Se mejoraron los tiempos de actualización del entorno en un 20%.
  • Se redujo el uso general de almacenamiento de registros y bases de datos.

Caso práctico 4: Uso de la exportación de datos para análisis sin duplicar el almacenamiento

Perfil del cliente: Un proveedor de atención médica que utiliza Dynamics 365 y para la interacción y facturación de los pacientes. Dataverse

Desafío: El equipo de análisis necesitaba acceso a datos operativos para el análisis de tendencias y el modelado de IA, pero duplicar los datos en un almacén separado aumentaba los costos de almacenamiento y la complejidad.

Solución: El cliente utilizó Link con exportación incremental y almacenamiento en niveles en OneLake. Azure Synapse Conservaron únicamente datos analíticos esenciales y aplicaron políticas de retención para gestionar la profundidad histórica.

Resultado:

  • Habilitó análisis en tiempo real sin afectar los sistemas operativos.
  • Se redujo el almacenamiento redundante en un 45%.
  • Mejora de la gobernanza sobre el ciclo de vida de los datos analíticos.

Conclusión

La gestión eficaz del almacenamiento es fundamental para mantener el rendimiento del sistema y optimizar la utilización de recursos en entornos de Dynamics 365. Las rutinas de limpieza y los trabajos de archivo descritos en este artículo brindan soluciones sólidas para liberar espacio valioso en la base de datos y agilizar las operaciones. Al utilizar herramientas como LTR y técnicas similares, los clientes pueden abordar desafíos de almacenamiento comunes y crear prácticas de gestión de datos sostenibles. Además, estudios de casos del mundo real demuestran la eficacia de estos enfoques y ofrecen información sobre sus aplicaciones prácticas. La adopción de estas estrategias permite a las organizaciones gestionar de forma proactiva sus necesidades de almacenamiento y mejorar la eficiencia general.

Referencias

Limpieza de almacenamiento en Dataverse:

Limpieza de almacenamiento en finanzas y operaciones:

Capacidad de almacenamiento:

  • Last updated on