Compartir a través de

Implementación de la arquitectura de Medallion en inteligencia en tiempo real

En este artículo se explica cómo implementar la arquitectura de medallón mediante Real-Time Intelligence en Microsoft Fabric. La arquitectura de medallón garantiza las propiedades de Atomicidad, Consistencia, Aislamiento y Durabilidad (ACID) a medida que los datos avanzan a través de sus etapas. A partir de datos sin procesar, se somete a una serie de validaciones y transformaciones para optimizarse para un análisis eficaz. La arquitectura consta de tres fases: Capa de bronce (datos sin procesar), Capa de plata (datos validados) y Capa de oro (datos enriquecidos).

Para obtener más información, consulte ¿Qué es la arquitectura de medallón?.

¿Cómo funciona?

La inteligencia en tiempo real tiene características que facilitan la creación de la arquitectura de Medallion en una base de datos KQL que no requiere infraestructura adicional. Las características incluyen:

  • Políticas de actualización

    A medida que los datos entran en la capa Bronce, puede usar directivas de actualización para transformarla y enriquecerla, agregando valor empresarial, como la calidad de los datos mejorada, la coherencia y la relevancia para el análisis descendente. Las directivas de actualización facilitan el procesamiento de flujos de datos continuos al simplificar los conceptos de streaming, como el procesamiento incremental, los puntos de control y las marcas de agua. Esta abstracción permite crear aplicaciones y canalizaciones de streaming sin necesidad de herramientas adicionales. La capacidad de Real-Time Intelligence para ingerir y transformar datos de streaming en vivo permite a los ingenieros de datos y científicos de datos gestionar datos en tiempo real procedentes de varias fuentes.

    Para obtener más información, consulte la Directiva de actualización.

  • Vistas materializadas

    Las vistas materializadas quitan los valores duplicados a medida que llegan, lo que hace que los registros desduplicados estén disponibles inmediatamente para realizar consultas. Calculan vistas agregadas en tiempo real, lo que garantiza la mejora del rendimiento, la actualización de datos y la reducción de costos. Esto elimina la necesidad de herramientas adicionales para realizar la agregación de datos. Al exponer una consulta de agregación sobre una tabla de origen u otra vista materializada, siempre proporcionan resultados actualizados. La consulta de una vista materializada es más eficaz que ejecutar la agregación directamente sobre la tabla de origen, lo que conduce a mejoras de rendimiento. Además, las vistas materializadas consumen menos recursos, lo que puede dar lugar a un ahorro de costos.

    Para obtener más información, consulte Vistas materializadas.

Implementar la arquitectura de Medallion

Real-Time Intelligence permite crear una arquitectura de medallón mediante el procesamiento de los datos a medida que llegan. Esto le permite crear las capas Bronze, Silver y Gold, a la vez que mantiene el aspecto en tiempo real de los datos.

Diagrama en el que se muestra la arquitectura de medallón en Real-Time Intelligence.

  • Capa de bronce

    La capa Bronce actúa como zona de aterrizaje inicial para todos los datos sin procesar entrantes. En Real-Time Intelligence, la capa Bronze puede ingerir datos mediante Eventstream o una tabla en Eventhouse, lo que proporciona una base para el enriquecimiento y el análisis posteriores en las capas Plata y Oro.

    Sugerencia

    Es posible que desee conservar estos datos con fines de captura de cambios y la capacidad de reproducir los datos. Si la capa Bronce usa Eventstream, puede generar los datos en OneLake antes de que el procesamiento de eventos realice las transformaciones o mejoras. Si la capa Bronze usa una tabla, puede reflejar los datos en OneLake.

  • Capa de plata

    La capa Plata contiene datos transformados y enriquecidos para agregar valor empresarial, incluida la desduplicación de registros. Esta capa procesa los datos de la capa Bronce mediante métodos como el procesamiento de eventos y las directivas de actualización, como se indica a continuación:

    • Procesamiento de eventos: los datos de Eventstream se enriquecen mediante procesamiento de eventos para agregar el valor empresarial y luego insertar los resultados en una tabla de la capa Silver en Eventhouse.
    • Política de actualización: los datos en una tabla de capa Bronze se procesan inmediatamente mediante una política de actualización. Los resultados se insertan en una tabla Silver en Eventhouse. La desduplicación se produce mediante una vista materializada, lo que garantiza que los datos permanecen up-to-date y mantienen el aspecto en tiempo real de la solución.

    Sugerencia

    Normalmente, en esta capa, tendrá dos tablas: una para transformaciones y mejoras, y una vista materializada para la desduplicación. Para la primera tabla, puede establecer la directiva de retención en cero días, lo que significa que los datos nunca aparecen en la tabla, pero todavía se desduplica por la vista materializada. La vista materializada desduplicada se usa para el análisis de alta granularidad. Al establecer la directiva de retención durante cuánto tiempo desea mantener los datos y la directiva de almacenamiento en caché en función de los patrones de consulta, puede optimizar los costos. A menudo, la capa Silver no es necesaria tanto tiempo como la capa Gold.

  • Capa de oro

    La capa Oro contiene datos optimizados para las necesidades de visualización al tiempo que se mantiene el aspecto en tiempo real de los datos. Esta capa agrega y calcula los datos a medida que llega mediante una vista materializada, lo que permite el acceso rápido al valor recibido más reciente en función del conjunto de datos. La capa Gold garantiza que los datos están listos para herramientas avanzadas de análisis y visualización, lo que proporciona información actualizada y de alta calidad para la toma de decisiones.

    Esta capa está optimizada para la visualización mediante vistas materializadas agregadas y de valor más reciente. En la mayoría de los escenarios, estos datos submuestreados se conservan y consultan durante un período de tiempo más largo que la capa Silver. Mediante el uso de la directiva de retención para determinar cuánto tiempo se conservan los datos y la directiva de almacenamiento en caché en función de los patrones de consulta, este proceso se controla de forma nativa.

Visualizar y actuar

Las funcionalidades de rendimiento de Real-Time Intelligence permiten visualizar los datos mediante componentes como Power BI, paneles de Real-Time o conjuntos de consultas KQL. Puede extraer datos de la capa Oro para las vistas agregadas y la capa Plata para desbloquear análisis de granularidad alta. Además, puede actuar sobre los datos en cualquier capa mediante Activator, lo que desbloquea la capacidad de actuar sobre los datos a medida que llegan en Eventstream, datos de alta granularidad en la capa Silver y datos agregados de la capa Gold.

Ventajas principales

La arquitectura de medallón en Real-Time Intelligence proporciona varias ventajas, entre las que se incluyen:

  • Creado específicamente para el procesamiento de datos en tiempo real

    Real-Time Intelligence en Microsoft Fabric se crea para controlar los datos que fluyen continuamente junto con datos de alta granularidad. Todo el proceso desde las capas de Bronce hasta las de Oro está integrado en el producto. Sin la necesidad de programación, es capaz de procesar los datos de Bronce a Plata a Oro tan pronto como llegan. Esto es posible mediante:

  • Flexibilidad

    En una arquitectura típica de Medallion, los datos solo se consumen desde la capa Gold, perdiendo los registros individuales y evitando el análisis detallado. Con Eventhouse, puede consumir datos de las capas Oro y Plata, desbloqueando análisis de alta granularidad. Eventhouse ha sido diseñado para gestionar consultas en miles de millones de registros en segundos.

  • Administración de datos integrada

    Los datos de cada capa tienen requisitos diferentes para la retención y la consulta. Este proceso se implementa fácilmente a través de funcionalidades integradas.

  • Capa de visualización nativa

    Con una sola acción, puede anclar cualquier consulta desde la capa Gold o Silver a un informe de Power BI nuevo o existente o panel en tiempo real.

  • Disponibilidad de OneLake

    Tome los datos de la capa Silver y expóngalos como Delta Parquet en OneLake a través de Disponibilidad de OneLake. Las distintas partes interesadas de la organización usan herramientas diferentes, por ejemplo, los científicos de datos usan datos históricos para el entrenamiento del modelo de aprendizaje automático. Al hacer que los datos estén disponibles en OneLake, cada parte interesada puede interactuar sin esfuerzo con los datos sin costo adicional de almacenamiento.

Contenido relacionado