Implementación de la arquitectura de medallion con vistas materializadas al lago

Este tutorial le guía a través de la implementación de una arquitectura de medallón mediante vistas materializadas del lago en un lago fabric. Al final, creas un flujo de transformación de datos automatizado de la capa bronce a la capa plata y después a la capa oro. Este tutorial no es una arquitectura de referencia, una guía exhaustiva de características o una recomendación de procedimientos recomendados prescriptivos.

Prerrequisitos

Antes de comenzar, complete estos requisitos previos:

1. Inicie sesión en su cuenta de Power BI o regístrese para obtener una versión de prueba si no tiene una.
2. Habilitar Microsoft Fabric en tu entidad.
3. Cree un área de trabajo habilitada para Fabric.
4. Cree un Lakehouse con esquemas habilitados y nómbrelo SalesLakehouse.

Estos requisitos previos se usan en este tutorial: el área de trabajo y SalesLakehouse son necesarios en los pasos de nivel bronce, plata y oro, y en programación y supervisión.

Información general sobre el escenario

En este tutorial se usa una organización comercial ficticia, Contoso, como escenario de ejemplo. Contoso organiza los datos de ventas en una arquitectura de medallón para mejorar los resultados de análisis separando los datos en bronce (sin procesar), plata (limpia y enriquecida) y capas de oro (agregadas y analizadas).

El diagrama siguiente representa diferentes entidades en cada capa de arquitectura de medallion en SalesLakehouse:

Entidades clave en el escenario

Las siguientes entidades corresponden a las entidades que se muestran en el diagrama de arquitectura medallion de la sección anterior.

• Pedidos: esta entidad incluye detalles sobre cada pedido de cliente, como la fecha de pedido, los detalles del envío, la categoría del producto y la subcategoría. Se pueden extraer conclusiones para optimizar las estrategias de envío, identificar categorías de productos populares y mejorar la gestión de pedidos.

• Ventas: al analizar los datos de ventas, Contoso puede evaluar métricas clave como ingresos totales, márgenes de beneficio, prioridades de pedidos y descuentos. Las correlaciones entre estos factores proporcionan una comprensión más clara de los comportamientos de compra de los clientes y la eficacia de las estrategias de descuento.

• Ubicación: captura la dimensión geográfica de las ventas y los pedidos, incluidas las ciudades, los estados, las regiones y los segmentos de clientes. Ayuda a Contoso a identificar regiones de alto rendimiento, abordar áreas de bajo rendimiento y personalizar estrategias para segmentos de clientes específicos.

• Agente: con detalles sobre los agentes que administran transacciones, sus comisiones y datos de ventas, Contoso puede evaluar el rendimiento de los agentes individuales, animar a los principales intérpretes y diseñar estructuras de comisión eficaces.

• Comisiones del agente: la incorporación de datos de comisión garantiza la transparencia y permite una mejor administración de costos. Comprender la correlación entre las tasas de comisión y el rendimiento del agente ayuda a refinar los sistemas de incentivos.

Datos y cuadernos de ejemplo

En este tutorial se usa un conjunto de datos de ejemplo del repositorio de ejemplos de Fabric. Descargue la carpeta completa tutorial antes de continuar.

Estos recursos se usan para construir primero la capa de bronce y, a continuación, crear las vistas materializadas de oro y plata del lago.

La carpeta descargada tutorial contiene:

• Carpetas CSV: agent, agent_commissions, location, orders, y sales.
• Archivo de cuaderno: Notebook.

Crear el flujo de datos de medallion

En esta sección, creará las capas de bronce, plata y oro para la arquitectura de medallion en SalesLakehouse. Estas capas definen el flujo de datos basado en linaje para las vistas materializadas del lago.

Los pasos generales son los siguientes:

1. Capa de bronce: ingiere datos sin procesar en forma de archivos CSV en el lago. Consulte Crear capa de bronce de la arquitectura de medallón de análisis de ventas.
2. Capas Silver y Gold: limpiar y curar los datos para el análisis y los informes mediante vistas materializadas del lago. Vea Crear capas de plata y oro de la arquitectura de medallion.

Más adelante en este tutorial, programa la actualización de este linaje para que el flujo se ejecute automáticamente.

Creación de una capa de bronce en la arquitectura de medallón para el análisis de ventas

En esta sección, creará la capa de bronce cargando el contenido de la carpeta descargada tutorial en SalesLakehouse. Estos archivos corresponden a las entidades descritas anteriormente en este tutorial.

1. En el área de trabajo, abra SalesLakehouse y vaya a la sección Archivos .

2. Cargue el contenido de la carpeta descargada tutorial , conservando la estructura de carpetas:

   • agent
   • agent_commissions
   • location
   • orders
   • sales

   Después de cargar, se crea una carpeta denominada tutorial en Archivos y contiene estas subcarpetas.

3. A continuación, cree un acceso directo a él desde la sección Tablas . Seleccione ... junto a la sección Tablas y seleccione Nuevo acceso directo de esquema y, a continuación, Microsoft OneLake. Elija SalesLakehouse en los tipos de origen de datos. Expanda la sección Archivos y elija la carpeta del tutorial y seleccione Crear. También puede usar otras opciones alternativas para obtener datos en Lakehouse.

   

4. En la sección Tablas , cambie el nombre de la carpeta del tutorial como bronce.

Crear capas de arquitectura medallón de plata y oro

1. Desde la carpeta descargada tutorial, cargue el archivo Notebook a su área de trabajo.

   

2. Abra el cuaderno cargado desde SalesLakehouse. Para obtener más información, consulte Exploración de los datos de lakehouse con un cuaderno.

3. Ejecute todas las celdas de la libreta utilizando Spark SQL para crear las vistas materializadas del lago con restricciones de calidad de datos.

4. Después de que todas las celdas se ejecuten correctamente, actualice SalesLakehouse para ver las nuevas vistas materializadas del lago bajo los esquemas silver y gold .

   

Programar actualización

1. En SalesLakehouse, abra la pestaña Vistas de lago materializadas y seleccione Administrar para abrir el linaje.

   La vista de linaje muestra el gráfico de dependencias generado automáticamente, donde cada vista de lago materializada dependiente aparece como un nodo.

   

2. Seleccione Programar en la cinta de opciones y, a continuación, seleccione Nueva programación en el panel Programaciones.

3. Active la programación, proporcione un nombre y seleccione las vistas materializadas del lago para actualizar.

4. Establezca la frecuencia de programación y, a continuación, seleccione Aplicar.

5. Para ejecutar la programación inmediatamente, seleccione Ejecutar en la programación creada.

   

Supervisión y solución de problemas

1. En la pestaña Ejecución reciente , revise los estados de ejecución.

2. Seleccione un identificador de ejecución para abrir los detalles de esa ejecución.

   

3. En la pestaña Detalles de ejecución, revise el panel de detalles del lado derecho y el panel de actividad inferior para ver el estado de ejecución.

4. Seleccione un nodo de vista de lago materializado en linaje para ver los detalles de ejecución, su ruta de acceso de ABFS y un vínculo a registros detallados.

5. Si el estado de un nodo es Error, revise el mensaje de error mostrado.

   

6. Seleccione Registros detallados para abrir el centro de supervisión y revisar los registros de errores de Spark.

   

7. Seleccione la pestaña Informe de calidad de datos en las vistas materializadas del lago para crear o ver un informe de calidad de datos autogenerado.

Contenido relacionado

• Visión general de las vistas de lago materializadas de Microsoft Fabric
• Referencia de Spark SQL para vistas de lago materializadas