Compartir a través de

Uso de SQL Database como almacén de datos operativo

Se aplica a :✅base de datos SQL en Microsoft Fabric

En este artículo se describe cómo implementar un almacén de datos operativo (ODS) mediante SQL Database en Fabric. Proporciona instrucciones arquitectónicas, patrones de diseño, características de carga de trabajo y consideraciones específicas de Fabric para crear un ODS seguro, eficaz y regulado.

Diagrama del caso de uso de SQL Database en Fabric como almacén de datos operativo (ODS).

¿Qué es un ODS?

Un almacén de datos operacionales (ODS) es un repositorio orientado a temas, integrado y casi en tiempo real que consolida los datos de varios sistemas operacionales en un modelo ligeramente mantenido y normalizado, normalmente en esquemas normalizados. Admite informes operativos, análisis ligeros, servir API y propagación hacia abajo a capas analíticas, como Fabric Warehouse o Fabric Lakehouse.

Un ODS no es un sistema de procesamiento de transacciones en línea (OLTP) de origen ni un almacén dimensional.

En su lugar, actúa como la "verdad caliente y armonizada" de los últimos N minutos, horas o días, ubicada entre los sistemas de origen y las plataformas analíticas.

Características clave de un ODS

Un almacén de datos operativo (ODS) en Microsoft Fabric está diseñado para ofrecer una vista casi en tiempo real de los datos operativos con garantías sólidas de gobernanza y rendimiento.

  • Ingiere datos de varios sistemas de origen, con baja latencia.
  • El esquema normalmente se normaliza en tercera forma normal (3NF), para admitir flexibilidad y rastreabilidad.
  • La calidad de los datos se asegura a través de la desduplicación, la resolución de identidades y el control de registros de llegada tardía o borrado blando, creando una base confiable para los informes operativos y el análisis posterior.
  • Los patrones de servicio incluyen consultas basadas en SQL, paneles operativos, alertas y API, mientras que las características de gobernanza de Fabric garantizan el cumplimiento y la seguridad en todo el ciclo de vida de los datos.

SQL Database en Fabric actúa como un conducto seguro y eficaz entre los datos operativos y las plataformas analíticas.

Components

Los siguientes componentes están implicados en el uso de SQL Database en Fabric como almacén de datos operativo:

  • Restricciones y claves: aplique la lógica de negocios y la integridad referencial (claves naturales, claves suplentes, claves externas).
  • Resolución de identidad: desduplicar entre orígenes; aplicar reglas de supervivencia.
  • Servicio: exponga puntos de conexión de GraphQL o cree paneles de Power BI.

Procedimientos recomendados de ingesta y carga de trabajo

La creación de un ODS en una base de datos SQL en Fabric requiere estrategias de ingesta que equilibran la actualización, la confiabilidad y el rendimiento.

  • Las cargas por lotes e incrementales normalmente se orquestan a través de Fabric Data Pipelines utilizando conectores habilitados para captura de cambios en los datos, con incorporación de marcas de agua y lógica de reintento para garantizar la coherencia.
    • Ajuste la concurrencia de la canalización para permitir que la base de datos SQL escale durante los picos de carga mientras cumple con los objetivos de nivel de servicio para la frescura de los datos.
    • El marcado de agua es un concepto importante en los procesos de copia incremental. Le ayuda a identificar fácilmente dónde se detuvo por última vez una carga incremental.
  • Realice transformaciones complejas en etapas previas en Dataflow Gen2 o en Spark Notebooks. Reserve la capa de SQL para las operaciones finales MERGE que aplican restricciones y mantienen el rendimiento similar a OLTP.
  • Use patrones de diseño idempotentes que combinan la detección de cambios, los marcadores de agua, MERGE de T-SQL y las tablas de control para reinicios seguros y resistencia operativa.

Motor y entorno

SQL Database en Fabric se basa en el mismo motor de SQL Database que Azure SQL Database, lo que proporciona una experiencia de T-SQL familiar con compatibilidad completa con las herramientas de cliente estándar.

Con SQL Database en Microsoft Fabric, puede crear flujos de trabajo de un extremo a otro desde la ingesta hasta el análisis mediante otras características de Microsoft Fabric:

  • Canalizaciones de datos
  • Flujo de datos Gen2
  • Blocs de notas
  • Inteligencia en tiempo real
  • Power BI
  • Todo con DevOps optimizado mediante CI/CD basado en Git

Contenido relacionado

  • Last updated on