Partilhar via

Use base de dados SQL como armazenamento operacional de dados

Aplica-se a:✅Base de dados SQL em Microsoft Fabric

Este artigo descreve como implementar um armazenamento operacional de dados (ODS) usando uma base de dados SQL no Fabric. Fornece orientação arquitetónica, padrões de design, características de carga de trabalho e considerações específicas do Fabric para construir um ODS seguro, performante e governado.

Diagrama do caso de uso da base de dados SQL no Fabric como armazenamento operacional de dados (ODS).

O que é um ODS?

Um armazenamento operacional de dados (ODS) é um armazenamento orientado a assuntos, integrado e quase em tempo real que consolida dados de múltiplos sistemas operacionais num modelo ligeiramente curado e normalizado – tipicamente em esquemas normalizados. Suporta relatórios operacionais, análises leves, serviço de API e propagação a jusante para camadas analíticas como o Fabric Warehouse ou o Fabric Lakehouse.

Um ODS não é um sistema de processamento de transações online (OLTP) de origem nem um armazém dimensional.

Em vez disso, serve como a "verdade quente e harmonizada" dos últimos N minutos, horas ou dias, situando-se entre sistemas de origem e plataformas analíticas.

Características principais de um ODS

Um armazenamento operacional de dados (ODS) no Microsoft Fabric foi concebido para fornecer uma visão quase em tempo real dos dados operacionais com fortes garantias de governação e desempenho.

  • Ingere dados de múltiplos sistemas de origem, com baixa latência.
  • O esquema é normalmente normalizado na terceira forma normal (3NF), para suportar flexibilidade e rastreabilidade.
  • A qualidade dos dados é garantida através da deduplicação, resolução de identidade e tratamento de registos que chegam tarde ou são eliminados de forma suave, criando uma base fiável para relatórios operacionais e análises a jusante.
  • Os padrões de serviço incluem consultas baseadas em SQL, painéis operacionais, alertas e APIs, enquanto as funcionalidades de governação do Fabric garantem conformidade e segurança ao longo de todo o ciclo de vida dos dados.

A base de dados SQL em Fabric serve como um canal seguro e eficiente entre os dados operacionais e as plataformas analíticas.

Components

Os seguintes componentes estão envolvidos na utilização da base de dados SQL no Fabric como armazenamento operacional de dados:

  • Restrições e chaves: Impor a lógica de negócio e a integridade referencial (chaves naturais, chaves substitutas, chaves estrangeiras).
  • Resolução de identidade: Deduplicar entre fontes; Aplica as regras de sobrevivência.
  • Servir: Expor endpoints para GraphQL e/ou construir painéis de controlo Power BI.

Boas práticas de ingestão e carga de trabalho

Construir uma base de dados ODS em SQL no Fabric requer estratégias de ingestão que equilibrem frescura, fiabilidade e desempenho.

  • Cargas em lote e incrementais são normalmente orquestradas através de Fabric Data Pipelines usando conectores habilitados para captura de dados de alteração, com marca d'água e lógica de nova tentativa para garantir consistência.
    • Ajuste a concorrência do pipeline para permitir que a base de dados SQL escale durante os picos de carga, cumprindo os objetivos do nível de serviço para a frescura dos dados.
    • A marca de água é um conceito importante nos processos de cópia incremental. Ajuda-te a identificar facilmente onde uma carga incremental parou pela última vez.
  • Realizar transformações complexas a montante em Dataflow Gen2 ou Spark Notebooks. Reserve a camada SQL para operações finais MERGE que impõem restrições e mantenham um desempenho semelhante ao OLTP.
  • Use padrões de design idempotentes que combinem deteção de alterações, marcas de água, utilização de MERGE no T-SQL e tabelas de controlo para reinicializações seguras e resiliência operacional.

Motor e ambiente

A base de dados SQL no Fabric baseia-se no mesmo Motor de Base de Dados SQL do Azure SQL Database, proporcionando uma experiência T-SQL familiar com total compatibilidade com ferramentas padrão de cliente.

Ao usar uma base de dados SQL no Microsoft Fabric, pode criar fluxos de trabalho de ponta a ponta desde a ingestão até à análise, utilizando outras funcionalidades do Microsoft Fabric:

  • Pipelines de Dados
  • Fluxo de dados Gen2
  • Notebooks
  • Inteligência em Tempo Real
  • Power BI
  • Tudo com DevOps simplificado usando CI/CD baseado em Git

Conteúdo relacionado

  • Last updated on