Compartilhar via

Usar o banco de dados SQL como um armazenamento de dados operacional

Aplica-se a:✅banco de dados SQL do Microsoft Fabric

Este artigo descreve como implementar um ODS (armazenamento de dados operacional) usando o banco de dados SQL no Fabric. Ele fornece diretrizes arquitetônicas, padrões de design, características de carga de trabalho e considerações específicas do Fabric para a criação de um ODS seguro, com desempenho e controlado.

Diagrama do caso de uso do banco de dados SQL no Fabric como um ODS (armazenamento de dados operacional).

O que é um ODS?

Um armazenamento de dados operacional (ODS) é um repositório orientado por assunto, integrado e quase em tempo real que consolida dados de vários sistemas operacionais em um modelo levemente coletado e normalizado, geralmente em esquemas normalizados. Ele dá suporte a relatórios operacionais, análise leve, serviço de API e propagação downstream para camadas analíticas, como o Fabric Warehouse ou o Fabric Lakehouse.

Um ODS não é um sistema OLTP (processamento de transações online de origem) ou um warehouse dimensional.

Em vez disso, funciona como a "verdade quente e harmonizada" para os últimos N minutos, horas ou dias, posicionado entre sistemas de origem e plataformas analíticas.

Principais características de um ODS

Um ODS (armazenamento de dados operacional) no Microsoft Fabric foi projetado para fornecer uma exibição quase em tempo real de dados operacionais com fortes garantias de governança e desempenho.

  • Ele ingere dados de vários sistemas de origem, com baixa latência.
  • O esquema normalmente é normalizado na terceira forma normal (3NF), para dar suporte à flexibilidade e à rastreabilidade.
  • A qualidade dos dados é imposta por meio de desduplicação, resolução de identidades e manipulação de registros de chegada tardia ou de exclusão suave, criando uma base confiável para relatórios operacionais e análises subsequentes.
  • Os padrões de serviço incluem consultas baseadas em SQL, painéis operacionais, alertas e APIs, enquanto os recursos de governança do Fabric garantem a conformidade e a segurança em todo o ciclo de vida dos dados.

O banco de dados SQL no Fabric serve como um canal seguro e eficiente entre dados operacionais e plataformas analíticas.

Components

Os seguintes componentes estão envolvidos no uso do banco de dados SQL no Fabric como um armazenamento de dados operacional:

  • Restrições e chaves: impor lógica de negócios e integridade referencial (chaves naturais, chaves substitutas, chaves estrangeiras).
  • Resolução de identidade: eliminação de duplicação entre fontes; aplicar regras de sobrevivência.
  • Servir: Expor endpoints GraphQL e/ou criar dashboards no Power BI.

Práticas recomendadas de ingestão e carga de trabalho

A criação de um ODS no banco de dados SQL no Fabric requer estratégias de ingestão que equilibram a atualização, a confiabilidade e o desempenho.

  • Cargas em lote e incrementais normalmente são orquestradas por meio de Fabric Data Pipelines usando conectores habilitados para captura de dados de alteração, com o uso de marca d'água e mecanismo de repetição para garantir a consistência.
    • Ajuste a simultaneidade do pipeline para permitir que o banco de dados SQL seja dimensionado durante as cargas de pico enquanto atende aos objetivos de nível de serviço para a atualização de dados.
    • A marca d'água é um conceito importante em processos de cópia incremental. Ele ajuda você a identificar facilmente onde uma carga incremental parou pela última vez.
  • Execute transformações pesadas upstream em Dataflow Gen2 ou Spark Notebooks. Reserve a camada SQL para operações finais MERGE que impõem restrições e mantêm o desempenho semelhante a OLTP.
  • Use padrões de design idempotentes que combinam detecção de alterações, marca d'água, T-SQL MERGE e tabelas de controle para reinicializações seguras e resiliência operacional.

Mecanismo e ambiente

O banco de dados SQL no Fabric baseia-se no mesmo Mecanismo de Banco de Dados SQL que o Banco de Dados SQL do Azure, fornecendo uma experiência T-SQL familiar com total compatibilidade com ferramentas de cliente padrão.

Usando o banco de dados SQL no Microsoft Fabric, você pode criar fluxos de trabalho de ponta a ponta, da ingestão à análise usando outros recursos no Microsoft Fabric:

  • Pipelines de dados
  • Fluxo de Dados Gen2
  • Notebooks
  • Inteligência em Tempo Real
  • Power BI
  • Tudo com DevOps simplificado usando CI/CD baseado em Git

Conteúdo relacionado

  • Last updated on