Partilhar via

Implementar arquitetura em medalhão no Real-Time Intelligence

Este artigo explica como implementar a arquitetura medallion usando o Real-Time Intelligence no Microsoft Fabric. A arquitetura medallion garante as propriedades de Atomicidade, Consistência, Isolamento e Durabilidade (ACID) à medida que os dados se movem por seus estágios. Começando com dados brutos, ele passa por uma série de validações e transformações para se tornar otimizado para análises eficientes. A arquitetura consiste em três estágios: camada Bronze (dados brutos), camada Prata (dados validados) e camada Ouro (dados enriquecidos).

Para obter mais informações, consulte O que é arquitetura de medalhão?.

Como funciona?

Real-Time Intelligence tem recursos que facilitam a criação da arquitetura medalhão em um banco de dados KQL que não requer infraestrutura adicional. As características incluem:

  • Atualizar políticas

    À medida que os dados entram na camada Bronze, você pode usar políticas de atualização para transformá-los e enriquecê-los, agregando valor comercial, como melhor qualidade de dados, consistência e relevância para análises downstream. As políticas de atualização facilitam o processamento de fluxos de dados contínuos simplificando conceitos de streaming, como processamento incremental, ponto de verificação e marcas d'água. Essa abstração permite que você crie aplicativos e pipelines de streaming sem a necessidade de ferramentas extras. A capacidade do Real-Time Intelligence de ingerir e transformar dados de transmissão ao vivo permite que engenheiros de dados e cientistas de dados lidem com dados em tempo real de várias fontes.

    Para mais informações, consulte a política de atualizações.

  • Visões materializadas

    As visualizações materializadas removem valores duplicados à medida que chegam, tornando os registros desduplicados imediatamente disponíveis para consulta. Eles computam visualizações agregadas em tempo real, garantindo aprimoramento de desempenho, atualização de dados e redução de custos. Isso elimina a necessidade de ferramentas extras para executar a agregação de dados. Ao expor uma consulta de agregação sobre uma tabela de origem ou outra exibição materializada, eles sempre fornecem resultados de up-todata. Consultar uma exibição materializada é mais eficiente do que executar a agregação diretamente sobre a tabela de origem, levando a melhorias de desempenho. Além disso, as visualizações materializadas consomem menos recursos, o que pode levar a economias de custos.

    Para obter mais informações, consulte Visões materializadas.

Implementar a arquitetura medallion

Real-Time Intelligence permite que o utilizador construa uma arquitetura em medalhão ao processar dados à medida que estes chegam. Isso permite que você crie suas camadas de Bronze, Prata e Ouro, mantendo o aspeto em tempo real de seus dados.

Diagrama mostrando a arquitetura do medalhão no Real-Time Intelligence.

  • Camada de bronze

    A camada Bronze serve como a zona de pouso inicial para todos os dados brutos recebidos. No Real-Time Intelligence, a camada Bronze pode ingerir dados usando o Eventstream ou uma tabela no Eventhouse, fornecendo uma base para enriquecimento e análise subsequentes nas camadas Silver e Gold.

    Dica

    Você pode querer manter esses dados para captar alterações e para permitir a reprodução dos dados. Se sua camada Bronze usa o Eventstream, você pode enviar os dados para o OneLake antes que quaisquer transformações ou aprimoramentos sejam executados pelo processamento do evento. Se sua camada Bronze usa uma tabela, você pode espelhar os dados para o OneLake.

  • Camada de prata

    A camada Silver contém dados que são transformados e enriquecidos para agregar valor comercial, incluindo a desduplicação de registros. Essa camada processa dados da camada Bronze usando métodos como processamento de eventos e políticas de atualização, da seguinte maneira:

    • Processamento de eventos: Os dados no Eventstream são enriquecidos usando o processamento de eventos para adicionar o valor empresarial e, em seguida, inserir os resultados numa tabela da camada Silver no Eventhouse.
    • Política de atualização: Os dados em uma tabela na camada Bronze são processados imediatamente usando uma política de atualização . Os resultados são inseridos numa tabela de camada Silver na Eventhouse. A deduplicação ocorre usando uma visão materializada, garantindo que os dados permaneçam up-toatualizados e mantendo o aspeto em tempo real da solução.

    Dica

    Normalmente, nessa camada, você terá duas tabelas: uma para transformações e aprimoramentos e uma exibição materializada para desduplicação. Para a primeira tabela, podes definir a política de retenção de para zero dias, o que significa que os dados nunca aparecem na tabela, mas ainda são desduplicados pela vista materializada. A visualização materializada desduplicada é usada para análises de alta granularidade. Ao definir a política de retenção por quanto tempo você deseja manter os dados e a política de cache com base em seus padrões de consulta, você pode otimizar seus custos. Muitas vezes, a camada de prata não é necessária por tanto tempo quanto a camada de ouro.

  • Camada de ouro

    A camada Gold contém dados otimizados para as necessidades de visualização, mantendo o aspeto em tempo real dos dados. Esta camada agrega e calcula os dados à medida que chegam usando uma visualização materializada , permitindo um acesso rápido ao valor mais recente recebido com base no seu conjunto de dados. A camada Gold garante que os dados estejam prontos para ferramentas avançadas de análise e visualização, fornecendo informações up-toatualizadas e de alta qualidade para a tomada de decisões.

    Esta camada é otimizada para visualização usando visualizações agregadas e materializadas de valor mais recente. Na maioria dos cenários, esses dados reduzidos são retidos e consultados por um período de tempo mais longo do que a camada Silver. Ao utilizar a política de retenção para determinar por quanto tempo os dados devem ser mantidos e a política de cache com base em seus padrões de consulta, esse processo é tratado nativamente.

Visualize e aja

Os recursos de desempenho do Real-Time Intelligence permitem visualizar os dados usando componentes como Power BI, Real-Time Dashboards ou conjuntos de consultas KQL. Você pode extrair dados da camada Gold para visualizações agregadas e da camada Silver para desbloquear análises de alta granularidade. Além disso, você pode agir sobre os dados em qualquer camada usando Activator, que desbloqueia a capacidade de agir sobre os dados à medida que chegam no Eventstream, dados altamente granulares na camada Silver e dados agregados da camada Gold.

Principais benefícios

A arquitetura medalhão na Real-Time Intelligence oferece vários benefícios, incluindo:

  • Construído propositadamente para processamento de dados em tempo real

    O Real-Time Intelligence no Microsoft Fabric foi criado para lidar com dados que fluem continuamente, juntamente com dados de alta granularidade. Todo o fluxo das camadas de Bronze para as de Ouro está incorporado no produto. Sem agendamento, é capaz de processar os dados de Bronze para Prata e Ouro imediatamente assim que chegam. Isto é possível graças a:

  • Flexibilidade

    Em uma arquitetura de medalhão típica, os dados são consumidos apenas da Camada de Ouro, perdendo os registros individuais e impedindo análises com alta granularidade. Com o Eventhouse, você pode consumir dados das camadas Gold e Silver, desbloqueando análises de alta granularidade. O Eventhouse foi criado para lidar com consultas em bilhões de registros em segundos.

  • Gestão de dados integrada

    Os dados em cada camada têm requisitos diferentes para retenção e consulta. Este processo é facilmente implementado através de capacidades integradas.

  • Camada de visualização nativa

    Com uma única ação, pode fixar qualquer consulta da camada Gold ou Silver num relatório novo ou existente do Power BI ou num painel de controlo Real-Time.

  • OneLake Disponibilidade

    Pegue seus dados da Camada de Prata e exponha-os como Delta Parquet no OneLake por meio de disponibilidade do OneLake. Diferentes partes interessadas na organização usam ferramentas diferentes, por exemplo, o Cientista de Dados usa dados históricos para treinamento de modelos de aprendizado de máquina. Ao disponibilizar os dados no OneLake, cada parte interessada pode interagir facilmente com os dados sem custos adicionais de armazenamento.

Conteúdo relacionado