Editar

Compartilhar via


Análise em tempo real na arquitetura de Big Data

Azure Analysis Services
Hubs de eventos do Azure
Azure Synapse Analytics

Ideias de soluções

Este artigo descreve uma ideia de solução. Seu arquiteto de nuvem pode usar essa orientação para ajudar a visualizar os principais componentes para uma implementação típica dessa arquitetura. Use este artigo como ponto de partida para projetar uma solução bem arquitetada que se alinhe aos requisitos específicos de sua carga de trabalho.

Esta ideia de solução descreve como você pode obter insights de dados de transmissão ao vivo. Capture dados continuamente de qualquer dispositivo IoT ou logs de sequência de cliques do site e processe-os em tempo quase real.

Arquitetura

Diagrama de uma solução de análise em tempo real numa arquitetura de big data que utiliza o Azure Synapse Analytics com o Azure Data Lake Storage, o Hub de Eventos, o Azure Analysis Services, o Azure Cosmos DB e o Power BI.

Baixe um Arquivo Visio dessa arquitetura.

Fluxo de dados

  1. Ingerir facilmente dados de transmissão ao vivo para um aplicativo, usando os Hubs de Eventos do Azure.
  2. Reúna todos os seus dados estruturados por meio do Synapse Pipelines para Armazenamento de Blobs do Azure.
  3. Aproveite as vantagens de pools do Apache Spark para limpar, transformar e analisar dados de streaming e combiná-los com os dados estruturados de bancos de dados operacionais ou data warehouses.
  4. Use técnicas escalonáveis de aprendizado de máquina/aprendizado profundo para obter insights mais profundos desses dados, usando Python, Scala ou .NET, com experiências de notebook em pools do Apache Spark.
  5. Aplique o pool do Apache Spark e do Synapse Pipelines no Azure Synapse Analytics para acessar e mover dados em escala.
  6. Crie painéis analíticos e relatórios incorporados com no pool SQL dedicado para compartilhar insights na sua organização e use o Azure Analysis Services para oferecer esses dados a milhares de usuários.
  7. Leve os insights de pools do Apache Spark para o Azure Cosmos DB para torná-los acessíveis por meio de aplicativos em tempo real.

Componentes

  • O Azure Synapse Analytics é um data warehouse de nuvem rápido, flexível e confiável que permite dimensionar, computar e armazenar de forma elástica e independente, com uma arquitetura de processamento massivamente paralela.
  • A documentação do Synapse Pipelines permite criar, programar e orquestrar seus fluxos de trabalho de ETL/ELT.
  • O Azure Data Lake Storage: é um recurso de data lake seguro e amplamente escalonável criado no Armazenamento de Blobs do Azure.
  • Os Os pools do Spark do Azure Synapse Analytics são uma plataforma de análise rápida, fácil e colaborativa baseada no Apache Spark.
  • A Documentação de Hubs de Eventos do Azure é uma plataforma de streaming de Big Data e um serviço de ingestão de eventos.
  • O Azure Cosmos DB é um serviço de banco de dados multimodelo globalmente distribuído. Saiba como replicar dados em qualquer número de regiões do Azure e dimensionar a produtividade independentemente do armazenamento.
  • O Link do Azure Synapse para o Azure Cosmos DB permite executar análises quase em tempo real em dados operacionais no Azure Cosmos DB, sem nenhum impacto de desempenho ou custo em sua carga de trabalho transacional, usando os dois mecanismos de análise disponíveis no espaço de trabalho do Azure Synapse: SQL Sem servidor e Pools do Spark.
  • Azure Analysis Services é uma análise de nível empresarial como um serviço que permite controlar, implantar, testar e fornecer sua solução de BI com confiança.
  • O Power BI é um pacote de ferramentas de análise de negócios que fornece insights a toda a organização. Conecte-se a centenas de fontes de dados, simplifique a preparação de dados e conduza a análise não planejada. Produza belos relatórios e, em seguida, publique-os para que sua organização consuma na Web e em dispositivos móveis.

Alternativas

  • O Link do Synapse é a solução preferencial da Microsoft para análises sobre dados do Azure Cosmos DB.
  • O Hub IoT do Azure pode ser usado em vez de Hubs de Eventos do Azure. O Hub IoT é um serviço gerenciado hospedado na nuvem que atua como um hub central de mensagens para comunicação entre um aplicativo de IoT e os dispositivos anexados a ele. Você pode conectar milhões de dispositivos e suas soluções de back-end de maneira confiável e segura. Quase todos os dispositivos podem ser conectados a um hub IoT.

Detalhes do cenário

Este cenário ilustra como você pode obter insights de dados de transmissão ao vivo. Você pode capturar dados continuamente de qualquer dispositivo IoT, ou logs de sequência de cliques do site, e processá-los em tempo quase real.

Possíveis casos de uso

Esta solução é ideal para a indústria de mídia e entretenimento. O cenário se destina a criar análises a partir de dados de transmissão ao vivo.

Considerações

Estas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios de orientação que podem ser usados para aprimorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Microsoft Azure Well-Architected Framework.

Otimização de custo

A otimização de custos é a análise de maneiras de reduzir as despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, confira Visão geral do pilar de otimização de custo.

Você pode usar a calculadora de preços do Azure para obter uma estimativa de preços personalizada.

Próximas etapas