Ideias de soluções
Esse artigo é uma ideia de solução. Caso deseje que ampliemos o conteúdo com mais informações, como possíveis casos de uso, serviços alternativos, considerações sobre implementação ou diretrizes de preços, fale conosco enviando seus comentários no GitHub.
Essa ideia de solução demonstra a análise de Big Data em grandes volumes de dados de alta velocidade de várias fontes.
Apache® e Apache Kafka® são marcas registradas ou marcas comerciais da Apache Software Foundation nos Estados Unidos e/ou em outros países. O uso desta marca não implica aprovação por parte da Apache Software Foundation.
Arquitetura
Baixe um Arquivo Visio dessa arquitetura.
Fluxo de dados
- Dados brutos estruturados, semiestruturados e não estruturados (texto livre), como qualquer tipo de logs, eventos de negócios e atividades do usuário, podem ser ingeridos no Azure Data Explorer de várias fontes.
- Ingerir dados no Azure Data Explorer com baixa latência e alta taxa de transferência usando seus conectores para o Azure Data Factory, o Hubs de Eventos do Azure, o Hub IoT do Azure, o Kafka e assim por diante. Como alternativa, ingira dados por meio do Armazenamento do Azure (Blob ou ADLS Gen2), que usa a Grade de Eventos do Azure e dispara o pipeline de ingestão para o Azure Data Explorer. Você também pode exportar dados continuamente para o Armazenamento do Azure em formato parquet compactado e particionado e consultar perfeitamente esses dados, conforme detalhado na Visão geral da exportação de dados contínua.
- Exporte dados pré-agregados do Azure Data Explorer para o Armazenamento do Azure e, em seguida, ingira os dados no Synapse Analytics para criar modelos de dados e relatórios.
- Use os recursos nativos do Azure Data Explorer para processar, agregar e analisar dados. Para obter insights em uma velocidade relâmpago, crie painéis de análise quase em tempo real usando painéis do Azure Data Explorer, o Power BI, o Grafana ou outras ferramentas. Use o Azure Synapse Analytics para criar um data warehouse moderno e combiná-lo com os dados do Azure Data Explorer para gerar relatórios de BI em modelos de dados selecionados e agregados.
- O Azure Data Explorer fornece recursos de análise avançados nativos para análise de séries temporais, reconhecimento de padrões, detecção e previsão de anomalias e aprendizado de máquina. O Azure Data Explorer também é bem integrado a serviços de ML como o Databricks e o Azure Machine Learning. Essa integração permite que você crie modelos usando outras ferramentas e serviços e exporte modelos de ML para o Azure Data Explorer para dados de pontuação.
Componentes
- Hubs de Eventos do Azure: um serviço de ingestão de dados em tempo real totalmente gerenciado, que é simples, confiável e escalonável.
- Hub IoT do Azure: serviço gerenciado para habilitar a comunicação bidirecional entre dispositivos IoT e o Azure.
- Kafka no HDInsight: serviço fácil, econômico e de nível empresarial para análise de código aberto com o Apache Kafka.
- O Azure Data Explorer: serviço de análise de dados rápido, totalmente gerenciado e altamente escalonável para análise em tempo real de grandes volumes de streaming de dados de aplicativos, sites, dispositivos IoT e muito mais.
- Painéis do Azure Data Explorer: exporte nativamente consultas Kusto que foram exploradas na interface do usuário da Web para painéis otimizados.
- O Azure Synapse Analytics: serviço de análise que reúne data warehouse empresarial e análise de Big Data.
Detalhes do cenário
Possíveis casos de uso
Esta solução ilustra como o Azure Data Explorer e o Azure Synapse Analytics se complementam para análises quase em tempo real e casos de uso modernos de data warehouse.
Essa solução já está sendo usada por clientes da Microsoft. Por exemplo, a empresa de transporte por aplicativo com sede em Singapura, a Grab, implementou análises em tempo real sobre uma enorme quantidade de dados coletados de seus serviços de táxi e entrega de comida, bem como aplicativos de parceiros comerciais. A equipe da Grab apresentou sua solução no MS Ignite neste vídeo (20:30 em diante). Usando esse padrão, a Grab processou mais de um trilhão de eventos por dia.
Esta solução é otimizada para o setor de varejo.
Colaboradores
Esse artigo é mantido pela Microsoft. Ele foi originalmente escrito pelos colaboradores a seguir.
Autor principal:
- Ornat Spodek | Gerente de Conteúdo Sênior
Para ver perfis não públicos do LinkedIn, entre no LinkedIn.
Próximas etapas
- Documentação do Azure Data Explorer
- Treinamento: Introdução ao Azure Data Explorer
- Azure Synapse Analytics
- Hubs de eventos do Azure