Ideias de soluções
Esse artigo é uma ideia de solução. Caso deseje que ampliemos o conteúdo com mais informações, como possíveis casos de uso, serviços alternativos, considerações sobre implementação ou diretrizes de preços, fale conosco enviando seus comentários no GitHub.
Esta ideia de solução descreve como o Azure Data Explorer fornece análises quase em tempo real para dados de streaming de fluxo rápido e alto volume de dispositivos e sensores da Internet das Coisas (IoT). Esse fluxo de trabalho de análise faz parte de uma solução geral de IoT que integra cargas de trabalho operacionais e analíticas com o Azure Cosmos DB e o Azure Data Explorer.
Jupyter é uma marca registrada da sua respectiva empresa. Nenhum endosso é implícito pelo uso dessa marca. Apache® e Apache Kafka® são marcas registradas ou marcas comerciais da Apache Software Foundation nos Estados Unidos e/ou em outros países. O uso desta marca não implica aprovação por parte da Apache Software Foundation.
Arquitetura
Baixe um Arquivo Visio dessa arquitetura.
Fluxo de dados
Os Hubs de Eventos do Azure, o Hub IoT do Azure ou o Kafka ingerem uma ampla variedade de dados de fluxo rápido, como logs, eventos de negócios e atividades do usuário.
O Azure Functions ou o Azure Stream Analytics processam os dados quase em tempo real.
O Azure Cosmos DB armazena mensagens transmitidas no formato JSON para servir um aplicativo operacional em tempo real.
O Azure Data Explorer ingere dados para análise, usando seus conectores para Hubs de Eventos do Azure, Hub IoT do Azure ou Kafka para baixa latência e alta taxa de transferência.
Como alternativa, você pode ingerir blobs de sua conta do Azure Blob Storage ou Azure Data Lake Storage no Azure Data Explorer usando uma conexão de dados da Grade de Eventos.
Você também pode exportar dados continuamente para o Azure Storage no formato Apache Parquet compactado e particionado e consultar perfeitamente os dados com o Azure Data Explorer. Para obter detalhes, consulte Visão geral da exportação contínua de dados.
Para atender aos casos de uso operacionais e analíticos, os dados podem rotear para o Azure Data Explorer e o Azure Cosmos DB em paralelo ou do Azure Cosmos DB para o Azure Data Explorer.
As transações do Azure Cosmos DB podem acionar o Azure Functions por meio do feed de alterações. As funções transmitirão dados para Hubs de Eventos para ingestão no Azure Data Explorer.
or
O Azure Functions pode invocar os Gêmeos Digitais do Azure por meio de sua API, que transmite dados para Hubs de Eventos para ingestão no Azure Data Explorer.
As interfaces a seguir obtêm insights de dados armazenados no Azure Data Explorer:
- Aplicativos de análise personalizados que combinam dados de Gêmeos Digitais do Azure e APIs do Azure Data Explorer
- Painéis de análise quase em tempo real que usam painéis do Azure Data Explorer, Power BI, ou Grafana
- Alertas e notificações do conector do Azure Data Explorer para Aplicativos Lógicos do Azure
- A interface do usuário da Web do Azure Data Explorer, o Kusto.Explorer e os blocos de anotações Jupyter
O Azure Data Explorer integra-se com o Azure Databricks e o Azure Machine Learning para fornecer serviços de machine learning (ML). Você também pode criar modelos de ML usando outras ferramentas e serviços e exportá-los para o Azure Data Explorer para pontuação de dados.
Componentes
Esta ideia de solução usa os seguintes serviços do Azure:
Azure Data Explorer
O Azure Data Explorer é uma plataforma de análise de dados rápida, totalmente gerenciada e altamente escalonável. O Azure Data Explorer pode analisar grandes volumes de dados de streaming de aplicativos, sites e dispositivos IoT quase em tempo real para servir aplicativos e painéis de análise.
O Azure Data Explorer fornece análises avançadas nativas para:
- Análise de série temporal.
- Reconhecimento de padrões.
- Detecção de anomalias e previsão.
- Machine learning (ML).
A interface do usuário da Web do Azure Data Explorer se conecta a clusters do Azure Data Explorer para ajudar a escrever, executar e compartilhar comandos e consultas da Kusto Query Language. Os Painéis do Azure Data Explorer são um recurso na interface do usuário da Web do Data Explorer que exporta nativamente consultas Kusto para painéis otimizados.
Outros componentes do Azure
- Azure Cosmos DB: serviço de banco de dados NoSQL rápido e totalmente gerenciado para desenvolvimento de aplicativos modernos com APIs abertas para qualquer escala.
- Os Gêmeos Digitais do Azure armazenam modelos digitais de ambientes físicos para ajudar a criar soluções de IoT de próxima geração que modelam o mundo real.
- Os Hubs de Eventos do Azure são um serviço de ingestão de dados em tempo real totalmente gerenciado.
- Hub IoT do Azure: habilita a comunicação bidirecional entre dispositivos IoT e a nuvem do Azure.
- O Azure Synapse Link para Azure Cosmos DB executa análises quase em tempo real em dados operacionais do Azure Cosmos DB, sem qualquer impacto de desempenho ou custo nas cargas de trabalho transacionais. O Synapse Link usa os motores de análise SQL Serverless e Spark Pools do espaço de trabalho Azure Synapse.
- O Kafka no HDInsight é um serviço fácil, econômico e de nível empresarial para análise de código aberto com o Apache Kafka.
Detalhes do cenário
Esta solução usa o Azure Data Explorer para obter análise de telemetria de IoT quase em tempo real em dados de streaming de alto volume de fluxo rápido de uma ampla variedade de dispositivos IoT.
Possíveis casos de uso
- Gestão de frota, para manutenção preditiva de peças de veículos. Essa solução é ideal para os setores automotivo e de transporte.
- Gestão de instalações, para otimização energética e ambiental.
- Combinando condições de estrada em tempo real com dados meteorológicos para uma condução autônoma mais segura.
Colaboradores
Esse artigo é mantido pela Microsoft. Ele foi originalmente escrito pelos colaboradores a seguir.
Autor principal:
- Ornat Spodek | Gerente de Conteúdo Sênior