Ideias de soluções
Este artigo é uma ideia de solução. Se você quiser que expandamos o conteúdo com mais informações, como possíveis casos de uso, serviços alternativos, considerações de implementação ou orientação de preços, informe-nos fornecendo feedback do GitHub.
Esta ideia de solução descreve como o Azure Data Explorer fornece análises quase em tempo real para dados de streaming de fluxo rápido e alto volume de dispositivos e sensores de Internet das Coisas (IoT). Esse fluxo de trabalho de análise faz parte de uma solução geral de IoT que integra cargas de trabalho operacionais e analíticas com o Azure Cosmos DB e o Azure Data Explorer.
Jupyter é uma marca comercial de sua respetiva empresa. O uso desta marca não implica qualquer endosso. Apache® e Apache Kafka® são marcas registadas ou marcas comerciais da Apache Software Foundation nos Estados Unidos e/ou noutros países. Nenhum endosso da Apache Software Foundation está implícito no uso dessas marcas.
Arquitetura
Transfira um ficheiro do Visio desta arquitetura.
Fluxo de dados
Os Hubs de Eventos do Azure, o Hub IoT do Azure ou o Kafka ingerem uma ampla variedade de dados de streaming de fluxo rápido, como logs, eventos de negócios e atividades do usuário.
O Azure Functions ou o Azure Stream Analytics processam os dados quase em tempo real.
O Azure Cosmos DB armazena mensagens transmitidas no formato JSON para servir um aplicativo operacional em tempo real.
O Azure Data Explorer ingere dados para análise, usando seus conectores para Hubs de Eventos do Azure, Hub IoT do Azure ou Kafka para baixa latência e alta taxa de transferência.
Como alternativa, você pode ingerir blobs de sua conta do Armazenamento de Blobs do Azure ou do Armazenamento do Azure Data Lake no Azure Data Explorer usando uma conexão de dados da Grade de Eventos.
Também pode exportar continuamente dados para o Armazenamento do Azure no formato Apache Parquet comprimido e particionado e consultar diretamente os dados com o Azure Data Explorer. Para obter detalhes, consulte Visão geral da exportação contínua de dados.
Para atender aos casos de uso operacionais e analíticos, os dados podem ser roteados para o Azure Data Explorer e o Azure Cosmos DB em paralelo ou do Azure Cosmos DB para o Azure Data Explorer.
As transações do Azure Cosmos DB podem acionar o Azure Functions por meio do feed de alterações. As funções transmitirão dados para Hubs de Eventos para ingestão no Azure Data Explorer.
ou
O Azure Functions pode invocar os Gêmeos Digitais do Azure por meio de sua API, que transmite dados para Hubs de Eventos para ingestão no Azure Data Explorer.
As interfaces a seguir obtêm insights de dados armazenados no Azure Data Explorer:
- Aplicativos de análise personalizados que mesclam dados de Gêmeos Digitais do Azure e APIs do Azure Data Explorer
- Painéis de análise quase em tempo real que usam painéis do Azure Data Explorer, Power BI ou Grafana
- Alertas e notificações do conector do Azure Data Explorer para Aplicativos Lógicos do Azure
- Os blocos de anotações da Web do Azure Data Explorer, Kusto.Explorer e Jupyter
O Azure Data Explorer integra-se com o Azure Databricks e o Azure Machine Learning para fornecer serviços de aprendizagem automática (ML). Você também pode criar modelos de ML usando outras ferramentas e serviços e exportá-los para o Azure Data Explorer para pontuar dados.
Componentes
Esta ideia de solução utiliza os seguintes componentes do Azure:
Azure Data Explorer
O Azure Data Explorer é um serviço de análise de big data rápido, totalmente gerenciado e altamente escalável. O Azure Data Explorer pode analisar grandes volumes de dados de streaming de aplicativos, sites e dispositivos IoT quase em tempo real para servir aplicativos e painéis de análise.
O Azure Data Explorer fornece análises avançadas nativas para:
- Análise de séries temporais.
- Reconhecimento de padrões.
- Deteção e previsão de anomalias.
- Aprendizagem automática (ML).
A interface do usuário da Web do Azure Data Explorer se conecta aos clusters do Azure Data Explorer para ajudar a escrever, executar e compartilhar comandos e consultas da Kusto Query Language. Os Painéis do Azure Data Explorer são um recurso na interface do usuário da Web do Data Explorer que exporta nativamente consultas Kusto para painéis otimizados.
Outros componentes do Azure
- O Azure Cosmos DB é um serviço de banco de dados NoSQL rápido e totalmente gerenciado para desenvolvimento de aplicativos modernos com APIs abertas para qualquer escala.
- Os Gêmeos Digitais do Azure armazenam modelos digitais de ambientes físicos, para ajudar a criar soluções de IoT de próxima geração que modelam o mundo real.
- Os Hubs de Eventos do Azure são um serviço de ingestão de dados em tempo real totalmente gerenciado.
- O Hub IoT do Azure permite a comunicação bidirecional entre dispositivos IoT e a nuvem do Azure.
- O Azure Synapse Link for Azure Cosmos DB executa análises quase em tempo real sobre dados operacionais no Azure Cosmos DB, sem qualquer impacto de desempenho ou custo em cargas de trabalho transacionais. Synapse Link usa os mecanismos de análise SQL Serverless e Spark Pools do espaço de trabalho Azure Synapse.
- O Kafka no HDInsight é um serviço fácil, econômico e de nível empresarial para análises de código aberto com o Apache Kafka.
Detalhes do cenário
Esta solução usa o Azure Data Explorer para obter análises de telemetria de IoT quase em tempo real em dados de streaming de fluxo rápido e alto volume de uma ampla variedade de dispositivos IoT.
Potenciais casos de utilização
- Gestão de frotas, para manutenção preditiva de peças de veículos. Esta solução é ideal para a indústria automóvel e de transportes.
- Gestão de instalações, para otimização energética e ambiental.
- Combinando condições de estrada em tempo real com dados meteorológicos para uma condução autónoma mais segura.
Contribuidores
Este artigo é mantido pela Microsoft. Foi originalmente escrito pelos seguintes contribuidores.
Autor principal:
- Ornat Spodek - Brasil | Gestor de Conteúdos Sénior