Ideias de soluções
Esse artigo é uma ideia de solução. Caso deseje que ampliemos o conteúdo com mais informações, como possíveis casos de uso, serviços alternativos, considerações sobre implementação ou diretrizes de preços, fale conosco enviando seus comentários no GitHub.
Esta ideia de solução demonstra como usar a análise interativa no Azure Data Explorer. Ele descreve como você pode examinar dados estruturados, semiestruturados e não estruturados com consultas rápidas, interativas e improvisadas.
Jupyter é uma marca registrada da sua respectiva empresa. Nenhum endosso é implícito pelo uso dessa marca. Apache® e Apache Kafka® são marcas registradas ou marcas comerciais da Apache Software Foundation nos Estados Unidos e/ou em outros países. O uso desta marca não implica aprovação por parte da Apache Software Foundation.
Arquitetura
Baixe um Arquivo Visio dessa arquitetura.
Fluxo de dados
- Dados brutos estruturados, semiestruturados e não estruturados (texto livre), como qualquer tipo de logs, eventos de negócios e atividades do usuário, podem ser ingeridos no Azure Data Explorer de várias fontes. Ingerir os dados no modo de streaming ou lote usando vários métodos.
- Ingerir dados no Azure Data Explorer com baixa latência e alta taxa de transferência usando seus conectores para o Azure Data Factory, o Hubs de Eventos do Azure, o Hub IoT do Azure, o Kafka e assim por diante. Em vez disso, ingira dados através do Azure Storage (Blob ou ADLS Gen2), que utiliza a Grade de Eventos do Azure e aciona o pipeline de ingestão para o Azure Data Explorer. Você também pode exportar dados continuamente para o Armazenamento do Azure em formato parquet compactado e particionado e consultar perfeitamente esses dados, conforme detalhado na Visão geral da exportação de dados contínua.
- Execute consultas interativas em volumes de dados pequenos a extremamente grandes usando ferramentas nativas do Azure Data Explorer ou ferramentas alternativas de sua escolha. O Azure Data Explorer fornece muitos plug-ins e integrações com o restante do ecossistema da plataforma de dados. Use qualquer uma das seguintes ferramentas e integrações:
- Para análises interativas, use a Interface do usuário da Web do Azure Data Explorer, cliente Web para o Azure Data Explorer ou Kusto.Explorer, cliente Windows avançado para o Azure Data Explorer.
- Para se conectar ao cluster do Azure Data Explorer, use blocos de anotações Jupyter, conector Spark, qualquer cliente SQL compatível com TDS e conexões JDBC e ODBC.
- Para criar novos aplicativos ou integrá-los a aplicativos ou estruturas existentes, use APIs REST e SDKs do Azure Data Explorer disponíveis em diferentes idiomas.
- Crie painéis de análise quase em tempo real usando painéis do Azure Data Explorer, Power BI ou Grafana.
- Enriqueça dados executando consultas federadas combinando dados do banco de dados SQL e do Azure Cosmos DB usando plug-ins do Azure Data Explorer.
Componentes
- Hubs de Eventos do Azure: um serviço de ingestão de dados em tempo real totalmente gerenciado, que é simples, confiável e escalonável.
- Hub IoT do Azure: serviço gerenciado para habilitar a comunicação bidirecional entre dispositivos IoT e o Azure.
- Kafka no HDInsight: serviço fácil, econômico e de nível empresarial para análise de código aberto com o Apache Kafka.
- Azure Data Factory: serviço de integração de dados híbrido que simplifica o ETL em escala.
- O Azure Data Explorer: serviço de análise de dados rápido, totalmente gerenciado e altamente escalonável para análise em tempo real de grandes volumes de streaming de dados de aplicativos, sites, dispositivos IoT e muito mais.
- Painéis do Azure Data Explorer: exporte nativamente consultas Kusto que foram exploradas na interface do usuário da Web para painéis otimizados.
- Azure Cosmos DB: serviço de banco de dados NoSQL rápido e totalmente gerenciado para desenvolvimento de aplicativos modernos com APIs abertas para qualquer escala.
- Banco de Dados SQL do Azure: crie aplicativos que se adaptam ao ritmo do seu negócio com SQL gerenciado e inteligente na nuvem
Detalhes do cenário
Esta ideia de solução demonstra como usar a análise interativa com o Azure Data Explorer para explorar dados com consultas improvisadas, interativas e rápidas em volumes de dados pequenos a extremamente grandes. Essa exploração de dados pode ser feita usando ferramentas do Azure Data Explorer nativas ou ferramentas alternativas de sua escolha. Essa solução se concentra na integração do Azure Data Explorer com o restante do ecossistema da plataforma de dados.
Possíveis casos de uso
Essa solução é usada pelos clientes da Microsoft para rastrear a atividade do usuário, gerenciar perfis de usuário e cenários de segmentação de usuário.
Colaboradores
Esse artigo é mantido pela Microsoft. Ele foi originalmente escrito pelos colaboradores a seguir.
Autor principal:
- Ornat Spodek | Gerente de Conteúdo Sênior
Próximas etapas
Para obter mais informações, confira documentação do Azure Data Explorer.