Ideias de solução
Este artigo é uma ideia de solução. Se quiser que expandamos o conteúdo com mais informações, como potenciais casos de utilização, serviços alternativos, considerações de implementação ou orientações de preços, informe-nos ao fornecer feedback do GitHub.
Esta ideia de solução demonstra como utilizar a análise interativa no Azure Data Explorer. Descreve como pode examinar dados estruturados, semiestruturados e não estruturados com consultas improvisadas, interativas e rápidas.
A Jupyter é uma marca registada da respetiva empresa. Nenhuma recomendação está implícita na utilização desta marca. O Apache® e o Apache Kafka® são marcas registadas ou marcas registadas da Apache Software Foundation no Estados Unidos e/ou noutros países/ Nenhuma recomendação da Apache Software Foundation está implícita na utilização destas marcas.
Arquitetura
Transfira um ficheiro do Visio desta arquitetura.
Fluxo de dados
- Os dados não estruturados, semiestruturados e não estruturados (texto livre), tais como qualquer tipo de registos, eventos empresariais e atividades de utilizador, podem ser ingeridos no Azure Data Explorer de várias origens. Ingerir os dados no modo de transmissão em fluxo ou em lote com vários métodos.
- Ingerir dados no Azure Data Explorer com baixa latência e débito elevado com os conectores para Azure Data Factory, Hubs de Eventos do Azure, Hub IoT do Azure, Kafka, etc. Em vez disso, ingira dados através do Armazenamento do Azure (Blob ou ADLS Gen2), que utiliza Azure Event Grid e aciona o pipeline de ingestão para o Azure Data Explorer. Também pode exportar continuamente dados para o Armazenamento do Azure em formato parquet comprimido e particionado e consultar esses dados de forma totalmente integrada, conforme detalhado na descrição geral da exportação contínua de dados.
- Execute consultas interativas em volumes de dados pequenos a extremamente grandes com ferramentas nativas do Azure Data Explorer ou ferramentas alternativas à sua escolha. O Azure Data Explorer fornece muitos plug-ins e integrações com o resto do ecossistema da plataforma de dados. Utilize qualquer uma das seguintes ferramentas e integrações:
- Para análises interativas, utilize a IU da Web do Azure Data Explorer, o cliente Web do Azure Data Explorer ou o Kusto.Explorer, cliente windows avançado para o Azure Data Explorer.
- Para ligar ao cluster do Azure Data Explorer, utilize blocos de notas do Jupyter, conector spark, qualquer cliente SQL compatível com TDS e ligações JDBC e ODBC.
- Para criar novas aplicações ou integrar com arquiteturas ou aplicações existentes, utilize as APIs REST e os SDKs do Azure Data Explorer disponíveis em diferentes idiomas.
- Crie dashboards de análise quase em tempo real com o Azure Data Explorer dashboards, o Power BI ou o Grafana.
- Melhore os dados que executam consultas federadas ao combinar dados da base de dados SQL e do Azure Cosmos DB com plug-ins do Azure Data Explorer.
Componentes
- Hubs de Eventos do Azure: serviço de ingestão de dados totalmente gerido e em tempo real simples, fidedigno e dimensionável.
- Hub IoT do Azure: serviço gerido para permitir a comunicação bidirecional entre dispositivos IoT e o Azure.
- Kafka no HDInsight: serviço fácil, económico e de nível empresarial para análise open source com o Apache Kafka.
- Azure Data Factory: serviço de integração de dados híbrido que simplifica o ETL em escala.
- Azure Data Explorer: serviço de análise de dados rápido, totalmente gerido e altamente dimensionável para análise em tempo real em grandes volumes de transmissão de dados a partir de aplicações, sites, dispositivos IoT e muito mais.
- Dashboards do Azure Data Explorer: exporte nativamente consultas Kusto que foram exploradas na IU da Web para dashboards otimizados.
- Azure Cosmos DB: serviço de base de dados NoSQL totalmente gerido e rápido para desenvolvimento de aplicações modernas com APIs abertas para qualquer escala.
- SQL do Azure DB: crie aplicações que se dimensionem com o ritmo da sua empresa com SQL gerido e inteligente na cloud.
Detalhes do cenário
Esta ideia de solução demonstra como utilizar a análise interativa com o Azure Data Explorer explorar dados com consultas improvisadas, interativas e rápidas em volumes de dados pequenos a extremamente grandes. Esta exploração de dados pode ser feita com ferramentas nativas do Azure Data Explorer ou ferramentas alternativas à sua escolha. Esta solução centra-se na integração do Azure Data Explorer com o resto do ecossistema da plataforma de dados.
Potenciais casos de utilização
Esta solução é utilizada pelos clientes da Microsoft para monitorizar a atividade do utilizador, gerir perfis de utilizador e cenários de segmentação de utilizadores.
Contribuidores
Este artigo é mantido pela Microsoft. Foi originalmente escrito pelos seguintes contribuidores.
Autor principal:
- Ornat Spodek | Gestor de Conteúdos Sénior
Passos seguintes
Para obter mais informações, veja Documentação do Azure Data Explorer.