Ideias de soluções
Esse artigo é uma ideia de solução. Caso deseje que ampliemos o conteúdo com mais informações, como possíveis casos de uso, serviços alternativos, considerações sobre implementação ou diretrizes de preços, fale conosco enviando seus comentários no GitHub.
Essa ideia de solução demonstra a ingestão de baixa latência e alta taxa de transferência de grandes volumes de logs de CDN (Rede de Entrega de Conteúdo). Você pode usar esses dados para criar painéis de análise quase em tempo real.
Arquitetura
Baixe um Arquivo Visio dessa arquitetura.
Fluxo de dados
- Os provedores de Rede de Entrega de Conteúdo, como Verizon e Fastly, ingerem grandes quantidades de logs de CDN no Azure Data Explorer para analisar latências, integridade e desempenho de ativos de CDN.
- A maioria dos cenários de CDN ingere dados por meio do Azure Storage (Blob ou ADLS Gen2), que usa a Grade de Eventos do Azure e dispara o pipeline de ingestão para o Azure Data Explorer. Como alternativa, você pode ingerir os dados em massa usando a ferramenta LightIngest. Você também pode exportar dados continuamente para o Armazenamento do Azure em formato parquet compactado e particionado e consultar perfeitamente esses dados, conforme detalhado na Visão geral da exportação de dados contínua.
- O Azure Data Explorer fornece operadores e funções nativos fáceis de usar para processar, agregar e analisar séries temporais e dados de log, além de fornecer insights na velocidade da luz. Você pode criar painéis de análise quase em tempo real usando painéis do Azure Data Explorer, Power BI ou Grafana.
- Crie e agende alertas e notificações usando o conector do Azure Data Explorer para Aplicativos Lógicos do Azure.
Componentes
- Conector do Azure Data Explorer do Azure Storage: ingestão contínua do Azure Storage (armazenamento de Blobs e ADLSv2) com a assinatura da Grade de Eventos do Azure para transmitir essas notificações para o Azure Data Explorer.
- O Azure Data Explorer: serviço de análise de dados rápido, totalmente gerenciado e altamente escalonável para análise em tempo real de grandes volumes de streaming de dados de aplicativos, sites, dispositivos IoT e muito mais.
- Painéis do Azure Data Explorer: exporte nativamente consultas Kusto que foram exploradas na interface do usuário da Web para painéis otimizados.
- Conector do Azure Data Explorer do Aplicativos Lógicos do Azure: execute consultas e comandos do Kusto automaticamente como parte de uma tarefa agendada ou acionada.
Detalhes do cenário
Você pode usar essa solução para ingerir grandes volumes de logs de CDN com a finalidade de criar painéis de análise quase em tempo real.
Possíveis casos de uso
- Log Analytics
- Análise de série temporal
- IoT
- Análise exploratória de uso geral
Colaboradores
Esse artigo é mantido pela Microsoft. Ele foi originalmente escrito pelos colaboradores a seguir.
Autor principal:
- Ornat Spodek | Gerente de Conteúdo Sênior
Próximas etapas
Para obter mais informações, confira documentação do Azure Data Explorer.