Ideias de solução
Este artigo é uma ideia de solução. Se quiser que expandamos o conteúdo com mais informações, como potenciais casos de utilização, serviços alternativos, considerações de implementação ou orientação de preços, informe-nos ao fornecer feedback do GitHub.
Esta ideia de solução demonstra a ingestão de baixa latência e débito elevado de grandes volumes de registos da Rede de Entrega de Conteúdos (CDN). Pode utilizar estes dados para criar dashboards de análise quase em tempo real.
Arquitetura
Transfira um ficheiro do Visio desta arquitetura.
Fluxo de dados
- Os fornecedores de Rede de Entrega de Conteúdos, como a Verizon e a Fastly, ingerem enormes quantidades de registos da CDN no Azure Data Explorer para analisar latências, estado de funcionamento e desempenho dos recursos da CDN.
- A maioria dos cenários de CDN ingerem dados através do Armazenamento do Azure (Blob ou ADLS Gen2), que utiliza Azure Event Grid e aciona o pipeline de ingestão para o Azure Data Explorer. Em alternativa, pode ingerir os dados em massa com a ferramenta LightIngest. Também pode exportar continuamente dados para o Armazenamento do Azure em formato parquet comprimido e particionado e consultar esses dados de forma totalmente integrada, conforme detalhado na Descrição geral da exportação contínua de dados.
- O Azure Data Explorer fornece operadores e funções nativos fáceis de utilizar para processar, agregar e analisar dados de registo e série temporal, bem como fornecer informações à velocidade do relâmpago. Pode criar dashboards de análise quase em tempo real com o Azure Data Explorer dashboards, o Power BI ou o Grafana.
- Criar e agendar alertas e notificações com o conector Data Explorer do Azure para o Azure Logic Apps.
Componentes
- Conector do Azure Storage do Azure Data Explorer: ingestão contínua do Armazenamento do Azure (Armazenamento de blobs e ADLSv2) com Azure Event Grid subscrição para transmitir estas notificações para o Azure Data Explorer.
- Azure Data Explorer: serviço de análise de dados rápido, totalmente gerido e altamente dimensionável para análise em tempo real em grandes volumes de transmissão de dados de aplicações, sites, dispositivos IoT e muito mais.
- Dashboards do Azure Data Explorer: exporte nativamente consultas Kusto que foram exploradas na IU da Web para dashboards otimizados.
- Conector de Data Explorer do Azure Logic Apps: Execute consultas e comandos Kusto automaticamente como parte de uma tarefa agendada ou acionada.
Detalhes do cenário
Pode utilizar esta solução para ingerir grandes volumes de registos CDN com o objetivo de criar dashboards de análise quase em tempo real.
Potenciais casos de utilização
- Log Analytics
- Análise de série temporal
- IoT
- Análise exploratória para fins gerais
Contribuidores
Este artigo é mantido pela Microsoft. Foi originalmente escrito pelos seguintes contribuintes.
Autor principal:
- Ornat Spodek | Gestor de Conteúdos Sénior
Passos seguintes
Para obter mais informações, veja Documentação do Azure Data Explorer.