Informações sobre Clusters do Azure Data Explorer

O Azure Data Explorer Clusters Insights fornece uma monitorização abrangente dos clusters ao fornecer uma vista unificada do desempenho, operações, utilização e falhas do cluster.

Oferece:

• Perspetiva à escala. Uma vista de instantâneo das métricas primárias dos clusters ajuda-o a controlar o desempenho das consultas, ingestão e operações de exportação.
• Análise de desagregação. Pode desagregar um cluster do Azure Data Explorer específico para realizar análises detalhadas.
• Personalização. Pode alterar as métricas que pretende ver, modificar ou definir limiares alinhados com os seus limites e guardar os seus próprios livros personalizados. Os gráficos num livro podem ser afixados nos dashboards do Azure.

Este artigo irá ajudá-lo a compreender como integrar e utilizar o Azure Data Explorer Clusters Insights.

Ver a partir do Azure Monitor (perspetiva em escala)

No Azure Monitor, pode ver as principais métricas de desempenho do cluster. Estas métricas incluem informações sobre consultas, ingestão e operações de exportação de vários clusters na sua subscrição. Podem ajudá-lo a identificar problemas de desempenho.

Para ver o desempenho dos clusters em todas as suas subscrições:

1. Inicie sessão no portal do Azure.

2. Selecione Monitorizar no painel esquerdo. Na secção Hub de Informações, selecione Clusters do Azure Data Explorer.

Separador Descrição geral da subscrição

No separador Descrição Geral da subscrição selecionada, a tabela apresenta métricas interativas para os clusters do Azure Data Explorer agrupados na subscrição. Pode filtrar resultados com base nas opções que selecionar nas seguintes listas pendentes:

• Subscrições: apenas as subscrições que têm clusters do Azure Data Explorer estão listadas.

• Clusters do Azure Data Explorer: por predefinição, estão pré-selecionados até cinco clusters. Se selecionar todos ou vários clusters no seletor de âmbito, serão devolvidos até 200 clusters.

• Intervalo de Tempo: por predefinição, a tabela apresenta as últimas 24 horas de informações com base nas seleções correspondentes efetuadas.

O mosaico do contador, na lista pendente, fornece o número total de clusters do Azure Data Explorer nas subscrições selecionadas e mostra quantos estão selecionados. Existem codificações de cores condicionais para as colunas: Manter vivo, CPU, Utilização da Ingestão e Utilização da Cache. As células com código laranja têm valores que não são sustentáveis para o cluster.

Para compreender melhor o que cada uma das métricas representa, recomendamos que leia a documentação sobre as métricas do Azure Data Explorer.

Separador Desempenho da Consulta

O separador Desempenho da Consulta mostra a duração da consulta, o número total de consultas simultâneas e o número total de consultas limitadas.

Separador Desempenho da Ingestão

O separador Desempenho da Ingestão mostra a latência de ingestão, resultados de ingestão bem-sucedidos, resultados de ingestão falhados, volume de ingestão e eventos processados para hubs de eventos e hubs IoT.

Separador Desempenho da Ingestão de Transmissão em Fluxo

O separador Desempenho da Ingestão de Transmissão em Fluxo fornece informações sobre a taxa média de dados, a duração média e a taxa de pedidos.

Separador Exportar Desempenho

O separador Exportar Desempenho fornece informações sobre registos exportados, latência, contagem pendente e percentagem de utilização para operações de exportação contínua.

Ver a partir de um recurso do Cluster de Data Explorer do Azure (análise de desagregação)

Para aceder ao Azure Data Explorer Clusters Insights diretamente a partir de um cluster de Data Explorer do Azure:

1. No portal do Azure, selecione Clusters do Azure Data Explorer.

2. Na lista, selecione um cluster do Azure Data Explorer. Na secção de monitorização, selecione Informações.

Também pode aceder a estas vistas ao selecionar o nome do recurso de um cluster do Azure Data Explorer a partir da vista informações do Azure Monitor.

Nota

O Azure Data Explorer Clusters Insights combina registos e métricas para fornecer uma solução de monitorização global. A inclusão de visualizações baseadas em registos requer que os utilizadores ativem o registo de diagnósticos do cluster do Azure Data Explorer e as enviem para uma área de trabalho do Log Analytics. Os registos de diagnóstico que devem ser ativados são Comando, Consulta, Com Êxito, FailedIngestion, IngestionBatching, TableDetails e TableUsageStatistics. (A ativação de registos com Êxito pode ser dispendiosa. Ative-as apenas se precisar de monitorizar ingestões bem-sucedidas.)

Separador Descrição geral

O separador Descrição Geral mostra:

• Mosaicos de métricas que realçam a disponibilidade e o estado geral do cluster para uma avaliação rápida do estado de funcionamento.

• Um resumo das recomendações ativas do Assistente do Azure e do estado de funcionamento dos recursos .

• Gráficos que mostram os principais consumidores de CPU e memória e o número de utilizadores exclusivos ao longo do tempo.

Separador Métricas principais

O separador Métricas Principais mostra uma vista unificada de algumas das métricas do cluster. Estão agrupadas em métricas gerais, métricas relacionadas com consultas, métricas relacionadas com ingestão e métricas relacionadas com ingestão de transmissão em fluxo.

Separador Utilização

O separador Utilização permite aos utilizadores aprofundar o desempenho dos comandos e consultas do cluster. Neste separador, pode:

• Veja que grupos de cargas de trabalho, utilizadores e aplicações estão a enviar mais consultas ou a consumir mais CPU e memória. Em seguida, pode compreender que cargas de trabalho estão a submeter as consultas mais pesadas para o cluster processar.
• Identifique os principais grupos de cargas de trabalho, utilizadores e aplicações por consultas falhadas.
• Identifique as alterações recentes no número de consultas, em comparação com a média diária histórica (nos últimos 16 dias), por grupo de cargas de trabalho, utilizador e aplicação.
• Identifique tendências e picos no número de consultas, memória e consumo de CPU por grupo de cargas de trabalho, utilizador, aplicação e tipo de comando.

O separador Utilização inclui ações que são executadas diretamente pelos utilizadores. As operações internas do cluster não estão incluídas neste separador.

Separador Tabelas

O separador Tabelas mostra as propriedades mais recentes e históricas das tabelas no cluster. Pode ver que tabelas estão a consumir mais espaço. Também pode controlar o histórico de crescimento por tamanho da tabela, dados frequentes e o número de linhas ao longo do tempo.

Separador Cache

O separador Cache permite que os utilizadores analisem os padrões de janela de pesquisa das consultas reais e os comparem com a política de cache configurada (para cada tabela). Pode identificar as tabelas utilizadas pela maioria das consultas e tabelas que não são consultadas e adaptar a política de cache em conformidade.

Poderá obter recomendações de políticas de cache em tabelas específicas no Assistente do Azure. Atualmente, as recomendações de cache só estão disponíveis no dashboard principal do Assistente do Azure. Baseiam-se na janela de pesquisa das consultas reais nos últimos 30 dias e numa política de cache não otimizada para pelo menos 95% das consultas.

As recomendações de redução da cache no Assistente do Azure estão disponíveis para clusters que estão "vinculados por dados". Isto significa que o cluster tem pouca CPU e baixa utilização de ingestão, mas devido à elevada capacidade de dados, o cluster não consegue dimensionar ou reduzir verticalmente.

Separador Limites do Cluster

O separador Limites do Cluster apresenta os limites do cluster com base na sua utilização. Neste separador, pode inspecionar a utilização da CPU, ingestão e cache. Estas métricas são classificadas como Baixa, Média ou Alta. Estas métricas e pontuações são importantes quando está a decidir sobre o SKU ideal e a contagem de instâncias para o cluster. São tidos em conta nas recomendações de SKU/tamanho do Assistente do Azure.

Neste separador, pode selecionar um mosaico de métricas e aprofundar a compreensão da tendência e a forma como a classificação é decidida. Também pode ver a recomendação de SKU/tamanho do Assistente do Azure para o cluster. Por exemplo, na imagem seguinte, pode ver que todas as métricas são classificadas como Baixa. O cluster recebe uma recomendação de custos que lhe permitirá aumentar/reduzir verticalmente e poupar custos.

Separador Ingestão (separador pré-visualização)

O separador Ingestão permite-lhe monitorizar o estado das operações de ingestão em fila para o cluster.

No processo de ingestão em fila , a ingestão de dados é otimizada para débito elevado. Isto é feito ao agrupar pequenos segmentos de dados recebidos em lotes com base numa política de criação de batches de ingestão configurável.

O separador Ingestão fornece-lhe informações detalhadas sobre o seguinte:

• O resultado da ingestão em fila, por granularidade da base de dados ou da tabela.
• Detalhes do erro de ingestão por tabela.
• A quantidade de dados ingeridos.
• A latência da ingestão em fila e onde ocorre.
• O próprio processo de criação de batches, incluindo informações de monitorização sobre a política de criação de batches de ingestão e como os lotes foram selados.
• Para os Hubs de Eventos, o Event Grid e as ingestões de Hub IoT: o número de eventos recebidos no cluster e o número de eventos enviados para a ingestão real.

Afixar a um dashboard do Azure

Pode afixar qualquer uma das secções de métricas (da perspetiva "à escala") num dashboard do Azure ao selecionar o ícone pushpin no canto superior direito da secção.

Personalizar o Azure Data Explorer Clusters Insights

Pode editar o livro para o personalizar para suportar as suas necessidades de análise de dados:

• Defina o âmbito do livro para selecionar sempre uma subscrição específica ou clusters de Data Explorer do Azure.
• Alterar métricas na grelha.
• Alterar limiares ou composição/codificação de cores.

Pode começar as personalizações ao selecionar o botão Personalizar na barra de ferramentas superior.

As personalizações são guardadas num livro personalizado para impedir a substituição da configuração predefinida num livro publicado. Os livros são guardados num grupo de recursos, na secção Os Meus Relatórios que é privado para si ou na secção Relatórios Partilhados que é acessível a todas as pessoas com acesso ao grupo de recursos. Depois de guardar o livro personalizado, aceda à galeria de livros para o abrir.

Resolução de problemas

Para obter orientações gerais de resolução de problemas, veja Resolução de problemas de informações baseadas em livros.

As secções seguintes irão ajudá-lo a diagnosticar e a resolver alguns dos problemas comuns que poderá encontrar ao utilizar o Azure Data Explorer Clusters Insights.

Por que motivo não vejo todas as minhas subscrições no seletor de subscrições?

mostra apenas as subscrições que contêm clusters do Azure Data Explorer escolhidos a partir do filtro de subscrição selecionado. Selecione um filtro de subscrição em Diretório + subscrição no portal do Azure.

Por que motivo não vejo dados para o meu cluster do Azure Data Explorer na secção Utilização, Tabelas ou Cache?

Para ver os dados baseados em registos, tem de ativar os registos de diagnóstico para cada cluster do Azure Data Explorer que pretende monitorizar. Pode fazê-lo nas definições de diagnóstico de cada cluster. Terá de enviar os seus dados para uma área de trabalho do Log Analytics. Os registos de diagnóstico que devem ser ativados são Comando, Consulta, TableDetails e TableUsageStatistics.

Já ativei os registos para o meu cluster do Azure Data Explorer. Por que motivo ainda não consigo ver os meus dados em Comandos e Consultas?

Atualmente, os registos de diagnóstico não funcionam retroativamente. Os dados começarão a aparecer depois de terem sido tomadas ações no Azure Data Explorer. Pode demorar algum tempo, desde horas a um dia, dependendo do quão ativo é o cluster do Azure Data Explorer.

Nota

Na portal do Azure, os dados de métricas não processados das páginas Métricas e Informações são armazenados no Azure Monitor. As consultas nestas páginas consultam diretamente os dados das métricas não processadas para fornecer os resultados mais precisos. Ao utilizar a funcionalidade de definições de diagnóstico, pode migrar os dados de métricas não processados para a área de trabalho do Log Analytics. Durante a migração, poderá perder-se alguma precisão de dados devido ao arredondamento; por conseguinte, os resultados da consulta podem variar ligeiramente em relação aos dados originais. A margem de erro é inferior a 1%.

Conteúdo relacionado

• Criar relatórios interativos com livros do Azure Monitor.