Referência de dados de monitoramento do Azure HDInsight
Este artigo contém todas as informações de referência de monitoramento para este serviço.
Consulte Monitorar o HDInsight para obter detalhes sobre os dados que você pode coletar para o Azure HDInsight e como usá-los.
Métricas
Esta seção lista todas as métricas de plataforma coletadas automaticamente para este serviço. Essas métricas também fazem parte da lista global de todas as métricas de plataforma com suporte no Azure Monitor.
Para obter informações sobre retenção de métricas, consulte Visão geral do Azure Monitor Metrics.
Métricas suportadas para Microsoft.HDInsight/clusters
A tabela a seguir lista as métricas disponíveis para o tipo de recurso Microsoft.HDInsight/clusters.
- Nem todas as colunas podem estar presentes em todas as tabelas.
- Algumas colunas podem estar além da área de visualização da página. Selecione Expandir tabela para visualizar todas as colunas disponíveis.
Cabeçalhos de tabela
- Categoria - O grupo ou classificação de métricas.
- Métrica - O nome para exibição da métrica conforme aparece no portal do Azure.
- Nome na API REST - O nome da métrica conforme referido na API REST.
- Unidade - Unidade de medida.
- Agregação - O tipo de agregação padrão. Valores válidos: Média (Média), Mínima (Mín), Máxima (Máx), Total (Soma), Contagem.
- Dimensões - Dimensões disponíveis para a métrica.
- Intervalos de grãos de - tempo em que a métrica é amostrada. Por exemplo,
PT1Mindica que a métrica é amostrada a cada minuto,PT30Ma cada 30 minutos,PT1Ha cada hora e assim por diante. - DS Export- Se a métrica é exportável para os Logs do Azure Monitor por meio de configurações de diagnóstico. Para obter informações sobre como exportar métricas, consulte Criar configurações de diagnóstico no Azure Monitor.
| Categoria | Métrica | Nome na API REST | Unit | Agregação | Dimensões | Grãos de tempo | DS Exportação |
|---|---|---|---|---|---|---|---|
| Disponibilidade | Solicitações de gateway categorizadas Número de solicitações de gateway por categorias (1xx/2xx/3xx/4xx/5xx) |
CategorizedGatewayRequests |
Count | Contagem, Total (Soma) | HttpStatus |
PT1M, PT1H, P1D | Sim |
| Disponibilidade | Solicitações de gateway Número de solicitações de gateway |
GatewayRequests |
Count | Contagem, Total (Soma) | HttpStatus |
PT1M, PT1H, P1D | Sim |
| Disponibilidade | Taxa de transferência de solicitação do consumidor de proxy REST Número de solicitações de consumidores ao proxy Kafka REST |
KafkaRestProxy.ConsumerRequest.m1_delta |
CountPerSecond | Total (soma) | Machine, Topic |
PT1M, PT1H, P1D | Sim |
| Disponibilidade | Solicitações de consumidor de proxy REST malsucedidas Exceções de solicitação do consumidor |
KafkaRestProxy.ConsumerRequestFail.m1_delta |
CountPerSecond | Total (soma) | Machine, Topic |
PT1M, PT1H, P1D | Sim |
| Disponibilidade | REST proxy Consumer RequestLatency Latência de mensagem em uma solicitação do consumidor por meio do proxy Kafka REST |
KafkaRestProxy.ConsumerRequestTime.p95 |
Milissegundos | Média | Machine, Topic |
PT1M, PT1H, P1D | Sim |
| Disponibilidade | Backlog de solicitação do consumidor de proxy REST Comprimento da fila de proxy REST do consumidor |
KafkaRestProxy.ConsumerRequestWaitingInQueueTime.p95 |
Milissegundos | Média | Machine, Topic |
PT1M, PT1H, P1D | Sim |
| Disponibilidade | Taxa de transferência do produtor de proxy REST MessageThroughput Número de mensagens do produtor através do proxy Kafka REST |
KafkaRestProxy.MessagesIn.m1_delta |
CountPerSecond | Total (soma) | Machine, Topic |
PT1M, PT1H, P1D | Sim |
| Disponibilidade | Taxa de transferência de mensagens do consumidor do proxy REST Número de mensagens do consumidor através do proxy Kafka REST |
KafkaRestProxy.MessagesOut.m1_delta |
CountPerSecond | Total (soma) | Machine, Topic |
PT1M, PT1H, P1D | Sim |
| Disponibilidade | REST proxy ConcurrentConnections Número de conexões simultâneas através do proxy Kafka REST |
KafkaRestProxy.OpenConnections |
Count | Total (soma) | Machine, Topic |
PT1M, PT1H, P1D | Sim |
| Disponibilidade | RequestThroughput do produtor de proxy REST Número de solicitações do produtor ao proxy Kafka REST |
KafkaRestProxy.ProducerRequest.m1_delta |
CountPerSecond | Total (soma) | Machine, Topic |
PT1M, PT1H, P1D | Sim |
| Disponibilidade | Solicitações malsucedidas do produtor de proxy REST Exceções ao pedido do produtor |
KafkaRestProxy.ProducerRequestFail.m1_delta |
CountPerSecond | Total (soma) | Machine, Topic |
PT1M, PT1H, P1D | Sim |
| Disponibilidade | RequestLatency do produtor de proxy REST Latência de mensagem em uma solicitação de produtor por meio do proxy Kafka REST |
KafkaRestProxy.ProducerRequestTime.p95 |
Milissegundos | Média | Machine, Topic |
PT1M, PT1H, P1D | Sim |
| Disponibilidade | Backlog de solicitação do produtor de proxy REST Comprimento da fila de proxy REST do produtor |
KafkaRestProxy.ProducerRequestWaitingInQueueTime.p95 |
Milissegundos | Média | Machine, Topic |
PT1M, PT1H, P1D | Sim |
| Disponibilidade | Número de Trabalhadores Ativos Número de Trabalhadores Ativos |
NumActiveWorkers |
Count | Média, Máximo, Mínimo | MetricName |
PT1M, PT1H, P1D | Sim |
| Disponibilidade | CPU pendente Solicitações de CPU pendentes no YARN |
PendingCPU |
Count | Média, Máximo, Mínimo | <nenhum> | PT1M, PT1H, P1D | Sim |
| Disponibilidade | Memória pendente Solicitações de memória pendentes no YARN |
PendingMemory |
Count | Média, Máximo, Mínimo | <nenhum> | PT1M, PT1H, P1D | Sim |
Dimensões métricas
Para obter informações sobre o que são dimensões métricas, consulte Métricas multidimensionais.
Este serviço tem as seguintes dimensões associadas às suas métricas.
As dimensões da tabela Microsoft.HDInsight/clusters incluem:
- HttpStatus
- Máquina
- Tópico
- MetricName
Registos do recurso
Esta seção lista os tipos de logs de recursos que você pode coletar para este serviço. A seção extrai da lista de todos os tipos de categoria de logs de recursos com suporte no Azure Monitor.
O HDInsight não usa logs de recursos ou configurações de diagnóstico do Azure Monitor. Os logs são coletados por outros métodos, incluindo o uso do agente do Log Analytics.
Tabelas de Logs do Azure Monitor
Esta seção lista as tabelas de Logs do Azure Monitor relevantes para este serviço, que estão disponíveis para consulta pelo Log Analytics usando consultas Kusto. As tabelas contêm dados de log de recursos e possivelmente mais, dependendo do que é coletado e roteado para elas.
HDInsight Clusters
Microsoft.HDInsight/Clusters
Os logs e métricas disponíveis variam dependendo do tipo de cluster HDInsight.
- HDInsightAmbariClusterAlertas
- HDInsightAmbariSystemMetrics
- HDInsightGatewayAuditLogs
- HDInsightHBaseLogs
- HDInsightHBaseMetrics
- HDInsightHadoopAndYarnLogs
- HDInsightHadoopAndYarnMetrics
- HDInsightHiveAndLLAPLogs
- HDInsightHiveAndLLAPMetrics
- HDInsightHiveQueryAppStats
- HDInsightHiveTezAppStats
- HDInsightJupyterNotebookEvents
- HDInsightKafkaLogs
- HDInsightKafkaMetrics
- HDInsightKafkaServerLog
- HDInsightOozieLogs
- HDInsightRangerAuditLogs
- HDInsightSecurityLogs
- HDInsightSparkApplicationEvents
- HDInsightSparkBlockManagerEvents
- HDInsightSparkEnvironmentEvents
- HDInsightSparkExecutorEvents
- HDInsightSparkExtraEvents
- HDInsightSparkJobEvents
- HDInsightSparkLogs
- HDInsightSparkSQLExecutionEvents
- HDInsightSparkStageEvents
- HDInsightSparkStageTaskAcumuláveis
- HDInsightSparkTaskEvents
- HDInsightStormLogs
- HDInsightStormMetrics
- HDInsightStormTopologyMetrics
Mapeamento da tabela de log
A nova integração do Azure Monitor implementa novas tabelas no espaço de trabalho do Log Analytics. As tabelas a seguir mostram os mapeamentos de tabela de log da integração clássica do Azure Monitor para a nova.
A coluna Nova tabela mostra o nome da nova tabela. A linha Descrição descreve o tipo de logs/métricas disponíveis nesta tabela. A coluna Tabela clássica é uma lista de todas as tabelas da integração clássica do Azure Monitor cujos dados agora estão presentes na nova tabela.
Nota
Algumas tabelas são completamente novas e não se baseiam em tabelas anteriores.
Tabelas gerais de carga de trabalho
| Nova tabela | Description | Mesa clássica |
|---|---|---|
| HDInsightAmbariSystemMetrics | Métricas do sistema coletadas da Ambari. As métricas agora vêm de cada nó no cluster (exceto para nós de borda) em vez de apenas os dois nós principais. Cada métrica agora é uma coluna e cada métrica é relatada uma vez por registro. | metrics_cpu_nice_cl, metrics_cpu_system_cl, metrics_cpu_user_cl, metrics_memory_cache_CL, metrics_memory_swap_CL, metrics_memory_total_CLmetrics_memory_buffer_CL, metrics_load_1min_CL, metrics_load_cpu_CL, metrics_load_nodes_CL, metrics_load_procs_CL, metrics_network_in_CL metrics_network_out_CL |
| HDInsightAmbariClusterAlertas | Alertas de cluster Ambari de cada nó no cluster (exceto nós de borda). Cada alerta é um registo nesta tabela. | metrics_cluster_alerts_CL |
| HDInsightSecurityLogs | Registros da Ambari Audit e Auth Logs. | log_ambari_audit_CL, log_auth_CL |
| HDInsightRangerAuditLogs | Todos os registros do log de auditoria da Ranger para clusters ESP. | ranger_audit_logs_CL |
| HDInsightGatewayAuditLogs_CL | As informações de auditoria dos nós do gateway. Mesmo formato da tabela clássica e ainda localizado na seção Logs personalizados. | log_gateway_Audit_CL |
Carga de trabalho do Spark
Nota
As tabelas relacionadas ao aplicativo Spark foram substituídas por 11 novas tabelas do Spark que fornecem informações mais detalhadas sobre suas cargas de trabalho do Spark.
| Nova tabela | Description | Mesa clássica |
|---|---|---|
| HDInsightSparkLogs | Todos os logs relacionados ao Spark e seu componente relacionado: Livy e Jupyter. | log_livy_CL, log_jupyter_CL, log_spark_CL, log_sparkappsexecutors_CL log_sparkappsdrivers_CL |
| HDInsightSparkApplicationEvents | Informações de evento para aplicativos Spark, incluindo tempo de envio e conclusão, ID do aplicativo e AppName. Útil para manter o controle de quando os aplicativos foram iniciados e concluídos. | |
| HDInsightSparkBlockManagerEvents | Informações do evento relacionadas ao Spark's Block Manager. Inclui informações como o uso da memória do executor. | |
| HDInsightSparkEnvironmentEvents | Informações de eventos relacionadas ao ambiente em que um aplicativo é executado, incluindo, Modo de implantação do Spark, Mestre e informações sobre o Executor. | |
| HDInsightSparkExecutorEvents | Informações de evento sobre o uso do Spark Executor por um aplicativo. | |
| HDInsightSparkExtraEvents | Informações de evento que não se encaixam em nenhuma outra tabela do Spark. | |
| HDInsightSparkJobEvents | Informações sobre o Spark Jobs, incluindo seus horários de início e fim, resultados e estágios associados. | |
| HDInsightSparkSqlExecutionEvents | Informações do evento no Spark SQL Queries, incluindo as informações e a descrição do plano e as horas de início e fim. | |
| HDInsightSparkStageEvents | Informações de eventos para Spark Stages, incluindo seus horários de início e conclusão, status de falha e informações detalhadas de execução. | |
| HDInsightSparkStageTaskAcumuláveis | Métricas de desempenho para estágios e tarefas. | |
| HDInsightTaskEvents | Informações de evento para Tarefas do Spark, incluindo tempo de início e conclusão, estágios associados, status de execução e tipo de tarefa. | |
| HDInsightJupyterNotebookEvents | Informações do evento para Jupyter Notebooks. |
Carga de trabalho do Hadoop/YARN
| Nova tabela | Description | Mesa clássica |
|---|---|---|
| HDInsightHadoopAndYarnMetrics | Métricas JMX das estruturas Hadoop e YARN. Contém as mesmas métricas JMX das tabelas de Logs Personalizados anteriores, além de métricas mais importantes: Servidor de Linha do Tempo, Gerenciador de Nó e Servidor de Histórico de Trabalhos. Contém uma métrica por registro. | metrics_resourcemanager_clustermetrics_CL, metrics_resourcemanager_jvm_CL, metrics_resourcemanager_queue_root_CL, metrics_resourcemanager_queue_root_joblauncher_CL, metrics_resourcemanager_queue_root_default_CL metrics_resourcemanager_queue_root_thriftsvr_CL |
| HDInsightHadoopAndYarnLogs | Todos os logs gerados a partir das estruturas Hadoop e YARN. | log_mrjobsummary_CL, log_resourcemanager_CL, log_timelineserver_CL log_nodemanager_CL |
Carga de trabalho do Hive/LLAP
| Nova tabela | Description | Mesa clássica |
|---|---|---|
| HDInsightHiveAndLLAPMetrics | Métricas JMX das estruturas Hive e LLAP. Contém as mesmas métricas JMX das tabelas anteriores de Logs Personalizados, uma métrica por registro. | llap_metrics_hiveserver2_CL, llap_metrics_hs2_metrics_subsystemllap_metrics_jvm_CL, llap_metrics_llap_daemon_info_CL, llap_metrics_buddy_allocator_info_CL, llap_metrics_deamon_jvm_CL, llap_metrics_io_CL, llap_metrics_executor_metrics_CL, llap_metrics_metricssystem_stats_CL llap_metrics_cache_CL |
| HDInsightHiveAndLLAPLogs | Logs gerados a partir do Hive, LLAP, e seus componentes relacionados: WebHCat e Zeppelin. | log_hivemetastore_CL log_hiveserver2_CL, log_hiveserve2interactive_CL, log_webhcat_CL log_zeppelin_zeppelin_CL |
Carga de trabalho de Kafka
| Nova tabela | Description | Mesa clássica |
|---|---|---|
| HDInsightKafkaMetrics | Métricas JMX de Kafka. Contém as mesmas métricas JMX que as antigas tabelas de Logs Personalizados, além de outras métricas importantes. Uma métrica por registo. | metrics_kafka_CL |
| HDInsightKafkaLogs | Todos os logs gerados a partir dos Corretores Kafka. | log_kafkaserver_CL, log_kafkacontroller_CL |
Carga de trabalho do HBase
| Nova tabela | Description | Mesa clássica |
|---|---|---|
| HDInsightHBaseMetrics | Métricas JMX do HBase. Contém as mesmas métricas JMX das tabelas anteriores. Em contraste com as tabelas anteriores, cada linha contém uma métrica. | metrics_regionserver_CL, metrics_regionserver_wal_CL, metrics_regionserver_ipc_CL, metrics_regionserver_os_CL, metrics_regionserver_replication_CL, metrics_restserver_CL, metrics_restserver_jvm_CL, metrics_hmaster_assignmentmanager_CL, metrics_hmaster_ipc_CL, metrics_hmaser_os_CL, metrics_hmaster_balancer_CL, metrics_hmaster_jvm_CL, metrics_hmaster_CL metrics_hmaster_fs_CL |
| HDInsightHBaseLogs | Logs do HBase e seus componentes relacionados: Phoenix e HDFS. | log_regionserver_CL, log_restserver_CL, log_phoenixserver_CL, log_hmaster_CL, log_hdfsnamenode_CL log_garbage_collector_CL |
Carga de trabalho do Oozie
| Nova tabela | Description | Mesa clássica |
|---|---|---|
| HDInsightOozieLogs | Todos os logs gerados a partir da estrutura Oozie. | Log_oozie_CL |
Registo de atividades
A tabela vinculada lista as operações que podem ser registradas no log de atividades desse serviço. Essas operações são um subconjunto de todas as operações possíveis do provedor de recursos no log de atividades.
Para obter mais informações sobre o esquema de entradas do log de atividades, consulte Esquema do log de atividades.
Conteúdos relacionados
- Consulte Monitorar o HDInsight para obter uma descrição do monitoramento do HDInsight.
- Consulte Monitorar recursos do Azure com o Azure Monitor para obter detalhes sobre o monitoramento de recursos do Azure.