Referência de dados de monitoramento do Azure HDInsight
Este artigo contém todas as informações de referência de monitoramento para este serviço.
Consulte Monitorar o HDInsight para obter detalhes sobre os dados que você pode coletar para o Azure HDInsight e como usá-los.
Métricas
Esta seção lista todas as métricas da plataforma coletadas automaticamente para este serviço. Essas métricas também fazem parte da lista global de todas as métricas da plataforma com suporte no Azure Monitor.
Para obter informações sobre retenção de métricas, consulte Visão geral das métricas do Azure Monitor.
Métricas com suporte para Microsoft.HDInsight/clusters
A tabela a seguir lista as métricas disponíveis para o tipo de recurso Microsoft.HDInsight/clusters.
- Nem todas as colunas podem estar presentes em todas as tabelas.
- Algumas colunas podem estar além da área de visualização da página. Selecione Expandir tabela para exibir todas as colunas disponíveis.
Títulos de tabela
- Categoria: o grupo ou classificação de métricas.
- Métrica: o nome de exibição da métrica como aparece no portal do Azure.
- Nome na API REST: o nome da métrica, conforme mencionado na API REST.
- Unidade: unidade de medida
- Agregação: o tipo de agregação padrão. Valores válidos: Médio (Méd.), Mínimo (Mín.), Máximo (Máx.), Total (Soma), Contagem.
- Dimensões: as Dimensões disponíveis para a métrica.
- Intervalos de agregação: os Intervalos em que a métrica é amostrada. Por exemplo,
PT1Mindica que a métrica é amostrada a cada minuto,PT30Ma cada 30 minutos,PT1Ha cada hora e assim por diante. - Exportação de DS: se a métrica é exportável para os Logs do Azure Monitor via configurações de diagnóstico. Para obter mais informações sobre exportação de métricas, consulte as Criar configurações de diagnóstico no Azure Monitor.
| Categoria | Metric | Nome na API REST | Unidade | Agregação | Dimensões | Granularidade de tempo | Exportação de DS |
|---|---|---|---|---|---|---|---|
| Disponibilidade | Solicitações de gateway categorizadas Número de solicitações de gateway por categorias (1xx/2xx/3xx/4xx/5xx) |
CategorizedGatewayRequests |
Count | Contagem, Total (Soma) | HttpStatus |
PT1M, PT1H, P1D | Sim |
| Disponibilidade | Solicitações de gateway Número de solicitações de gateway |
GatewayRequests |
Count | Contagem, Total (Soma) | HttpStatus |
PT1M, PT1H, P1D | Sim |
| Disponibilidade | Proxy REST RequestThroughput do consumidor Número de solicitações do consumidor para o proxy REST do Kafka |
KafkaRestProxy.ConsumerRequest.m1_delta |
CountPerSecond | Total (Soma) | Machine, Topic |
PT1M, PT1H, P1D | Sim |
| Disponibilidade | Solicitações malsucedidas do consumidor de proxy REST Exceções de solicitação do consumidor |
KafkaRestProxy.ConsumerRequestFail.m1_delta |
CountPerSecond | Total (Soma) | Machine, Topic |
PT1M, PT1H, P1D | Sim |
| Disponibilidade | Proxy REST RequestLatency do consumidor Latência de mensagem em uma solicitação do consumidor por meio do proxy REST do Kafka |
KafkaRestProxy.ConsumerRequestTime.p95 |
Milissegundos | Média | Machine, Topic |
PT1M, PT1H, P1D | Sim |
| Disponibilidade | Lista de pendências de solicitação do consumidor do proxy REST Tamanho da fila do proxy REST do consumidor |
KafkaRestProxy.ConsumerRequestWaitingInQueueTime.p95 |
Milissegundos | Média | Machine, Topic |
PT1M, PT1H, P1D | Sim |
| Disponibilidade | Produtor de proxy REST MessageThroughput Número de mensagens do produtor por meio do proxy REST do Kafka |
KafkaRestProxy.MessagesIn.m1_delta |
CountPerSecond | Total (Soma) | Machine, Topic |
PT1M, PT1H, P1D | Sim |
| Disponibilidade | Proxy REST MessageThroughput do consumidor Número de mensagens do consumidor por meio do proxy REST do Kafka |
KafkaRestProxy.MessagesOut.m1_delta |
CountPerSecond | Total (Soma) | Machine, Topic |
PT1M, PT1H, P1D | Sim |
| Disponibilidade | REST proxy ConcurrentConnections Número de conexões simultâneas por meio do proxy REST do Kafka |
KafkaRestProxy.OpenConnections |
Count | Total (Soma) | Machine, Topic |
PT1M, PT1H, P1D | Sim |
| Disponibilidade | RequestThroughput do produtor do proxy REST Número de solicitações do produtor para o proxy REST do Kafka |
KafkaRestProxy.ProducerRequest.m1_delta |
CountPerSecond | Total (Soma) | Machine, Topic |
PT1M, PT1H, P1D | Sim |
| Disponibilidade | Solicitações malsucedidas do produtor de proxy REST Exceções de solicitação do produtor |
KafkaRestProxy.ProducerRequestFail.m1_delta |
CountPerSecond | Total (Soma) | Machine, Topic |
PT1M, PT1H, P1D | Sim |
| Disponibilidade | Proxy REST Produtor RequestLatency Latência de mensagem em uma solicitação do produtor por meio do proxy REST do Kafka |
KafkaRestProxy.ProducerRequestTime.p95 |
Milissegundos | Média | Machine, Topic |
PT1M, PT1H, P1D | Sim |
| Disponibilidade | Lista de pendências de solicitação do produtor de proxy REST Tamanho da fila do proxy REST do produtor |
KafkaRestProxy.ProducerRequestWaitingInQueueTime.p95 |
Milissegundos | Média | Machine, Topic |
PT1M, PT1H, P1D | Sim |
| Disponibilidade | Número de trabalhadores ativos Número de Trabalhos Ativos |
NumActiveWorkers |
Count | Médio, Máximo, Mínimo | MetricName |
PT1M, PT1H, P1D | Sim |
| Disponibilidade | CPU pendente Solicitações de CPU pendentes em YARN |
PendingCPU |
Count | Médio, Máximo, Mínimo | <none> | PT1M, PT1H, P1D | Sim |
| Disponibilidade | Memória pendente Solicitações de memória pendentes em YARN |
PendingMemory |
Count | Médio, Máximo, Mínimo | <none> | PT1M, PT1H, P1D | Sim |
Dimensões de métrica
Para obter mais informações sobre o que são dimensões de métrica, confira Métricas multidimensionais.
Este serviço tem as dimensões a seguir associadas a essas métricas.
As dimensões da tabela Microsoft.HDInsight/clusters incluem:
- HttpStatus
- Computador
- Tópico
- MetricName
Logs de recursos
Esta seção lista os tipos de logs de recursos que você pode coletar para o este serviço. A seção extrai da lista de todos os tipos de categoria de logs de recursos com suporte no Azure Monitor.
O HDInsight não usa logs de recursos do Azure Monitor ou configurações de diagnóstico. Os logs são coletados por outros métodos, incluindo o uso do agente do Log Analytics.
Tabelas de Logs do Azure Monitor
Esta seção lista todas as tabelas dos Logs do Azure Monitor relevantes para este serviço e disponíveis para consulta pela análise de logs usando o Kusto. As tabelas contêm dados de log de recursos e possivelmente mais, dependendo do que é coletado e roteado para elas.
Clusters do HDInsight
Microsoft.HDInsight/Clusters
Os logs e as métricas disponíveis variam dependendo do tipo de cluster do HDInsight.
- HDInsightAmbariClusterAlerts
- HDInsightAmbariSystemMetrics
- HDInsightGatewayAuditLogs
- HDInsightHBaseLogs
- HDInsightHBaseMetrics
- HDInsightHadoopAndYarnLogs
- HDInsightHadoopAndYarnMetrics
- HDInsightHiveAndLLAPLogs
- HDInsightHiveAndLLAPMetrics
- HDInsightHiveQueryAppStats
- HDInsightHiveTezAppStats
- HDInsightJupyterNotebookEvents
- HDInsightKafkaLogs
- HDInsightKafkaMetrics
- HDInsightKafkaServerLog
- HDInsightOozieLogs
- HDInsightRangerAuditLogs
- HDInsightSecurityLogs
- HDInsightSparkApplicationEvents
- HDInsightSparkBlockManagerEvents
- HDInsightSparkEnvironmentEvents
- HDInsightSparkExecutorEvents
- HDInsightSparkExtraEvents
- HDInsightSparkJobEvents
- HDInsightSparkLogs
- HDInsightSparkSQLExecutionEvents
- HDInsightSparkStageEvents
- HDInsightSparkStageTaskAccumulables
- HDInsightSparkTaskEvents
- HDInsightStormLogs
- HDInsightStormMetrics
- HDInsightStormTopologyMetrics
Mapeamento de tabela de log
A nova integração do Azure Monitor implementa novas tabelas no workspace do Log Analytics. As tabelas a seguir mostram os mapeamentos da tabela de log da integração clássica do Azure Monitor para a nova.
A coluna Nova tabela mostra o nome da nova tabela. A linha Descrição descreve o tipo de logs/métricas disponíveis nesta tabela. A coluna Tabela clássica é uma lista de todas as tabelas da integração clássica do Azure Monitor cujos dados agora estão presentes na nova tabela.
Observação
Algumas tabelas são completamente novas e não se baseiam em tabelas anteriores.
Tabelas de carga de trabalho geral
| Nova tabela | Descrição | Tabela clássica |
|---|---|---|
| HDInsightAmbariSystemMetrics | Métricas do sistema coletadas do Ambari. As métricas agora são provenientes de cada nó no cluster (exceto os nós de borda) em vez de apenas os dois nós de cabeçalho. Agora, cada métrica é uma coluna e cada métrica é relatada uma vez por registro. | metrics_cpu_nice_cl, metrics_cpu_system_cl, metrics_cpu_user_cl, metrics_memory_cache_CL, metrics_memory_swap_CL, metrics_memory_total_CLmetrics_memory_buffer_CL, metrics_load_1min_CL, metrics_load_cpu_CL, metrics_load_nodes_CL, metrics_load_procs_CL, metrics_network_in_CL, metrics_network_out_CL |
| HDInsightAmbariClusterAlerts | Alertas de cluster do Ambari de cada nó no cluster (exceto para nós de borda). Cada alerta é um registro dessa tabela. | metrics_cluster_alerts_CL |
| HDInsightSecurityLogs | Registros dos logs de auditoria e autenticação do Ambari. | log_ambari_audit_CL, log_auth_CL |
| HDInsightRangerAuditLogs | Todos os registros do log de auditoria do Ranger para clusters ESP. | ranger_audit_logs_CL |
| HDInsightGatewayAuditLogs_CL | Os nós do Gateway auditam informações. Mesmo formato da tabela clássica e ainda localizado na seção Logs personalizados. | log_gateway_Audit_CL |
Carga de trabalho do Spark
Observação
As tabelas relacionadas ao aplicativo Spark foram substituídas por 11 novas tabelas do Spark que fornecem informações mais detalhadas sobre suas cargas de trabalho do Spark.
| Nova tabela | Descrição | Tabela clássica |
|---|---|---|
| HDInsightSparkLogs | Todos os logs relacionados ao Spark e seu componente relacionado: Livy e Jupyter. | log_livy_CL, log_jupyter_CL, log_spark_CL, log_sparkappsexecutors_CL, log_sparkappsdrivers_CL |
| HDInsightSparkApplicationEvents | Informações de eventos para aplicativos do Spark, incluindo tempo de envio e conclusão, ID do aplicativo e AppName. Útil para acompanhar quando os aplicativos foram iniciados e concluídos. | |
| HDInsightSparkBlockManagerEvents | Informações do evento relacionadas ao Gerenciador de Blocos do Spark. Inclui informações como o uso de memória do executor. | |
| HDInsightSparkEnvironmentEvents | Informações de eventos relacionadas ao ambiente em que um aplicativo é executado, incluindo o Modo de Implantação do Spark, o Mestre e informações sobre o Executor. | |
| HDInsightSparkExecutorEvents | Informações de evento sobre o uso do Spark Executor por um Aplicativo. | |
| HDInsightSparkExtraEvents | Informações de evento que não se encaixam em nenhuma outra tabela do Spark. | |
| HDInsightSparkJobEvents | Informações sobre trabalhos do Spark, incluindo horários de início e término, resultado e estágios associados. | |
| HDInsightSparkSqlExecutionEvents | Informações de eventos em consultas do Spark SQL, incluindo informações e descrição do plano e horários de início e término. | |
| HDInsightSparkStageEvents | Informações de evento para Estágios do Spark, incluindo seus horários de início e conclusão, status de falha e informações detalhadas de execução. | |
| HDInsightSparkStageTaskAccumulables | Métricas de desempenho para estágios e tarefas. | |
| HDInsightTaskEvents | Informações de evento para Tarefas do Spark, incluindo hora de início e conclusão, estágios associados, status de execução e tipo de tarefa. | |
| HDInsightJupyterNotebookEvents | Informações sobre eventos para Jupyter Notebooks. |
Carga de trabalho do Hadoop/do YARN
| Nova tabela | Descrição | Tabela clássica |
|---|---|---|
| HDInsightHadoopAndYarnMetrics | Métricas JMX dos frameworks Hadoop e YARN. Contém todas as mesmas métricas JMX que as tabelas de Logs personalizados anteriores, além de métricas mais importantes: Servidor de linha do tempo, Gerenciador de nós e Servidor de histórico de trabalhos. Contém uma métrica por registro. | metrics_resourcemanager_clustermetrics_CL, metrics_resourcemanager_jvm_CL, metrics_resourcemanager_queue_root_CL, metrics_resourcemanager_queue_root_joblauncher_CL, metrics_resourcemanager_queue_root_default_CL, metrics_resourcemanager_queue_root_thriftsvr_CL |
| HDInsightHadoopAndYarnLogs | Todos os logs gerados a partir das estruturas Hadoop e YARN. | log_mrjobsummary_CL, log_resourcemanager_CL, log_timelineserver_CL, log_nodemanager_CL |
Carga de trabalho do Hive/do LLAP
| Nova tabela | Descrição | Tabela clássica |
|---|---|---|
| HDInsightHiveAndLLAPMetrics | Métricas JMX das estruturas Hive e LLAP. Contém todas as mesmas métricas JMX que as tabelas de Logs Personalizados anteriores, uma métrica por registro. | llap_metrics_hiveserver2_CL, llap_metrics_hs2_metrics_subsystemllap_metrics_jvm_CL, llap_metrics_llap_daemon_info_CL, llap_metrics_buddy_allocator_info_CL, llap_metrics_deamon_jvm_CL, llap_metrics_io_CL, llap_metrics_executor_metrics_CL, llap_metrics_metricssystem_stats_CL, llap_metrics_cache_CL |
| HDInsightHiveAndLLAPLogs | Logs gerados a partir do Hive, LLAP e seus componentes relacionados: WebHCat e Zeppelin. | log_hivemetastore_CL log_hiveserver2_CL, log_hiveserve2interactive_CL, log_webhcat_CL, log_zeppelin_zeppelin_CL |
Carga de trabalho do Kafka
| Nova tabela | Descrição | Tabela clássica |
|---|---|---|
| HDInsightKafkaMetrics | Métricas JMX do Kafka. Contém todas as mesmas métricas JMX que as antigas tabelas de Logs Personalizados, além de outras métricas importantes. Uma métrica por registro. | metrics_kafka_CL |
| HDInsightKafkaLogs | Todos os logs gerados a partir dos Kafka Brokers. | log_kafkaserver_CL, log_kafkacontroller_CL |
Carga de trabalho do HBase
| Nova tabela | Descrição | Tabela clássica |
|---|---|---|
| HDInsightHBaseMetrics | Métricas JMX do HBase. Contém todas as mesmas métricas JMX das tabelas anteriores. Em contraste com as tabelas anteriores, cada linha contém uma métrica. | metrics_regionserver_CL, metrics_regionserver_wal_CL, metrics_regionserver_ipc_CL, metrics_regionserver_os_CL, metrics_regionserver_replication_CL, metrics_restserver_CL, metrics_restserver_jvm_CL, metrics_hmaster_assignmentmanager_CL, metrics_hmaster_ipc_CL, metrics_hmaser_os_CL, metrics_hmaster_balancer_CL, metrics_hmaster_jvm_CL, metrics_hmaster_CL, metrics_hmaster_fs_CL |
| HDInsightHBaseLogs | Logs do HBase e seus componentes relacionados: Phoenix e HDFS. | log_regionserver_CL, log_restserver_CL, log_phoenixserver_CL, log_hmaster_CL, log_hdfsnamenode_CL, log_garbage_collector_CL |
Carga de trabalho do Oozie
| Nova tabela | Descrição | Tabela clássica |
|---|---|---|
| HDInsightOozieLogs | Todos os logs gerados a partir da estrutura Oozie. | Log_oozie_CL |
Log de atividades
A tabela vinculada lista as operações que podem ser registradas no log de atividades desse serviço. Essas operações são um subconjunto de todas as operações do provedor de recursos possíveis no log de atividades.
Para obter mais informações sobre o esquema de entradas do log de atividades, confira Esquema do log de atividades.
Conteúdo relacionado
- Consulte Monitorar o HDInsight para obter uma descrição do monitoramento do HDInsight.
- Confira Monitorar recursos do Azure com o Azure Monitor para ver informações detalhadas sobre o monitoramento dos recursos do Azure.