Azure HDInsight 모니터링 데이터 참조
이 문서에는 이 서비스에 대한 모든 모니터링 참조 정보가 포함되어 있습니다.
Azure HDInsight에 대해 수집할 수 있는 데이터 및 사용 방법에 대한 자세한 내용은 HDInsight 모니터링을 참조하세요.
메트릭
이 섹션에는 이 서비스에 대해 자동으로 모은 플랫폼 메트릭이 모두 나열되어 있습니다. 이러한 메트릭은 Azure Monitor에서 지원되는 모든 플랫폼 메트릭의 전역 목록의 일부이기도 합니다.
메트릭 보존에 관한 자세한 내용은 Azure Monitor 메트릭 개요를 참조하세요.
Microsoft.HDInsight/클러스터에 대해 지원되는 메트릭
다음 표에서는 Microsoft.HDInsight/클러스터 리소스 종류에 사용할 수 있는 메트릭을 나열합니다.
- 모든 테이블에 모든 열이 있는 것은 아닙니다.
- 일부 열은 페이지의 보기 영역 밖에 있을 수 있습니다. 사용 가능한 모든 열을 보려면 테이블 확장을 선택합니다.
테이블 제목
- 범주 - 메트릭 그룹 또는 분류입니다.
- 메트릭 - Azure Portal에 표시되는 메트릭 표시 이름입니다.
- REST API의 이름 - REST API에서 참조되는 메트릭 이름입니다.
- 단위 - 측정 단위입니다.
- 집계 - 기본 집계 형식입니다. 유효한 값은 평균(Avg), 최소(Min), 최대(Max), 합계(Sum), 개수입니다.
- 차원 - 메트릭에 사용할 수 있는 차원입니다.
- 시간 조직 - 메트릭이 샘플링되는 간격입니다. 예를 들어,
PT1M은 메트릭이 1분마다,PT30M은 30분마다,PT1H는 1시간마다 샘플링됨을 나타냅니다. - DS 내보내기- 진단 설정을 통해 메트릭을 Azure Monitor 로그로 내보낼 수 있는지 여부를 나타냅니다. 메트릭 내보내기에 대한 자세한 내용은 Azure Monitor의 진단 설정 생성을 참조하세요.
| 범주 | 메트릭 | REST API의 이름 | 단위 | 집계 | 차원 | 시간 조직 | DS 내보내기 |
|---|---|---|---|---|---|---|---|
| 가용성 | 범주화된 게이트웨이 요청 범주별 게이트웨이 요청 수(1xx/2xx/3xx/4xx/5xx) |
CategorizedGatewayRequests |
Count | Count, Total(Sum) | HttpStatus |
PT1M, PT1H, P1D | 예 |
| 가용성 | 게이트웨이 요청 게이트웨이 요청 수 |
GatewayRequests |
Count | Count, Total(Sum) | HttpStatus |
PT1M, PT1H, P1D | 예 |
| 가용성 | REST 프록시 소비자 RequestThroughput Kafka REST 프록시에 대한 소비자 요청 수 |
KafkaRestProxy.ConsumerRequest.m1_delta |
초당 개수 | 합계(합계) | Machine, Topic |
PT1M, PT1H, P1D | 예 |
| 가용성 | REST 프록시 소비자 실패 요청 소비자 요청 예외 |
KafkaRestProxy.ConsumerRequestFail.m1_delta |
초당 개수 | 합계(합계) | Machine, Topic |
PT1M, PT1H, P1D | 예 |
| 가용성 | REST 프록시 소비자 RequestLatency Kafka REST 프록시를 통한 소비자 요청의 메시지 대기 시간 |
KafkaRestProxy.ConsumerRequestTime.p95 |
밀리초 | 평균 | Machine, Topic |
PT1M, PT1H, P1D | 예 |
| 가용성 | REST 프록시 소비자 요청 백로그 소비자 REST 프록시 큐 길이 |
KafkaRestProxy.ConsumerRequestWaitingInQueueTime.p95 |
밀리초 | 평균 | Machine, Topic |
PT1M, PT1H, P1D | 예 |
| 가용성 | REST 프록시 생산자 MessageThroughput Kafka REST 프록시를 통한 생산자 메시지 수 |
KafkaRestProxy.MessagesIn.m1_delta |
초당 개수 | 합계(합계) | Machine, Topic |
PT1M, PT1H, P1D | 예 |
| 가용성 | REST 프록시 소비자 MessageThroughput Kafka REST 프록시를 통한 소비자 메시지 수 |
KafkaRestProxy.MessagesOut.m1_delta |
초당 개수 | 합계(합계) | Machine, Topic |
PT1M, PT1H, P1D | 예 |
| 가용성 | REST 프록시 ConcurrentConnections Kafka REST 프록시를 통한 동시 연결 수 |
KafkaRestProxy.OpenConnections |
Count | 합계(합계) | Machine, Topic |
PT1M, PT1H, P1D | 예 |
| 가용성 | REST 프록시 생산자 RequestThroughput Kafka REST 프록시에 대한 생산자 요청 수 |
KafkaRestProxy.ProducerRequest.m1_delta |
초당 개수 | 합계(합계) | Machine, Topic |
PT1M, PT1H, P1D | 예 |
| 가용성 | REST 프록시 생산자 실패 요청 생산자 요청 예외 |
KafkaRestProxy.ProducerRequestFail.m1_delta |
초당 개수 | 합계(합계) | Machine, Topic |
PT1M, PT1H, P1D | 예 |
| 가용성 | REST 프록시 생산자 RequestLatency Kafka REST 프록시를 통한 생산자 요청의 메시지 대기 시간 |
KafkaRestProxy.ProducerRequestTime.p95 |
밀리초 | 평균 | Machine, Topic |
PT1M, PT1H, P1D | 예 |
| 가용성 | REST 프록시 생산자 요청 백로그 생산자 REST 프록시 큐 길이 |
KafkaRestProxy.ProducerRequestWaitingInQueueTime.p95 |
밀리초 | 평균 | Machine, Topic |
PT1M, PT1H, P1D | 예 |
| 가용성 | 활성 작업자 수 활성 작업자 수 |
NumActiveWorkers |
Count | 평균, 최대, 최소 | MetricName |
PT1M, PT1H, P1D | 예 |
| 가용성 | 보류 중인 CPU YARN에서 보류 중인 CPU 요청 |
PendingCPU |
Count | 평균, 최대, 최소 | <없음> | PT1M, PT1H, P1D | 예 |
| 가용성 | 보류 중인 메모리 YARN에서 보류 중인 메모리 요청 |
PendingMemory |
Count | 평균, 최대, 최소 | <없음> | PT1M, PT1H, P1D | 예 |
메트릭 차원
메트릭 차원에 대한 자세한 내용은 다차원 메트릭을 참조하세요.
이 서비스에는 메트릭과 관련된 다음과 같은 차원이 있습니다.
Microsoft.HDInsight/클러스터 테이블의 차원은 다음과 같습니다.
- HttpStatus
- 머신
- 항목
- MetricName
리소스 로그
이 섹션에는 이 서비스에 대해 모을 수 있는 리소스 로그 유형이 나열되어 있습니다. 이 섹션은 Azure Monitor에서 지원되는 모든 리소스 로그 범주 유형 목록에서 가져옵니다.
HDInsight는 Azure Monitor 리소스 로그 또는 진단 설정을 사용하지 않습니다. 로그는 Log Analytics 에이전트 사용을 포함하여 다른 방법으로 수집됩니다.
Azure Monitor 로그 테이블
이 섹션은 이 서비스와 관련이 있고 Kusto 쿼리를 사용하는 Log Analytics의 쿼리에 사용할 수 있는 Azure Monitor 로그 테이블을 나열합니다. 테이블에는 리소스 로그 데이터가 포함되며 수집 및 라우팅되는 항목에 따라 더 많은 데이터가 포함될 수 있습니다.
HDInsight 클러스터
Microsoft.HDInsight/클러스터
사용 가능한 로그 및 메트릭은 HDInsight 클러스터 유형에 따라 달라집니다.
- HDInsightAmbariClusterAlerts
- HDInsightAmbariSystemMetrics
- HDInsightGatewayAuditLogs
- HDInsightHBaseLogs
- HDInsightHBaseMetrics
- HDInsightHadoopAndYarnLogs
- HDInsightHadoopAndYarnMetrics
- HDInsightHiveAndLLAPLogs
- HDInsightHiveAndLLAPMetrics
- HDInsightHiveQueryAppStats
- HDInsightHiveTezAppStats
- HDInsightJupyterNotebookEvents
- HDInsightKafkaLogs
- HDInsightKafkaMetrics
- HDInsightKafkaServerLog
- HDInsightOozieLogs
- HDInsightRangerAuditLogs
- HDInsightSecurityLogs
- HDInsightSparkApplicationEvents
- HDInsightSparkBlockManagerEvents
- HDInsightSparkEnvironmentEvents
- HDInsightSparkExecutorEvents
- HDInsightSparkExtraEvents
- HDInsightSparkJobEvents
- HDInsightSparkLogs
- HDInsightSparkSQLExecutionEvents
- HDInsightSparkStageEvents
- HDInsightSparkStageTaskAccumulables
- HDInsightSparkTaskEvents
- HDInsightStormLogs
- HDInsightStormMetrics
- HDInsightStormTopologyMetrics
로그 테이블 매핑
새 Azure Monitor 통합은 Log Analytics 작업 영역에서 새 테이블을 구현합니다. 다음 표에서는 클래식 Azure Monitor 통합에서 새 Azure Monitor에 대한 로그 테이블 매핑을 보여 줍니다.
새 테이블 열에는 새 테이블의 이름이 표시됩니다. 설명 행은 이 테이블에서 사용할 수 있는 로그/메트릭의 형식을 설명합니다. 클래식 테이블 열은 현재 새 테이블에 데이터가 있는 클래식 Azure Monitor 통합의 모든 테이블 목록입니다.
참고 항목
일부 테이블은 완전히 새로운 테이블이며 이전 테이블을 기반으로 하지 않습니다.
일반 워크로드 테이블
| 새 테이블 | 설명 | 클래식 테이블 |
|---|---|---|
| HDInsightAmbariSystemMetrics | Ambari에서 수집된 시스템 메트릭입니다. 이제 메트릭은 두 헤드 노드 대신 클러스터의 각 노드(에지 노드 제외)에서 가져오게 됩니다. 각 메트릭은 열이며, 메트릭은 레코드별로 한 번만 보고됩니다. | metrics_cpu_nice_cl, metrics_cpu_system_cl, metrics_cpu_user_cl, metrics_memory_cache_CL, metrics_memory_swap_CL, metrics_memory_total_CLmetrics_memory_buffer_CL, metrics_load_1min_CL, metrics_load_cpu_CL, metrics_load_nodes_CL, metrics_load_procs_CL, metrics_network_in_CL, metrics_network_out_CL |
| HDInsightAmbariClusterAlerts | 클러스터의 각 노드에서 Ambari 클러스터 경고(에지 노드 제외). 각 경고는 이 테이블의 레코드입니다. | metrics_cluster_alerts_CL |
| HDInsightSecurityLogs | Ambari 감사 및 인증 로그의 레코드입니다. | log_ambari_audit_CL, log_auth_CL |
| HDInsightRangerAuditLogs | ESP 클러스터에 대한 Ranger 감사 로그의 모든 레코드입니다. | ranger_audit_logs_CL |
| HDInsightGatewayAuditLogs_CL | 게이트웨이 노드는 정보를 감사합니다. 클래식 테이블과 동일한 형식이며 사용자 지정 로그 섹션에 있습니다. | log_gateway_Audit_CL |
Spark 워크로드
참고 항목
Spark 애플리케이션 관련 테이블은 Spark 워크로드에 대한 자세한 정보를 제공하는 11개의 새 Spark 테이블로 대체되었습니다.
| 새 테이블 | 설명 | 클래식 테이블 |
|---|---|---|
| HDInsightSparkLogs | Spark 및 관련 구성 요소와 관련된 모든 로그: Livy 및 Jupyter. | log_livy_CL, log_jupyter_CL, log_spark_CL, log_sparkappsexecutors_CL, log_sparkappsdrivers_CL |
| HDInsightSparkApplicationEvents | 제출 및 완료 시간, 앱 ID 및 AppName을 포함한 Spark 애플리케이션에 대한 이벤트 정보입니다. 애플리케이션이 시작되고 완료된 시기를 추적하는 데 유용합니다. | |
| HDInsightSparkBlockManagerEvents | Spark의 블록 관리자와 관련된 이벤트 정보입니다. 실행기 메모리 사용량과 같은 정보를 포함합니다. | |
| HDInsightSparkEnvironmentEvents | Spark 배포 모드, 마스터 및 실행자에 대한 정보를 포함하여 애플리케이션이 실행하는 환경과 관련된 이벤트 정보입니다. | |
| HDInsightSparkExecutorEvents | 애플리케이션의 Spark 실행기 사용량에 대한 이벤트 정보입니다. | |
| HDInsightSparkExtraEvents | 다른 Spark 테이블에 맞지 않는 이벤트 정보입니다. | |
| HDInsightSparkJobEvents | 시작 및 종료 시간, 결과 및 관련 단계를 포함한 Spark 작업에 대한 정보입니다. | |
| HDInsightSparkSQLExecutionEvents | 계획 정보 및 설명, 시작 및 종료 시간을 포함하여 Spark SQL 쿼리에 대한 이벤트 정보입니다. | |
| HDInsightSparkStageEvents | 시작 및 완료 시간, 실패 상태 및 자세한 실행 정보를 포함하여 Spark 스테이지에 대한 이벤트 정보입니다. | |
| HDInsightSparkStageTaskAccumulables | 단계 및 작업에 대한 성능 메트릭입니다. | |
| HDInsightTaskEvents | 시작 및 완료 시간, 연결된 단계, 실행 상태 및 작업 유형을 포함한 Spark 작업에 대한 이벤트 정보입니다. | |
| HDInsightJupyterNotebookEvents | Jupyter Notebook에 대한 이벤트 정보입니다. |
Hadoop/YARN 워크로드
| 새 테이블 | 설명 | 클래식 테이블 |
|---|---|---|
| HDInsightHadoopAndYarnMetrics | Hadoop 및 YARN 프레임워크의 JMX 메트릭입니다. 이전 사용자 지정 로그 테이블과 동일한 모든 JMX 메트릭과 타임라인 서버, 노드 관리자 및 작업 기록 서버와 같은 더 중요한 메트릭을 포함합니다. 레코드당 하나의 메트릭을 포함합니다. | metrics_resourcemanager_clustermetrics_CL, metrics_resourcemanager_jvm_CL, metrics_resourcemanager_queue_root_CL, metrics_resourcemanager_queue_root_joblauncher_CL, metrics_resourcemanager_queue_root_default_CL, metrics_resourcemanager_queue_root_thriftsvr_CL |
| HDInsightHadoopAndYarnLogs | Hadoop 및 YARN 프레임워크에서 생성된 모든 로그입니다. | log_mrjobsummary_CL, log_resourcemanager_CL, log_timelineserver_CL, log_nodemanager_CL |
Hive/LLAP 워크로드
| 새 테이블 | 설명 | 클래식 테이블 |
|---|---|---|
| HDInsightHiveAndLLAPMetrics | Hive 및 LLAP 프레임워크의 JMX 메트릭입니다. 레코드당 하나의 메트릭인 이전 사용자 지정 로그 테이블과 동일한 JMX 메트릭을 모두 포함합니다. | llap_metrics_hiveserver2_CL, llap_metrics_hs2_metrics_subsystemllap_metrics_jvm_CL, llap_metrics_llap_daemon_info_CL, llap_metrics_buddy_allocator_info_CL, llap_metrics_deamon_jvm_CL, llap_metrics_io_CL, llap_metrics_executor_metrics_CL, llap_metrics_metricssystem_stats_CL, llap_metrics_cache_CL |
| HDInsightHiveAndLLAPLogs | Hive, LLAP 및 관련 구성 요소인 WebHCat 및 Zeppelin에서 생성된 로그입니다. | log_hivemetastore_CL log_hiveserver2_CL, log_hiveserve2interactive_CL, log_webhcat_CL, log_zeppelin_zeppelin_CL |
Kafka 워크로드
| 새 테이블 | 설명 | 클래식 테이블 |
|---|---|---|
| HDInsightKafkaMetrics | Kafka의 JMX 메트릭입니다. 이전 사용자 지정 로그 테이블과 동일한 JMX 메트릭과 다른 중요한 메트릭을 모두 포함합니다. 레코드당 하나의 메트릭입니다. | metrics_kafka_CL |
| HDInsightKafkaLogs | Kafka Broker에서 생성된 모든 로그입니다. | log_kafkaserver_CL, log_kafkacontroller_CL |
HBase 워크로드
| 새 테이블 | 설명 | 클래식 테이블 |
|---|---|---|
| HDInsightHBaseMetrics | HBase의 JMX 메트릭입니다. 이전 테이블과 동일한 JMX 메트릭을 모두 포함합니다. 이전 테이블과 달리 각 행에는 하나의 메트릭이 포함됩니다. | metrics_regionserver_CL, metrics_regionserver_wal_CL, metrics_regionserver_ipc_CL, metrics_regionserver_os_CL, metrics_regionserver_replication_CL, metrics_restserver_CL, metrics_restserver_jvm_CL, metrics_hmaster_assignmentmanager_CL, metrics_hmaster_ipc_CL, metrics_hmaser_os_CL, metrics_hmaster_balancer_CL, metrics_hmaster_jvm_CL, metrics_hmaster_CL, metrics_hmaster_fs_CL |
| HDInsightHBaseLogs | HBase 및 관련 구성 요소인 Phoenix 및 HDFS의 로그입니다. | log_regionserver_CL, log_restserver_CL, log_phoenixserver_CL, log_hmaster_CL, log_hdfsnamenode_CL, log_garbage_collector_CL |
Oozie 워크로드
| 새 테이블 | 설명 | 클래식 테이블 |
|---|---|---|
| HDInsightOozieLogs | Oozie 프레임워크에서 생성된 모든 로그입니다. | Log_oozie_CL |
활동 로그
연결된 테이블에는 이 서비스의 활동 로그에 기록할 수 있는 작업이 나열되어 있습니다. 이 작업은 활동 로그에서 가능한 모든 리소스 공급자 작업의 하위 집합입니다.
활동 로그 항목의 스키마에 대한 자세한 내용은 활동 로그 스키마를 참조하세요.
관련 콘텐츠
- HDInsight 모니터링에 대한 설명은 HDInsight 모니터링을 참조하세요.
- Azure 리소스 모니터링에 대한 자세한 내용은 Azure Monitor를 사용한 Azure 리소스 모니터링을 참조하세요.