Share via

Azure HDInsight 모니터링 데이터 참조

  • 아티클

이 문서에는 이 서비스에 대한 모든 모니터링 참조 정보가 포함되어 있습니다.

Azure HDInsight에 대해 수집할 수 있는 데이터 및 사용 방법에 대한 자세한 내용은 HDInsight 모니터링을 참조하세요.

메트릭

이 섹션에는 이 서비스에 대해 자동으로 모은 플랫폼 메트릭이 모두 나열되어 있습니다. 이러한 메트릭은 Azure Monitor에서 지원되는 모든 플랫폼 메트릭의 전역 목록의 일부이기도 합니다.

메트릭 보존에 관한 자세한 내용은 Azure Monitor 메트릭 개요를 참조하세요.

Microsoft.HDInsight/클러스터에 대해 지원되는 메트릭

다음 표에서는 Microsoft.HDInsight/클러스터 리소스 종류에 사용할 수 있는 메트릭을 나열합니다.

  • 모든 테이블에 모든 열이 있는 것은 아닙니다.
  • 일부 열은 페이지의 보기 영역 밖에 있을 수 있습니다. 사용 가능한 모든 열을 보려면 테이블 확장을 선택합니다.

테이블 제목

  • 범주 - 메트릭 그룹 또는 분류입니다.
  • 메트릭 - Azure Portal에 표시되는 메트릭 표시 이름입니다.
  • REST API의 이름 - REST API에서 참조되는 메트릭 이름입니다.
  • 단위 - 측정 단위입니다.
  • 집계 - 기본 집계 형식입니다. 유효한 값은 평균(Avg), 최소(Min), 최대(Max), 합계(Sum), 개수입니다.
  • 차원 - 메트릭에 사용할 수 있는 차원입니다.
  • 시간 조직 - 메트릭이 샘플링되는 간격입니다. 예를 들어, PT1M은 메트릭이 1분마다, PT30M은 30분마다, PT1H는 1시간마다 샘플링됨을 나타냅니다.
  • DS 내보내기- 진단 설정을 통해 메트릭을 Azure Monitor 로그로 내보낼 수 있는지 여부를 나타냅니다. 메트릭 내보내기에 대한 자세한 내용은 Azure Monitor의 진단 설정 생성을 참조하세요.
범주 메트릭 REST API의 이름 단위 집계 차원 시간 조직 DS 내보내기
가용성 범주화된 게이트웨이 요청

범주별 게이트웨이 요청 수(1xx/2xx/3xx/4xx/5xx)		 CategorizedGatewayRequests Count Count, Total HttpStatus PT1M, PT1H, P1D 예
가용성 게이트웨이 요청

게이트웨이 요청 수		 GatewayRequests Count Count, Total HttpStatus PT1M, PT1H, P1D 예
가용성 REST 프록시 소비자 RequestThroughput

Kafka REST 프록시에 대한 소비자 요청 수		 KafkaRestProxy.ConsumerRequest.m1_delta 초당 개수 총계 Machine, Topic PT1M, PT1H, P1D 예
가용성 REST 프록시 소비자 실패 요청

소비자 요청 예외		 KafkaRestProxy.ConsumerRequestFail.m1_delta 초당 개수 총계 Machine, Topic PT1M, PT1H, P1D 예
가용성 REST 프록시 소비자 RequestLatency

Kafka REST 프록시를 통한 소비자 요청의 메시지 대기 시간		 KafkaRestProxy.ConsumerRequestTime.p95 밀리초 평균 Machine, Topic PT1M, PT1H, P1D 예
가용성 REST 프록시 소비자 요청 백로그

소비자 REST 프록시 큐 길이		 KafkaRestProxy.ConsumerRequestWaitingInQueueTime.p95 밀리초 평균 Machine, Topic PT1M, PT1H, P1D 예
가용성 REST 프록시 생산자 MessageThroughput

Kafka REST 프록시를 통한 생산자 메시지 수		 KafkaRestProxy.MessagesIn.m1_delta 초당 개수 총계 Machine, Topic PT1M, PT1H, P1D 예
가용성 REST 프록시 소비자 MessageThroughput

Kafka REST 프록시를 통한 소비자 메시지 수		 KafkaRestProxy.MessagesOut.m1_delta 초당 개수 총계 Machine, Topic PT1M, PT1H, P1D 예
가용성 REST 프록시 동시커넥트ions

Kafka REST 프록시를 통한 동시 연결 수		 KafkaRestProxy.OpenConnections Count 합계 Machine, Topic PT1M, PT1H, P1D 예
가용성 REST 프록시 생산자 RequestThroughput

Kafka REST 프록시에 대한 생산자 요청 수		 KafkaRestProxy.ProducerRequest.m1_delta 초당 개수 총계 Machine, Topic PT1M, PT1H, P1D 예
가용성 REST 프록시 생산자 실패 요청

생산자 요청 예외		 KafkaRestProxy.ProducerRequestFail.m1_delta 초당 개수 총계 Machine, Topic PT1M, PT1H, P1D 예
가용성 REST 프록시 생산자 RequestLatency

Kafka REST 프록시를 통한 생산자 요청의 메시지 대기 시간		 KafkaRestProxy.ProducerRequestTime.p95 밀리초 평균 Machine, Topic PT1M, PT1H, P1D 예
가용성 REST 프록시 생산자 요청 백로그

생산자 REST 프록시 큐 길이		 KafkaRestProxy.ProducerRequestWaitingInQueueTime.p95 밀리초 평균 Machine, Topic PT1M, PT1H, P1D 예
가용성 활성 작업자 수

활성 작업자 수		 NumActiveWorkers Count 평균, 최대, 최소 MetricName PT1M, PT1H, P1D 예
가용성 보류 중인 CPU

YARN에서 보류 중인 CPU 요청		 PendingCPU Count 평균, 최대, 최소 <없음> PT1M, PT1H, P1D 예
가용성 보류 중인 메모리

YARN에서 보류 중인 메모리 요청		 PendingMemory Count 평균, 최대, 최소 <없음> PT1M, PT1H, P1D 예

메트릭 차원

메트릭 차원에 대한 자세한 내용은 다차원 메트릭을 참조하세요.

이 서비스에는 메트릭과 연결된 다음과 같은 차원이 있습니다.

Microsoft.HDInsight/클러스터 테이블의 차원은 다음과 같습니다.

  • HttpStatus
  • 컴퓨터
  • 항목
  • MetricName

리소스 로그

이 섹션에는 이 서비스에 대해 모을 수 있는 리소스 로그 유형이 나열되어 있습니다. 이 섹션은 Azure Monitor에서 지원되는 모든 리소스 로그 범주 유형 목록에서 가져옵니다.

HDInsight는 Azure Monitor 리소스 로그 또는 진단 설정을 사용하지 않습니다. 로그는 Log Analytics 에이전트 사용을 포함하여 다른 방법으로 수집됩니다.

Azure Monitor 로그 테이블

이 섹션에서는 Kusto 쿼리를 사용하여 Log Analytics에서 쿼리할 수 있는 이 서비스와 관련된 Azure Monitor 로그 테이블을 나열합니다. 테이블에는 리소스 로그 데이터가 포함되며 수집 및 라우팅되는 항목에 따라 더 많은 데이터가 포함될 수 있습니다.

HDInsight 클러스터

Microsoft.HDInsight/클러스터

사용 가능한 로그 및 메트릭은 HDInsight 클러스터 유형에 따라 달라집니다.

로그 테이블 매핑

새 Azure Monitor 통합은 Log Analytics 작업 영역에서 새 테이블을 구현합니다. 다음 표에서는 클래식 Azure Monitor 통합에서 새 Azure Monitor에 대한 로그 테이블 매핑을 보여 줍니다.

새 테이블 열에는 새 테이블의 이름이 표시됩니다. 설명 행은 이 테이블에서 사용할 수 있는 로그/메트릭의 형식을 설명합니다. 클래식 테이블 열은 현재 새 테이블에 데이터가 있는 클래식 Azure Monitor 통합의 모든 테이블 목록입니다.

참고 항목

일부 테이블은 완전히 새로운 테이블이며 이전 테이블을 기반으로 하지 않습니다.

일반 워크로드 테이블

새 테이블 설명 클래식 테이블
HDInsightAmbariSystemMetrics Ambari에서 수집된 시스템 메트릭입니다. 이제 메트릭은 두 헤드 노드 대신 클러스터의 각 노드(에지 노드 제외)에서 가져오게 됩니다. 각 메트릭은 열이며, 메트릭은 레코드별로 한 번만 보고됩니다. metrics_cpu_nice_cl, metrics_cpu_system_cl, metrics_cpu_user_cl, metrics_memory_cache_CL, metrics_memory_swap_CL, metrics_memory_total_CLmetrics_memory_buffer_CL, metrics_load_1min_CL, metrics_load_cpu_CL, metrics_load_nodes_CL, metrics_load_procs_CL, metrics_network_in_CL, metrics_network_out_CL
HDInsightAmbariClusterAlerts 클러스터의 각 노드에서 Ambari 클러스터 경고(에지 노드 제외). 각 경고는 이 테이블의 레코드입니다. metrics_cluster_alerts_CL
HDInsightSecurityLogs Ambari 감사 및 인증 로그의 레코드입니다. log_ambari_audit_CL, log_auth_CL
HDInsightRangerAuditLogs ESP 클러스터에 대한 Ranger 감사 로그의 모든 레코드입니다. ranger_audit_logs_CL
HDInsightGatewayAuditLogs_CL 게이트웨이 노드는 정보를 감사합니다. 클래식 테이블과 동일한 형식이며 사용자 지정 로그 섹션에 있습니다. log_gateway_Audit_CL

Spark 워크로드

참고 항목

Spark 애플리케이션 관련 테이블은 Spark 워크로드에 대한 자세한 정보를 제공하는 11개의 새 Spark 테이블로 대체되었습니다.

새 테이블 설명 클래식 테이블
HDInsightSparkLogs Spark 및 관련 구성 요소와 관련된 모든 로그: Livy 및 Jupyter. log_livy_CL, log_jupyter_CL, log_spark_CL, log_sparkappsexecutors_CL, log_sparkappsdrivers_CL
HDInsightSparkApplicationEvents 제출 및 완료 시간, 앱 ID 및 AppName을 포함한 Spark 애플리케이션에 대한 이벤트 정보입니다. 애플리케이션이 시작되고 완료된 시기를 추적하는 데 유용합니다.
HDInsightSparkBlockManagerEvents Spark의 블록 관리자와 관련된 이벤트 정보입니다. 실행기 메모리 사용량과 같은 정보를 포함합니다.
HDInsightSparkEnvironmentEvents Spark 배포 모드, 마스터 및 실행자에 대한 정보를 포함하여 애플리케이션이 실행하는 환경과 관련된 이벤트 정보입니다.
HDInsightSparkExecutorEvents 애플리케이션의 Spark 실행기 사용량에 대한 이벤트 정보입니다.
HDInsightSparkExtraEvents 다른 Spark 테이블에 맞지 않는 이벤트 정보입니다.
HDInsightSparkJobEvents 시작 및 종료 시간, 결과 및 관련 단계를 포함한 Spark 작업에 대한 정보입니다.
HDInsightSparkSQLExecutionEvents 계획 정보 및 설명, 시작 및 종료 시간을 포함하여 Spark SQL 쿼리에 대한 이벤트 정보입니다.
HDInsightSparkStageEvents 시작 및 완료 시간, 실패 상태 및 자세한 실행 정보를 포함한 Spark 스테이지에 대한 이벤트 정보입니다.
HDInsightSparkStageTaskAccumulables 단계 및 작업에 대한 성능 메트릭입니다.
HDInsightTaskEvents 시작 및 완료 시간, 관련 단계, 실행 상태 및 작업 유형을 포함한 Spark 작업에 대한 이벤트 정보입니다.
HDInsightJupyterNotebookEvents Jupyter Notebook에 대한 이벤트 정보입니다.

Hadoop/YARN 워크로드

새 테이블 설명 클래식 테이블
HDInsightHadoopAndYarnMetrics Hadoop 및 YARN 프레임워크의 JMX 메트릭입니다. 이전 사용자 지정 로그 테이블과 동일한 모든 JMX 메트릭과 타임라인 서버, 노드 관리자 및 작업 기록 서버와 같은 더 중요한 메트릭을 포함합니다. 레코드당 하나의 메트릭을 포함합니다. metrics_resourcemanager_clustermetrics_CL, metrics_resourcemanager_jvm_CL, metrics_resourcemanager_queue_root_CL, metrics_resourcemanager_queue_root_joblauncher_CL, metrics_resourcemanager_queue_root_default_CL, metrics_resourcemanager_queue_root_thriftsvr_CL
HDInsightHadoopAndYarnLogs Hadoop 및 YARN 프레임워크에서 생성된 모든 로그입니다. log_mrjobsummary_CL, log_resourcemanager_CL, log_타임라인server_CL, log_nodemanager_CL

Hive/LLAP 워크로드

새 테이블 설명 클래식 테이블
HDInsightHiveAndLLAPMetrics Hive 및 LLAP 프레임워크의 JMX 메트릭입니다. 레코드당 하나의 메트릭인 이전 사용자 지정 로그 테이블과 동일한 JMX 메트릭을 모두 포함합니다. llap_metrics_hiveserver2_CL, llap_metrics_hs2_metrics_subsystemllap_metrics_jvm_CL, llap_metrics_llap_daemon_info_CL, llap_metrics_buddy_allocator_info_CL, llap_metrics_deamon_jvm_CL, llap_metrics_io_CL, llap_metrics_executor_metrics_CL, llap_metrics_metricssystem_stats_CL, llap_metrics_cache_CL
HDInsightHiveAndLLAPLogs Hive, LLAP 및 관련 구성 요소인 WebHCat 및 Zeppelin에서 생성된 로그입니다. log_hivemetastore_CL log_hiveserver2_CL, log_hiveserve2interactive_CL, log_webhcat_CL, log_zeppelin_zeppelin_CL

Kafka 워크로드

새 테이블 설명 클래식 테이블
HDInsightKafkaMetrics Kafka의 JMX 메트릭입니다. 이전 사용자 지정 로그 테이블과 동일한 JMX 메트릭과 다른 중요한 메트릭을 모두 포함합니다. 레코드당 하나의 메트릭입니다. metrics_kafka_CL
HDInsightKafkaLogs Kafka Broker에서 생성된 모든 로그입니다. log_kafkaserver_CL, log_kafkacontroller_CL

HBase 워크로드

새 테이블 설명 클래식 테이블
HDInsightHBaseMetrics HBase의 JMX 메트릭입니다. 이전 테이블과 동일한 JMX 메트릭을 모두 포함합니다. 이전 테이블과 달리 각 행에는 하나의 메트릭이 포함됩니다. metrics_regionserver_CL, metrics_regionserver_wal_CL, metrics_regionserver_ipc_CL, metrics_regionserver_os_CL, metrics_regionserver_복제본(replica)tion_CL, metrics_restserver_CL, metrics_restserver_jvm_CL, metrics_hmaster_assignmentmanager_CL, metrics_hmaster_ipc_CL, metrics_hmaser_os_CL, metrics_hmaster_balancer_CL, metrics_hmaster_jvm_CL, metrics_hmaster_CL, metrics_hmaster_fs_CL
HDInsightHBaseLogs HBase 및 관련 구성 요소인 Phoenix 및 HDFS의 로그입니다. log_regionserver_CL, log_restserver_CL, log_phoenixserver_CL, log_hmaster_CL, log_hdfsnamenode_CL, log_garbage_collector_CL

Oozie 워크로드

새 테이블 설명 클래식 테이블
HDInsightOozieLogs Oozie 프레임워크에서 생성된 모든 로그입니다. Log_oozie_CL

활동 로그

연결된 테이블에는 이 서비스의 활동 로그에 기록할 수 있는 작업이 나열되어 있습니다. 이 작업은 활동 로그에서 가능한 모든 리소스 공급자 작업의 하위 집합입니다.

활동 로그 항목의 스키마에 대한 자세한 내용은 활동 로그 스키마를 참조하세요.

관련 콘텐츠