Teilen über

Azure HDInsight-Überwachungsdatenreferenz

  • Artikel

Dieser Artikel enthält alle Referenzinformationen zur Überwachung dieses Dienstes.

Ausführliche Informationen zu den Daten, die Sie für Azure HDInsight sammeln können, und deren Verwendung finden Sie unter Monitor HDInsight .

Metriken

In diesem Abschnitt werden alle automatisch erfassten Plattformmetriken für diesen Dienst aufgeführt. Diese Metriken sind auch Teil der globalen Liste aller in Azure Monitor unterstützten Plattformmetriken.

Informationen zur Aufbewahrung von Metriken finden Sie unter Überblick über Metriken in Azure Monitor.

Unterstützte Metriken für Microsoft.HDInsight/Cluster

In der folgenden Tabelle sind die Metriken aufgeführt, die für den Ressourcentyp "Microsoft.HDInsight/cluster" verfügbar sind.

  • Möglicherweise sind nicht alle Spalten in jeder Tabelle vorhanden.
  • Einige Spalten können über den Anzeigebereich der Seite hinausgehen. Wählen Sie Tabelle erweitern aus, um alle verfügbaren Spalten anzuzeigen.

Tabellenüberschriften

  • Kategorie – Die Metrikgruppe oder -klassifizierung.
  • Metrik – Der Anzeigename der Metrik, wie er im Azure-Portal angezeigt wird.
  • Name in REST-API: Der Metrikname im REST-API
  • Einheit – Abrechnungseinheit.
  • Aggregation – Der Standard-Aggregationstyp. Gültige Werte: Mittelwert (Avg), Minimum (Min), Maximum (Max), Gesamt (Sum), Anzahl
  • Dimensionen - Für die Metrik verfügbare Dimensionen.
  • Aggregationsintervall - Intervalle, in denen die Metrik gesampelt wird. PT1M bedeutet zum Beispiel, dass die Metrik jede Minute abgerufen wird, PT30M alle 30 Minuten, PT1H jede Stunde usw.
  • DS-Export – Gibt an, ob die Metrik über Diagnose-Einstellungen in Azure Monitor-Protokolle exportiert werden kann. Informationen zum Exportieren von Metriken finden Sie unter Diagnoseeinstellungen in Azure Monitor erstellen.
Kategorie Metrik Name in der REST-API Einheit Aggregation Dimensionen Aggregationsintervalle DS-Export
Verfügbarkeit Kategorisierte Gatewayanforderungen

Anzahl von Gatewayanforderungen nach Kategorien (1xx/2xx/3xx/4xx/5xx)		 CategorizedGatewayRequests Anzahl Anzahl, Summe (Summe) HttpStatus PT1M, PT1H, P1D Ja
Verfügbarkeit Gatewayanforderungen

Anzahl von Gatewayanforderungen		 GatewayRequests Anzahl Anzahl, Summe (Summe) HttpStatus PT1M, PT1H, P1D Ja
Verfügbarkeit REST-Proxy Consumer RequestThroughput

Anzahl von Consumeranforderungen an Kafka-REST-Proxy		 KafkaRestProxy.ConsumerRequest.m1_delta Anzahl pro Sekunde Summe (Summe) Machine, Topic PT1M, PT1H, P1D Ja
Verfügbarkeit REST-Proxy-Consumer nicht erfolgreiche Anforderungen

Consumeranforderungenausnahmen		 KafkaRestProxy.ConsumerRequestFail.m1_delta Anzahl pro Sekunde Summe (Summe) Machine, Topic PT1M, PT1H, P1D Ja
Verfügbarkeit REST-Proxy Consumer RequestLatency

Nachrichtenlatenz in einer Consumeranforderung über Kafka-REST-Proxy		 KafkaRestProxy.ConsumerRequestTime.p95 Millisekunden Average Machine, Topic PT1M, PT1H, P1D Ja
Verfügbarkeit REST-Proxy-Anforderungsrücksprotokoll für Consumeranforderungen

Consumer-REST-Proxy-Warteschlangenlänge		 KafkaRestProxy.ConsumerRequestWaitingInQueueTime.p95 Millisekunden Average Machine, Topic PT1M, PT1H, P1D Ja
Verfügbarkeit REST-Proxy-Produzent MessageThroughput

Anzahl von Producernachrichten über Kafka-REST-Proxy		 KafkaRestProxy.MessagesIn.m1_delta Anzahl pro Sekunde Summe (Summe) Machine, Topic PT1M, PT1H, P1D Ja
Verfügbarkeit REST-Proxy für Consumer MessageThroughput

Anzahl von Consumernachrichten über Kafka-REST-Proxy		 KafkaRestProxy.MessagesOut.m1_delta Anzahl pro Sekunde Summe (Summe) Machine, Topic PT1M, PT1H, P1D Ja
Verfügbarkeit REST-Proxy gleichzeitige Verbindungen

Anzahl gleichzeitiger Verbindungen über Kafka-REST-Proxy		 KafkaRestProxy.OpenConnections Anzahl Summe (Summe) Machine, Topic PT1M, PT1H, P1D Ja
Verfügbarkeit REST-Proxy Producer RequestThroughput

Anzahl von Produceranforderungen an Kafka-REST-Proxy		 KafkaRestProxy.ProducerRequest.m1_delta Anzahl pro Sekunde Summe (Summe) Machine, Topic PT1M, PT1H, P1D Ja
Verfügbarkeit REST-Proxy-Produzent nicht erfolgreich Anforderungen

Produceranforderungenausnahmen		 KafkaRestProxy.ProducerRequestFail.m1_delta Anzahl pro Sekunde Summe (Summe) Machine, Topic PT1M, PT1H, P1D Ja
Verfügbarkeit REST-Proxy producer RequestLatency

Nachrichtenlatenz in einer Produceranforderung über Kafka-REST-Proxy		 KafkaRestProxy.ProducerRequestTime.p95 Millisekunden Average Machine, Topic PT1M, PT1H, P1D Ja
Verfügbarkeit REST proxy Producer Request Backlog

Producer-REST-Proxy-Warteschlangenlänge		 KafkaRestProxy.ProducerRequestWaitingInQueueTime.p95 Millisekunden Average Machine, Topic PT1M, PT1H, P1D Ja
Verfügbarkeit Anzahl der aktiven Mitarbeiter

Anzahl aktiver Worker		 NumActiveWorkers Anzahl Mittelwert, Maximum, Minimum MetricName PT1M, PT1H, P1D Ja
Verfügbarkeit Ausstehende CPU

Ausstehende CPU-Anforderungen in YARN		 PendingCPU Anzahl Mittelwert, Maximum, Minimum <none> PT1M, PT1H, P1D Ja
Verfügbarkeit Ausstehender Arbeitsspeicher

Ausstehende Arbeitsspeicheranforderungen in YARN		 PendingMemory Anzahl Mittelwert, Maximum, Minimum <none> PT1M, PT1H, P1D Ja

Metrikdimensionen

Informationen darüber, was metrische Dimensionen sind, finden Sie unter Mehrdimensionale Metriken.

Bei diesem Dienst gelten die folgenden Dimensionen für die zugehörigen Metriken.

Zu den Dimensionen für die Tabelle "Microsoft.HDInsight/cluster" gehören:

  • HttpStatus
  • Computer
  • Thema
  • MetricName

Ressourcenprotokolle

In diesem Abschnitt werden die Ressourcenprotokolltypen aufgeführt, die für diesen Service erfasst werden können. Der Abschnitt wird aus der Liste aller in Azure Monitor unterstützten Kategorietypen für Ressourcenprotokolle gezogen.

HDInsight verwendet keine Azure Monitor-Ressourcenprotokolle oder Diagnoseeinstellungen. Protokolle werden von anderen Methoden erfasst, einschließlich der Verwendung des Log Analytics-Agents.

Tabellen in Azure Monitor-Protokollen

Dieser Abschnitt bezieht sich die für diesen Service relevanten Azure-Monitor-Protokolltabellen, die für die Abfrage durch Protokollanalyse mit Kusto-Abfragen zur Verfügung stehen. Diese Tabellen enthalten Ressourcenprotokolldaten und möglicherweise mehr, je nachdem, was erfasst und an sie weitergeleitet wird.

HDInsight-Cluster

Microsoft.HDInsight/Cluster

Die verfügbaren Protokolle und Metriken variieren je nach HDInsight-Clustertyp.

Protokolltabellenzuordnung

Die neue Azure Monitor-Integration implementiert neue Tabellen in den Log Analytics-Arbeitsbereich. Die folgenden Tabellen zeigen die Protokolltabellenzuordnungen aus der klassischen Azure Monitor-Integration zum neuen.

In der Spalte "Neue Tabelle " wird der Name der neuen Tabelle angezeigt. In der Zeile "Beschreibung " wird der Typ der Protokolle/Metriken beschrieben, die in dieser Tabelle verfügbar sind. Die Spalte "Klassische Tabelle " ist eine Liste aller Tabellen aus der klassischen Azure Monitor-Integration, deren Daten jetzt in der neuen Tabelle vorhanden sind.

Hinweis

Einige Tabellen sind völlig neu und basieren nicht auf vorherigen Tabellen.

Allgemeine Workloadtabellen

Neue Tabelle Beschreibung Klassische Tabelle
HDInsightAmbariSystemMetrics Von Ambari gesammelte Systemmetriken. Die Metriken stammen jetzt von jedem Knoten im Cluster (mit Ausnahme von Edgeknoten) anstelle der beiden Hauptknoten. Jede Metrik ist jetzt eine Spalte, und jede Metrik wird einmal pro Datensatz gemeldet. metrics_cpu_nice_cl, metrics_cpu_system_cl, metrics_cpu_user_cl, metrics_memory_cache_CL, metrics_memory_swap_CL, metrics_memory_total_CLmetrics_memory_buffer_CL, metrics_load_1min_CL, metrics_load_cpu_CL, metrics_load_nodes_CL, metrics_load_procs_CL, metrics_network_in_CL, metrics_network_out_CL
HDInsightAmbariClusterAlerts Ambari-Clusterbenachrichtigungen von jedem Knoten im Cluster (mit Ausnahme von Randknoten). Jede Warnung ist ein Datensatz in dieser Tabelle. metrics_cluster_alerts_CL
HDInsightSecurityLogs Datensätze aus den Ambari-Überwachungs- und Authentifizierungsprotokollen. log_ambari_audit_CL, log_auth_CL
HDInsightRangerAuditLogs Alle Datensätze aus dem Ranger-Überwachungsprotokoll für ESP-Cluster. ranger_audit_logs_CL
HDInsightGatewayAuditLogs_CL Die Gatewayknoten-Überwachungsinformationen. Dasselbe Format wie die klassische Tabelle und befindet sich weiterhin im Abschnitt "Benutzerdefinierte Protokolle". log_gateway_Audit_CL

Spark-Workload

Hinweis

Spark application related tables have been replaced with 11 new Spark tables that give more in depth information about your Spark workloads.

Neue Tabelle Beschreibung Klassische Tabelle
HDInsightSparkLogs Alle Protokolle im Zusammenhang mit Spark und seiner zugehörigen Komponente: Livy und Jupyter. log_livy_CL, log_jupyter_CL, log_spark_CL, log_sparkappsexecutors_CL, log_sparkappsdrivers_CL
HDInsightSparkApplicationEvents Ereignisinformationen für Spark-Anwendungen, einschließlich Übermittlungs- und Abschlusszeit, App-ID und AppName. Nützlich, um nachzuverfolgen, wann Anwendungen gestartet und abgeschlossen wurden.
HDInsightSparkBlockManagerEvents Ereignisinformationen im Zusammenhang mit dem Block-Manager von Spark. Enthält Informationen wie die Speicherauslastung des Executors.
HDInsightSparkEnvironmentEvents Ereignisinformationen im Zusammenhang mit der Umgebung, in der eine Anwendung ausgeführt wird, einschließlich Spark Deploy Mode, Master und Informationen zum Executor.
HDInsightSparkExecutorEvents Ereignisinformationen zur Spark Executor-Verwendung für eine Anwendung.
HDInsightSparkExtraEvents Ereignisinformationen, die nicht in eine andere Spark-Tabelle passen.
HDInsightSparkJobEvents Informationen zu Spark-Aufträgen, einschließlich der Start- und Endzeiten, des Ergebnisses und der zugehörigen Phasen.
HDInsightSparkSqlExecutionEvents Ereignisinformationen zu Spark SQL-Abfragen, einschließlich deren Planinformationen und Beschreibung sowie Start- und Endzeiten.
HDInsightSparkStageEvents Ereignisinformationen für Spark Stages, einschließlich der Start- und Abschlusszeiten, des Fehlerstatus und detaillierter Ausführungsinformationen.
HDInsightSparkStageTaskAccumulables Leistungsmetriken für Phasen und Aufgaben.
HDInsightTaskEvents Ereignisinformationen für Spark-Aufgaben, einschließlich Start- und Abschlusszeit, zugeordneter Phasen, Ausführungsstatus und Aufgabentyp.
HDInsightJupyterNotebookEvents Ereignisinformationen für Jupyter-Notizbücher.

Hadoop/YARN-Workload

Neue Tabelle Beschreibung Klassische Tabelle
HDInsightHadoopAndYarnMetrics JMX-Metriken aus den Hadoop- und YARN-Frameworks. Enthält alle gleichen JMX-Metriken wie die vorherigen tabellen für benutzerdefinierte Protokolle sowie wichtigere Metriken: Zeitachsenserver, Knoten-Manager und Auftragsverlaufsserver. Enthält eine Metrik pro Datensatz. metrics_resourcemanager_clustermetrics_CL, metrics_resourcemanager_jvm_CL, metrics_resourcemanager_queue_root_CL, metrics_resourcemanager_queue_root_joblauncher_CL, metrics_resourcemanager_queue_root_default_CL, metrics_resourcemanager_queue_root_thriftsvr_CL
HDInsightHadoopAndYarnLogs Alle Protokolle, die aus den Hadoop- und YARN-Frameworks generiert wurden. log_mrjobsummary_CL, log_resourcemanager_CL, log_timelineserver_CL, log_nodemanager_CL

Hive/LLAP-Workload

Neue Tabelle Beschreibung Klassische Tabelle
HDInsightHiveAndLLAPMetrics JMX-Metriken aus den Hive- und LLAP-Frameworks. Enthält alle gleichen JMX-Metriken wie die vorherigen benutzerdefinierten Protokolltabellen, eine Metrik pro Datensatz. llap_metrics_hiveserver2_CL, llap_metrics_hs2_metrics_subsystemllap_metrics_jvm_CL, llap_metrics_llap_daemon_info_CL, llap_metrics_buddy_allocator_info_CL, llap_metrics_deamon_jvm_CL, llap_metrics_io_CL, llap_metrics_executor_metrics_CL, llap_metrics_metricssystem_stats_CL, llap_metrics_cache_CL
HDInsightHiveAndLLAPLogs Protokolle, die aus Hive, LLAP und ihren zugehörigen Komponenten generiert wurden: WebHCat und Zeppelin. log_hivemetastore_CL log_hiveserver2_CL, log_hiveserve2interactive_CL, log_webhcat_CL, log_zeppelin_zeppelin_CL

Kafka-Workload

Neue Tabelle Beschreibung Klassische Tabelle
HDInsightKafkaMetrics JMX-Metriken von Kafka. Enthält alle gleichen JMX-Metriken wie die alten benutzerdefinierten Protokolltabellen sowie andere wichtige Metriken. Eine Metrik pro Datensatz. metrics_kafka_CL
HDInsightKafkaLogs Alle Protokolle, die aus den Kafka-Brokern generiert wurden. log_kafkaserver_CL, log_kafkacontroller_CL

HBase-Workload

Neue Tabelle Beschreibung Klassische Tabelle
HDInsightHBaseMetrics JMX-Metriken von HBase. Enthält alle gleichen JMX-Metriken aus den vorherigen Tabellen. Im Gegensatz zu den vorherigen Tabellen enthält jede Zeile eine Metrik. metrics_regionserver_CL, metrics_regionserver_wal_CL, metrics_regionserver_ipc_CL, metrics_regionserver_os_CL, metrics_regionserver_replication_CL, metrics_restserver_CL, metrics_restserver_jvm_CL, metrics_hmaster_assignmentmanager_CL, metrics_hmaster_ipc_CL, metrics_hmaser_os_CL, metrics_hmaster_balancer_CL, metrics_hmaster_jvm_CL, metrics_hmaster_CL, metrics_hmaster_fs_CL
HDInsightHBaseLogs Protokolle von HBase und den zugehörigen Komponenten: Phoenix und HDFS. log_regionserver_CL, log_restserver_CL, log_phoenixserver_CL, log_hmaster_CL, log_hdfsnamenode_CL, log_garbage_collector_CL

Oozie-Workload

Neue Tabelle Beschreibung Klassische Tabelle
HDInsightOozieLogs Alle Protokolle, die aus dem Oozie-Framework generiert wurden. Log_oozie_CL

Aktivitätsprotokoll

In der verknüpften Tabelle sind die Vorgänge aufgeführt, die im Aktivitätsprotokoll für diesen Dienst aufgezeichnet werden können. Diese Operationen sind eine Teilmenge aller möglichen Ressourcenanbietervorgänge im Aktivitätsprotokoll.

Weitere Informationen zum Schema von Aktivitätsprotokolleinträgen finden Sie unter Ereignisschema des Azure-Aktivitätsprotokolls.

Zugehöriger Inhalt