Delen via

Naslaginformatie over bewakingsgegevens in Azure HDInsight

  • Artikel

Dit artikel bevat alle informatie over bewakingsreferenties voor deze service.

Zie HDInsight bewaken voor meer informatie over de gegevens die u voor Azure HDInsight kunt verzamelen en hoe u deze kunt gebruiken.

Metrische gegevens voor

In deze sectie vindt u alle automatisch verzamelde platformgegevens voor deze service. Deze metrische gegevens maken ook deel uit van de algemene lijst met alle platformgegevens die worden ondersteund in Azure Monitor.

Zie het overzicht van metrische gegevens in Azure Monitor voor meer informatie over het bewaren van metrische gegevens.

Ondersteunde metrische gegevens voor Microsoft.HDInsight/clusters

De volgende tabel bevat de metrische gegevens die beschikbaar zijn voor het resourcetype Microsoft.HDInsight/clusters.

  • Alle kolommen zijn mogelijk niet aanwezig in elke tabel.
  • Sommige kolommen kunnen zich buiten het weergavegebied van de pagina bevinden. Selecteer Tabel uitvouwen om alle beschikbare kolommen weer te geven.

Tabelkoppen

  • Categorie : de groep of classificatie van metrische gegevens.
  • Metrische waarde : de weergavenaam van metrische gegevens zoals deze wordt weergegeven in Azure Portal.
  • Naam in REST API : de naam van de metrische waarde die wordt genoemd in de REST API.
  • Eenheid : maateenheid.
  • Aggregatie: het standaardaggregatietype. Geldige waarden: Gemiddelde (Gemiddeld), Minimum (Min), Maximum (Max), Totaal (Som), Aantal.
  • Dimensies die - beschikbaar zijn voor de metrische waarde.
  • Tijdsintervallen - waarmee de metrische gegevens worden bemonsterd. Geeft bijvoorbeeld PT1M aan dat de metrische waarde elke minuut, PT30M om de 30 minuten, PT1H elk uur enzovoort wordt genomen.
  • DS Exporteren: of de metrische waarde kan worden geëxporteerd naar Azure Monitor-logboeken via diagnostische instellingen. Zie Diagnostische instellingen maken in Azure Monitor voor meer informatie over het exporteren van metrische gegevens.
Categorie Metrische gegevens Naam in REST API Eenheid Statistische functie Afmetingen Tijdsinterval DS Exporteren
Beschikbaarheid Gecategoriseerde gatewayaanvragen

Aantal gatewayaanvragen per categorie (1xx/2xx/3xx/4xx/5xx)		 CategorizedGatewayRequests Tellen Aantal, Totaal (som) HttpStatus PT1M, PT1H, P1D Ja
Beschikbaarheid Gatewayaanvragen

Aantal gatewayaanvragen		 GatewayRequests Tellen Aantal, Totaal (som) HttpStatus PT1M, PT1H, P1D Ja
Beschikbaarheid REST proxy Consumer RequestThroughput

Aantal consumentenaanvragen voor Kafka REST-proxy		 KafkaRestProxy.ConsumerRequest.m1_delta CountPerSecond Totaal (som) Machine, Topic PT1M, PT1H, P1D Ja
Beschikbaarheid Mislukte aanvragen voor REST-proxyverbruikers

Uitzonderingen voor consumentenaanvragen		 KafkaRestProxy.ConsumerRequestFail.m1_delta CountPerSecond Totaal (som) Machine, Topic PT1M, PT1H, P1D Ja
Beschikbaarheid REST proxy Consumer RequestLatency

Berichtlatentie in een consumentenaanvraag via Kafka REST-proxy		 KafkaRestProxy.ConsumerRequestTime.p95 Milliseconden Gemiddeld Machine, Topic PT1M, PT1H, P1D Ja
Beschikbaarheid REST proxy Consumer Request Backlog

Lengte van de rest-proxywachtrij voor consumenten		 KafkaRestProxy.ConsumerRequestWaitingInQueueTime.p95 Milliseconden Gemiddeld Machine, Topic PT1M, PT1H, P1D Ja
Beschikbaarheid REST proxy Producer MessageThroughput

Aantal producentberichten via Kafka REST-proxy		 KafkaRestProxy.MessagesIn.m1_delta CountPerSecond Totaal (som) Machine, Topic PT1M, PT1H, P1D Ja
Beschikbaarheid REST proxy Consumer MessageThroughput

Aantal consumentenberichten via Kafka REST-proxy		 KafkaRestProxy.MessagesOut.m1_delta CountPerSecond Totaal (som) Machine, Topic PT1M, PT1H, P1D Ja
Beschikbaarheid REST-proxy ConcurrentConnections

Aantal gelijktijdige verbindingen via Kafka REST-proxy		 KafkaRestProxy.OpenConnections Tellen Totaal (som) Machine, Topic PT1M, PT1H, P1D Ja
Beschikbaarheid REST proxy Producer RequestThroughput

Aantal aanvragen van producenten naar Kafka REST-proxy		 KafkaRestProxy.ProducerRequest.m1_delta CountPerSecond Totaal (som) Machine, Topic PT1M, PT1H, P1D Ja
Beschikbaarheid Mislukte aanvragen voor REST-proxyproducent

Uitzonderingen voor producentenaanvragen		 KafkaRestProxy.ProducerRequestFail.m1_delta CountPerSecond Totaal (som) Machine, Topic PT1M, PT1H, P1D Ja
Beschikbaarheid REST-proxy producer RequestLatency

Berichtlatentie in een producentaanvraag via Kafka REST-proxy		 KafkaRestProxy.ProducerRequestTime.p95 Milliseconden Gemiddeld Machine, Topic PT1M, PT1H, P1D Ja
Beschikbaarheid Backlog van REST-proxy produceraanvraag

Lengte van de rest-proxywachtrij van producer		 KafkaRestProxy.ProducerRequestWaitingInQueueTime.p95 Milliseconden Gemiddeld Machine, Topic PT1M, PT1H, P1D Ja
Beschikbaarheid Aantal actieve werknemers

Aantal actieve werknemers		 NumActiveWorkers Tellen Gemiddelde, maximum, minimum MetricName PT1M, PT1H, P1D Ja
Beschikbaarheid Cpu in behandeling

Wachtende CPU-aanvragen in YARN		 PendingCPU Tellen Gemiddelde, maximum, minimum <geen> PT1M, PT1H, P1D Ja
Beschikbaarheid Geheugen in behandeling

In behandeling zijnde geheugenaanvragen in YARN		 PendingMemory Tellen Gemiddelde, maximum, minimum <geen> PT1M, PT1H, P1D Ja

Metrische dimensies

Zie Multidimensionale metrische gegevens voor informatie over wat metrische dimensies zijn.

Deze service heeft de volgende dimensies die zijn gekoppeld aan de metrische gegevens.

Dimensies voor de tabel Microsoft.HDInsight/clusters omvatten:

  • HttpStatus
  • Machine
  • Onderwerp
  • MetricName

Resourcelogboeken

Deze sectie bevat de typen resourcelogboeken die u voor deze service kunt verzamelen. De sectie wordt opgehaald uit de lijst met alle typen resourcelogboeken die worden ondersteund in Azure Monitor.

HDInsight maakt geen gebruik van Azure Monitor-resourcelogboeken of diagnostische instellingen. Logboeken worden verzameld door andere methoden, waaronder het gebruik van de Log Analytics-agent.

Azure Monitor-logboekentabellen

In deze sectie vindt u de Tabellen van Azure Monitor-logboeken die relevant zijn voor deze service, die beschikbaar zijn voor query's door Log Analytics met behulp van Kusto-query's. De tabellen bevatten resourcelogboekgegevens en mogelijk meer, afhankelijk van wat er wordt verzameld en doorgestuurd naar deze tabellen.

HDInsight-clusters

Microsoft.HDInsight/Clusters

De beschikbare logboeken en metrische gegevens variëren, afhankelijk van uw HDInsight-clustertype.

Toewijzing van logboektabellen

Met de nieuwe Azure Monitor-integratie worden nieuwe tabellen geïmplementeerd in de Log Analytics-werkruimte. In de volgende tabellen worden de toewijzingen van logboektabellen van de klassieke Azure Monitor-integratie met de nieuwe tabel weergegeven.

In de kolom Nieuwe tabel ziet u de naam van de nieuwe tabel. In de rij Beschrijving wordt het type logboeken/metrische gegevens beschreven dat beschikbaar is in deze tabel. De kolom Klassieke tabel is een lijst met alle tabellen uit de klassieke Azure Monitor-integratie waarvan de gegevens nu aanwezig zijn in de nieuwe tabel.

Notitie

Sommige tabellen zijn volledig nieuw en niet gebaseerd op eerdere tabellen.

Algemene workloadtabellen

Nieuwe tabel Beschrijving Klassieke tabel
HDInsightAmbariSystemMetrics Metrische systeemgegevens verzameld uit Ambari. De metrische gegevens zijn nu afkomstig van elk knooppunt in het cluster (met uitzondering van edge-knooppunten) in plaats van alleen de twee hoofdknooppunten. Elke metriek is nu een kolom en elke metriek wordt eenmaal per record gerapporteerd. metrics_cpu_nice_cl, metrics_cpu_system_cl, metrics_cpu_user_cl, metrics_memory_cache_CL, metrics_memory_swap_CL, metrics_memory_total_CLmetrics_memory_buffer_CL, metrics_load_1min_CL, metrics_load_cpu_CL, metrics_load_nodes_CL, metrics_load_procs_CL, metrics_network_in_CL, metrics_network_out_CL
HDInsightAmbariClusterAlerts Ambari-clusterwaarschuwingen van elk knooppunt in het cluster (met uitzondering van edge-knooppunten). Elke waarschuwing is een record in deze tabel. metrics_cluster_alerts_CL
HDInsightSecurityLogs Records uit de Ambari-audit- en verificatielogboeken. log_ambari_audit_CL, log_auth_CL
HDInsightRangerAuditLogs Alle records uit het auditlogboek van Ranger voor ESP-clusters. ranger_audit_logs_CL
HDInsightGatewayAuditLogs_CL De controlegegevens van de gatewayknooppunten. Dezelfde indeling als de klassieke tabel en nog steeds in de sectie Aangepaste logboeken. log_gateway_Audit_CL

Spark-workload

Notitie

Spark-toepassingsgerelateerde tabellen zijn vervangen door 11 nieuwe Spark-tabellen die meer uitgebreide informatie geven over uw Spark-workloads.

Nieuwe tabel Beschrijving Klassieke tabel
HDInsightSparkLogs Alle logboeken met betrekking tot Spark en het bijbehorende onderdeel: Livy en Jupyter. log_livy_CL, log_jupyter_CL, log_spark_CL, log_sparkappsexecutors_CL, log_sparkappsdrivers_CL
HDInsightSparkApplicationEvents Gebeurtenisinformatie voor Spark-toepassingen, waaronder indienings- en voltooiingstijd, app-id en AppName. Handig om bij te houden wanneer toepassingen zijn gestart en voltooid.
HDInsightSparkBlockManagerEvents Gebeurtenisinformatie met betrekking tot Spark's Block Manager. Bevat informatie zoals geheugengebruik van uitvoerders.
HDInsightSparkEnvironmentEvents Gebeurtenisinformatie met betrekking tot de omgeving waarin een toepassing wordt uitgevoerd, waaronder de Spark Deploy-modus, de master en informatie over de executor.
HDInsightSparkExecutorEvents Gebeurtenisinformatie over het Gebruik van spark-uitvoerders voor een toepassing.
HDInsightSparkExtraEvents Gebeurtenisgegevens die niet in een andere Spark-tabel passen.
HDInsightSparkJobEvents Informatie over Spark-taken, waaronder de begin- en eindtijden, het resultaat en de bijbehorende fasen.
HDInsightSparkSqlExecutionEvents Gebeurtenisinformatie over Spark SQL-query's, inclusief de planningsgegevens en beschrijving en begin- en eindtijden.
HDInsightSparkStageEvents Gebeurtenisgegevens voor Spark-fasen, inclusief de begin- en voltooiingstijden, foutstatus en gedetailleerde uitvoeringsinformatie.
HDInsightSparkStageTaskAccumulables Metrische prestatiegegevens voor fasen en taken.
HDInsightTaskEvents Gebeurtenisgegevens voor Spark-taken, waaronder begin- en voltooiingstijd, gekoppelde fasen, uitvoeringsstatus en taaktype.
HDInsightJupyterNotebookEvents Gebeurtenisinformatie voor Jupyter Notebooks.

Hadoop/YARN-workload

Nieuwe tabel Beschrijving Klassieke tabel
HDInsightHadoopAndYarnMetrics Metrische gegevens van JMX uit de Hadoop- en YARN-frameworks. Bevat dezelfde metrische gegevens van JMX als de vorige tabellen voor aangepaste logboeken, plus belangrijke metrische gegevens: Tijdlijnserver, Knooppuntbeheer en Taakgeschiedenisserver. Bevat één metrische waarde per record. metrics_resourcemanager_clustermetrics_CL, metrics_resourcemanager_jvm_CL, metrics_resourcemanager_queue_root_CL, metrics_resourcemanager_queue_root_joblauncher_CL, metrics_resourcemanager_queue_root_default_CL, metrics_resourcemanager_queue_root_thriftsvr_CL
HDInsightHadoopAndYarnLogs Alle logboeken die zijn gegenereerd op basis van de Hadoop- en YARN-frameworks. log_mrjobsummary_CL, log_resourcemanager_CL, log_timelineserver_CL, log_nodemanager_CL

Hive/LLAP-workload

Nieuwe tabel Beschrijving Klassieke tabel
HDInsightHiveAndLLAPMetrics Metrische gegevens van JMX uit de Hive- en LLAP-frameworks. Bevat dezelfde JMX-metrische gegevens als de vorige aangepaste logboektabellen, één metrische waarde per record. llap_metrics_hiveserver2_CL, llap_metrics_hs2_metrics_subsystemllap_metrics_jvm_CL, llap_metrics_llap_daemon_info_CL, llap_metrics_buddy_allocator_info_CL, llap_metrics_deamon_jvm_CL, llap_metrics_io_CL, llap_metrics_executor_metrics_CL, llap_metrics_metricssystem_stats_CL, llap_metrics_cache_CL
HDInsightHiveAndLLAPLogs Logboeken die zijn gegenereerd op basis van Hive, LLAP en de bijbehorende onderdelen: WebHCat en Zeppelin. log_hivemetastore_CL log_hiveserver2_CL, log_hiveserve2interactive_CL, log_webhcat_CL, log_zeppelin_zeppelin_CL

Kafka-workload

Nieuwe tabel Beschrijving Klassieke tabel
HDInsightKafkaMetrics Metrische gegevens van JMX uit Kafka. Bevat dezelfde JMX-metrische gegevens als de oude tabellen voor aangepaste logboeken, plus andere belangrijke metrische gegevens. Eén metrische waarde per record. metrics_kafka_CL
HDInsightKafkaLogs Alle logboeken die zijn gegenereerd door de Kafka Brokers. log_kafkaserver_CL, log_kafkacontroller_CL

HBase-workload

Nieuwe tabel Beschrijving Klassieke tabel
HDInsightHBaseMetrics Metrische gegevens van JMX van HBase. Bevat dezelfde JMX-metrische gegevens uit de vorige tabellen. In tegenstelling tot de vorige tabellen bevat elke rij één metrische waarde. metrics_regionserver_CL, metrics_regionserver_wal_CL, metrics_regionserver_ipc_CL, metrics_regionserver_os_CL, metrics_regionserver_replication_CL, metrics_restserver_CL, metrics_restserver_jvm_CL, metrics_hmaster_assignmentmanager_CL metrics_hmaster_ipc_CL, metrics_hmaser_os_CL, metrics_hmaster_balancer_CL, metrics_hmaster_jvm_CL, metrics_hmaster_CL, metrics_hmaster_fs_CL
HDInsightHBaseLogs Logboeken van HBase en de bijbehorende onderdelen: Phoenix en HDFS. log_regionserver_CL, log_restserver_CL, log_phoenixserver_CL, log_hmaster_CL, log_hdfsnamenode_CL, log_garbage_collector_CL

Oozie-workload

Nieuwe tabel Beschrijving Klassieke tabel
HDInsightOozieLogs Alle logboeken die zijn gegenereerd op basis van het Oozie-framework. Log_oozie_CL

Activiteitenlogboek

De gekoppelde tabel bevat de bewerkingen die kunnen worden vastgelegd in het activiteitenlogboek voor deze service. Deze bewerkingen zijn een subset van alle mogelijke bewerkingen van de resourceprovider in het activiteitenlogboek.

Zie het schema voor activiteitenlogboeken voor meer informatie over het schema van vermeldingen in het activiteitenlogboek.

Gerelateerde inhoud