Partager via

Informations de référence sur les données de surveillance Azure HDInsight

  • Article

Cet article contient toutes les informations de référence de surveillance pour ce service.

Consultez Surveiller HDInsight pour plus d’informations sur les données que vous pouvez collecter pour Azure HDInsight et comment l’utiliser.

Métriques

Cette section répertorie toutes les métriques de plateforme collectées automatiquement pour App Service. Ces métriques font également partie de la liste globale de toutes les métriques de plateforme prises en charge dans Azure Monitor.

Pour plus d’informations sur les métriques de surveillance, consultez la section Présentation des métriques Azure Monitor.

Métriques prises en charge pour Microsoft.HDInsight/clusters

Le tableau suivant répertorie les métriques disponibles pour le type de ressource Microsoft.HDInsight/clusters.

  • Toutes les colonnes peuvent ne pas être présentes dans chaque table.
  • Certaines colonnes peuvent dépasser la zone d’affichage de la page. Sélectionnez Développer la table pour afficher toutes les colonnes disponibles.

Titres du tableau

  • Catégorie : le groupe de métriques ou classification.
  • Métrique : nom complet de la métrique tel qu’il apparaît dans le portail Azure.
  • Nom dans l’API REST : le nom de la métrique comme appelé dans l’API REST.
  • Unité : unité de mesure.
  • Agrégation : le type d’agrégation par défaut. Valeurs valides : Moyen (moy), Minimum (min), Maximum (max), Total (somme), Nombre.
  • Dimensions - Dimensions disponibles pour la métrique.
  • Fragments de temps - Intervalles auxquels la métrique est échantillonnée. Par exemple, PT1M indique que la métrique est échantillonnée toutes les minutes, PT30M toutes les 30 minutes, PT1H toutes les heures, et ainsi de suite.
  • Exportation DS : indique si la métrique est exportable vers les journaux Azure Monitor via les paramètres de diagnostic. Pour plus d’informations sur l’exportation des métriques, consultez Créer des paramètres de diagnostic dans Azure Monitor.
Catégorie Métrique Nom dans l’API REST Unité Agrégation Dimensions Fragments de temps Exportation DS
Disponibilité Demandes de passerelle classées

Nombre de demandes de la passerelle par catégories (1xx/2xx/3xx/4xx/5xx)		 CategorizedGatewayRequests Count Nombre, Total (Somme) HttpStatus PT1M, PT1H, P1D Oui
Disponibilité Demandes de passerelle

Nombre de demandes de la passerelle		 GatewayRequests Count Nombre, Total (Somme) HttpStatus PT1M, PT1H, P1D Oui
Disponibilité Requête de consommateur du proxy REST

Nombre de demandes de consommateur au proxy REST Kafka		 KafkaRestProxy.ConsumerRequest.m1_delta CountPerSecond Total (Somme) Machine, Topic PT1M, PT1H, P1D Oui
Disponibilité Demandes non réussies du consommateur du proxy REST

Exceptions de demande de consommateur		 KafkaRestProxy.ConsumerRequestFail.m1_delta CountPerSecond Total (Somme) Machine, Topic PT1M, PT1H, P1D Oui
Disponibilité Rest proxy RequestLatency du consommateur

Latence des messages dans une demande de consommateur via le proxy REST Kafka		 KafkaRestProxy.ConsumerRequestTime.p95 Millisecondes Average Machine, Topic PT1M, PT1H, P1D Oui
Disponibilité Backlog des demandes de consommateur du proxy REST

Longueur de file d’attente de proxy REST de consommateur		 KafkaRestProxy.ConsumerRequestWaitingInQueueTime.p95 Millisecondes Average Machine, Topic PT1M, PT1H, P1D Oui
Disponibilité MessageThroughput du producteur de proxy REST

Nombre de messages de producteur via le proxy REST Kafka		 KafkaRestProxy.MessagesIn.m1_delta CountPerSecond Total (Somme) Machine, Topic PT1M, PT1H, P1D Oui
Disponibilité MessageThroughput du consommateur du proxy REST

Nombre de messages de consommateur via le proxy REST Kafka		 KafkaRestProxy.MessagesOut.m1_delta CountPerSecond Total (Somme) Machine, Topic PT1M, PT1H, P1D Oui
Disponibilité REST proxy ConcurrentConnections

Nombre de connexions simultanées via le proxy REST Kafka		 KafkaRestProxy.OpenConnections Count Total (Somme) Machine, Topic PT1M, PT1H, P1D Oui
Disponibilité RequestThroughput du producteur de proxy REST

Nombre de demandes de producteur au proxy REST Kafka		 KafkaRestProxy.ProducerRequest.m1_delta CountPerSecond Total (Somme) Machine, Topic PT1M, PT1H, P1D Oui
Disponibilité Demandes infructueuses du producteur de proxy REST

Exceptions de demande de producteur		 KafkaRestProxy.ProducerRequestFail.m1_delta CountPerSecond Total (Somme) Machine, Topic PT1M, PT1H, P1D Oui
Disponibilité DemandeLatency du producteur de proxy REST

Latence des messages dans une demande de producteur via le proxy REST Kafka		 KafkaRestProxy.ProducerRequestTime.p95 Millisecondes Average Machine, Topic PT1M, PT1H, P1D Oui
Disponibilité Backlog des demandes du producteur du proxy REST

Longueur de file d’attente de proxy REST de producteur		 KafkaRestProxy.ProducerRequestWaitingInQueueTime.p95 Millisecondes Average Machine, Topic PT1M, PT1H, P1D Oui
Disponibilité Nombre de travailleurs actifs

Nombre de collaborateurs actifs		 NumActiveWorkers Count Moyenne, Maximum, Minimum MetricName PT1M, PT1H, P1D Oui
Disponibilité Processeur en attente

Demandes d’UC en attente dans YARN		 PendingCPU Count Moyenne, Maximum, Minimum <aucune> PT1M, PT1H, P1D Oui
Disponibilité Mémoire en attente

Demandes de mémoire en attente dans YARN		 PendingMemory Count Moyenne, Maximum, Minimum <aucune> PT1M, PT1H, P1D Oui

Dimensions de métrique

Pour plus d’informations sur les dimensions de métrique, consultez Métriques multidimensionnelles.

Ce service a les dimensions suivantes associées à ses métriques.

Les dimensions de la table Microsoft.HDInsight/clusters sont les suivantes :

  • httpStatus
  • Machine
  • Sujet
  • MetricName

Journaux d’activité de ressources

Cette section répertorie les types de journaux d’activité de ressources que vous pouvez collecter pour ce service. La section extrait la liste de tous les types de catégorie de journaux d’activité de ressources pris en charge dans Azure Monitor.

HDInsight n’utilise pas les journaux de ressources Azure Monitor ou les paramètres de diagnostic. Les journaux sont collectés par d’autres méthodes, notamment l’utilisation de l’agent Log Analytics.

Tables Azure Monitor Logs

Cette section répertorie les tables de journaux Azure Monitor pertinentes pour ce service, disponibles pour une requête par l’analytique des journaux d’activité à l’aide de requêtes Kusto. Les tables contiennent les données du journal des ressources et éventuellement d’autres données en fonction de ce qui est collecté et acheminé vers elles.

Clusters HDInsight

Microsoft.HDInsight/Clusters

Les journaux et métriques disponibles varient en fonction de votre type de cluster HDInsight.

Mappage de table de journal

La nouvelle intégration d’Azure Monitor implémente de nouvelles tables dans l’espace de travail Log Analytics. Les tableaux suivants montrent les mappages de tables de journal de l’intégration Azure Monitor classique à la nouvelle.

La colonne Nouvelle table affiche le nom de la nouvelle table. La ligne Description décrit le type de journaux/métriques disponibles dans ce tableau. La colonne De table Classique est une liste de toutes les tables de l’intégration Azure Monitor classique dont les données sont désormais présentes dans la nouvelle table.

Remarque

Certaines tables sont complètement nouvelles et ne sont pas basées sur les tables précédentes.

Tables de charge de travail générales

Nouvelle table Description Tableau classique
HDInsightAmbariSystemMetrics Métriques système collectées à partir d’Ambari. Les métriques proviennent désormais de chaque nœud du cluster (à l’exception des nœuds de périphérie) au lieu des deux nœuds principaux uniquement. Chaque métrique est désormais une colonne et chaque métrique est signalée une fois par enregistrement. metrics_cpu_nice_cl, metrics_cpu_system_cl, metrics_cpu_user_cl, metrics_memory_cache_CL, metrics_memory_swap_CL, metrics_memory_total_CLmetrics_memory_buffer_CL, metrics_load_1min_CL, metrics_load_cpu_CL, metrics_load_nodes_CL, metrics_load_procs_CL, metrics_network_in_CL, metrics_network_out_CL
HDInsightAmbariClusterAlerts Alertes de cluster Ambari de chaque nœud du cluster (à l’exception des nœuds de périphérie). Chaque alerte est un enregistrement dans cette table. metrics_cluster_alerts_CL
HDInsightSecurityLogs Enregistrements des journaux d’audit et d’authentification Ambari. log_ambari_audit_CL, log_auth_CL
HDInsightRangerAuditLogs Tous les enregistrements du journal d’audit Ranger pour les clusters ESP. ranger_audit_logs_CL
HDInsightGatewayAuditLogs_CL Informations d’audit des nœuds de passerelle. Même format que le tableau classique et toujours situé dans la section Journaux personnalisés. log_gateway_Audit_CL

Charge de travail Spark

Remarque

Les tables associées à l’application Spark ont été remplacées par 11 nouvelles tables Spark qui fournissent des informations plus détaillées sur vos charges de travail Spark.

Nouvelle table Description Tableau classique
HDInsightSparkLogs Tous les journaux liés à Spark et à son composant associé : Livy et Jupyter. log_livy_CL, log_jupyter_CL, log_spark_CL, log_sparkappsexecutors_CL, log_sparkappsdrivers_CL
HDInsightSparkApplicationEvents Informations sur les événements pour les applications Spark, notamment l’heure de soumission et d’achèvement, l’ID d’application et AppName. Utile pour effectuer le suivi du démarrage et de la fin des applications.
HDInsightSparkBlockManagerEvents Informations sur les événements liés au Gestionnaire de blocs de Spark. Inclut des informations telles que l’utilisation de la mémoire de l’exécuteur.
HDInsightSparkEnvironmentEvents Les informations d’événement relatives à l’environnement dans lequel une application s’exécute, notamment, le mode de déploiement Spark, le maître et les informations sur l’exécuteur.
HDInsightSparkExecutorEvents Informations sur l’utilisation de l’exécuteur Spark par une application.
HDInsightSparkExtraEvents Informations d’événement qui ne tiennent pas dans une autre table Spark.
HDInsightSparkJobEvents Informations sur les travaux Spark, notamment leurs heures de début et de fin, le résultat et les étapes associées.
HDInsightSparkSqlExecutionEvents Informations sur les événements sur les requêtes Spark SQL, notamment leurs informations de plan et leur description, ainsi que les heures de début et de fin.
HDInsightSparkStageEvents Informations sur les événements pour les phases Spark, notamment les heures de début et d’achèvement, l’état de l’échec et les informations d’exécution détaillées.
HDInsightSparkStageTaskAccumulables Métriques de performances pour les étapes et les tâches.
HDInsightTaskEvents Informations sur les événements pour les tâches Spark, notamment le temps de début et d’achèvement, les étapes associées, l’état d’exécution et le type de tâche.
HDInsightJupyterNotebookEvents Informations sur les événements pour les notebooks Jupyter.

Charge de travail Hadoop/YARN

Nouvelle table Description Tableau classique
HDInsightHadoopAndYarnMetrics Métriques JMX à partir des frameworks Hadoop et YARN. Contient toutes les mêmes métriques JMX que les tables de journaux personnalisées précédentes, ainsi que les métriques plus importantes : serveur de chronologie, gestionnaire de nœuds et serveur d’historique des travaux. Contient une métrique par enregistrement. metrics_resourcemanager_clustermetrics_CL, metrics_resourcemanager_jvm_CL, metrics_resourcemanager_queue_root_CL, metrics_resourcemanager_queue_root_joblauncher_CL, metrics_resourcemanager_queue_root_default_CL, metrics_resourcemanager_queue_root_thriftsvr_CL
HDInsightHadoopAndYarnLogs Tous les journaux générés à partir des frameworks Hadoop et YARN. log_mrjobsummary_CL, log_resourcemanager_CL, log_timelineserver_CL, log_nodemanager_CL

Charge de travail Hive/LLAP

Nouvelle table Description Tableau classique
HDInsightHiveAndLLAPMetrics Métriques JMX à partir des frameworks Hive et LLAP. Contient toutes les mêmes métriques JMX que les tables de journaux personnalisées précédentes, une métrique par enregistrement. llap_metrics_hiveserver2_CL, llap_metrics_hs2_metrics_subsystemllap_metrics_jvm_CL, llap_metrics_llap_daemon_info_CL, llap_metrics_buddy_allocator_info_CL, llap_metrics_deamon_jvm_CL, llap_metrics_io_CL, llap_metrics_executor_metrics_CL, llap_metrics_metricssystem_stats_CL, llap_metrics_cache_CL
HDInsightHiveAndLLAPLogs Journaux générés à partir de Hive, LLAP et leurs composants associés : WebHCat et Zeppelin. log_hivemetastore_CL log_hiveserver2_CL, log_hiveserve2interactive_CL, log_webhcat_CL, log_zeppelin_zeppelin_CL

Charge de travail Kafka

Nouvelle table Description Tableau classique
HDInsightKafkaMetrics Métriques JMX de Kafka. Contient toutes les mêmes métriques JMX que les anciennes tables de journaux personnalisés, ainsi que d’autres métriques importantes. Une métrique par enregistrement. metrics_kafka_CL
HDInsightKafkaLogs Tous les journaux générés à partir des répartiteurs Kafka. log_kafkaserver_CL, log_kafkacontroller_CL

Charge de travail HBase

Nouvelle table Description Tableau classique
HDInsightHBaseMetrics Métriques JMX à partir de HBase. Contient toutes les mêmes métriques JMX des tables précédentes. Contrairement aux tables précédentes, chaque ligne contient une métrique. metrics_regionserver_CL, metrics_regionserver_wal_CL, metrics_regionserver_ipc_CL, metrics_regionserver_os_CL, metrics_regionserver_replication_CL, metrics_restserver_CL, metrics_restserver_jvm_CL, metrics_hmaster_assignmentmanager_CL, metrics_hmaster_ipc_CL, metrics_hmaser_os_CL, metrics_hmaster_balancer_CL, metrics_hmaster_jvm_CL, metrics_hmaster_CL, metrics_hmaster_fs_CL
HDInsightHBaseLogs Journaux d’activité de HBase et de ses composants associés : Phoenix et HDFS. log_regionserver_CL, log_restserver_CL, log_phoenixserver_CL, log_hmaster_CL, log_hdfsnamenode_CL, log_garbage_collector_CL

Charge de travail Oozie

Nouvelle table Description Tableau classique
HDInsightOozieLogs Tous les journaux générés à partir de l’infrastructure Oozie. Log_oozie_CL

Journal d’activité

La table liée répertorie les opérations qui peuvent être enregistrées dans le journal d’activité de ce service. Ces opérations constituent un sous-ensemble de toutes les opérations possibles du fournisseur de ressources dans le journal d’activité.

Pour plus d’informations sur le schéma des entrées du journal d’activité, consultez Schéma du journal d’activité.

Contenu connexe