Справочник по данным мониторинга Azure HDInsight
В этой статье содержатся все справочные сведения о мониторинге для этой службы.
Дополнительные сведения о данных, собираемых для Azure HDInsight, и их использовании см. в разделе "Мониторинг HDInsight ".
Метрики
В этом разделе перечислены все автоматически собранные метрики платформы для этой службы. Эти метрики также являются частью глобального списка всех метрик платформы, поддерживаемых в Azure Monitor.
Сведения о хранении метрик см. в обзоре метрик Azure Monitor.
Поддерживаемые метрики для Microsoft.HDInsight/clusters
В следующей таблице перечислены метрики, доступные для типа ресурсов Microsoft.HDInsight/clusters.
- Все столбцы могут не присутствовать в каждой таблице.
- Некоторые столбцы могут находиться за пределами области просмотра страницы. Выберите "Развернуть таблицу ", чтобы просмотреть все доступные столбцы.
Заголовки таблиц
- Категория — группа метрик или классификация.
- Метрика — отображаемое имя метрик, как оно отображается в портал Azure.
- Имя в REST API — имя метрики, указанное в REST API.
- Единица измерения.
- Агрегирование — тип агрегирования по умолчанию. Допустимые значения: среднее (среднее), минимальное (минимальное), максимальное (максимальное), общее (сумма), число.
- Измерения - , доступные для метрики.
- Интервалы интервалов - времени, по которым выборка метрики выполняется. Например, указывает,
PT1Mчто метрика выборка выполняется каждую минуту, каждые 30 минут,PT30MPT1Hкаждый час и т. д. - Экспорт DS— можно ли экспортировать метрики в журналы Azure Monitor с помощью параметров диагностики. Сведения об экспорте метрик см. в статье "Создание параметров диагностики" в Azure Monitor.
| Категория | Метрика | Имя в REST API | Единица измерения | Агрегат | Измерения | Интервалы времени | Экспорт DS |
|---|---|---|---|---|---|---|---|
| Availability | Классифицированные запросы шлюза Число запросов к шлюзу по категориям (1xx, 2xx, 3xx, 4xx или 5xx) |
CategorizedGatewayRequests |
Count | Count, Total (Sum) | HttpStatus |
PT1M, PT1H, P1D | Да |
| Availability | Запросы шлюза Число запросов к шлюзу |
GatewayRequests |
Count | Count, Total (Sum) | HttpStatus |
PT1M, PT1H, P1D | Да |
| Availability | REST proxy Consumer RequestThroughput Число запросов потребителей к прокси-серверу Kafka REST |
KafkaRestProxy.ConsumerRequest.m1_delta |
Число/с | Total (Sum) | Machine, Topic |
PT1M, PT1H, P1D | Да |
| Availability | Неудачные запросы потребителей прокси-сервера REST Исключения запроса потребителя |
KafkaRestProxy.ConsumerRequestFail.m1_delta |
Число/с | Total (Sum) | Machine, Topic |
PT1M, PT1H, P1D | Да |
| Availability | REST proxy Consumer RequestLatency Задержка сообщений в запросе потребителя через прокси Kafka REST |
KafkaRestProxy.ConsumerRequestTime.p95 |
Миллисекунды | По средней | Machine, Topic |
PT1M, PT1H, P1D | Да |
| Availability | Невыполненная работа запроса потребителя прокси-сервера REST Длина очереди прокси-сервера REST клиента |
KafkaRestProxy.ConsumerRequestWaitingInQueueTime.p95 |
Миллисекунды | По средней | Machine, Topic |
PT1M, PT1H, P1D | Да |
| Availability | REST proxy Producer MessageThroughput Число сообщений издателя через прокси-сервер Kafka REST |
KafkaRestProxy.MessagesIn.m1_delta |
Число/с | Total (Sum) | Machine, Topic |
PT1M, PT1H, P1D | Да |
| Availability | REST proxy Consumer MessageThroughput Число сообщений потребителя через прокси-сервер Kafka REST |
KafkaRestProxy.MessagesOut.m1_delta |
Число/с | Total (Sum) | Machine, Topic |
PT1M, PT1H, P1D | Да |
| Availability | Одновременные подключения прокси-сервера REST Число одновременных подключений через прокси-сервер Kafka REST |
KafkaRestProxy.OpenConnections |
Count | Total (Sum) | Machine, Topic |
PT1M, PT1H, P1D | Да |
| Availability | REST proxy Producer RequestThroughput Число запросов издателей к прокси-серверу Kafka REST |
KafkaRestProxy.ProducerRequest.m1_delta |
Число/с | Total (Sum) | Machine, Topic |
PT1M, PT1H, P1D | Да |
| Availability | Неудачные запросы производителя прокси-сервера REST Исключения запроса издателя |
KafkaRestProxy.ProducerRequestFail.m1_delta |
Число/с | Total (Sum) | Machine, Topic |
PT1M, PT1H, P1D | Да |
| Availability | Запрос производителя прокси-сервера REST Задержка сообщений в запросе издателя через прокси Kafka REST |
KafkaRestProxy.ProducerRequestTime.p95 |
Миллисекунды | По средней | Machine, Topic |
PT1M, PT1H, P1D | Да |
| Availability | Невыполненная работа запроса прокси-сервера REST Длина очереди прокси-сервера REST издателя |
KafkaRestProxy.ProducerRequestWaitingInQueueTime.p95 |
Миллисекунды | По средней | Machine, Topic |
PT1M, PT1H, P1D | Да |
| Availability | Количество активных рабочих ролей Число активных рабочих ролей |
NumActiveWorkers |
Count | Среднее, максимальное, минимальное | MetricName |
PT1M, PT1H, P1D | Да |
| Availability | Ожидание ЦП Ожидающие запросы ЦП в YARN |
PendingCPU |
Count | Среднее, максимальное, минимальное | <none> | PT1M, PT1H, P1D | Да |
| Availability | Ожидающая память Ожидающие запросы памяти в YARN |
PendingMemory |
Count | Среднее, максимальное, минимальное | <none> | PT1M, PT1H, P1D | Да |
Измерения метрик
Дополнительные сведения о измерениях метрик см. в разделе "Многомерные метрики".
Эта служба имеет следующие измерения, связанные с ее метриками.
Измерения для таблицы Microsoft.HDInsight/clusters включают:
- HttpStatus
- Компьютер
- Раздел
- MetricName
Журналы ресурсов
В этом разделе перечислены типы журналов ресурсов, которые можно собирать для этой службы. Раздел извлекает из списка всех типов категорий журналов ресурсов, поддерживаемых в Azure Monitor.
HDInsight не использует журналы ресурсов Azure Monitor или параметры диагностики. Журналы собираются другими методами, включая использование агента Log Analytics.
Таблицы журналов Azure Monitor
В этом разделе перечислены таблицы журналов Azure Monitor, относящиеся к этой службе, которые доступны для запроса Log Analytics с помощью запросов Kusto. Таблицы содержат данные журнала ресурсов и, возможно, больше в зависимости от собираемых и перенаправленных к ним данных.
Кластеры HDInsight
Microsoft.HDInsight/Clusters
Доступные журналы и метрики зависят от типа кластера HDInsight.
- HDInsightAmbariClusterAlerts
- HDInsightAmbariSystemMetrics
- HDInsightGatewayAuditLogs
- HDInsightHBaseLogs
- HDInsightHBaseMetrics
- HDInsightHadoopAndYarnLogs
- HDInsightHadoopAndYarnMetrics
- HDInsightHiveAndLLAPLogs
- HDInsightHiveAndLLAPMetrics
- HDInsightHiveQueryAppStats
- HDInsightHiveTezAppStats
- HDInsightJupyterNotebookEvents
- HDInsightKafkaLogs
- HDInsightKafkaMetrics
- HDInsightKafkaServerLog
- HDInsightOozieLogs
- HDInsightRangerAuditLogs
- HDInsightSecurityLogs
- HDInsightSparkApplicationEvents
- HDInsightSparkBlockManagerEvents
- HDInsightSparkEnvironmentEvents
- HDInsightSparkExecutorEvents
- HDInsightSparkExtraEvents
- HDInsightSparkJobEvents
- HDInsightSparkLogs
- HDInsightSparkSQLExecutionEvents
- HDInsightSparkStageEvents
- HDInsightSparkStageTaskAccumulables
- HDInsightSparkTaskEvents
- HDInsightStormLogs
- HDInsightStormMetrics
- HDInsight StormTopologyMetrics
Сопоставление таблиц журналов
Новая интеграция Azure Monitor реализует новые таблицы в рабочей области Log Analytics. В следующих таблицах показаны сопоставления таблиц журналов из классической интеграции Azure Monitor с новой.
В столбце "Новая таблица " отображается имя новой таблицы. Строка описания описывает тип журналов и метрик, доступных в этой таблице. Классический столбец таблицы — это список всех таблиц из классической интеграции Azure Monitor, данные которых теперь присутствуют в новой таблице.
Примечание.
Некоторые таблицы являются совершенно новыми и не основаны на предыдущих таблицах.
Таблицы общих рабочих нагрузок
| Новая таблица | Description | Классическая таблица |
|---|---|---|
| HDInsightAmbariSystemMetrics | Системные метрики, собранные из Ambari. Теперь метрики поступают с каждого узла в кластере (за исключением граничных узлов), а не только с двух головных узлов. Каждая метрика теперь является столбцом и регистрируется один раз для каждой записи. | metrics_cpu_nice_cl, metrics_cpu_system_cl, metrics_cpu_user_cl, metrics_memory_cache_CL, metrics_memory_swap_CL metrics_memory_total_CLmetrics_memory_buffer_CL, metrics_load_1min_CL, metrics_load_cpu_CL, metrics_load_nodes_CL, metrics_load_procs_CL, metrics_network_in_CL, metrics_network_out_CL |
| HDInsightAmbariClusterAlerts | Оповещения кластера Ambari из каждого узла в кластере (за исключением пограничных узлов). Каждое оповещение является записью в этой таблице. | metrics_cluster_alerts_CL |
| HDInsightSecurityLogs | Записи из журналов аудита ambari и проверки подлинности. | log_ambari_audit_CL, log_auth_CL |
| HDInsightRangerAuditLogs | Все записи из журнала аудита Ranger для кластеров ESP. | ranger_audit_logs_CL |
| HDInsightGatewayAuditLogs_CL | Сведения об аудите узлов шлюза. Тот же формат, что и классическая таблица, и по-прежнему находится в разделе "Пользовательские журналы". | log_gateway_Audit_CL |
Рабочая нагрузка Spark
Примечание.
Связанные с приложением Spark таблицы заменены 11 новыми таблицами Spark, которые предоставляют более подробные сведения о рабочих нагрузках Spark.
| Новая таблица | Description | Классическая таблица |
|---|---|---|
| HDInsightSparkLogs | Все журналы, связанные с Spark и его связанным компонентом: Livy и Jupyter. | log_livy_CL, log_jupyter_CL, log_spark_CL, log_sparkappsexecutors_CL, log_sparkappsdrivers_CL |
| HDInsightSparkApplicationEvents | Сведения о событиях для приложений Spark, включая время отправки и завершения, идентификатор приложения и имя приложения. Полезно для отслеживания начала и завершения приложений. | |
| HDInsightSparkBlockManagerEvents | Сведения о событии, связанные с диспетчером блоков Spark. Включает такие сведения, как использование памяти исполнителя. | |
| HDInsightSparkEnvironmentEvents | Сведения о событиях, связанных с средой, выполняются в том числе, в режиме развертывания Spark, мастере и сведениях о исполнителе. | |
| HDInsightSparkExecutorEvents | Сведения об использовании исполнителя Spark для приложения. | |
| HDInsightSparkExtraEvents | Сведения о событии, которые не помещаются в другую таблицу Spark. | |
| HDInsightSparkJobEvents | Сведения о заданиях Spark, включая время начала и окончания, результаты и связанные этапы. | |
| HDInsightSparkSqlExecutionEvents | Сведения о событиях запросов Spark SQL, включая сведения о плане и описание и время начала и окончания. | |
| HDInsightSparkStageEvents | Сведения о событиях для этапов Spark, включая время их запуска и завершения, состояние сбоя и подробные сведения о выполнении. | |
| HDInsightSparkStageTaskAccumulables | Метрики производительности для этапов и задач. | |
| HDInsightTaskEvents | Сведения о событиях для задач Spark, включая время начала и завершения, связанные этапы, состояние выполнения и тип задачи. | |
| HDInsightJupyterNotebookEvents | Сведения о событии для записных книжек Jupyter. |
Рабочая нагрузка Hadoop/YARN
| Новая таблица | Description | Классическая таблица |
|---|---|---|
| HDInsightHadoopAndYarnMetrics | Метрики JMX из платформ Hadoop и YARN. Содержит все те же метрики JMX, что и предыдущие таблицы пользовательских журналов, а также более важные метрики: сервер временной шкалы, диспетчер узлов и сервер журнала заданий. Содержит одну метрику для каждой записи. | metrics_resourcemanager_clustermetrics_CL, metrics_resourcemanager_jvm_CL, metrics_resourcemanager_queue_root_CL, metrics_resourcemanager_queue_root_joblauncher_CL, metrics_resourcemanager_queue_root_default_CL, metrics_resourcemanager_queue_root_thriftsvr_CL |
| HDInsightHadoopAndYarnLogs | Все журналы, созданные на основе платформ Hadoop и YARN. | log_mrjobsummary_CL, log_resourcemanager_CL, log_timelineserver_CL, log_nodemanager_CL |
Рабочая нагрузка Hive/LLAP
| Новая таблица | Description | Классическая таблица |
|---|---|---|
| HDInsightHiveAndLLAPMetrics | Метрики JMX из платформ Hive и LLAP. Содержит все те же метрики JMX, что и предыдущие таблицы пользовательских журналов, одна метрика на запись. | llap_metrics_hiveserver2_CL, llap_metrics_hs2_metrics_subsystemllap_metrics_jvm_CL, llap_metrics_llap_daemon_info_CL, llap_metrics_buddy_allocator_info_CL, llap_metrics_deamon_jvm_CL, llap_metrics_io_CL, llap_metrics_executor_metrics_CL, llap_metrics_metricssystem_stats_CL, llap_metrics_cache_CL |
| HDInsightHiveAndLLAPLogs | Журналы, созданные из Hive, LLAP и их связанных компонентов: WebHCat и Zeppelin. | log_hivemetastore_CL log_hiveserver2_CL, log_hiveserve2interactive_CL, log_webhcat_CL, log_zeppelin_zeppelin_CL |
Рабочая нагрузка Kafka
| Новая таблица | Description | Классическая таблица |
|---|---|---|
| HDInsightKafkaMetrics | Метрики JMX из Kafka. Содержит все те же метрики JMX, что и старые таблицы пользовательских журналов, а также другие важные метрики. Одна метрика на запись. | metrics_kafka_CL |
| HDInsightKafkaLogs | Все журналы, созданные из брокеров Kafka. | log_kafkaserver_CL, log_kafkacontroller_CL |
Рабочая нагрузка HBase
| Новая таблица | Description | Классическая таблица |
|---|---|---|
| HDInsightHBaseMetrics | Метрики JMX из HBase. Содержит все те же метрики JMX из предыдущих таблиц. В отличие от предыдущих таблиц, каждая строка содержит одну метрику. | metrics_regionserver_CL, metrics_regionserver_wal_CL, metrics_regionserver_ipc_CL metrics_regionserver_replication_CL, metrics_regionserver_os_CL, metrics_restserver_CL, metrics_restserver_jvm_CL, metrics_hmaster_assignmentmanager_CL, metrics_hmaster_ipc_CL, metrics_hmaser_os_CL, metrics_hmaster_balancer_CL, metrics_hmaster_jvm_CL, metrics_hmaster_CL, metrics_hmaster_fs_CL |
| HDInsightHBaseLogs | Журналы из HBase и связанных с ним компонентов: Phoenix и HDFS. | log_regionserver_CL, log_restserver_CL, log_phoenixserver_CL, log_hmaster_CL, log_hdfsnamenode_CL, log_garbage_collector_CL |
Рабочая нагрузка Oozie
| Новая таблица | Description | Классическая таблица |
|---|---|---|
| HDInsightOozieLogs | Все журналы, созданные из платформы Oozie. | Log_oozie_CL |
Журнал действий
В связанной таблице перечислены операции, которые можно записать в журнале действий для этой службы. Эти операции представляют собой подмножество всех возможных операций поставщика ресурсов в журнале действий.
Дополнительные сведения о схеме записей журнала действий см . в схеме журнала действий.
Связанный контент
- Описание мониторинга HDInsight см. в разделе "Мониторинг HDInsight ".
- Дополнительные сведения о мониторинге ресурсов Azure см. в статье "Мониторинг ресурсов Azure" с помощью Azure Monitor .