Share via

Справочник по данным мониторинга Azure HDInsight

  • Статья

В этой статье содержатся все справочные сведения о мониторинге для этой службы.

Дополнительные сведения о данных, собираемых для Azure HDInsight, и их использовании см. в разделе "Мониторинг HDInsight ".

Метрики

В этом разделе перечислены все автоматически собранные метрики платформы для этой службы. Эти метрики также являются частью глобального списка всех метрик платформы, поддерживаемых в Azure Monitor.

Сведения о хранении метрик см. в обзоре метрик Azure Monitor.

Поддерживаемые метрики для Microsoft.HDInsight/clusters

В следующей таблице перечислены метрики, доступные для типа ресурсов Microsoft.HDInsight/clusters.

  • Все столбцы могут не присутствовать в каждой таблице.
  • Некоторые столбцы могут находиться за пределами области просмотра страницы. Выберите "Развернуть таблицу ", чтобы просмотреть все доступные столбцы.

Заголовки таблиц

  • Категория — группа метрик или классификация.
  • Метрика — отображаемое имя метрик, как оно отображается в портал Azure.
  • Имя в REST API — имя метрики, указанное в REST API.
  • Единица измерения.
  • Агрегирование — тип агрегирования по умолчанию. Допустимые значения: среднее (среднее), минимальное (минимальное), максимальное (максимальное), общее (сумма), число.
  • Измерения - , доступные для метрики.
  • Интервалы интервалов - времени, по которым выборка метрики выполняется. Например, указывает, PT1M что метрика выборка выполняется каждую минуту, каждые 30 минут, PT30MPT1H каждый час и т. д.
  • Экспорт DS— можно ли экспортировать метрики в журналы Azure Monitor с помощью параметров диагностики. Сведения об экспорте метрик см. в статье "Создание параметров диагностики" в Azure Monitor.
Категория Metric Имя в REST API Единица измерения Агрегат Измерения Интервалы времени Экспорт DS
Availability Классифицированные запросы шлюза

Число запросов к шлюзу по категориям (1xx, 2xx, 3xx, 4xx или 5xx)		 CategorizedGatewayRequests Count Count, Total HttpStatus PT1M, PT1H, P1D Да
Availability Запросы шлюза

Число запросов к шлюзу		 GatewayRequests Count Count, Total HttpStatus PT1M, PT1H, P1D Да
Availability REST proxy Consumer RequestThroughput

Число запросов потребителей к прокси-серверу Kafka REST		 KafkaRestProxy.ConsumerRequest.m1_delta Число/с Итог Machine, Topic PT1M, PT1H, P1D Да
Availability Неудачные запросы потребителей прокси-сервера REST

Исключения запроса потребителя		 KafkaRestProxy.ConsumerRequestFail.m1_delta Число/с Итог Machine, Topic PT1M, PT1H, P1D Да
Availability REST proxy Consumer RequestLatency

Задержка сообщений в запросе потребителя через прокси Kafka REST		 KafkaRestProxy.ConsumerRequestTime.p95 Миллисекунды По средней Machine, Topic PT1M, PT1H, P1D Да
Availability Невыполненная работа запроса потребителя прокси-сервера REST

Длина очереди прокси-сервера REST клиента		 KafkaRestProxy.ConsumerRequestWaitingInQueueTime.p95 Миллисекунды По средней Machine, Topic PT1M, PT1H, P1D Да
Availability REST proxy Producer MessageThroughput

Число сообщений издателя через прокси-сервер Kafka REST		 KafkaRestProxy.MessagesIn.m1_delta Число/с Итог Machine, Topic PT1M, PT1H, P1D Да
Availability REST proxy Consumer MessageThroughput

Число сообщений потребителя через прокси-сервер Kafka REST		 KafkaRestProxy.MessagesOut.m1_delta Число/с Итог Machine, Topic PT1M, PT1H, P1D Да
Availability Одновременный прокси-сервер REST Подключение ions

Число одновременных подключений через прокси-сервер Kafka REST		 KafkaRestProxy.OpenConnections Count Итог Machine, Topic PT1M, PT1H, P1D Да
Availability REST proxy Producer RequestThroughput

Число запросов издателей к прокси-серверу Kafka REST		 KafkaRestProxy.ProducerRequest.m1_delta Число/с Итог Machine, Topic PT1M, PT1H, P1D Да
Availability Неудачные запросы производителя прокси-сервера REST

Исключения запроса издателя		 KafkaRestProxy.ProducerRequestFail.m1_delta Число/с Итог Machine, Topic PT1M, PT1H, P1D Да
Availability Запрос производителя прокси-сервера REST

Задержка сообщений в запросе издателя через прокси Kafka REST		 KafkaRestProxy.ProducerRequestTime.p95 Миллисекунды По средней Machine, Topic PT1M, PT1H, P1D Да
Availability Невыполненная работа запроса прокси-сервера REST

Длина очереди прокси-сервера REST издателя		 KafkaRestProxy.ProducerRequestWaitingInQueueTime.p95 Миллисекунды По средней Machine, Topic PT1M, PT1H, P1D Да
Availability Количество активных рабочих ролей

Число активных рабочих ролей		 NumActiveWorkers Count Среднее, максимальное, минимальное MetricName PT1M, PT1H, P1D Да
Availability Ожидание ЦП

Ожидающие запросы ЦП в YARN		 PendingCPU Count Среднее, максимальное, минимальное <none> PT1M, PT1H, P1D Да
Availability Ожидающая память

Ожидающие запросы памяти в YARN		 PendingMemory Count Среднее, максимальное, минимальное <none> PT1M, PT1H, P1D Да

Измерения метрик

Дополнительные сведения о измерениях метрик см. в разделе "Многомерные метрики".

Эта служба имеет следующие измерения, связанные с ее метриками.

Измерения для таблицы Microsoft.HDInsight/clusters включают:

  • HttpStatus
  • Компьютер
  • Раздел
  • MetricName

Журналы ресурсов

В этом разделе перечислены типы журналов ресурсов, которые можно собирать для этой службы. Раздел извлекает из списка всех типов категорий журналов ресурсов, поддерживаемых в Azure Monitor.

HDInsight не использует журналы ресурсов Azure Monitor или параметры диагностики. Журналы собираются другими методами, включая использование агента Log Analytics.

Таблицы журналов Azure Monitor

В этом разделе перечислены таблицы журналов Azure Monitor, относящиеся к этой службе, которые доступны для запроса Log Analytics с помощью запросов Kusto. Таблицы содержат данные журнала ресурсов и, возможно, больше в зависимости от собираемых и перенаправленных к ним данных.

Кластеры HDInsight

Microsoft.HDInsight/Clusters

Доступные журналы и метрики зависят от типа кластера HDInsight.

Сопоставление таблиц журналов

Новая интеграция Azure Monitor реализует новые таблицы в рабочей области Log Analytics. В следующих таблицах показаны сопоставления таблиц журналов из классической интеграции Azure Monitor с новой.

В столбце "Новая таблица " отображается имя новой таблицы. Строка описания описывает тип журналов и метрик, доступных в этой таблице. Классический столбец таблицы — это список всех таблиц из классической интеграции Azure Monitor, данные которых теперь присутствуют в новой таблице.

Примечание.

Некоторые таблицы являются совершенно новыми и не основаны на предыдущих таблицах.

Таблицы общих рабочих нагрузок

Новая таблица Description Классическая таблица
HDInsightAmbariSystemMetrics Системные метрики, собранные из Ambari. Теперь метрики поступают с каждого узла в кластере (за исключением граничных узлов), а не только с двух головных узлов. Каждая метрика теперь является столбцом и регистрируется один раз для каждой записи. metrics_cpu_nice_cl, metrics_cpu_system_cl, metrics_cpu_user_cl, metrics_memory_cache_CL, metrics_memory_swap_CL metrics_memory_total_CLmetrics_memory_buffer_CL, metrics_load_1min_CL, metrics_load_cpu_CL, metrics_load_nodes_CL, metrics_load_procs_CL, metrics_network_in_CL, metrics_network_out_CL
HDInsightAmbariClusterAlerts Оповещения кластера Ambari из каждого узла в кластере (за исключением пограничных узлов). Каждое оповещение является записью в этой таблице. metrics_cluster_alerts_CL
HDInsightSecurityLogs Записи из журналов аудита ambari и проверки подлинности. log_ambari_audit_CL, log_auth_CL
HDInsightRangerAuditLogs Все записи из журнала аудита Ranger для кластеров ESP. ranger_audit_logs_CL
HDInsightGatewayAuditLogs_CL Сведения об аудите узлов шлюза. Тот же формат, что и классическая таблица, и по-прежнему находится в разделе "Пользовательские журналы". log_gateway_Audit_CL

Рабочая нагрузка Spark

Примечание.

Связанные с приложением Spark таблицы заменены 11 новыми таблицами Spark, которые предоставляют более подробные сведения о рабочих нагрузках Spark.

Новая таблица Description Классическая таблица
HDInsightSparkLogs Все журналы, связанные с Spark и его связанным компонентом: Livy и Jupyter. log_livy_CL, log_jupyter_CL, log_spark_CL, log_sparkappsexecutors_CL, log_sparkappsdrivers_CL
HDInsightSparkApplicationEvents Сведения о событиях для приложений Spark, включая время отправки и завершения, идентификатор приложения и имя приложения. Полезно для отслеживания начала и завершения приложений.
HDInsightSparkBlockManagerEvents Сведения о событии, связанные с диспетчером блоков Spark. Включает такие сведения, как использование памяти исполнителя.
HDInsightSparkEnvironmentEvents Сведения о событиях, связанных с средой, выполняются в том числе, в режиме развертывания Spark, мастере и сведениях о исполнителе.
HDInsightSparkExecutorEvents Сведения об использовании исполнителя Spark для приложения.
HDInsightSparkExtraEvents Сведения о событии, которые не помещаются в другую таблицу Spark.
HDInsightSparkJobEvents Сведения о заданиях Spark, включая время начала и окончания, результаты и связанные этапы.
HDInsightSparkSqlExecutionEvents Сведения о событиях запросов Spark SQL, включая сведения о плане и описание и время начала и окончания.
HDInsightSparkStageEvents Сведения о событиях для этапов Spark, включая время их запуска и завершения, состояние сбоя и подробные сведения о выполнении.
HDInsightSparkStageTaskAccumulables Метрики производительности для этапов и задач.
HDInsightTaskEvents Сведения о событиях для задач Spark, включая время начала и завершения, связанные этапы, состояние выполнения и тип задачи.
HDInsightJupyterNotebookEvents Сведения о событии для записных книжек Jupyter.

Рабочая нагрузка Hadoop/YARN

Новая таблица Description Классическая таблица
HDInsightHadoopAndYarnMetrics Метрики JMX из платформ Hadoop и YARN. Содержит все те же метрики JMX, что и предыдущие таблицы пользовательских журналов, а также более важные метрики: сервер временной шкалы, диспетчер узлов и сервер журнала заданий. Содержит одну метрику для каждой записи. metrics_resourcemanager_clustermetrics_CL, metrics_resourcemanager_jvm_CL, metrics_resourcemanager_queue_root_CL, metrics_resourcemanager_queue_root_joblauncher_CL, metrics_resourcemanager_queue_root_default_CL, metrics_resourcemanager_queue_root_thriftsvr_CL
HDInsightHadoopAndYarnLogs Все журналы, созданные на основе платформ Hadoop и YARN. log_mrjobsummary_CL, log_resourcemanager_CL, log_временная шкала server_CL, log_nodemanager_CL

Рабочая нагрузка Hive/LLAP

Новая таблица Description Классическая таблица
HDInsightHiveAndLLAPMetrics Метрики JMX из платформ Hive и LLAP. Содержит все те же метрики JMX, что и предыдущие таблицы пользовательских журналов, одна метрика на запись. llap_metrics_hiveserver2_CL, llap_metrics_hs2_metrics_subsystemllap_metrics_jvm_CL, llap_metrics_llap_daemon_info_CL, llap_metrics_buddy_allocator_info_CL, llap_metrics_deamon_jvm_CL, llap_metrics_io_CL, llap_metrics_executor_metrics_CL, llap_metrics_metricssystem_stats_CL, llap_metrics_cache_CL
HDInsightHiveAndLLAPLogs Журналы, созданные из Hive, LLAP и их связанных компонентов: WebHCat и Zeppelin. log_hivemetastore_CL log_hiveserver2_CL, log_hiveserve2interactive_CL, log_webhcat_CL, log_zeppelin_zeppelin_CL

Рабочая нагрузка Kafka

Новая таблица Description Классическая таблица
HDInsightKafkaMetrics Метрики JMX из Kafka. Содержит все те же метрики JMX, что и старые таблицы пользовательских журналов, а также другие важные метрики. Одна метрика на запись. metrics_kafka_CL
HDInsightKafkaLogs Все журналы, созданные из брокеров Kafka. log_kafkaserver_CL, log_kafkacontroller_CL

Рабочая нагрузка HBase

Новая таблица Description Классическая таблица
HDInsightHBaseMetrics Метрики JMX из HBase. Содержит все те же метрики JMX из предыдущих таблиц. В отличие от предыдущих таблиц, каждая строка содержит одну метрику. metrics_regionserver_CL, metrics_regionserver_wal_CL, metrics_regionserver_ipc_CL, metrics_regionserver_os_CL, metrics_regionserver_реплика tion_CL, metrics_restserver_CL, metrics_restserver_jvm_CL, metrics_hmaster_assignmentmanager_CL, metrics_hmaster_ipc_CL, metrics_hmaser_os_CL, metrics_hmaster_balancer_CL, metrics_hmaster_jvm_CL, metrics_hmaster_CL, metrics_hmaster_fs_CL
HDInsightHBaseLogs Журналы из HBase и связанных с ним компонентов: Phoenix и HDFS. log_regionserver_CL, log_restserver_CL, log_phoenixserver_CL, log_hmaster_CL, log_hdfsnamenode_CL, log_garbage_collector_CL

Рабочая нагрузка Oozie

Новая таблица Description Классическая таблица
HDInsightOozieLogs Все журналы, созданные из платформы Oozie. Log_oozie_CL

Журнал действий

В связанной таблице перечислены операции, которые можно записать в журнале действий для этой службы. Эти операции представляют собой подмножество всех возможных операций поставщика ресурсов в журнале действий.

Дополнительные сведения о схеме записей журнала действий см . в схеме журнала действий.

Связанный контент