Мониторинг кластеров HDInsight с помощью запросов к журналам Azure Monitor

Статья
09/15/2023

Ознакомьтесь с несколькими базовыми сценариями использования журналов Azure Monitor для мониторинга кластеров Azure HDInsight:

Анализ метрик кластера HDInsight.
Создание оповещений о событиях.

Примечание.

Сведения из данной статьи были недавно обновлены. Теперь вместо термина "Log Analytics" используется термин "журналы Azure Monitor". Данные журнала по-прежнему хранятся в рабочей области Log Analytics, собираются и анализируются той же службой Log Analytics. Целью обновления терминологии является лучшее отражение роли журналов в Azure Monitor. Дополнительные сведения см. в статье Изменения фирменной символики Azure Monitor.

Необходимые компоненты

Вы должны настроить кластер HDInsight для использования журналов Azure Monitor и добавить в рабочую область решения для мониторинга с помощью журналов Azure Monitor, связанные с кластером HDInsight. Инструкции см. в статье Использование журналов Azure Monitor для мониторинга кластеров HDInsight.

Анализ метрик кластера HDInsight.

Узнайте, как выполнить поиск определенных метрик для кластера HDInsight.

Откройте рабочую область Log Analytics, которая связана с вашим кластером HDInsight на портале Azure.
В разделе Общие щелкните Журналы.
В поле поиска всех метрик введите следующий запрос для поиска всех доступных метрик для всех кластеров HDInsight, настроенных для использования журналов Azure Monitor, а затем выберите Запуск. Проверка результатов.
```
search *
```
В меню слева выберите вкладку Фильтр.
В разделе Тип выберите Пульс. Затем выберите Применить и запустить.
Обратите внимание, что запрос в текстовом поле изменяется на следующий:
```
search *
| where Type == "Heartbeat"
```
Настроить отображение детальной информации можно с помощью параметров в меню слева. Например:
- Чтобы просмотреть журналы из определенного узла:
- Чтобы просмотреть журналы за определенное время:
Выберите Применить и запустить и просмотрите результаты. Также обратите внимание, что запрос был изменен следующим образом:
```
search *
| where Type == "Heartbeat"
| where (Computer == "zk2-myhado") and (TimeGenerated == "2019-12-02T23:15:02.69Z" or TimeGenerated == "2019-12-02T23:15:08.07Z" or TimeGenerated == "2019-12-02T21:09:34.787Z")
```

Дополнительные примеры запросов

Пример запроса, основанного на среднем объеме ресурсов, использованных за 10-минутный интервал, с разделением по имени кластера:

search in (metrics_resourcemanager_queue_root_default_CL) * 
| summarize AggregatedValue = avg(UsedAMResourceMB_d) by ClusterName_s, bin(TimeGenerated, 10m)

Вместо уточнения по среднему количеству используемых ресурсов можно использовать следующий запрос, чтобы уточнить результаты на основе максимального использования ресурсов в 10-минутном интервале (а также 90-го и 95-го процентиля):

search in (metrics_resourcemanager_queue_root_default_CL) * 
| summarize ["max(UsedAMResourceMB_d)"] = max(UsedAMResourceMB_d), ["pct95(UsedAMResourceMB_d)"] = percentile(UsedAMResourceMB_d, 95), ["pct90(UsedAMResourceMB_d)"] = percentile(UsedAMResourceMB_d, 90) by ClusterName_s, bin(TimeGenerated, 10m)

Создание оповещений для отслеживания событий

Первым шагом создания оповещения является получение запроса, на основе которого активируется оповещение. Для создания оповещения можно использовать любой запрос.

Откройте рабочую область Log Analytics, которая связана с вашим кластером HDInsight на портале Azure.
В разделе Общие щелкните Журналы.
Выполните приведенный ниже запрос, на основе которого требуется создать оповещение, а затем выберите Запуск.
```
metrics_resourcemanager_queue_root_default_CL | where AppsFailed_d > 0
```
Запрос вернет список запущенных на кластерах HDInsight приложений, в которых возник сбой.
Выберите Новое правило генерации оповещений в верхней части страницы.
В окне Создать правило введите запрос и другие сведения, чтобы создать оповещение, а затем щелкните Создать правило генерации оповещений.

Изменение или удаление оповещения

Откройте рабочую область Log Analytics на портале Azure.
В меню слева в разделе Мониторинг выберите Оповещения.
В верхней части выберите Управление правилами оповещений.
Выберите оповещение, которое требуется изменить или удалить.
Доступны следующие варианты: Сохранить, Отменить, Отключить и Удалить.

Дополнительные сведения см. в статье Создание и просмотр оповещений метрик, а также управление ими с помощью Azure Monitor.

Share via