Как отслеживать доступность кластера с помощью Apache Ambari в Azure HDInsight
Кластеры HDInsight включают в себя средство Apache Ambari, которое мгновенно предоставляет сведения о работоспособности и предопределенные оповещения.
В этой статье содержатся сведения о том, как использовать Ambari для мониторинга кластера, а также приведены некоторые примеры настройки предупреждений Ambari, мониторинга коэффициента доступности узлов и создания оповещения Azure Monitor, которое срабатывает, если на протяжении пяти часов с одного или нескольких узлов не был получен пакет пульса.
Информационная панель
Доступ к панели мониторинга Ambari можно получить, выбрав ссылку Домашняя страница Ambari в разделе Панели мониторинга кластера области обзора HDInsight на портале Azure, как показано ниже. Или перейдя по адресу https://CLUSTERNAME.azurehdinsight.net в браузере, где CLUSTERNAME — это имя вашего кластера.
Затем вам будет предложено ввести имя пользователя и пароль для входа в кластер. Введите учетные данные, выбранные при создании кластера.
Затем вы перейдете на панель мониторинга Ambari, которая содержит мини-приложения, отображающие несколько метрик, предоставляющих краткий обзор работоспособности кластера HDInsight. Эти мини-приложения показывают метрики, такие как количество динамических узлов DataNode (рабочих узлов) и JournalNode (узел Zookeeper), время доступности NameNode (головных узлов), а также метрики, относящиеся к определенным типам кластеров, такие как время доступности YARN ResourceManager для кластеров Spark и Hadoop.
Узлы — просмотр состояния отдельного узла
Вы также можете просмотреть сведения о состоянии отдельных узлов. Перейдите на вкладку Узлы, чтобы просмотреть список всех узлов в кластере и ознакомиться с основными сведениями о каждом узле. Зеленая галочка слева от имени каждого узла указывает на то, что все компоненты на узле находятся в работоспособном состоянии. Если компонент на узле не работает, вместо зеленой галочки будет отображатся красный треугольник оповещения.
Затем можно выбрать имя узла и просмотреть более подробные метрики для конкретного узла. В этом представлении отображается состояние и доступность каждого отдельного компонента.
Оповещения Ambari
Ambari также предлагает несколько настраиваемых оповещений, которые могут предоставлять уведомления об определенных событиях. При срабатывании оповещения отображаются в левом верхнем углу Ambari в виде красного индикатора событий, содержащего количество оповещений. Выбрав этот значок, вы увидите список текущих оповещений.
Для просмотра списка определений оповещений и их статусов выберите вкладку Оповещения, как показано ниже.
Ambari предлагает множество стандартных оповещений, относящихся к доступности, в том числе:
| Имя оповещения | Description |
|---|---|
| Сводка по работоспособности узла DataNode | Это оповещение уровня службы активируется при наличии неработоспособных узлов DataNode |
| Возможность использования высокой доступности для узла NameNode | Это оповещения уровня службы активируется, если не запущены активный узел или резервный узел NameNode. |
| Процент доступных узлов JournalNode | Это оповещение активируется, если количество неработающих узлов JournalNode в кластере превышает заданное критическое пороговое значение. Оно объединяет результаты проверок процессов узла JournalNode. |
| Процент доступных узлов DataNode | Это оповещение активируется, если количество неработающих узлов DataNode в кластере превышает заданное критическое пороговое значение. Оно объединяет результаты проверок процессов узла DataNode. |
Чтобы просмотреть сведения об оповещении или изменить критерии, щелкните имя оповещения. В качестве примера можно использовать сводку по работоспособности узлов DataNode. Вы можете просмотреть описание оповещения, конкретные критерии, которые активируют предупреждение или критическое оповещение, а также интервал проверки для критерия. Чтобы изменить конфигурацию, выберите кнопку Изменить в правом верхнем углу поля "Конфигурация".
Здесь можно изменить описание и, что более важно, интервал проверки и пороговые значения для предупреждений или критических оповещений.
В этом примере можно создать 2 неработоспособных узла DataNode, которые активируют критическое оповещение, и 1 неработоспособный узел DataNode, который будет активировать только предупреждение. Когда все будет готово, нажмите кнопку Сохранить.
Уведомления по электронной почте
При необходимости вы можете выполнить дополнительную настройку и получать оповещения Ambari по электронной почте. Для этого на вкладке Оповещения нажмите кнопку Действия в левом верхнем углу, а затем Управление уведомлениями.
Откроется диалоговое окно для управления уведомлениями об оповещениях. Выберите + в нижней части диалогового окна и укажите данные в обязательных полях, чтобы предоставить Ambari сведения о сервере электронной почты, с которого можно отправлять сообщения.
Совет
Настройка отправки уведомлений Ambari по электронной почте — хороший способ получать все оповещения в одном ресурсе, если вы управляете несколькими кластерами HDInsight.