Поделиться через

Как отслеживать доступность кластера с помощью Apache Ambari в Azure HDInsight

  • Статья

Кластеры HDInsight включают в себя средство Apache Ambari, которое мгновенно предоставляет сведения о работоспособности и предопределенные оповещения.

В этой статье содержатся сведения о том, как использовать Ambari для мониторинга кластера, а также приведены некоторые примеры настройки предупреждений Ambari, мониторинга коэффициента доступности узлов и создания оповещения Azure Monitor, которое срабатывает, если на протяжении пяти часов с одного или нескольких узлов не был получен пакет пульса.

Информационная панель

Доступ к панели мониторинга Ambari можно получить, выбрав ссылку Домашняя страница Ambari в разделе Панели мониторинга кластера области обзора HDInsight на портале Azure, как показано ниже. Или перейдя по адресу https://CLUSTERNAME.azurehdinsight.net в браузере, где CLUSTERNAME — это имя вашего кластера.

HDInsight resource portal view.

Затем вам будет предложено ввести имя пользователя и пароль для входа в кластер. Введите учетные данные, выбранные при создании кластера.

Затем вы перейдете на панель мониторинга Ambari, которая содержит мини-приложения, отображающие несколько метрик, предоставляющих краткий обзор работоспособности кластера HDInsight. Эти мини-приложения показывают метрики, такие как количество динамических узлов DataNode (рабочих узлов) и JournalNode (узел Zookeeper), время доступности NameNode (головных узлов), а также метрики, относящиеся к определенным типам кластеров, такие как время доступности YARN ResourceManager для кластеров Spark и Hadoop.

Apache Ambari use dashboard display.

Узлы — просмотр состояния отдельного узла

Вы также можете просмотреть сведения о состоянии отдельных узлов. Перейдите на вкладку Узлы, чтобы просмотреть список всех узлов в кластере и ознакомиться с основными сведениями о каждом узле. Зеленая галочка слева от имени каждого узла указывает на то, что все компоненты на узле находятся в работоспособном состоянии. Если компонент на узле не работает, вместо зеленой галочки будет отображатся красный треугольник оповещения.

HDInsight Apache Ambari hosts view.

Затем можно выбрать имя узла и просмотреть более подробные метрики для конкретного узла. В этом представлении отображается состояние и доступность каждого отдельного компонента.

Apache Ambari hosts single node view.

Оповещения Ambari

Ambari также предлагает несколько настраиваемых оповещений, которые могут предоставлять уведомления об определенных событиях. При срабатывании оповещения отображаются в левом верхнем углу Ambari в виде красного индикатора событий, содержащего количество оповещений. Выбрав этот значок, вы увидите список текущих оповещений.

Apache Ambari current alerts count.

Для просмотра списка определений оповещений и их статусов выберите вкладку Оповещения, как показано ниже.

Ambari alerts definitions view.

Ambari предлагает множество стандартных оповещений, относящихся к доступности, в том числе:

Имя оповещения Description
Сводка по работоспособности узла DataNode Это оповещение уровня службы активируется при наличии неработоспособных узлов DataNode
Возможность использования высокой доступности для узла NameNode Это оповещения уровня службы активируется, если не запущены активный узел или резервный узел NameNode.
Процент доступных узлов JournalNode Это оповещение активируется, если количество неработающих узлов JournalNode в кластере превышает заданное критическое пороговое значение. Оно объединяет результаты проверок процессов узла JournalNode.
Процент доступных узлов DataNode Это оповещение активируется, если количество неработающих узлов DataNode в кластере превышает заданное критическое пороговое значение. Оно объединяет результаты проверок процессов узла DataNode.

Чтобы просмотреть сведения об оповещении или изменить критерии, щелкните имя оповещения. В качестве примера можно использовать сводку по работоспособности узлов DataNode. Вы можете просмотреть описание оповещения, конкретные критерии, которые активируют предупреждение или критическое оповещение, а также интервал проверки для критерия. Чтобы изменить конфигурацию, выберите кнопку Изменить в правом верхнем углу поля "Конфигурация".

Apache Ambari alert configuration.

Здесь можно изменить описание и, что более важно, интервал проверки и пороговые значения для предупреждений или критических оповещений.

Ambari alert configurations edit view.

В этом примере можно создать 2 неработоспособных узла DataNode, которые активируют критическое оповещение, и 1 неработоспособный узел DataNode, который будет активировать только предупреждение. Когда все будет готово, нажмите кнопку Сохранить.

Уведомления по электронной почте

При необходимости вы можете выполнить дополнительную настройку и получать оповещения Ambari по электронной почте. Для этого на вкладке Оповещения нажмите кнопку Действия в левом верхнем углу, а затем Управление уведомлениями.

Ambari manage notifications action.

Откроется диалоговое окно для управления уведомлениями об оповещениях. Выберите + в нижней части диалогового окна и укажите данные в обязательных полях, чтобы предоставить Ambari сведения о сервере электронной почты, с которого можно отправлять сообщения.

Совет

Настройка отправки уведомлений Ambari по электронной почте — хороший способ получать все оповещения в одном ресурсе, если вы управляете несколькими кластерами HDInsight.

Следующие шаги