Прочитать на английском

Поделиться через


Как отслеживать доступность кластера с помощью Apache Ambari в Azure HDInsight

Кластеры HDInsight включают Apache Ambari, который предоставляет мгновенную информацию о состоянии системы и заранее настроенные оповещения.

В этой статье показано, как использовать Ambari для мониторинга кластера, и рассматриваются примеры настройки оповещений Ambari, мониторинга показателя доступности узлов и создания оповещения Azure Monitor о том, что сигнал не был получен от одного или нескольких узлов в течение пяти часов.

Панель управления

Доступ к панели мониторинга Ambari можно получить, выбрав ссылку Домашняя страница Ambari в разделе Панели мониторинга кластера области обзора HDInsight на портале Azure, как показано ниже. Или перейдя по адресу https://CLUSTERNAME.azurehdinsight.net в браузере, где CLUSTERNAME — это имя вашего кластера.

Отображение портала ресурсов HDInsight.

Затем вам будет предложено ввести имя пользователя и пароль для входа в кластер. Введите учетные данные, выбранные при создании кластера.

Затем вы перейдете на панель мониторинга Ambari, которая содержит мини-приложения, отображающие несколько метрик, предоставляющих краткий обзор работоспособности кластера HDInsight. Эти мини-приложения показывают метрики, такие как количество динамических узлов DataNode (рабочих узлов) и JournalNode (узел Zookeeper), время доступности NameNode (головных узлов), а также метрики, относящиеся к определенным типам кластеров, такие как время доступности YARN ResourceManager для кластеров Spark и Hadoop.

Apache Ambari использует отображение панели мониторинга.

Хосты — просмотр состояния отдельного узла

Вы также можете просмотреть сведения о состоянии отдельных узлов. Перейдите на вкладку Узлы, чтобы просмотреть список всех узлов в кластере и ознакомиться с основными сведениями о каждом узле. Зеленая галочка слева от имени каждого узла указывает на то, что все компоненты на узле находятся в работоспособном состоянии. Если компонент на узле не работает, вместо зеленой галочки будет отображатся красный треугольник оповещения.

Представление хостов Apache Ambari в HDInsight.

Затем можно выбрать имя узла и просмотреть более подробные метрики для конкретного узла. В этом представлении отображается состояние и доступность каждого отдельного компонента.

Apache Ambari размещает представление одного узла.

Оповещения Ambari

Ambari также предлагает несколько настраиваемых оповещений, которые могут предоставлять уведомления об определенных событиях. При срабатывании оповещения отображаются в левом верхнем углу Ambari в виде красного индикатора событий, содержащего количество оповещений. Выбрав этот значок, вы увидите список текущих оповещений.

Число текущих оповещений Apache Ambari.

Для просмотра списка определений оповещений и их статусов выберите вкладку Оповещения, как показано ниже.

Определения оповещений в Ambari.

Ambari предлагает множество стандартных оповещений, относящихся к доступности, в том числе:

Имя оповещения Описание
Сводка по работоспособности узла DataNode Это оповещение уровня службы активируется при наличии неработоспособных DataNodes.
Состояние высокой доступности NameNode Эта служебная тревога срабатывает, если не запущены активный или резервный узлы NameNode.
Процент доступных узлов JournalNode Это оповещение активируется, если количество неработающих узлов JournalNode в кластере превышает заданное критическое пороговое значение. Оно объединяет результаты проверок процессов узла JournalNode.
Процент доступных узлов DataNode Это оповещение активируется, если количество неработающих узлов DataNode в кластере превышает заданное критическое пороговое значение. Оно объединяет результаты проверок процессов узла DataNode.

Чтобы просмотреть сведения об оповещении или изменить критерии, щелкните имя оповещения. В качестве примера можно использовать сводку по работоспособности узлов DataNode. Вы можете просмотреть описание оповещения, конкретные критерии, которые активируют предупреждение или критическое оповещение, а также интервал проверки для критерия. Чтобы изменить конфигурацию, выберите кнопку Изменить в правом верхнем углу поля "Конфигурация".

Конфигурация оповещений Apache Ambari.

Здесь можно изменить описание и, что более важно, интервал проверки и пороговые значения для предупреждений или критических оповещений.

Редактирование конфигураций оповещений Ambari.

В этом примере можно создать 2 неработоспособных узла DataNode, которые активируют критическое оповещение, и 1 неработоспособный узел DataNode, который будет активировать только предупреждение. Когда все будет готово, нажмите кнопку Сохранить.

Уведомления по электронной почте

При необходимости вы можете выполнить дополнительную настройку и получать оповещения Ambari по электронной почте. Для этого на вкладке Оповещения нажмите кнопку Действия в левом верхнем углу, а затем Управление уведомлениями.

Ambari управляет действием уведомлений.

Откроется диалоговое окно для управления оповещениями. Выберите + в нижней части диалогового окна и укажите данные в обязательных полях, чтобы предоставить Ambari сведения о сервере электронной почты, с которого можно отправлять сообщения.

Совет

Настройка отправки уведомлений Ambari по электронной почте — хороший способ получать все оповещения в одном ресурсе, если вы управляете несколькими кластерами HDInsight.

Следующие шаги