Включите мониторинг заданий HDInsight.
Мониторинг кластера HDInsight представляет интерес как для инженеров данных, так и для ИТ-администраторов. Они могут отслеживать следующие аспекты кластера:
- Cluster health and availability (Мониторинг в HDInsight, часть 2, работоспособность и доступность кластера)
- использование ресурсов и производительность;
- сведения о рабочих нагрузках и журналы.
ИТ-администраторы используют мониторинг для наблюдения за работоспособностью, доступностью и безопасностью кластера. Инженеров данных интересует следующее:
- сведения о рабочих нагрузках и журналы.
- сбои или успешное выполнение заданий;
- производительность кластера;
- просмотр рабочих нагрузок с помощью журналов.
Для мониторинга можно использовать два основных средства: Apache Ambari и Azure Monitor.
Apache Ambari
Это средство с открытым кодом служит для управления кластерами и их мониторинга. Оно предоставляет панель мониторинга с рядом мини-приложений, позволяющих следить за работоспособностью кластера HDInsight с аппаратной точки зрения на уровне как всего кластера, так и отдельных узлов. Эта панель мониторинга доступна на экране обзора кластера HDInsight на портале Azure.
Apache Ambari открывается в веб-браузере в виде панели со средствами мониторинга.
Многие разделы Apache Ambari полезны как для ИТ-администраторов, так и для инженеров данных. Начальная панель мониторинга позволяет ИТ-администраторам отслеживать работоспособность кластера в режиме реального времени. Есть и дополнительные области, например экран YARN, которые позволяют инженерам данных просматривать размер очередей, задания и связанные журналы для отслеживания рабочих нагрузок в кластере. Кроме того, с помощью оповещений можно определять неисправные компоненты, чтобы обслуживать кластер в упреждающем режиме.
Наблюдение
Azure Monitor — это средство для мониторинга всей среды Azure, с помощью которого можно также отслеживать работоспособность кластеров HDInsight. Различные аспекты Azure Monitor доступны прямо на портале Azure:
видны узлы
Оповещения — это полезное средство для упреждающего мониторинга ресурсов Azure и принятия мер в зависимости от условий. Вы можете настроить оповещение для определенного ресурса, например кластера HDInsight, определив пороговое значение условия, при достижении которого инициируется оповещение. Условием может быть, например, включение автомасштабирования. Это условие может иметь значение true или false. Возможные действия варьируются от отправки сообщения электронной почты до перезапуска службы.
Метрики
Метрики — это компонент Azure Monitor, позволяющий настраивать визуальные диаграммы для отслеживаемых показателей. На визуальных диаграммах можно просматривать, измерять и сопоставлять точки данных, чтобы определять, находятся ли показатели службы в допустимом диапазоне. Для HDInsight доступны такие метрики, как число запросов шлюза (для просмотра нагрузки на кластер) и число активных рабочих узлов (для контроля размера кластера HDInsight).
Параметры диагностики
Эти параметры позволяют выбрать целевой объект (учетную запись хранения, службу концентратора событий или учетную запись Log Analytics) для получения диагностических данных по включенной службе. Журналы отправляются в выбранный целевой объект, что позволяет регистрировать активность службы с течением времени, а затем анализировать ее. Эти параметры следует задавать только в том случае, если требуется выполнять углубленный анализ службы.
Azure Monitor
По прямой ссылке на Azure Monitor можно получить доступ ко всем возможностям этой службы.
Работоспособность ресурса
Это стандартная панель мониторинга для всех служб Azure. Она позволяет просматривать состояние работоспособности службы HDInsight в определенный день. Уведомления из этой области не поступают, так что ее необходимо изучать самостоятельно. В разделе "Работоспособность ресурсов" можно получить обзор сведений о работоспособности.