Мониторинг с использованием Azure Managed Prometheus и Grafana

Статья
11/07/2023

Внимание

Эта функция в настоящее время доступна для предварительного ознакомления. Дополнительные условия использования для предварительных версий Microsoft Azure включают более юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Сведения об этой конкретной предварительной версии см. в статье Azure HDInsight в предварительной версии AKS. Для вопросов или предложений функций отправьте запрос на AskHDInsight с подробными сведениями и следуйте за нами для получения дополнительных обновлений в сообществе Azure HDInsight.

Мониторинг кластеров и служб является неотъемлемой частью любой организации. Azure HDInsight в AKS поставляется с интегрированным интерфейсом мониторинга со службами Azure. В этой статье мы используем управляемую службу Prometheus с панелями мониторинга Azure Grafana для мониторинга.

Управляемый Prometheus Azure — это служба, которая отслеживает облачные среды. Мониторинг заключается в поддержании их доступности и производительности и метрик рабочей нагрузки. Он собирает данные, созданные ресурсами в экземплярах Azure и из других средств мониторинга. На основе этих данных служба предоставляет аналитические сведения, используя несколько источников.

Azure Managed Grafana — это платформа визуализации данных, созданная на основе программного обеспечения Grafana grafana Labs. Это полностью управляемая служба Azure, которую контролирует и поддерживает Майкрософт. Grafana помогает объединить метрики, журналы и трассировки в единый пользовательский интерфейс. Благодаря расширенной поддержке источников данных и возможностей построения графиков вы можете просматривать и анализировать данные телеметрии приложений и инфраструктуры в реальном времени.

В этой статье рассматриваются сведения о включении функции мониторинга в HDInsight в AKS.

Необходимые компоненты

Рабочая область Azure Managed Prometheus. Рабочую область можно представить как уникальную среду журналов Azure Monitor с собственным репозиторием данных, источниками данных и решениями. Инструкции см. в статье "Создание рабочей области Azure Managed Prometheus".
Рабочая область Azure Managed Grafana. Инструкции см. в статье "Создание рабочей области Azure Managed Grafana".
HDInsight в кластере AKS. В настоящее время вы можете использовать Управляемый Prometheus Azure со следующими типами HDInsight в кластерах AKS:
- Apache Spark™
- Apache Flink®
- Трино

Инструкции по созданию HDInsight в кластере AKS см. в статье "Начало работы с Azure HDInsight в AKS".

Включение Управляемого Prometheus и Grafana Azure

Мониторинг Управляемого prometheus и Grafana необходимо настроить на уровне пула кластера, чтобы включить его на уровне кластера. При включении решения мониторинга необходимо учитывать различные этапы.

#	Сценарий	Включить	Отключить
1	Пул кластеров во время создания	`Not Supported`	`Default`
2	Пул кластеров — создание после создания	`Supported`	`Not Supported`
3	Кластер — во время создания	`Supported`	`Default`
4	Кластер — создание после создания	`Supported`	`Supported`

Во время создания пула кластера

В настоящее время управляемое prometheus не может быть включено во время создания пула кластеров. Его можно настроить после создания пула кластера.

Создание пула кластеров после создания

Мониторинг можно включить на вкладке "Интеграции" в существующем представлении пула кластеров, доступном в портал Azure. Вы можете использовать предварительно созданные рабочие области или создать новую во время настройки мониторинга для пула кластеров.

Использование предварительно созданной рабочей области

Нажмите кнопку "Настроить", чтобы включить мониторинг Azure Prometheus.
Нажмите кнопку "Дополнительно" Параметры, чтобы подключить предварительно созданные рабочие области.

Создание Azure Prometheus и рабочей области Grafana при включении мониторинга в пуле кластеров

Вы можете создать рабочие области на странице пула кластеров AKS в HDI.

Щелкните "Настроить" рядом с параметром Azure Prometheus.
Щелкните "Создать рабочую область" для Управляемого prometheus Azure.
Введите имя, регион и нажмите кнопку "Создать для Prometheus".
Щелкните "Создать рабочую область" для Управляемой Grafana Azure.
Введите имя, регион и нажмите кнопку "Создать для Grafana".
Примечание.
1. Управляемый Grafana можно включить только в том случае, если включен управляемый prometheus.
2. После включения рабочей области Azure Managed Prometheus и управляемой рабочей области Grafana в HDInsight в пуле кластеров AKS его нельзя отключить из пула кластеров. Его необходимо отключить на уровне кластера.

Во время создания кластера

Включение Управляемого prometheus Azure во время создания кластера

После создания пула кластеров и включения Управляемого Prometheus Azure пользователь должен создать HDI в кластере AKS в одном пуле кластеров.
Во время процесса создания кластера перейдите на страницу интеграции и включите Azure Prometheus.

После создания кластера

Вы также можете включить функцию HDI для создания управляемого prometheus в кластере AKS.

Перейдите на вкладку Integrations на странице кластера.
Включите мониторинг Azure Prometheus с помощью кнопки переключателя и нажмите кнопку "Сохранить".

Примечание.

Аналогичным образом, если необходимо отключить мониторинг Azure Prometheus, можно отключить переключатель и нажать кнопку "Сохранить".

Включение необходимых разрешений

Чтобы просмотреть Управляемый prometheus и Azure Managed Grafana на портале AKS, необходимо иметь определенные разрешения, как показано ниже.

Разрешение пользователя. Для просмотра Управляемой Grafana Azure роль "Средство просмотра Grafana" требуется для пользователя в рабочей области Azure Managed Grafana, управления доступом (IAM). Узнайте, как предоставить пользователю доступ.

Откройте рабочую область Grafana, настроенную в пуле кластера.
Выберите роль в качестве средства просмотра Grafana
Выберите имя пользователя, которое обращается к панели мониторинга Grafana.
Выберите пользователя и нажмите кнопку "Проверить+ Назначить"

Примечание.

Если пользователь предварительно создает Управляемый Prometheus Azure для удостоверения Grafana, требуется дополнительное разрешение средства чтения мониторинга.
На странице рабочей области Grafana (одна из них связана с кластером) предоставляет разрешение средства чтения мониторинга на вкладке "Удостоверение".
Нажмите кнопку "Добавить назначение роли".
Выберите следующие параметры
1. Область как подписка
2. Имя подписки.
3. Роль в качестве средства чтения мониторинга
Примечание.

Чтобы просмотреть другие роли для пользователей Grafana, см . здесь.

Просмотр метрик

Мы используем кластер Apache Spark™ в качестве примера в этом случае, если в кластере выполняются несколько заданий, чтобы иметь метрики.

Просмотрите следующие действия, чтобы использовать примеры шаблонов Grafana:

Скачайте пример шаблона для соответствующих рабочих нагрузок (скачайте шаблон Apache Spark в этом случае).
Войдите на панель мониторинга Grafana из кластера.
После открытия страницы панели мониторинга Grafana нажмите кнопку "Создать > импорт"
Щелкните JSON-файл панели "Отправить панель мониторинга" и отправьте скачанный шаблон Apache Spark Grafana и нажмите кнопку "Импорт".
После завершения отправки можно щелкнуть панель мониторинга, чтобы просмотреть метрики.