Мониторинг Центров событий Azure

Статья
07/24/2024

В этой статье рассматриваются следующие вопросы:

Типы данных мониторинга, которые можно собирать для этой службы.
Способы анализа данных.

Примечание.

Если вы уже знакомы с этой службой и (или) Azure Monitor и просто хотите знать, как анализировать данные мониторинга, см . раздел "Анализ " в конце этой статьи.

При наличии критически важных приложений и бизнес-процессов, использующих ресурсы Azure, необходимо отслеживать и получать оповещения для системы. Служба Azure Monitor собирает и агрегирует метрики и журналы из каждого компонента системы. Azure Monitor предоставляет представление о доступности, производительности и устойчивости, а также уведомляет вас о проблемах. Вы можете использовать портал Azure, PowerShell, Azure CLI, REST API или клиентские библиотеки для настройки и просмотра данных мониторинга.

Дополнительные сведения об Azure Monitor см. в обзоре Azure Monitor.
Дополнительные сведения о том, как отслеживать ресурсы Azure в целом, см. в статье "Мониторинг ресурсов Azure" с помощью Azure Monitor.

Документация по Azure Monitor описывает следующие понятия:

Общие сведения об Azure Monitor
Затраты, связанные с мониторингом
данные мониторинга, собираемые в Azure;
настройка сбора данных;
стандартные средства Azure для анализа данных мониторинга и оповещения.

В следующих разделах описываются определенные данные, собранные для Центры событий Azure. В них также приводятся примеры настройки сбора и анализа данных средствами Azure.

Совет

Сведения о затратах, связанных с Azure Monitor, см. в статье о затратах и использовании Azure Monitor. О том, сколько времени потребуется для отображения данных в Azure Monitor, см. в статье "Сроки приема данных журналов в Azure Monitor".

Типы ресурсов

Azure использует концепцию типов ресурсов и идентификаторов для идентификации всего в подписке. Типы ресурсов также являются частью идентификаторов ресурсов для каждого ресурса, работающего в Azure. Например, для виртуальной машины используется Microsoft.Compute/virtualMachinesодин тип ресурса. Список служб и связанных с ними типов ресурсов см. в разделе "Поставщики ресурсов".

Azure Monitor аналогично упорядочивает основные данные мониторинга в метрики и журналы на основе типов ресурсов, которые также называются пространствами имен. Различные метрики и журналы доступны для различных типов ресурсов. Служба может быть связана с несколькими типами ресурсов.

Дополнительные сведения о типах ресурсов для Центров событий см. в Центры событий Azure справочнике по данным мониторинга.

Хранилище данных

Для Azure Monitor:

Данные метрик хранятся в базе данных метрик Azure Monitor.
Данные журнала хранятся в хранилище журналов Azure Monitor. Log Analytics — это средство в портал Azure, которое может запрашивать это хранилище.
Журнал действий Azure — это отдельное хранилище с собственным интерфейсом в портал Azure.

При необходимости можно перенаправить данные журнала метрик и действий в хранилище журналов Azure Monitor. Затем с помощью Log Analytics можно запрашивать данные и сопоставлять их с другими данными журнала.

Многие службы могут использовать параметры диагностики для отправки данных метрик и журналов в другие расположения хранилища за пределами Azure Monitor. Примеры включают служба хранилища Azure, размещенные партнерские системы и системы партнеров, отличные от Azure, с помощью Центров событий.

Подробные сведения о том, как Azure Monitor хранит данные, см. на платформе данных Azure Monitor.

Хранилище Azure

Если вы используете служба хранилища Azure для хранения диагностических данных ведения журнала, данные хранятся в контейнерах с именем insights-logs-operationlogs и insights-metrics-pt1m. Пример URL-адреса для журнала операций: https://<Azure Storage account>.blob.core.windows.net/insights-logs-operationallogs/resourceId=/SUBSCRIPTIONS/<Azure subscription ID>/RESOURCEGROUPS/<Resource group name>/PROVIDERS/MICROSOFT.EVENTHUB/NAMESPACES/<Namespace name>/y=<YEAR>/m=<MONTH-NUMBER>/d=<DAY-NUMBER>/h=<HOUR>/m=<MINUTE>/PT1H.json. URL-адрес для журнала метрик аналогичен.
Центры событий Azure

Если вы используете Центры событий Azure для хранения диагностических данных ведения журнала, данные хранятся в экземплярах Центров событий с именем insights-logs-operationlogs и insights-metrics-pt1m. Вы также можете выбрать существующий концентратор событий, за исключением концентратора событий, для которого настраивается параметры диагностики.
Служба Log Analytics

Если вы используете Log Analytics для хранения сведений журнала диагностики, эти сведения хранятся в таблицах с именем AzureDiagnostics/ AzureMetrics или определенных ресурсов.

Внимание

Для включения этих параметров требуются дополнительные службы Azure: учетная запись хранения, концентратор событий или Log Analytics. Эти службы могут увеличить затраты. Рассчитать оценочную стоимость можно с помощью калькулятора цен Azure.

Примечание.

В настоящее время при включении метрик в диагностическом параметре сведения об измерениях не включаются в состав данных, передаваемых в учетную запись хранения, концентратор событий или Log Analytics.

Метрики платформы Azure Monitor

Azure Monitor предоставляет метрики платформы для большинства служб. Эти метрики перечислены ниже.

По отдельности определяется для каждого пространства имен.
Хранится в базе данных метрик временных рядов Azure Monitor.
Упрощенный и способный поддерживать оповещения практически в режиме реального времени.
Используется для отслеживания производительности ресурса с течением времени.

Коллекция: Azure Monitor автоматически собирает метрики платформы. Настройка не требуется.

Маршрутизация. Вы также можете направлять некоторые метрики платформы в журналы Azure Monitor или Log Analytics, чтобы запросить их с другими данными журнала. Проверьте параметр экспорта DS для каждой метрики, чтобы узнать, можно ли использовать параметр диагностики для маршрутизации метрик в журналы Azure Monitor или Log Analytics.

Дополнительные сведения см. в параметре диагностики метрик.
Сведения о настройке параметров диагностики для службы см. в статье "Создание параметров диагностики" в Azure Monitor.

Список всех метрик, которые можно собрать для всех ресурсов в Azure Monitor, см. в статье "Поддерживаемые метрики в Azure Monitor".

Журналы ресурсов не собираются и не сохраняются, пока вы не создадите параметр диагностики и не начнете передавать их в одно расположение или несколько. Создавая параметр диагностики, нужно указать, какие категории журналов должны собираться. Категории для Центров событий Azure перечислены в справочнике по данным мониторинга Центров событий Azure.

Примечание.

Azure Monitor не включает измерения в экспортированные данные метрик, которые отправляются в место назначения, например служба хранилища Azure, Центры событий Azure и Log Analytics.

Список доступных метрик для Центров событий см. в Центры событий Azure справочнике по данным мониторинга.

Анализ метрик

Вы можете проанализировать метрики Центров событий Azure, а также метрики из других служб Azure, выбрав Метрики из раздела Azure Monitor на домашней странице для пространства имен Центров событий. Дополнительные сведения об использовании этого средства см . в обозревателе метрик Azure Monitor. Список собираемых метрик платформы приведен в разделе Метрики справочника по данным мониторинга Центров событий Azure.

Для справки можно просмотреть список всех метрик ресурсов, поддерживаемых Azure Monitor.

Совет

Данные метрик Azure Monitor доступны в течение 90 дней, но при создании диаграмм визуализацию можно выполнить только за 30 дней. Например, если требуется визуализировать 90-дневный период, его необходимо разбить на три диаграммы по 30 дней.

Фильтрация и разделение

Для метрик, поддерживающих измерения, можно применять фильтры по значению измерения — Например, добавьте фильтр с параметром EntityName, имеющим значение имени центра событий. Метрики можно разбивать по измерениям, чтобы наглядно сравнивать различные их сегменты. Дополнительные сведения о фильтрации и разбиении см. в статье "Расширенные возможности обозревателя метрик Azure".

Журналы ресурсов Azure Monitor

Журналы ресурсов предоставляют аналитические сведения об операциях, выполненных ресурсом Azure. Журналы создаются автоматически, но их необходимо перенаправить в журналы Azure Monitor, чтобы сохранить или запросить их. Журналы организованы по категориям. Заданное пространство имен может содержать несколько категорий журналов ресурсов.

Коллекция. Журналы ресурсов не собираются и хранятся, пока не создадите параметр диагностики и перенаправите журналы в одно или несколько расположений. Создавая параметр диагностики, нужно указать, какие категории журналов должны собираться. Существует несколько способов создания и обслуживания параметров диагностики, включая портал Azure, программно и хотя Политика Azure.

Маршрутизация: рекомендуемая по умолчанию — маршрутизация журналов ресурсов в журналы Azure Monitor, чтобы запросить их с другими данными журнала. Также доступны другие расположения, такие как служба хранилища Azure, Центры событий Azure и некоторые партнеры по мониторингу Майкрософт. Дополнительные сведения см. в журналах ресурсов Azure и назначениях журналов ресурсов.

Подробные сведения о сборе, хранении и маршрутизации журналов ресурсов см. в разделе "Параметры диагностики" в Azure Monitor.

Список всех доступных категорий журналов ресурсов в Azure Monitor см. в статье "Поддерживаемые журналы ресурсов" в Azure Monitor.

Все журналы ресурсов в Azure Monitor имеют одинаковые поля заголовков, а затем поля для конкретной службы. Общая схема показана в разделе Схема журнала ресурсов Azure Monitor.

Доступные категории журналов ресурсов, связанные таблицы Log Analytics и схемы журналов для Центров событий см. в Центры событий Azure справочнике по данным мониторинга.

Анализ журналов

Для использования Azure Monitor Log Analytics необходимо создать диагностическую конфигурацию и включить параметр Отправлять сведения в Log Analytics. Дополнительные сведения см. в разделе "Метрики ". Данные журналов Azure Monitor хранятся в таблицах, каждая из которых имеет собственный набор уникальных свойств. Центры событий Azure имеет возможность отправлять журналы в две целевые таблицы: диагностические или определенные таблицы ресурсов Azure в Log Analytics. Подробные сведения о журналах и метриках см. в справочнике по данным мониторинга Центров событий Azure.

Внимание

Если выбрать в меню Центров событий Azure пункт Журналы, откроется Log Analytics с текущей рабочей областью в качестве области запроса. Это означает, что запросы к журналам будут содержать данные только из этого ресурса. Если требуется выполнить запрос, включающий данные из других баз данных или служб Azure, выберите в меню Azure Monitor пункт Журналы. Подробные сведения см. в статье Область запросов журнала и временной диапазон в Azure Monitor Log Analytics.

Использование журналов среды выполнения

Центры событий Azure позволяют отслеживать и проверять взаимодействие клиентских приложений с плоскостью данных с помощью журналов аудита среды выполнения и журналов метрик приложений.

С помощью журналов аудита среды выполнения можно собирать агрегированные диагностические сведения по всем операциям доступа к плоскости данных, таким как публикация или использование событий. Журналы метрик приложений собирают агрегированные данные по определенным метрикам среды выполнения (такие как задержка между получателями и источниками или активные подключения), которые относятся к клиентским приложениям, подключенным к Центрам событий.

Примечание.

Журналы аудита среды выполнения доступны только на уровнях премиум и выделенный.

Включение журналов среды выполнения

Вы можете включить аудит среды выполнения или ведение журнала метрик приложений, выбрав параметры диагностики в разделе "Мониторинг" на странице пространства имен Центров событий в портал Azure. Выберите " Добавить параметр диагностики", как показано на следующем рисунке.

Затем при необходимости можно включить категории журналов RuntimeAuditLogs или ApplicationMetricsLogs.

После включения журналов среды выполнения центры событий начинают собирать и хранить их в соответствии с конфигурацией параметра диагностики.

Публикация и использование примеров данных

Чтобы собрать примеры журналов аудита среды выполнения в пространстве имен Центров событий, можно публиковать и использовать примеры данных с помощью клиентских приложений, основанных на пакете SDK центров событий. Этот пакет SDK использует расширенный протокол очереди сообщений (AMQP). Вы также можете использовать любое клиентское приложение Apache Kafka.

Метрики приложения включают следующие метрики среды выполнения.

Таким образом, можно использовать метрики приложения для мониторинга метрик среды выполнения, таких как задержка между получателями и источниками или активное подключение из заданного клиентского приложения. Поля, связанные с журналами аудита среды выполнения, определяются в справочнике по журналам метрик приложения.

Журнал действий Azure

Журнал действий содержит события уровня подписки, отслеживающие операции для каждого ресурса Azure, как видно извне этого ресурса; например, создание нового ресурса или запуск виртуальной машины.

Коллекция: события журнала действий автоматически создаются и собираются в отдельном хранилище для просмотра в портал Azure.

Маршрутизация. Вы можете отправлять данные журнала действий в журналы Azure Monitor, чтобы их можно было анализировать вместе с другими данными журнала. Также доступны другие расположения, такие как служба хранилища Azure, Центры событий Azure и некоторые партнеры по мониторингу Майкрософт. Дополнительные сведения о маршрутизации журнала действий см. в разделе "Обзор журнала действий Azure".

Анализ данных мониторинга

Существует множество средств для анализа данных мониторинга.

Средства Azure Monitor

Azure Monitor поддерживает следующие основные средства:

Обозреватель метрик— средство в портал Azure, позволяющее просматривать и анализировать метрики для ресурсов Azure. Дополнительные сведения см. в разделе "Анализ метрик" с помощью обозревателя метрик Azure Monitor.
Log Analytics— средство в портал Azure, позволяющее запрашивать и анализировать данные журнала с помощью языка запросов Kusto (KQL). Дополнительные сведения см. в статье Начало работы с запросами журнала в Azure Monitor.
Журнал действий, имеющий пользовательский интерфейс в портал Azure для просмотра и базового поиска. Для более подробного анализа необходимо направлять данные в журналы Azure Monitor и выполнять более сложные запросы в Log Analytics.

Средства, которые позволяют более сложной визуализации, включают:

Панели мониторинга, позволяющие объединить различные виды данных в одну область в портал Azure.
Книги, настраиваемые отчеты, которые можно создать в портал Azure. Книги могут включать текст, метрики и запросы журналов.
Grafana — открытое средство платформы, которое работает на операционных панелях мониторинга. С помощью Grafana можно создавать панели мониторинга, содержащие данные из нескольких источников, отличных от Azure Monitor.
Power BI— служба бизнес-аналитики, которая предоставляет интерактивные визуализации в различных источниках данных. Вы можете настроить Power BI на автоматический импорт данных журналов из Azure Monitor, чтобы воспользоваться этими визуализациями.

Средства экспорта Azure Monitor

Вы можете получить данные из Azure Monitor в другие средства с помощью следующих методов:

Метрики. Используйте REST API для метрик для извлечения данных метрик из базы данных метрик Azure Monitor. API поддерживает выражения фильтров для уточнения полученных данных. Дополнительные сведения см . в справочнике по REST API Azure Monitor.
Журналы: используйте REST API или связанные клиентские библиотеки.
Другим вариантом является экспорт данных рабочей области.

Сведения о начале работы с REST API для Azure Monitor см . в пошаговом руководстве по REST API мониторинга Azure.

Запросы Kusto

Данные мониторинга можно анализировать в хранилище журналов Azure Monitor или Log Analytics с помощью языка запросов Kusto (KQL).

Внимание

При выборе журналов в меню службы на портале Log Analytics откроется область запроса, заданная текущей службой. Эта область означает, что запросы журналов будут включать только данные из этого типа ресурса. Если вы хотите выполнить запрос, содержащий данные из других служб Azure, выберите журналы в меню Azure Monitor . Подробные сведения см. в статье Область запросов журнала и временной диапазон в Azure Monitor Log Analytics.

Список распространенных запросов для любой службы см. в интерфейсе запросов Log Analytics.

Примеры запросов Kusto

Ниже приведены примеры запросов, которые можно использовать для мониторинга ресурсов Центров событий Azure.

AzureDiagnostics
Таблица с определенными ресурсами

Получение ошибок за последние семь дней.

AzureDiagnostics
| where TimeGenerated > ago(7d)
| where ResourceProvider =="MICROSOFT.EVENTHUB"
| where Category == "OperationalLogs"
| summarize count() by "EventName"

Получите журналы аудита времени выполнения, созданные за последний час.

AzureDiagnostics
| where TimeGenerated > ago(1h)
| where ResourceProvider =="MICROSOFT.EVENTHUB"
| where Category == "RuntimeAuditLogs"

Получение попыток обращения к хранилищу ключей, завершившихся ошибкой "ключ не найден".
```
AzureDiagnostics
| where ResourceProvider == "MICROSOFT.EVENTHUB" 
| where Category == "Error" and OperationName == "wrapkey"
| project Message
```

Получение операций, выполненных с хранилищем ключей для отключения или восстановления ключа.

AzureDiagnostics
| where ResourceProvider == "MICROSOFT.EVENTHUB"
| where Category == "info" and OperationName == "disable" or OperationName == "restore"
| project Message

Получение сбоев записи и их продолжительности в секундах.

AzureDiagnostics
| where ResourceProvider == "MICROSOFT.EVENTHUB"
| where Category == "ArchiveLogs"
| summarize count() by "failures", "durationInSeconds"

Получение операционных журналов для ресурса концентратора событий за последние семь дней.
```
AZMSOperationalLogs 
| where Timegenerated > ago(7d) 
| where Provider == "EVENTHUB"
| where resourceId == "<Resource Id>" // Replace your resource Id
```
Получение журналов записи для концентратора событий за последние семь дней.
```
AZMSArchiveLogs
| where EventhubName == "<Event Hub Name>" //Enter event hub entity name
| where TimeGenerated > ago(7d)
```

Анализ журналов аудита среды выполнения

Проанализировать собранные журналы аудита среды выполнения можно с помощью следующего примера запроса.

AzureDiagnostics
Таблица с определенными ресурсами

AzureDiagnostics
| where TimeGenerated > ago(1h)
| where ResourceProvider == "MICROSOFT.EVENTHUB"
| where Category == "RuntimeAuditLogs"

AZMSRuntimeAuditLogs
| where TimeGenerated > ago(1h)
| where Provider == "EVENTHUB"

После выполнения запроса можно получить соответствующие журналы аудита в следующем формате.

Анализируя эти журналы, вы сможете проверить, как каждое клиентское приложение взаимодействует с Центрами событий. Каждое поле, связанное с журналами аудита среды выполнения, определяется в справочнике по журналам аудита среды выполнения.

Анализ метрик приложения

Проанализировать собранные журналы метрик приложения можно с помощью следующего примера запроса.

AzureDiagnostics
Таблица с определенными ресурсами

AzureDiagnostics
| where TimeGenerated > ago(1h)
| where Category == "ApplicationMetricsLogs"

AZMSApplicationMetricLogs
| where TimeGenerated > ago(1h)
| where Provider == "EVENTHUB"

видны узлы

Оповещения Azure Monitor заранее уведомляют вас о конкретных условиях, обнаруженных в данных мониторинга. Оповещения позволяют выявлять и устранять проблемы в системе, прежде чем клиенты заметят их. Дополнительные сведения см. в оповещениях Azure Monitor.

Существует множество источников распространенных оповещений для ресурсов Azure. Примеры распространенных оповещений для ресурсов Azure см. в примерах запросов оповещений журнала. Сайт базовых оповещений Azure Monitor (AMBA) предоставляет полуавтомативный метод реализации важных оповещений метрик платформы, панелей мониторинга и рекомендаций. Сайт применяется к постоянно расширяющемуся подмножество служб Azure, включая все службы, которые являются частью целевой зоны Azure (ALZ).

Общая схема оповещений стандартизирует потребление уведомлений об оповещениях Azure Monitor. Дополнительные сведения см. в разделе "Общая схема оповещений".

Типов оповещений

Вы можете получать оповещения о любых источниках данных метрик или журналов на платформе данных Azure Monitor. Существует множество различных типов оповещений в зависимости от служб, которые вы отслеживаете, и данных мониторинга, которые вы собираете. Различные типы оповещений имеют различные преимущества и недостатки. Дополнительные сведения см. в разделе "Выбор правильного типа оповещений мониторинга".

В следующем списке описаны типы оповещений Azure Monitor, которые можно создать:

Оповещения метрик оценивают метрики ресурсов через регулярные интервалы. Метрики могут быть метриками платформы, пользовательскими метриками, журналами из Azure Monitor, преобразованными в метрики или метриками Application Insights. Оповещения метрик также могут применять несколько условий и динамические пороговые значения.
Оповещения журнала позволяют пользователям использовать запрос Log Analytics для оценки журналов ресурсов на предопределенной частоте.
Оповещения журнала действий активируются при возникновении нового события журнала действий, соответствующего определенным условиям. Работоспособность ресурсов оповещения и оповещения о работоспособности служб — это оповещения журнала действий, которые сообщают о работоспособности службы и ресурсов.

Некоторые службы Azure также поддерживают оповещения интеллектуального обнаружения, оповещения Prometheus или рекомендуемые правила генерации оповещений.

Для некоторых служб можно отслеживать масштаб, применяя одно правило генерации оповещений метрик к нескольким ресурсам одного типа, которые существуют в одном регионе Azure. Для каждого отслеживаемого ресурса отправляются отдельные уведомления. Сведения о поддерживаемых службах и облаках Azure см. в статье "Мониторинг нескольких ресурсов с помощью одного правила генерации оповещений".

Вы можете получить доступ к оповещениям для Центров событий Azure, выбрав Оповещения в разделе Azure Monitor на домашней странице пространства имен Центров событий. Дополнительные сведения о создании оповещений см. в статье "Создание, просмотр и управление оповещениями метрик с помощью Azure Monitor".

Правила генерации оповещений Центров событий

В следующей таблице перечислены некоторые предлагаемые правила генерации оповещений для Центров событий. Эти оповещения являются лишь примерами. Вы можете задать оповещения для любой метрики, записи журнала или записи журнала действий, указанной в справочнике по данным мониторинга Центры событий Azure.

Тип оповещения	Условие	Description
Метрика	ЦП	Если загрузка ЦП превышает заданное значение.
Метрика	Объем доступной памяти	Если доступная память удаляется под заданным значением.
Метрика	Невыполненная работа записи	Если запись невыполненной работы превышает определенное значение.

Поделиться через

Мониторинг Центров событий Azure

Типы ресурсов

Хранилище данных

Метрики платформы Azure Monitor

Анализ метрик

Фильтрация и разделение

Журналы ресурсов Azure Monitor

Анализ журналов

Использование журналов среды выполнения

Включение журналов среды выполнения

Публикация и использование примеров данных

Журнал действий Azure

Анализ данных мониторинга

Средства Azure Monitor

Средства экспорта Azure Monitor

Запросы Kusto

Примеры запросов Kusto

Анализ журналов аудита среды выполнения

Анализ метрик приложения

видны узлы

Типов оповещений

Правила генерации оповещений Центров событий

Рекомендации Помощника

Обратная связь

Дополнительные ресурсы

Поделиться через

Мониторинг Центров событий Azure

Типы ресурсов

Хранилище данных

Метрики платформы Azure Monitor

Анализ метрик

Фильтрация и разделение

Журналы ресурсов Azure Monitor

Анализ журналов

Использование журналов среды выполнения

Включение журналов среды выполнения

Публикация и использование примеров данных

Журнал действий Azure

Анализ данных мониторинга

Средства Azure Monitor

Средства экспорта Azure Monitor

Запросы Kusto

Примеры запросов Kusto

Анализ журналов аудита среды выполнения

Анализ метрик приложения

видны узлы

Типов оповещений

Правила генерации оповещений Центров событий

Рекомендации Помощника

Связанный контент

Обратная связь

Дополнительные ресурсы