Платформа данных Azure Monitor

В современных сложных вычислительных средах работают распределенные приложения, использующие как облачные, так и локальные службы. Чтобы обеспечить наблюдаемость, операционные данные должны собираться из каждого слоя и компонента распределенной системы. Требуется реализовать возможность глубокого анализа этих данных и объединения их с разными подходами, чтобы обеспечить поддержку нескольких заинтересованных лиц в организации.

Azure Monitor собирает и объединяет данные из различных источников в рамках общей платформы данных, где их можно использовать для анализа, визуализации и отправки оповещений. Он обеспечивает согласованный интерфейс на основе данных, полученных из нескольких источников. Вы сможете получить подробную информацию по всем отслеживаемым ресурсам и даже по данным из других служб, которые хранят данные в Azure Monitor.

Схема, на которой показан обзор Azure Monitor с источниками данных слева, отправляющими данные на центральную платформу данных, и функциями Azure Monitor справа, которые используют собранные данные.

Данные наблюдаемости в Azure Monitor

Метрики, журналы и распределенные трассировки обычно являются тремя основополагающими элементами наблюдаемости. Средства мониторинга должны собирать и анализировать эти три различных типа данных, чтобы обеспечить достаточную наблюдаемость отслеживаемой системы. Наблюдаемость можно обеспечить путем сопоставления данных из нескольких основополагающих элементов и статистической обработки данных по всему набору отслеживаемых ресурсов. Поскольку Azure Monitor хранит данные из нескольких источников, их можно сопоставлять и анализировать с помощью общего набора инструментов. Платформа также сопоставляет данные по нескольким подпискам и клиентам Azure в дополнение к размещению данных для других служб.

Ресурсы Azure создают значительный объем данных мониторинга. Azure Monitor объединяет эти данные вместе с данными мониторинга из других источников в рамках платформы метрик или журналов. Каждый из них оптимизирован для конкретных сценариев мониторинга, и каждый поддерживает различные функции Azure Monitor. Такие функции, как анализ данных, визуализации или оповещения, требуют понимания различий между ними, чтобы можно было реализовать необходимый сценарий наиболее эффективным и экономичным способом. Аналитические сведения в Azure Monitor, такие как Application Insights или Аналитика контейнеров, включают средства анализа, позволяющие сосредоточиться на конкретном сценарии мониторинга, не вдаваясь в подробности при изучении различий между двумя типами данных.

Метрики

Метрики — это числовые значения, описывающие конкретный аспект системы в определенный момент времени. Данные собираются через регулярные интервалы времени и маркируются с помощью метки времени, имени, значения и одной или нескольких определяющих меток. Метрики можно агрегировать с помощью различных алгоритмов. Их можно сравнивать с другими метриками и анализировать на предмет тенденций в течение некоторого времени.

Метрики в Azure Monitor хранятся в базе данных временных рядов, которая оптимизирована для анализа данных с отметками времени. Благодаря отметкам времени метрики оптимально подходят для предупреждений и быстрого обнаружения проблем. С помощью метрик можно определить состояние работоспособности системы, однако обычно их необходимо рассматривать в контексте сведений из журналов, чтобы определить основную причину проблем.

Метрики доступны для интерактивного анализа на портале Azure в обозревателе метрик Azure. Их можно добавить на панель мониторинга Azure для визуализации в сочетании с другими данными и использовать для оповещения почти в реальном времени.

Подробнее о метриках Azure Monitor, включая их источники данных, см. в статье Метрики в Azure Monitor.

Журналы

Журналы — это зарегистрированные события, произошедшие в системе. Они могут содержать различные виды данных или иметь вид структурированных или произвольных текстов с меткой времени. Они могут создаваться нерегулярно в результате событий в среде. В системе, работающей под высокой нагрузкой, обычно создается больший объем данных журнала.

Журналы в Azure Monitor хранятся в рабочей области Log Analytics обозревателя данных Azure Data Explorer, которая предоставляет эффективный модуль анализа и полнофункциональный язык запросов. В журналах, как правило, содержится достаточно сведений для предоставления полного контекста обнаруженной проблемы и выявления основной причины проблем.

Примечание

Важно различать журналы Azure Monitor и источники данных журналов в Azure. Например, события уровня подписки в Azure записываются в журнал действий, который можно просмотреть в меню Azure Monitor. Большинство ресурсов записывают информацию о своей работе в журнал ресурсов, который можно пересылать в разные расположения.

Журналы Azure Monitor — это платформа данных журналов, которая собирает журналы действий и журналы ресурсов вместе с другими данными мониторинга для обеспечения детального анализа по всему набору ресурсов.

Вы можете работать с запросами журналов в интерактивном режиме с помощью Log Analytics на портале Azure. Вы также можете добавить результаты на панель мониторинга Azure для визуализации совместно с другими данными. Можно создавать оповещения журнала, которые будут активировать оповещение на основе результатов запланированного запроса.

Подробнее о журналах Azure Monitor, включая их источники данных, см. в статье Журналы в Azure Monitor.

Распределенные трассировки

Трассировки — это последовательности связанных событий, которые следуют за запросом пользователя через распределенную систему. Они могут использоваться для определения поведения кода приложения и производительности различных транзакций. Несмотря на то, что журналы часто создаются отдельными компонентами распределенной системы, трассировка измеряет работу и производительность приложения по всему набору компонентов.

Распределенная трассировка включена с помощью пакета SDK Application Insights. Данные трассировки хранятся вместе с другими данными журнала приложений, собранными приложением Application Insights. Это делает ее доступной для тех же средств анализа, что и для других данных журнала, включая запросы журналов, панели мониторинга и оповещения.

Дополнительные сведения о распределенной трассировке см. в статье Что такое распределенная трассировка?.

Изменения

Изменения — это ряд событий, происходящих в приложении Azure, от уровня инфраструктуры до развертывания приложения. Изменения отслеживаются на уровне подписки с помощью средства анализа изменений. Средство анализа изменений повышает наблюдаемость, опираясь на возможности Azure Resource Graph, чтобы получить подробные сведения об изменениях приложения.

После включения анализа изменений поставщик ресурсов Microsoft.ChangeAnalysis регистрируется в подписке Azure Resource Manager, чтобы сделать доступными свойства ресурса и данные изменений конфигурации. Анализ изменений предоставляет данные для различных сценариев управления и устранения неполадок, которые помогают пользователям понять, какие изменения могли вызвать проблемы:

Дополнительные сведения об анализе изменений, включая источники данных, читайте в статье Использование анализа изменений в Azure Monitor.

Сравнение метрик и журналов Azure Monitor

В следующей таблице сравниваются метрики и журналы в Azure Monitor.

attribute Метрики Журналы
Преимущества Они занимают небольшой объем, и их можно использовать в сценариях, предусматривающих работу в режиме почти реального времени, таких как отправка оповещений. Идеально подходит для быстрого обнаружения проблем. Анализ с помощью полнофункционального языка запросов. Идеально подходит для углубленного анализа и выявления основной причины.
Данные Только числовые значения Текст или числовые данные
Структура Стандартный набор свойств, включая время выборки, число отслеживаемых ресурсов, числовое значение. Некоторые метрики включают несколько измерений для дальнейшего определения. Уникальный набор свойств в зависимости от типа журнала.
Коллекция Сбор через регулярные интервалы времени. Сбор может осуществляться нерегулярно, по мере того, как события инициируют создание соответствующей записи.
Анализ на портале Azure Обозреватель метрик Log Analytics
Источники данных включают Метрики платформы, собранные из ресурсов Azure
Приложения, отслеживаемые Application Insights
Агент Azure Monitor
Определяется приложением или API
Журналы приложений и ресурсов
Агент Azure Monitor
Запросы приложений и исключения
API приема журналов
Azure Sentinel
Microsoft Defender для облака

Сбор данных мониторинга

Различные источники данных для Azure Monitor будут записываться либо в рабочую область Log Analytics (журналы), либо в базу данных метрик Azure Monitor (метрики), либо и в рабочую область, и в базу данных. Некоторые источники записывают данные непосредственно в эти хранилища данных, тогда как другие могут записывать данные в другое расположение (например, в службу хранилища Azure) и требовать настройки параметров заполнения журналов или метрик.

Список различных источников данных, заполняющих каждый тип, см. в статьях Метрики в Azure Monitor и Журналы Azure Monitor.

Потоковая передача данных во внешние системы

Помимо анализа данных мониторинга с помощью средств Azure вам может потребоваться перенаправлять их во внешнее средство, например продукт для управления информационной безопасностью и событиями безопасности. Такое перенаправление обычно выполняют непосредственно из отслеживаемых ресурсов через Центры событий Azure.

Некоторые источники можно настроить для отправки данных непосредственно в концентратор событий, а для получения необходимых данных можно использовать другой процесс, такой как приложение логики. Подробнее см. в разделе Потоковая передача данных мониторинга Azure в концентратор событий для потребления внешним инструментом.

Дальнейшие действия