Корпоративный мониторинг с Azure Monitor

Крупным предприятиям нужно учитывать множество факторов при модернизации своего существующего решения для мониторинга. Чтобы обеспечить централизованное управление мониторингом, можно использовать функции Azure Monitor. В этом примере сценария показан мониторинг на уровне предприятия с применением Azure Monitor.

Архитектура

Скачайте файл Visio для этой архитектуры.

Рабочий процесс

• Эта архитектура соответствует модели регистрации с указанием ресурсов и контекста. Каждая запись журнала, генерируемая при операции с ресурсом Azure, автоматически связывается с этим ресурсом. Эта модель помогает разделить рабочие области, которые собирают и принимают данные от различных владельцев приложений.

• У разных рабочих нагрузок на предприятии разные рабочие области. Настройка разных рабочих областей позволяет командам автономно управлять своими данными, а также предоставляет отдельные сводки о затратах для каждой рабочей области.

  • Платформы как услуги (PaaS), такие как веб-приложения Azure и функции-приложения Azure, добавляют конфигурацию для Application Insights в собственные рабочие области.

  • У поставщиков удостоверений, локальных служб Active Directory и поставщиков удостоверений в облаке собственные рабочие области.

  • Рабочие нагрузки Виртуального рабочего стола Azure, Azure Pipelines, SQL, приложения в Службе Azure Kubernetes (AKS), веб-приложения Azure, а также другие службы PaaS имеют собственные рабочие области.

• Для каждой рабочей области настроен собственный набор оповещений. Azure Logic Apps и служба автоматизации Azure предоставляют дополнительные средства оповещения и исправления. Logic Apps обеспечивает интеграцию с инструментами управления ИТ-услугами (ITSM).

• Набор локальных виртуальных машин подключается через Azure Arc, обеспечивая сквозную плоскость управления Azure. С помощью Azure Arc также можно подключать ресурсы инфраструктуры как услуги (IaaS), чтобы работать в стороннем облаке.

• Настройте ведение журнала, чтобы сохранять сведения о сторонних виртуальных окружениях и регистрировать необходимые данные об операционной системе, программном обеспечении и приложениях.

• Аналитика рабочей области Log Analytics обеспечивает комплексный мониторинг рабочей области. Использование одной рабочей области для хранения данных, собранных из всех ресурсов, соответствует рабочей модели ИТ-организации. Эта рабочая область позволяет централизовано следить за использованием, затратами и производительностью всех рабочих областей. Центральная рабочая область поддерживает определение областей и управления доступом на основе ролей (RBAC) в зависимости от ресурсов. У аналитики рабочей области Log Analytics собственный набор оповещений.

• Log Analytics обеспечивает дополнительную интеграцию за счет экспорта данных рабочей области для архивирования или аналитики. Архивирование данных в хранилище с холодным уровнем доступа снижает расходы. Архивные данные можно использовать для дальнейшей аналитики путем создания наборов, которые передаются в модели машинного обучения.

• Monitor подключается к инструментам управления информационной безопасностью и событиями безопасности (SIEM), таким как Microsoft Sentinel, чтобы создать увеличенные безопасные хранилища корпоративных данных.

• Power BI и книги Azure (для Azure Monitor) предоставляют возможности визуализации данных и панели мониторинга.

Компоненты

Эта архитектура включает в себя следующие компоненты:

Компоненты Monitor

Azure Monitor собирает, анализирует и применяет данные телеметрии из облачных и локальных сред. В этом решении используются следующие компоненты и функции Monitor:

• Метрики Monitor собирает количественные данные в отслеживаемых ресурсах и добавляет в базу данных временных рядов. Метрики в Monitor упрощенные и поддерживают сценарии почти в реальном времени, поэтому они полезны для генерации оповещений и обнаружения проблем.
• Журналы Monitor собирает и организует журналы и данные о производительности из отслеживаемых ресурсов. Вы можете объединять данные из нескольких источников, в том числе журналов платформы Azure, в одной рабочей области. Вы можете анализировать данные с помощью сложного языка запросов Log Analytics.
• Агент Azure Monitor может отправлять данные, как в Журналы Monitor, так и в Метрики Monitor. Агент Azure Monitor использует настраиваемые правила сбора данных (DCR), и для подключения ему не нужны ключи рабочей области.
• Application Insights следит за работающими приложениями на разнообразных платформах в облачных, гибридных и локальных средах. Application Insights автоматически обнаруживает аномалии производительности. Application Insights включает мощные аналитические средства, которые помогают анализировать данные об использовании и выявлять ошибки.
• Аналитика Виртуального рабочего стола Azure использует Monitor для Виртуального рабочего стола Azure, чтобы помочь ИТ-специалистам в анализе сред Виртуального рабочего стола Azure.
• Аналитика контейнеров отслеживает производительность и состояние кластеров Kubernetes и других рабочих нагрузок на основе контейнеров.
• Аналитика сети предоставляет комплексные данные о состоянии и метрики для всех развернутых сетевых ресурсов.
• Аналитика SQL (предварительная версия) отслеживает состояние, помогает выявлять проблемы и настраивать производительность для любого продукта из семейства Azure SQL.
• Аналитика виртуальных машин отслеживает производительность и состояние виртуальных машин и масштабируемых наборов виртуальных машин. Аналитика виртуальных машин также следит за запущенными процессами и зависимостями в других ресурсах.
• Соединитель управления ИТ-услугами (ITSMC) обеспечивает двунаправленное соединение между Azure и поддерживаемыми инструментами ITSM, что позволяет быстрее разрешать рабочие элементы.
• Книги Azure для Azure Monitor предоставляют гибкий холст для анализа нескольких источников данных Azure и объединения их в интерактивные визуальные отчеты.
• Log Analytics создает и выполняет запросы к данным журналов Monitor в рабочих областях Log Analytics. Это решение использует следующие функции Log Analytics:
  • Агент Log Analytics собирает данные мониторинга из облачных и локальных операционных систем и рабочих нагрузок виртуальных машин и отправляет их в рабочую область Log Analytics.
  • Мониторинг Microsoft Entra направляет журналы действий Microsoft Entra в рабочую область Log Analytics.
  • Шлюз Log Analytics отправляет данные в службу автоматизации Azure и рабочие области Log Analytics для компьютеров с прямым соединением с Интернетом.
  • Сопоставление служб использует агент Log Analytics, чтобы автоматически обнаруживать компоненты приложений в системах Windows и Linux и сопоставлять взаимодействие между службами.
  • Управление оповещениями помогает анализировать все оповещения в рабочих областях Log Analytics.
  • Экспорт данных Log Analytics (предварительная версия) непрерывно экспортирует данные из выбранных таблиц в рабочую область Log Analytics. Данные можно экспортировать в учетную запись хранения Azure или Центры событий Azure.
  • Аналитика рабочей области Log Analytics обеспечивает комплексный мониторинг всех рабочих областей Log Analytics. В аналитике рабочей области можно просматривать данные об использовании, производительности, состоянии, агенте, запросах и журналах изменения рабочей области.

Другие компоненты

В этом решении Monitor поддерживает следующие службы Azure и Майкрософт или интегрируется с ними:

• Azure Arc упрощает управление и управление, предоставляя согласованную многооблачную и локальную платформу управления.
• Служба автоматизации Azure обеспечивает облачную автоматизацию, обновления операционной системы и настройку конфигурации для поддержки согласованного управления в разных средах. Отслеживание изменений следит за изменениями в облачных и локальных виртуальных машинах, чтобы помочь выявить проблемы с программным обеспечением. Отслеживание изменений направляет данные в Журналы Monitor и сохраняет их в рабочей области Log Analytics.
• Azure ExpressRoute расширяет локальные сети в Microsoft Cloud. ExpressRoute использует частные соединения поставщиков услуг подключения.
• Azure Data Lake Storage предоставляет безопасное, масштабируемое и экономичное облачное хранилище для анализа больших данных.
• Функции Azure — это бессерверное решение, которое реализует доступные блоки кода, называемые функциями. Функции выполняются по требованию и автоматически масштабируются.
• Служба Azure Kubernetes (AKS) — это полностью управляемая служба Kubernetes для простого развертывания и администрирования контейнерных приложений.
• Azure Load Balancer равномерно распределяет входящий сетевой трафик между серверными ресурсами или серверами.
• Azure Logic Apps — это облачная платформа для создания и запуска автоматизированных рабочих процессов, Logic Apps может интегрировать приложения, данные, службы и системы.
• Azure Resource Manager предоставляет уровень управления и шаблоны для создания, обновления и удаления ресурсов в учетной записи Azure.
• Microsoft Defender для облака входит в состав Microsoft Defender для облака, единой системы управления безопасностью инфраструктуры.
• Microsoft Sentinel — это масштабируемое ориентированное на облако решение для управления информационной безопасностью и событиями безопасности (SIEM), а также для автоматического реагирования в рамках оркестрации событий безопасности (SOAR).
• Семейство служб баз данных Azure SQL обеспечивает согласованный единый интерфейс Azure SQL. В Azure SQL есть полный спектр вариантов развертывания, от промежуточных подсетей до облака.
• Power BI — это коллекция программных служб, приложений и соединителей, которые преобразуют источники данных в согласованные, визуально привлекательные и интерактивные полезные сведения.

Альтернативные варианты

Можно использовать некоторые альтернативы для мониторинга вместе с решением Monitor или вместо него.

System Center Operations Manager

System Center Operations Manager предлагает гибкие и экономичные средства мониторинга инфраструктуры. Operations Manager обеспечивает комплексный мониторинг частных и общедоступных центров обработки данных и облаков. Operations Manager помогает обеспечить предсказуемую производительность и доступность важных приложений.

Чтобы сохранить существующие вложения в Operations Manager, можно интегрировать Operations Manager с рабочими областями Log Analytics. Вы можете использовать журналы Monitor и расширенные возможности, продолжая применять Operations Manager для следующего:

• мониторинг состояния ИТ служб;
• поддержка интеграции с решениями ITSM для управление различными инцидентами и неполадками;
• управление жизненным циклом агентов, развернутых в виртуальных машинах IaaS, размещенных локально и в общедоступном облаке.

Дополнительные сведения см. в статье Подключение Operations Manager к Azure Monitor.

Grafana

Grafana — это открытая платформа для визуализации данных, позволяющая составлять представления. Grafana помогает запрашивать, визуализировать, анализировать данные или оповещать о них в любом месте, где они хранятся. Вы можете создавать гибкие панели мониторинга для просмотра и совместного использования данных.

Подробности сценария

У каждой команды предприятия своя рабочая нагрузка, связанная, например, с Windows, Linux, SQL, операциями на основе удостоверений, инфраструктурой виртуальных рабочих столов (VDI), контейнерами и веб-приложениями. Эти рабочие нагрузки можно запускать в облачных, локальных средах или их комбинации. Из-за такого обширного диапазона рабочих нагрузок в разных средах облачный мониторинг сложно реализовать.

Мониторинг на уровне предприятия также должен охватывать систему управления, практические рекомендации, эффективный контроль затрат и безопасность рабочей области. Мониторинг должен обеспечить достаточную гибкость для настройки сред команд и управления ими, а также позволить командам самим назначать уровень контроля.

Ниже перечислены другие важные факторы, которые нужно учитывать при разработке решения мониторинга.

• Как распределить рабочие области Log Analytics между различными географическими регионами и командами.
• Мониторинг самих рабочих областей, а также их рабочих нагрузок.
• Как получать возвраты от разных команд для оптимизации общих расходов.
• Как визуально представлять и по возможности архивировать собранные данные.
• Создание отдельных панелей мониторинга для операций, приложений и различных команд.
• Предоставление руководству необходимого доступа к требуемым данным.

Потенциальные варианты использования

Это решение может быть полезно в следующих вариантах использования:

• Общий мониторинг различных облачных и локальных рабочих нагрузок.
• Мониторинг рабочих нагрузок контейнеров, Azure SQL и Виртуальных рабочих столов Azure.
• Расширенная область мониторинга, например подключение Monitor к Microsoft Sentinel.
• Гибридный и разнородный облачный мониторинг между сетями, поставщиками удостоверений, операционными системами и другими доменами.

Рекомендации

Ниже приведены рекомендации относительно этого решения.

Availability

Зоны доступности Azure защищают приложения и данные в случае сбоя центра обработки данных, полагаясь на доступность других зон в регионе. Зоны доступности обеспечивают устойчивость для таких функций Monitor, как Application Insights, которые полагаются на рабочую область Log Analytics. Рабочие области, связанные с зонами доступности, остаются в активном и рабочем состоянии, даже если конкретный центр обработки данных недоступен.

Дополнительные сведения о регионах Azure, которые поддерживают зоны доступности, см. в статье Регионы и Зоны доступности в Azure. Сейчас Monitor поддерживает зоны доступности в регионах "Восточная часть США 2" и "Западная часть США 2".

Чтобы служба Monitor поддерживала зоны доступности, требуется, чтобы рабочая область Log Analytics была связана с выделенным кластером журналов Monitor. Выделенные кластеры представляют собой вариант развертывания, который позволяет использовать расширенные функции для Журналов Monitor, включая зоны доступности. Выделенные кластеры, созданные после октября 2020 года, могут использовать зоны доступности по умолчанию, если их поддерживает Monitor.

Рабочие процессы непрерывности бизнес-процессов и аварийного восстановления (BCDR) Logic Apps

Рабочие процессы Logic Apps помогают интегрировать и оркестровать данные между приложениями, облачными службами и локальными системами. При планировании непрерывности бизнес-процессов и аварийного восстановления (BCDR) следует учитывать не только приложения логики, но и ресурсы Azure, с которыми они работают. Рекомендации и стратегии BCDR для автоматизированных рабочих процессов Logic Apps см. в статье Непрерывность бизнес-процессов и аварийное восстановление для Azure Logic Apps.

Операции

• Установите стратегию обработки персональных данных. Дополнительные сведения см. в руководстве по хранению персональных данных в Log Analytics и Application Insights.

• Обеспечьте соответствие нормативным требованиям с помощью следующих руководств:

  • Базовый план безопасности Azure для Azure Monitor
  • Элементы управления соответствием Политики Azure для Azure Monitor

• У модулей runbook службы автоматизации Azure, работающих в Azure, может не быть доступа к ресурсам в других облаках или локальной среде. Гибридную рабочую роль Runbook службы автоматизации Azure можно использовать для запуска модулей runbook непосредственно на компьютере, где размещается роль. Вы можете запустить модуль runbook для ресурсов в среде, чтобы управлять локальными ресурсами. Дополнительные сведения см. в статье Обзор гибридной рабочей роли Runbook в службе автоматизации Azure.

• Примите во внимание следующие практические рекомендации, чтобы контролировать затраты:

  • Включайте предупреждения только при высоком объеме собираемых данных.
  • Изучите решения для мониторинга Monitor, прежде чем внедрить их. Например, включение Defender для облака для сбора и аудита данных о событиях безопасности может в разы увеличить затраты на сбор данных.
  • Рационально подходите к вопросу создания оповещений. Постарайтесь создавать одно оповещение вместо создания одинаковых оповещений в каждой рабочей области или команде.
  • Сгруппируйте ресурсы, такие как оповещения, Logic Apps и рабочие области, в отдельных группах ресурсов, и используйте теги для идентификации.
  • Используйте Аналитику рабочей области Log Analytics, чтобы получать общие данные о затратах для разных рабочих областей.
  • Используйте агент Azure Monitor для сбора подробных данных (на уровне идентификаторов отдельных событий) из журналов системных событий. Точная настройка сбора данных поможет снизить расходы.
  • Используйте функцию экспорта данных в Monitor для архивации данных в недорогом хранилище.
  • Следуйте рекомендациям по работе с данными телеметрии в рабочих областях Application Insights. Дополнительные сведения см. в статье Управление потреблением и затратами для Application Insights.

Оптимизация производительности

Ниже представлены рекомендации по производительности относительно этого решения.

Задержка

Задержка — это промежуток времени между созданием данных в отслеживаемой системе и их доступностью для анализа в Monitor. Обычная задержка для приема данных журнала составляет от 20 секунд до трех минут. Конкретная задержка зависит от различных факторов.

Общее время приема для определенного набора данных складывается из следующего:

• Время агента — время на обнаружение события, сбора данных о нем и отправки в точку приема журналов Monitor в виде записи журнала. В большинстве случаев агент обрабатывает этот процесс. Из-за сети может возникнуть дополнительная задержка.
• Время конвейера — время, необходимое конвейеру приема для обработки записи журнала. Сюда входит анализ свойств события и возможное добавление вычисляемых данных.
• Время индексирования — время, затраченное на прием записи журнала в хранилище больших данных Monitor.

Чтобы обеспечить минимальную задержку, разместите рабочие области Monitor, Logic Apps и связанную инфраструктуру в одном регионе Azure с рабочими нагрузками, которые они отслеживают или контролируют. Однако это не предотвратит всех проблем с задержкой. Дополнительные сведения см. в статье Время приема данных журнала в Azure Monitor.

Оповещения журналов и оповещения о метриках

Оповещения о метриках через заданные интервалы проверяют, соблюдаются ли условия в одном или нескольких временных рядах метрик. Если условия соответствуют оценкам, вы получаете уведомление. Функция оповещений о метриках по умолчанию работает с отслеживанием состояния, то есть уведомления отправляются только при изменении состояния, например на сработало или разрешено.

Оповещения журнала применяют запросы Log Analytics для оценки журналов ресурсов с заданной частотой, а затем отправляют уведомление на основе полученных результатов. Оповещения на основе метрик могут отправлять уведомления быстрее, чем оповещения журнала.

Масштабируемость

• У Monitor есть ограничения на одну подписку для оповещений, групп действий, рабочих областей и Application Insights. Дополнительные сведения см. в статье Ограничения службы Azure Monitor.

• Ознакомьтесь с ограничениями подписки Azure, особенно для Logic Apps и службы автоматизации Azure.

Безопасность

В этом решении используются следующие механизмы безопасности:

Управление доступом

Azure RBAC блокирует группы ресурсов c предупреждениями и Logic Apps для команды или владельца приложения. С помощью Azure RBAC можно сделать так, чтобы пользователям и группам предоставлялся доступ только к тем ресурсам, которые им необходимы для работы с данными мониторинга в рабочей области. Например, можно предоставить доступ группе, которая отвечает за службы инфраструктуры, размещенные на виртуальных машинах Azure, только к журналам, создаваемым этими виртуальными машинами.

Данные, к которым пользователь может получить доступ, определяются несколькими факторами.

Дополнительные сведения см. в статье Общие сведения о контроле доступа.

Подключение к частной конечной точке через ExpressRoute

Monitor — это совокупность различных взаимосвязанных служб, которые работают вместе для отслеживания ваших рабочих нагрузок. Вы можете использовать Приватный канал Azure, чтобы безопасно связывать ресурсы Azure PaaS с виртуальной сетью с частными конечными точками. Область приватного канала Azure Monitor обеспечивает частное соединение между приложениями, развернутыми в виртуальных сетях, и ресурсами Monitor, определяя границы сети мониторинга. Дополнительные сведения см. в статье Подключение сетей к Azure Monitor с помощью Приватного канала Azure.

Среда службы интеграции Logic Apps

Среда службы интеграции (ISE) сохраняет выделенное хранилище и другие ресурсы отдельно от глобальной службы Logic Apps с несколькими клиентами. Дополнительные сведения см. в статье Подключение к виртуальным сетям Azure из Azure Logic Apps с помощью среды службы интеграции (ISE).

Шлюз службы анализа журналов

Шлюз Log Analytics отправляет данные в службу автоматизации Azure и рабочие области Log Analytics Monitor для компьютеров с прямым соединением с Интернетом. Дополнительные сведения см. в статье Подключение компьютеров без доступа к Интернету с помощью шлюза Log Analytics в Azure Monitor

Оптимизация затрат

• Azure Monitor включает функции сбора и анализа данных журнала. Monitor выставляет счета за прием, хранение и экспорт данных. К другим факторам, которые могут повлиять на цену, относятся оповещения, уведомления и SMS или голосовые звонки. Дополнительные сведения см. на странице цен на Azure Monitor.

• По умолчанию для Application Insights и Log Analytics используется модель оплаты по мере использования, основанная на объеме полученных данных. При необходимости эта модель может использоваться для более длительного хранения данных. У Log Analytics есть уровни обязательств, которые могут сэкономить до 30 % по сравнению с оплатой по мере использования.

• Ознакомьтесь с ценами на Logic Apps и ценами на службу автоматизации Azure.

• Используйте калькулятор цен Azure, чтобы лучше разобраться с ценами.

Контрольный список рекомендаций

Следующие шаги

• Что отслеживает Azure Monitor?
• Платформа данных Azure Monitor
• Обзор оповещений в Microsoft Azure
• Рекомендации по Azure Monitor — анализ и визуализация данных
• Схема обучения Azure Monitor

Связанные ресурсы

• Эффективность операционных процессов Microsoft Well-Architected Framework
• Мониторинг для DevOps
• Оповещение
• Гибридный мониторинг доступности и производительности