Рекомендации по журналам Azure Monitor
В этой статье приведены рекомендации по архитектуре журналов Azure Monitor. Руководство основано на пяти основных принципах архитектуры, описанных в Azure Well-Architected Framework.
Надежность
Надежность относится к способности системы восстановиться после сбоев и продолжать функционировать. Вместо того, чтобы предотвратить сбои в облаке, цель заключается в том, чтобы свести к минимуму последствия одного компонента сбоя. Используйте следующие сведения, чтобы свести к минимуму сбой рабочих областей Log Analytics и защитить собранные данные.
Рабочие области Log Analytics обеспечивают высокую степень надежности. Условия, когда временная потеря доступа к рабочей области может привести к потере данных, часто снижается такими функциями, как буферизация данных с помощью агента Azure Monitor и механизмов защиты, встроенных в конвейер приема.
Функции устойчивости, описанные в этом разделе, могут обеспечить дополнительную защиту от потери данных и непрерывности бизнес-процессов. Некоторые из них являются решениями в регионе, а другие обеспечивают межрегиональная избыточность; Некоторые из них применяются автоматически, а другие требуют ручного активации. В таблице ниже перечислены и сравниваются эти функции.
Для некоторых функций доступности требуется выделенный кластер, для которого в настоящее время требуется по крайней мере 100 ГБ в день из всех рабочих областей, связанных с этим кластером (агрегированные).
Контрольный список проектирования
- Если вы собираете достаточно данных для выделенного кластера, создайте выделенный кластер в зоне доступности.
- Если требуется, чтобы рабочая область была доступна в случае сбоя региона или не собираете достаточно данных для выделенного кластера, настройте сбор данных для отправки критически важных данных в несколько рабочих областей в разных регионах.
- Если требуется защитить данные в случае сбоя центра обработки данных или региона, настройте экспорт данных из рабочей области для сохранения данных в альтернативном расположении.
- Для критически важных рабочих нагрузок, требующих высокой доступности, рассмотрите возможность реализации федеративной модели рабочей области.
- Отслеживайте работоспособность рабочих областей Log Analytics.
Рекомендации по настройке
| Рекомендация | Преимущества |
|---|---|
| Если вы собираете достаточно данных, создайте выделенный кластер в регионе, поддерживающем зоны доступности. | Рабочие области, связанные с выделенным кластером, расположенным в регионе, который поддерживает зоны доступности, остаются доступными в случае сбоя центра обработки данных. Для выделенного кластера требуется по крайней мере 100 ГБ в день из всех рабочих областей в одном регионе. Если вы не собираете эти данные, вам нужно взвесить стоимость этой обязательства с функциями надежности, предоставляемыми ею. |
| Если требуется, чтобы данные в рабочей области были доступны в случае сбоя региона, отправьте критически важные данные в несколько рабочих областей в разных регионах. | Отправка данных в несколько рабочих областей в разных регионах. Например, настройте контроллеры домена для отправки данных в несколько рабочих областей из агента Azure Monitor, работающего на виртуальных машинах, и настройте несколько параметров диагностики для сбора журналов ресурсов из ресурсов Azure в несколько рабочих областей. Несмотря на то, что данные будут доступны в альтернативной рабочей области в случае сбоя, ресурсы, использующие данные, такие как оповещения и книги, не будут знать, чтобы использовать альтернативную рабочую область. Рекомендуется хранить шаблоны ARM для критически важных ресурсов с конфигурацией альтернативной рабочей области в Azure DevOps или как отключенные политики , которые можно быстро включить в сценарии отработки отказа. Компромисс. Эта конфигурация приводит к дублированию расходов на прием и хранение, поэтому используется только для критически важных данных. |
| Для критически важных рабочих нагрузок, требующих высокой доступности, рекомендуется реализовать федеративную модель рабочей области, которая использует несколько рабочих областей для обеспечения высокой доступности в случае регионального сбоя. | Критически важные рекомендации по проектированию высоконадежных приложений в Azure содержат рекомендации по разработке высоконадежных приложений. Методология проектирования включает в себя федеративную модель рабочей области с несколькими рабочими областями Log Analytics для обеспечения высокой доступности в случае нескольких сбоев, включая сбой региона Azure. Эта стратегия устраняет затраты исходящего трафика между регионами и остается оперативной сбоем региона, но требует дополнительной сложности, которую необходимо управлять конфигурацией и процессами, описанными в моделировании работоспособности и наблюдаемости критически важных рабочих нагрузок в Azure. |
| Если требуется защитить данные в случае сбоя центра обработки данных или региона, настройте экспорт данных из рабочей области для сохранения данных в альтернативном расположении. | Функция экспорта данных Azure Monitor позволяет непрерывно экспортировать данные, отправленные в определенные таблицы в хранилище Azure, где его можно хранить в течение длительного периода. Используйте параметры избыточности служба хранилища Azure, включая GRS и GZRS, чтобы реплика эти данные в другие регионы. Если требуется экспорт таблиц, которые не поддерживаются экспортом данных, можно использовать другие методы экспорта данных, включая приложения логики, для защиты данных. Это в основном решение для обеспечения соответствия требованиям к хранению данных, так как данные могут быть трудно анализировать и восстанавливать в рабочей области. Этот параметр аналогичен предыдущему варианту многоадресной рассылки данных в разные рабочие области, но имеет более низкую стоимость, так как дополнительные данные записываются в хранилище. Экспорт данных подвержен региональным инцидентам, так как он зависит от стабильности конвейера приема Azure Monitor в вашем регионе. Это не обеспечивает устойчивость к инцидентам, влияющим на региональный конвейер приема. |
| Отслеживайте работоспособность рабочих областей Log Analytics. | Используйте аналитику рабочей области Log Analytics, чтобы отслеживать неудачные запросы и создавать оповещение о состоянии работоспособности, чтобы заранее уведомить вас о недоступности рабочей области из-за сбоя центра обработки данных или регионального сбоя. |
Сравнение функций и возможностей устойчивости
| Функция | Устойчивость службы | Резервное копирование данных | Высокая доступность | Область защиты | Настройка | Себестоимость |
|---|---|---|---|---|---|---|
| Зоны доступности | ✅ В поддерживаемых регионах |
✅ | ✅ | В регионе | Автоматическое включение выделенных кластеров в поддерживаемых регионах. | Бесплатны. |
| Экспорт непрерывных данных | ✅ | Защита от регионального сбоя 1 | Включите каждую таблицу. | Стоимость экспорта данных + служба хранилища БОЛЬШИХ двоичных объектов или Центров событий | ||
| Двойное прием | ✅ | ✅ | ✅ | Защита от регионального сбоя | Включите для каждого отслеживаемого ресурса. | До двух раз затрат на хранение (в зависимости от количества данных, которые вы выполняете двойной прием) + исходящие расходы. |
1 Экспорт данных обеспечивает защиту между регионами при экспорте журналов в другой регион. В случае инцидента ранее экспортированные данные резервируются и легко доступны; однако дальнейший экспорт может завершиться ошибкой в зависимости от характера инцидента.
Безопасность
Безопасность является одним из наиболее важных аспектов любой архитектуры. Azure Monitor предоставляет функции, которые используют как принцип минимальной привилегии, так и глубокой защиты. Используйте следующие сведения, чтобы повысить безопасность рабочих областей Log Analytics и обеспечить доступ только авторизованных пользователей к собранным данным.
Контрольный список проектирования
- Определите, следует ли объединять операционные данные и данные безопасности в одной рабочей области Log Analytics.
- Настройте доступ к различным типам данных в рабочей области, необходимой для разных ролей в организации.
- Рассмотрите возможность использования приватного канала Azure для удаления доступа к рабочей области из общедоступных сетей.
- Используйте управляемые клиентом ключи, если требуется собственный ключ шифрования для защиты данных и сохраненных запросов в рабочих областях.
- Экспортируйте данные аудита для долгосрочного хранения или неизменяемости.
- Настройте аудит запросов журнала для отслеживания того, какие пользователи выполняют запросы.
- Определите стратегию фильтрации или маскировки конфиденциальных данных в рабочей области.
- Очистка конфиденциальных данных, случайно собранных.
- Включите блокировку клиента для Microsoft Azure, чтобы утвердить или отклонить запросы на доступ к данным Майкрософт.
Рекомендации по настройке
| Рекомендация | Преимущества |
|---|---|
| Определите, следует ли объединять операционные данные и данные безопасности в одной рабочей области Log Analytics. | Ваше решение о том, следует ли объединить эти данные, зависит от конкретных требований к безопасности. Объединение их в одной рабочей области обеспечивает более высокую видимость во всех данных, хотя для вашей команды безопасности может потребоваться выделенная рабочая область. См . статью "Разработка стратегии рабочей области Log Analytics", чтобы получить подробные сведения о принятии этого решения для балансировки среды с помощью критериев в других основных аспектах. Компромисс. Возможные последствия для включения Sentinel в рабочей области. Дополнительные сведения см. в статье "Проектирование архитектуры рабочей области Log Analytics". |
| Настройте доступ к различным типам данных в рабочей области, необходимой для разных ролей в организации. | Задайте режим управления доступом для рабочей области, чтобы использовать разрешения ресурса или рабочей области, чтобы позволить владельцам ресурсов использовать контекст ресурсов для доступа к их данным без предоставления явного доступа к рабочей области. Это упрощает настройку рабочей области и помогает гарантировать, что пользователи не смогут получать доступ к данным, которые они не должны. Назначьте соответствующую встроенную роль, чтобы предоставить администраторам разрешения рабочей области на уровне подписки, группы ресурсов или рабочей области в зависимости от их область обязанностей. Используйте RBAC уровня таблицы для пользователей, которым требуется доступ к набору таблиц в нескольких ресурсах. Пользователи с разрешениями на таблицу имеют доступ ко всем данным в таблице независимо от их разрешений ресурса. Сведения о различных вариантах предоставления доступа к данным в рабочей области Log Analytics см. в статье "Управление доступом к рабочим областям Log Analytics". |
| Рассмотрите возможность использования приватного канала Azure для удаления доступа к рабочей области из общедоступных сетей. | Подключение в общедоступные конечные точки защищены с помощью сквозного шифрования. Если требуется частная конечная точка, можно использовать приватный канал Azure, чтобы разрешить ресурсам подключаться к рабочей области Log Analytics через авторизованные частные сети. Приватный канал также можно использовать для принудительного приема данных рабочей области через ExpressRoute или VPN. Ознакомьтесь с Приватный канал Azure настройкой Приватный канал Azure, чтобы определить оптимальную топологию сети и DNS для вашей среды. |
| Используйте управляемые клиентом ключи, если требуется собственный ключ шифрования для защиты данных и сохраненных запросов в рабочих областях. | Azure Monitor обеспечивает шифрование всех неактивных данных и сохраненных запросов с помощью управляемых Майкрософт ключей (MMK). Если требуется собственный ключ шифрования и сбор достаточно данных для выделенного кластера, используйте управляемый клиентом ключ для повышения гибкости и управления жизненным циклом ключей. Если вы используете Microsoft Sentinel, убедитесь, что вы знакомы с рекомендациями по настройке управляемого клиентом ключа Microsoft Sentinel. |
| Экспортируйте данные аудита для долгосрочного хранения или неизменяемости. | Возможно, вы собрали данные аудита в рабочей области, которые применяются к нормативным требованиям, требующим долгосрочного хранения. Данные в рабочей области Log Analytics не могут быть изменены, но их можно очистить. Используйте экспорт данных для отправки данных в учетную запись хранения Azure с политиками неизменяемости для защиты от изменения данных. Не каждый тип журналов имеет одинаковую релевантность для соответствия, аудита или безопасности, поэтому определите конкретные типы данных, которые следует экспортировать. |
| Настройте аудит запросов журнала для отслеживания того, какие пользователи выполняют запросы. | Аудит запросов журнала записывает сведения о каждом запросе, выполняемом в рабочей области. Эти данные аудита обрабатываются как данные безопасности и защищают таблицу LAQueryLogs соответствующим образом. Настройте журналы аудита для каждой рабочей области, отправляемой в локальную рабочую область, или консолидируйте в выделенной рабочей области безопасности, если вы отделяете данные операционной и безопасности. Используйте аналитику рабочей области Log Analytics для периодической проверки этих данных и рекомендуется создавать правила генерации оповещений поиска журналов, чтобы заранее уведомить вас о попытке несанкционированных пользователей выполнять запросы. |
| Определите стратегию фильтрации или маскировки конфиденциальных данных в рабочей области. | Возможно, вы собираете данные, которые включают конфиденциальную информацию. Фильтрация записей, которые не должны собираться с помощью конфигурации для конкретного источника данных. Используйте преобразование, если следует удалить или запутать только определенные столбцы в данных. Если у вас есть стандарты, требующие, чтобы исходные данные были не изменены, можно использовать литерал H в запросах KQL для маскировки результатов запросов, отображаемых в книгах. |
| Очистка конфиденциальных данных, случайно собранных. | Периодически проверяйте частные данные, которые, возможно, были случайно собраны в рабочей области и используют очистку данных для его удаления. |
| Включите блокировку клиента для Microsoft Azure, чтобы утвердить или отклонить запросы на доступ к данным Майкрософт. | Блокировка клиента для Microsoft Azure предоставляет интерфейс для проверки и утверждения или отклонения запросов на доступ к данным клиента. Оно используется в тех случаях, когда инженеру Майкрософт необходимо получить доступ к данным клиента, для обработки инициированного клиентом запроса в службу поддержки или для решения проблемы, выявленной корпорацией Майкрософт. Чтобы включить блокировку клиента, вам потребуется выделенный кластер. |
Оптимизация затрат
Оптимизация затрат — это способы сокращения ненужных расходов и повышения эффективности работы. Вы можете значительно сократить затраты на Azure Monitor, понимая различные параметры конфигурации и возможности для уменьшения объема собираемых данных. Ознакомьтесь с затратами и использованием Azure Monitor, чтобы понять различные способы оплаты Azure Monitor и как просмотреть ежемесячный счет.
Примечание.
Ознакомьтесь с рекомендациями по оптимизации затрат в Azure Monitor для всех функций Azure Monitor.
Контрольный список проектирования
- Определите, следует ли объединять операционные данные и данные безопасности в одной рабочей области Log Analytics.
- Настройте ценовую категорию для объема данных, собираемых каждой рабочей областью Log Analytics.
- Настройте хранение и архивацию данных.
- Настройте таблицы, используемые для отладки, устранения неполадок и аудита в качестве базовых журналов.
- Ограничение сбора данных из источников данных для рабочей области.
- Регулярно анализируйте собранные данные для выявления тенденций и аномалий.
- Создайте оповещение, когда сбор данных высок.
- Рассмотрите ежедневное ограничение в качестве профилактической меры, чтобы убедиться, что вы не превышаете определенный бюджет.
- Настройте оповещения в рекомендациях по затратам Помощника Azure для рабочих областей Log Analytics.
Рекомендации по настройке
| Рекомендация | Преимущества |
|---|---|
| Определите, следует ли объединять операционные данные и данные безопасности в одной рабочей области Log Analytics. | Так как все данные в рабочей области Log Analytics применяются к ценам Microsoft Sentinel при включении Sentinel, могут возникнуть затраты на объединение этих данных. См . статью "Разработка стратегии рабочей области Log Analytics", чтобы получить подробные сведения о принятии этого решения для балансировки среды с помощью критериев в других основных аспектах. |
| Настройте ценовую категорию для объема данных, собираемых каждой рабочей областью Log Analytics. | По умолчанию рабочие области Log Analytics будут использовать цены по мере использования без минимального объема данных. Если вы собираете достаточно данных, вы можете значительно уменьшить затраты с помощью уровня обязательств, что позволяет зафиксировать ежедневный минимум данных, собранных в обмен на более низкую ставку. Если вы собираете достаточно данных в разных рабочих областях в одном регионе, вы можете связать их с выделенным кластером и объединить собранный объем с использованием цен на кластер. Сведения о уровнях обязательств и рекомендациях по определению наиболее подходящего уровня использования см . в расчетах затрат и вариантах использования журналов Azure Monitor. См. статью Данные об использовании и предполагаемые расходы для получения сведений о предполагаемых расходах на использование в разных ценовых категориях. |
| Настройте хранение и архивацию данных. | Плата за хранение данных в рабочей области Log Analytics превышает 31 дней (90 дней, если Sentinel включен в рабочей области и 90 дней для данных Application Insights). Учитывайте конкретные требования к доступности данных для запросов журналов. Вы можете значительно сократить затраты, настроив архивные журналы, что позволяет хранить данные до семи лет и по-прежнему получать доступ к ним иногда с помощью заданий поиска или восстановления набора данных в рабочей области. |
| Настройте таблицы, используемые для отладки, устранения неполадок и аудита в качестве базовых журналов. | Таблицы в рабочей области Log Analytics, настроенной для базовых журналов , имеют более низкую стоимость приема в обмен на ограниченные функции и плату за запросы журналов. Если вы запрашиваете эти таблицы редко и не используете их для оповещения, стоимость этого запроса может быть больше, чем смещение по сниженной стоимости приема. |
| Ограничение сбора данных из источников данных для рабочей области. | Основным фактором стоимости Azure Monitor является объем данных, собираемых в рабочей области Log Analytics, поэтому необходимо убедиться, что вы не собираете больше данных, необходимых для оценки работоспособности и производительности служб и приложений. Дополнительные сведения об принятии этого решения для балансировки среды с помощью критериев в других компонентах см. в статье "Разработка архитектуры рабочей области Log Analytics". Компромисс. Может быть компромисс между затратами и требованиями к мониторингу. Например, вы можете быстро обнаружить проблему производительности с высокой скоростью выборки, но может потребоваться более низкая скорость выборки для экономии затрат. Большинство сред имеют несколько источников данных с различными типами сбора, поэтому необходимо сбалансировать определенные требования с целевыми показателями затрат для каждого из них. Сведения о настройке сбора для различных источников данных см. в статье "Оптимизация затрат" в Azure Monitor . |
| Регулярно анализируйте собранные данные для выявления тенденций и аномалий. | Используйте аналитические сведения о рабочей области Log Analytics, чтобы периодически просматривать объем данных, собранных в рабочей области. Помимо понимания объема данных, собранных различными источниками, он будет определять аномалии и тенденции повышения в сборе данных, которые могут привести к превышению затрат. Дальнейший анализ сбора данных с помощью методов анализа использования в рабочей области Log Analytics позволяет определить, есть ли дополнительная конфигурация, которая может уменьшить использование. Это особенно важно при добавлении нового набора источников данных, например, нового набора виртуальных машин или подключения новой службы. |
| Создайте оповещение, когда сбор данных высок. | Чтобы избежать непредвиденных счетов, вы должны быть заранее уведомлены в любое время, когда вы испытываете чрезмерное использование. Уведомление позволит устранить любые потенциальные аномалии до окончания периода выставления счетов. |
| Рассмотрите ежедневное ограничение в качестве профилактической меры, чтобы убедиться, что вы не превышаете определенный бюджет. | Ежедневное ограничение отключает сбор данных в рабочей области Log Analytics в течение остального дня после достижения настроенного значения ограничения. Это не следует использовать в качестве метода для снижения затрат, как описано в разделе "Когда использовать ежедневное ограничение". Если вы устанавливаете ежедневное ограничение, помимо создания оповещения при достижении ограничения, убедитесь, что вы также создадите правило генерации оповещений, чтобы получать уведомления о достижении определенного процента (например, 90 %. Это дает возможность исследовать и устранять причину увеличения данных, прежде чем ограничение отключает сбор данных. |
| Настройте оповещения в рекомендациях по затратам Помощника Azure для рабочих областей Log Analytics. | Рекомендации помощника по Azure для рабочих областей Log Analytics заранее предупреждают вас, когда есть возможность оптимизировать затраты. Создание оповещений Помощника по Azure для этих рекомендаций по затратам:
|
Эффективность работы
Операционное превосходство относится к процессам операций, необходимым для обеспечения надежной работы службы в рабочей среде. Используйте следующие сведения, чтобы свести к минимуму операционные требования для поддержки рабочих областей Log Analytics.
Контрольный список проектирования
- Разработка архитектуры рабочей области с минимальным количеством рабочих областей в соответствии с вашими бизнес-требованиями.
- Используйте инфраструктуру как код (IaC) при управлении несколькими рабочими областями.
- Используйте аналитику рабочей области Log Analytics для отслеживания работоспособности и производительности рабочих областей Log Analytics.
- Создайте правила генерации оповещений для упреждающего уведомления о операционных проблемах в рабочей области.
- Убедитесь, что у вас есть четко определенный рабочий процесс для разделения данных.
Рекомендации по настройке
| Рекомендация | Преимущества |
|---|---|
| Разработайте стратегию рабочей области для удовлетворения бизнес-требований. | См . руководство по проектированию архитектуры рабочей области Log Analytics для рабочих областей Log Analytics, включая количество создаваемых и мест их размещения. Одно или по крайней мере минимальное количество рабочих областей обеспечит максимальную эффективность работы, так как она ограничивает распределение данных о работе и безопасности, повышая видимость потенциальных проблем, что упрощает определение шаблонов и минимизирует требования к обслуживанию. У вас могут быть требования для нескольких рабочих областей, таких как несколько клиентов, или может потребоваться рабочие области в нескольких регионах для поддержки требований к доступности. В этих случаях убедитесь, что у вас есть соответствующие процессы для управления этой повышенной сложностью. |
| Используйте инфраструктуру как код (IaC) при управлении несколькими рабочими областями. | Используйте инфраструктуру как код (IaC), чтобы определить сведения о рабочих областях в ARM, BICEP или Terraform. Это позволяет использовать существующие процессы DevOps для развертывания новых рабочих областей и Политика Azure для применения их конфигурации. |
| Используйте аналитику рабочей области Log Analytics для отслеживания работоспособности и производительности рабочих областей Log Analytics. | Аналитика рабочей области Log Analytics предоставляет единое представление об использовании, производительности, работоспособности, агентах, запросах и журналах изменений для всех рабочих областей. Просмотрите эти сведения регулярно, чтобы отслеживать работоспособность и работу каждой рабочей области. |
| Создайте правила генерации оповещений для упреждающего уведомления о операционных проблемах в рабочей области. | Каждая рабочая область содержит таблицу операций, которая регистрирует важные действия, влияющие на рабочую область. Создайте правила генерации оповещений на основе этой таблицы, чтобы заранее получать уведомления при возникновении операционной проблемы. Чтобы упростить создание наиболее критически важных правил генерации оповещений, можно использовать рекомендуемые оповещения для рабочей области . |
| Убедитесь, что у вас есть четко определенный рабочий процесс для разделения данных. | У вас могут быть разные требования к различным типам данных, хранящимся в рабочей области. Убедитесь, что вы четко понимаете такие требования, как хранение данных и безопасность при разработке стратегии рабочей области и настройке параметров, таких как разрешения и архивация. Вы также должны иметь четко определенный процесс для иногда очистки данных с персональными данными, которые случайно собираются. |
Оптимизация производительности
Уровень производительности — это способность вашей рабочей нагрузки эффективно масштабироваться в соответствии с требованиями, предъявляемыми к ней пользователями. Используйте следующие сведения, чтобы убедиться, что рабочие области Log Analytics и запросы журналов настроены для максимальной производительности.
Контрольный список проектирования
- Настройте аудит запросов журнала и используйте аналитику рабочей области Log Analytics для выявления медленных и неэффективных запросов.
Рекомендации по настройке
| Рекомендация | Преимущества |
|---|---|
| Настройте аудит запросов журнала и используйте аналитику рабочей области Log Analytics для выявления медленных и неэффективных запросов. | Аудит запросов журнала сохраняет время вычислений, необходимое для выполнения каждого запроса, и время, пока результаты не будут возвращены. Аналитика рабочей области Log Analytics использует эти данные для перечисления потенциально неэффективных запросов в рабочей области. Рекомендуется переписать эти запросы, чтобы повысить их производительность. Сведения об оптимизации запросов журналов в Azure Monitor см. в руководстве по оптимизации запросов к журналам. |