Обзор журналов Azure Monitor
Журналы Azure Monitor — это централизованная платформа программного обеспечения как услуга (SaaS) для сбора, анализа и действия с данными телеметрии, созданными Azure и ресурсами и приложениями, отличными от Azure.
Вы можете собирать журналы, управлять данными журнала и затратами, а также использовать различные типы данных в одной рабочей области Log Analytics, основной ресурс журналов Azure Monitor. Это означает, что вам никогда не нужно перемещать данные или управлять другим хранилищем, и вы можете хранить различные типы данных до тех пор, пока вам потребуется.
В этой статье представлен обзор работы журналов Azure Monitor и объясняется, как она отвечает потребностям и навыкам различных лиц в организации.
Примечание.
Журналы Azure Monitor — это одна половина платформы данных, поддерживающей Azure Monitor. Другая — это метрики Azure Monitor, которые сохраняют числовые данные в базе данных временных рядов.
Как работают журналы Azure Monitor
Журналы Azure Monitor предоставляют средства для выполнения следующих действий.
- Сбор данных с помощью методов сбора данных Azure Monitor. Преобразуйте данные на основе ваших потребностей в оптимизации затрат, удаления персональных данных и т. д. и маршрутизации данных в таблицы в рабочей области Log Analytics.
- Управляйте и оптимизируйте данные журнала и затраты , настраивая рабочую область Log Analytics и таблицы журналов, включая схемы таблиц, планы таблиц, хранение данных, агрегирование данных, доступ к данным и затраты, связанные с журналами.
- Получение данных практически в реальном времени с помощью языка запросов Kusto (KQL) или средств на основе KQL, которые не требуют знаний KQL, таких как простой режим в пользовательском интерфейсе Log Analytics, предварительно созданные средства мониторинга с именем Insights и предопределенные запросы.
- Используйте данные гибко для различных вариантов использования, включая анализ данных, устранение неполадок, оповещение, панели мониторинга и отчеты, пользовательские приложения и другие службы Azure или службы, отличные от Azure.
Сбор данных, маршрутизация и преобразование
Возможности сбора данных Azure Monitor позволяют собирать данные из всех приложений и ресурсов, работающих в Azure, других облаках и локальной среде. Мощный конвейер приема позволяет фильтровать, преобразовывать и маршрутизацию данных в целевые таблицы в рабочей области Log Analytics для оптимизации затрат, возможностей аналитики и производительности запросов.
Дополнительные сведения о сборе и преобразовании данных см. в статье "Источники данных Azure Monitor" и методы сбора данных и преобразования сбора данных в Azure Monitor.
Рабочая область Log Analytics
Рабочая область Log Analytics — это хранилище данных, в котором хранятся таблицы, в которые собираются данные.
Чтобы решить потребности хранилища данных и потребления различных пользователей, использующих рабочую область Log Analytics, можно:
- Определите планы таблиц на основе потребностей управления затратами и потребления данных.
- Управление низкой стоимостью долгосрочного хранения и интерактивного хранения для каждой таблицы.
- Управление доступом к рабочей области и определенным таблицам.
- Используйте сводные правила для агрегирования критически важных данных в сводных таблицах. Это позволяет оптимизировать данные для простоты использования и практических аналитических сведений, а также хранить необработанные данные в таблице с низкой стоимостью, однако долго вам потребуется.
- Создание готовых к выполнению сохраненных запросов, визуализаций и оповещений, адаптированных для конкретных лиц.
Вы также можете настроить сетевую изоляцию, реплицировать рабочую область в разных регионах и разработать архитектуру рабочей области на основе ваших бизнес-потребностей.
Планы таблиц
Одну рабочую область Log Analytics можно использовать для хранения любого типа журнала, необходимого для любой цели. Например:
- Подробные данные с большим объемом, которые требуют дешевого долгосрочного хранилища для аудита и соответствия требованиям
- Данные приложений и ресурсов для устранения неполадок разработчиками
- Ключевые данные о событиях и производительности для масштабирования и оповещений, чтобы обеспечить непрерывное эффективность работы и безопасность
- Агрегированные долгосрочные тенденции данных для расширенной аналитики и машинного обучения
Планы таблиц позволяют управлять затратами на данные на основе частоты использования данных в таблице и типах анализа, для которых требуются данные.
В этом видео представлен обзор включения многоуровневого ведения журнала в журналах Azure Monitor:
Схема и таблица ниже сравнивают планы аналитики, базовых и вспомогательных таблиц. Сведения об интерактивном и долгосрочном хранении см. в статье "Управление хранением данных" в рабочей области Log Analytics. Сведения о выборе или изменении плана таблицы см. в разделе "Выбор плана таблицы".
| Функции | Аналитика | Базовая | Вспомогательное (предварительная версия) |
|---|---|---|---|
| Сценарии применения | Высокозначные данные, используемые для непрерывного мониторинга, обнаружения в режиме реального времени и анализа производительности. | Данные среднего касания, необходимые для устранения неполадок и реагирования на инциденты. | Данные с низкой сенсорной связью, такие как подробные журналы и данные, необходимые для аудита и соответствия требованиям. |
| Поддерживаемые типы таблиц | Все типы таблиц | Таблицы Azure, поддерживающие базовые журналы и пользовательские таблицы на основе DCR | Пользовательские таблицы на основе DCR |
| Стоимость приема | Стандартные | Пониженная | Минимальные |
| Цена запроса включена | ✅ | ❌ | ❌ |
| Оптимизированная производительность запросов | ✅ | ✅ | ❌ Медленные запросы. Хорошо подходит для аудита. Не оптимизирован для анализа в режиме реального времени. |
| Обработка запросов | Полные возможности запроса. | Полная язык запросов Kusto (KQL) в одной таблице, которую можно расширить с помощью данных из таблицы Аналитики с помощью подстановки. | Полный KQL в одной таблице, которую можно расширить с помощью данных из таблицы Аналитики с помощью подстановки. |
| Оповещения | ✅ | ❌ | ❌ |
| Статистика | ✅ | ❌ | ❌ |
| Панели мониторинга | ✅ | ✅ Затраты на запрос обновлений панели мониторинга не включены. | Возможно, но медленно обновляться, затраты на запрос на обновления панели мониторинга не включены. |
| Экспорт данных | ✅ | ✅ | ❌ |
| Microsoft Sentinel | ✅ | ✅ | ✅ |
| Задания поиска | ✅ | ✅ | ✅ |
| Сводные правила | ✅ | ✅ KQL ограничен одной таблицей | ✅ KQL ограничен одной таблицей |
| Восстановить | ✅ | ✅ | ❌ |
| Интерактивное хранение | 30 дней (90 дней для Microsoft Sentinel и Application Insights). Может быть продлено до двух лет по пропорциональной ежемесячной долгосрочной оплате хранения. |
30 дней | 30 дней |
| Итоговое хранение | До 12 лет | До 12 лет | До 12 лет* *Ограничение общедоступной предварительной версии: общий срок хранения вспомогательного плана в настоящее время фиксирован в течение 365 дней. |
Примечание.
Вспомогательный план таблицы находится в общедоступной предварительной версии. Сведения о текущих ограничениях и поддерживаемых регионах см. в разделе "Ограничения общедоступной предварительной версии".
Базовые и вспомогательные планы таблиц недоступны для рабочих областей в устаревших ценовых категориях.
язык запросов Kusto (KQL) и Log Analytics
Данные извлекаются из рабочей области Log Analytics с помощью запроса язык запросов Kusto (KQL), который является запросом только для чтения для обработки данных и возврата результатов. KQL — это мощный инструмент, который может быстро анализировать миллионы записей. Используйте KQL для изучения журналов, преобразования и статистической обработки данных, обнаружения шаблонов, выявления аномалий и вылителей и т. д.
Log Analytics — это средство в портал Azure для выполнения запросов журналов и анализа их результатов. Простой режим Log Analytics позволяет любому пользователю независимо от их знаний KQL извлекать данные из одной или нескольких таблиц с одним щелчком мыши. Набор элементов управления позволяет изучить и проанализировать полученные данные с помощью наиболее популярных функций журналов Azure Monitor в интуитивно понятной электронной таблице.
Если вы знакомы с KQL, вы можете использовать режим KQL Log Analytics для редактирования и создания запросов, которые можно использовать в функциях Azure Monitor, таких как оповещения и книги, или поделиться с другими пользователями.
Дополнительные сведения о Log Analytics см. в разделе "Обзор Log Analytics" в Azure Monitor.
Встроенные аналитические сведения и пользовательские панели мониторинга, книги и отчеты
Многие готовые к использованию функции Аналитики Azure Monitor хранят данные в журналах Azure Monitor и представляют эти данные интуитивно понятным образом, чтобы отслеживать производительность и доступность облачных и гибридных приложений и их вспомогательных компонентов.
Вы также можете создавать собственные визуализации и отчеты с помощью книг, панелей мониторинга и Power BI.
Случаи использования
В этой таблице описаны некоторые способы использования данных, собранных в журналах Azure Monitor, для получения операционной и бизнес-ценности.
| Возможность | Description |
|---|---|
| Анализ | Используйте Log Analytics на портале Azure для создания запросов к журналам и интерактивного анализа данных журналов с помощью мощной подсистемы анализа. |
| Агрегированное | Используйте сводные правила для агрегирования информации, необходимой для оповещения и анализа из необработанных данных журнала, которые вы собираете. Это позволяет оптимизировать затраты, возможности анализа и производительность запросов. |
| Обнаружение и анализ аномалий | Используйте встроенные или настраиваемые алгоритмы обнаружения аномалий для выявления необычных шаблонов или поведения в данных журнала. Это помогает в начале обнаружения потенциальных проблем. |
| Предупреждение | Настройте правило генерации оповещений поиска по журналам или оповещение метрик для отправки уведомления или автоматического действия при возникновении определенного условия. |
| Визуализировать | Закрепляйте отображаемые результаты в виде таблиц или диаграмм на панели мониторинга Azure. Создавайте книги для объединения нескольких наборов данных в интерактивный отчет. Экспортируйте результаты запроса в Power BI , чтобы использовать различные визуализации и предоставлять общий доступ людям за пределами Azure. Экспортируйте результаты запроса в решение Grafana, чтобы использовать его панель мониторинга и объединять результаты с данными из других источников. |
| Получайте аналитику | Аналитика предоставляет настраиваемый интерфейс мониторинга для определенных ресурсов и служб. |
| Retrieve | Доступ к результатам запроса журнала из:
|
| Import | Отправка журналов из пользовательского приложения с помощью REST API или клиентской библиотеки для .NET, Go, Java, JavaScript или Python. |
| Экспорт (Export) | Настройте автоматический экспорт данных журнала в учетную запись служба хранилища Azure или Центры событий Azure. Создавайте рабочие процессы для получения данных журналов и копирования их во внешнее расположение с помощью Azure Logic Apps. |
| Создание собственного анализа | Анализ данных в журналах Azure Monitor с помощью записной книжки для создания упрощенных многофакторных процессов на основе собранных данных в журналах Azure Monitor. Это особенно полезно для таких целей, как создание и запуск конвейеров машинного обучения, расширенный анализ и руководства по устранению неполадок (TSG) для потребностей в поддержке. |
| Сохранение данных для аудита и соответствия требованиям | Отправляйте данные непосредственно в таблицу с вспомогательным планом и расширяйте срок хранения данных в любой таблице , чтобы хранить данные для аудита и соответствия требованиям до 12 лет. План вспомогательных таблиц с низкой стоимостью и в рабочей области позволяет сократить затраты и быстро и легко использовать данные при необходимости. |
Работа с Microsoft Sentinel и Microsoft Defender для облака
Microsoft Sentinel и Microsoft Defender для облака выполнять мониторинг безопасности в Azure.
Эти службы хранят свои данные в журналах Azure Monitor, чтобы их можно было анализировать с другими данными журнала, собранными Azure Monitor.
Подробнее
| Service | Дополнительные сведения |
|---|---|
| Microsoft Sentinel |
|
| Microsoft Defender для облака |
Следующие шаги
- Изучите статью о запросах к журналу для извлечения и анализа данных из рабочей области Log Analytics.
- Прочитайте статью о метриках в Azure Monitor.
- Узнайте о доступных данных мониторинга для различных источников в Azure.