Миграция из Splunk в журналы Azure Monitor

Журналы Azure Monitor — это облачная управляемая служба мониторинга и наблюдаемости, которая обеспечивает множество преимуществ с точки зрения управления затратами, масштабируемости, гибкости, интеграции и низкой нагрузки на обслуживание. Служба предназначена для обработки больших объемов данных и масштабирования в соответствии с потребностями организаций всех размеров.

Журналы Azure Monitor собирают данные из различных источников, включая журналы событий Windows, системный журнал и пользовательские журналы, чтобы обеспечить единое представление всех ресурсов Azure и других ресурсов Azure. Используя сложный язык запросов и курируемую визуализацию, вы можете быстро анализировать миллионы записей для выявления, понимания и реагирования на критически важные шаблоны в данных мониторинга.

В этой статье объясняется, как перенести развертывание Splunk Observability в журналы Azure Monitor для ведения журнала и анализа данных журналов.

Сведения о переносе развертывания сведений о безопасности и управлении событиями (SIEM) из Splunk Enterprise Security в Azure Sentinel см. в статье "Планирование миграции в Microsoft Sentinel".

Почему миграция в Azure Monitor?

Преимущества миграции в Azure Monitor:

• Полностью управляемая платформа Программного обеспечения как услуга (SaaS) с помощью:
  • Автоматическое обновление и масштабирование.
  • Простые цены по мере использования за ГБ.
  • Функции оптимизации затрат и мониторинга и журналы с низкой стоимостью "Базовый".
• Облачная мониторинг и наблюдаемость, в том числе:
  • Комплексный мониторинг в масштабе.
  • Собственный мониторинг ресурсов Azure.
  • Конфиденциальность и соответствие требованиям.
• Встроенная интеграция с рядом дополнительных служб Azure, таких как Microsoft Sentinel для управления сведениями о безопасности и событиями, Azure Logic Apps для автоматизации, Управляемой Grafana Azure для мониторинга и Машинное обучение Azure для расширенного анализа и реагирования.

Сравнение предложений

Предложение Splunk	Продукт	Предложение Azure
Платформа Splunk	Splunk Cloud Platform Splunk Enterprise	Журналы Azure Monitor — это централизованная платформа программного обеспечения как услуга (SaaS) для сбора, анализа и действия с данными телеметрии, созданными Azure и ресурсами и приложениями, отличными от Azure.
Наблюдаемость Splunk	Мониторинг инфраструктуры Splunk Монитор производительности приложения Splunk Splunk IT Service Intelligence	Azure Monitor — это комплексное решение для сбора, анализа и работы с данными телеметрии из облака, многооблачных и локальных сред, созданных на основе мощного конвейера приема данных, который предоставляется в Microsoft Sentinel. Azure Monitor предлагает предприятиям комплексное решение для мониторинга облачных, гибридных и локальных сред с сетевой изоляцией, функциями устойчивости и защитой от сбоев центра обработки данных, отчетов и оповещений и возможностей реагирования . Встроенные функции Azure Monitor включают: Azure Monitor Аналитика — готовые к использованию, курируемые возможности мониторинга с предварительно настроенными входными данными, поиском, оповещениями и визуализациями. Аналитика приложения — обеспечивает управление производительностью приложений (APM) для динамических веб-приложений. Azure Monitor AIOps и встроенные возможности машинного обучения— предоставляют аналитические сведения и помогают устранять неполадки и автоматизировать задачи на основе данных, такие как прогнозирование использования емкости и автомасштабирование, определение и анализ проблем производительности приложений и обнаружение аномалий в виртуальных машинах, контейнерах и других ресурсах. Эти функции бесплатны от сборов за установку.
Безопасность Splunk	Splunk Enterprise Security Splunk Mission Control Splunk SOAR	Microsoft Sentinel — это облачное решение, которое выполняется на платформе Azure Monitor для обеспечения интеллектуальной аналитики безопасности и аналитики угроз на предприятии.

Общие сведения о ключевых понятиях

Azure Monitor Logs	Аналогичная концепция Splunk	Description
Рабочая область Log Analytics	Пространство имен	Рабочая область Log Analytics — это среда, в которой можно собирать данные журнала из всех ресурсов Azure и не из Azure. Данные в рабочей области доступны для запросов и анализа, функций Azure Monitor и других служб Azure. Как и пространство имен Splunk, вы можете управлять доступом к данным и артефактам, таким как оповещения и книги, в рабочей области Log Analytics. Разработайте архитектуру рабочей области Log Analytics на основе ваших потребностей, например разделение выставления счетов, требования к хранилищу данных региона и рекомендации по обеспечению устойчивости.
Управление таблицами	Индексирование	Журналы Azure Monitor прием данных журнала в таблицы в управляемой базе данных Azure Обозреватель. Во время приема служба автоматически индексирует данные и метки времени, что означает, что вы можете хранить различные типы данных и быстро получать доступ к данным с помощью запросов язык запросов Kusto (KQL). Используйте свойства таблицы для управления схемой таблицы, хранением данных и архивом, а также хранением данных для случайного аудита и устранения неполадок или для текущего анализа и использования функций и служб. Сравнение Splunk и Azure Data Обозреватель концепции обработки и запроса данных см. в статье Splunk для язык запросов Kusto сопоставления.
Базовые и аналитические планы данных журнала		Журналы Azure Monitor предлагают два плана данных журналов, которые позволяют сократить затраты на прием и хранение журналов, а также воспользоваться расширенными функциями и возможностями аналитики Azure Monitor в зависимости от ваших потребностей. План аналитики предоставляет данные журнала для интерактивных запросов и используется функциями и службами. План данных журнала "Базовый" предоставляет недорогой способ приема и хранения журналов для устранения неполадок, отладки, аудита и соответствия требованиям.
Архивация и быстрый доступ к архивным данным	Состояния сегментов данных (горячие, теплые, холодные, оттаиваемые), архивация, динамический архив активных данных (DDAA)	Вариант архивации с экономией сохраняет журналы в рабочей области Log Analytics и позволяет сразу же получать доступ к архивным данным журнала, когда это нужно. Изменения конфигурации архива эффективны немедленно, так как данные физически не передаются во внешнее хранилище. Вы можете восстановить архивированные данные или запустить задание поиска, чтобы сделать определенный диапазон времени архивированных данных доступным для анализа в режиме реального времени.
Управление доступом	Доступ пользователей на основе ролей, разрешения	Определите, какие люди и ресурсы могут читать, записывать и выполнять операции с определенными ресурсами с помощью управления доступом на основе ролей Azure (RBAC). Пользователь с доступом к ресурсу имеет доступ к журналам ресурса. Azure упрощает управление данными и доступом с такими функциями, как встроенные роли, пользовательские роли, наследование разрешений ролей и журнал аудита. Вы также можете настроить доступ на уровне рабочей области и доступ на уровне таблицы для детального управления доступом к определенным типам данных.
Преобразования данных	Преобразования, извлечение полей	Преобразования позволяют фильтровать или изменять входящие данные перед отправкой в рабочую область Log Analytics. Используйте преобразования для удаления конфиденциальных данных, обогащения данных в рабочей области Log Analytics, выполнения вычислений и фильтрации данных, которые не требуют снижения затрат на данные.
Правила сбора данных	Входные данные, конвейер данных	Определите, какие данные нужно собирать, как преобразовать эти данные и куда отправлять данные.
язык запросов Kusto (KQL)	Язык обработки поиска Splunk (SPL)	Журналы Azure Monitor используют большое подмножество KQL, подходящее для простых запросов журналов, но также включает расширенные функциональные возможности, такие как агрегаты, соединения и интеллектуальная аналитика. Используйте Splunk для язык запросов Kusto карты для перевода знаний Splunk SPL в KQL. Вы также можете узнать KQL с помощью учебников и модулей обучения KQL.
Служба Log Analytics	Splunk Web, search app, Pivot tool	Средство в портал Azure для редактирования и выполнения запросов журналов в журналах Azure Monitor. Log Analytics также предоставляет широкий набор средств для изучения и визуализации данных без использования KQL.
Оптимизация затрат		Azure Monitor предоставляет средства и рекомендации по пониманию, мониторингу и оптимизации затрат на основе ваших потребностей.

1. Понимание текущего использования

Текущее использование в Splunk поможет вам решить, какую ценовую категорию выбрать в Azure Monitor и оценить будущие затраты:

• Следуйте инструкциям Splunk, чтобы просмотреть отчет об использовании.
• Оценка затрат Azure Monitor с помощью калькулятора цен.

2. Настройка рабочей области Log Analytics

Рабочая область Log Analytics — это место сбора данных журнала из всех отслеживаемых ресурсов. Данные можно хранить в рабочей области Log Analytics до семи лет. Архивация данных с низкими затратами в рабочей области позволяет быстро и легко получать доступ к архивным данным, когда это нужно, без затрат на управление внешним хранилищем данных.

Мы рекомендуем собирать все данные журнала в одной рабочей области Log Analytics, чтобы упростить управление. Если вы планируете использовать несколько рабочих областей, ознакомьтесь с архитектурой рабочей области Log Analytics.

Чтобы настроить рабочую область Log Analytics для сбора данных, выполните следующие действия.

1. Создание рабочей области Log Analytics.

   Журналы Azure Monitor автоматически создают таблицы Azure в рабочей области на основе используемых служб Azure и параметров сбора данных, которые определяются для ресурсов Azure.

2. Настройте рабочую область Log Analytics, в том числе:

   1. Ценовая категория.
   2. Свяжите рабочую область Log Analytics с выделенным кластером , чтобы воспользоваться расширенными возможностями, если вы имеете право на основе ценовой категории.
   3. Ежедневное ограничение.
   4. Хранение данных.
   5. Сетевая изоляция.
   6. Управление доступом.

3. Используйте параметры конфигурации уровня таблицы для:

   1. Определите план данных журнала каждой таблицы.

      План данных журнала по умолчанию — Аналитика, которая позволяет использовать широкие возможности мониторинга и аналитики Azure Monitor.

   2. Задайте политику хранения и архивации данных для определенных таблиц, если они должны отличаться от политики хранения и архивации данных на уровне рабочей области.

   3. Измените схему таблицы на основе модели данных.

3. Перенос артефактов Splunk в Azure Monitor

Чтобы перенести большинство артефактов Splunk, необходимо перевести язык обработки Splunk (SPL) в язык запросов Kusto (KQL). Дополнительные сведения см. в статье Splunk для язык запросов Kusto карты и начала работы с запросами журналов в Azure Monitor.

В этой таблице перечислены артефакты Splunk и ссылки на рекомендации по настройке эквивалентных артефактов в Azure Monitor:

Артефакт Splunk	Артефакт Azure Monitor
видны узлы	Правила оповещения
Действия оповещений	Группы действий
Мониторинг инфраструктуры	Azure Monitor Аналитика — это набор готовых к использованию, управляемых функций мониторинга с предварительно настроенными входными данными, поиском, оповещениями и визуализациями, чтобы быстро и эффективно начать анализ данных.
Панели мониторинга	книги
Подстановки	Azure Monitor предоставляет различные способы обогащения данных, в том числе: - Правила сбора данных, которые позволяют отправлять данные из нескольких источников в рабочую область Log Analytics и выполнять вычисления и преобразования перед приемом данных. — операторы KQL, такие как оператор соединения, который объединяет данные из разных таблиц и оператора externaldata, который возвращает данные из внешнего хранилища. — интеграция со службами, такими как Машинное обучение Azure или Центры событий Azure, для применения расширенного машинного обучения и потоковой передачи дополнительных данных.
Пространства имен	Вы можете предоставить или ограничить разрешение на артефакты в Azure Monitor на основе управления доступом, определяемого в рабочей области Log Analytics или группах ресурсов Azure.
Разрешения	Управление доступом
Отчеты	Azure Monitor предлагает широкий спектр возможностей для анализа, визуализации и совместного использования данных, в том числе: - Интеграция с Grafana - Статистика - книги - Панели мониторинга - Интеграция с Power BI - Интеграция с Excel
Условия поиска	Запросы
Типы источников	Определите модель данных в рабочей области Log Analytics. Используйте преобразования времени приема для фильтрации, форматирования или изменения входящих данных.
Методы коллекций данных	Сведения о сборе данных для средств Azure Monitor, предназначенных для определенных ресурсов.

Сведения о переносе артефактов Splunk SIEM, включая правила обнаружения и автоматизацию SOAR, см. в статье "Планирование миграции в Microsoft Sentinel".

4. Сбор данных

Azure Monitor предоставляет средства сбора данных из источников данных журнала в Azure и ресурсах, отличных от Azure, в вашей среде.

Сбор данных из ресурса:

1. Настройте соответствующее средство сбора данных на основе приведенной ниже таблицы.
2. Определите, какие данные необходимо собрать из ресурса.
3. Используйте преобразования для удаления конфиденциальных данных, обогащения данных или выполнения вычислений и фильтрации не нужных данных, чтобы сократить затраты.

В этой таблице перечислены средства Azure Monitor для сбора данных из различных типов ресурсов.

Тип ресурса	Средство сбора данных	Аналогичное средство Splunk	Собранные данные
Azure	Параметры диагностики		Клиент Azure — журналы аудита Microsoft Entra предоставляют журнал действий входа и путь аудита изменений, внесенных в клиенте. Ресурсы Azure — журналы и счетчики производительности. Подписка Azure— Работоспособность служб записи вместе с записями о любых изменениях конфигурации, внесенных в ресурсы в подписке Azure.
Приложение	Application Insights.	Монитор производительности приложения Splunk	Данные мониторинга производительности приложений.
Контейнер	Аналитика контейнеров	Мониторинг контейнеров	Данные о производительности контейнера.
Операционная система	Агент Azure Monitor	Универсальный сервер пересылки, тяжелый переадресатор	Мониторинг данных из гостевой операционной системы Azure и виртуальных машин, отличных от Azure.
Источник, отличный от Azure	API приема журналов	Сборщик событий HTTP (HEC)	Журналы на основе файлов и все данные, отправляемые в конечную точку сбора данных, на отслеживаемом ресурсе.

5. Переход на журналы Azure Monitor

Распространенный подход заключается в постепенном переходе в журналы Azure Monitor, сохраняя исторические данные в Splunk. В течение этого периода можно:

• Используйте API приема журналов для приема данных из Splunk.
• Экспорт данных рабочей области Log Analytics для экспорта данных из Azure Monitor.

Экспорт исторических данных из Splunk:

1. Используйте один из методов экспорта Splunk для экспорта данных в формате CSV.
2. Чтобы собрать экспортированные данные, выполните следующие действия.

   1. Используйте агент Azure Monitor для сбора данных, экспортируемых из Splunk, как описано в разделе "Сбор текстовых журналов с помощью агента Azure Monitor".

      or

   2. Сбор экспортированных данных непосредственно с помощью API приема журналов, как описано в разделе "Отправка данных в журналы Azure Monitor" с помощью REST API.

Следующие шаги

• Дополнительные сведения об использовании Log Analytics и API запросов Log Analytics.
• Включите Microsoft Sentinel в рабочей области Log Analytics.
• Запустите журналы анализа в Azure Monitor с помощью модуля обучения KQL.