Прием и преобразование пользовательских данных в Microsoft Sentinel

Статья
10/18/2023

Log Analytics в Azure Monitor выступает в качестве платформы рабочей области Microsoft Sentinel. Все журналы, принимаемые в Microsoft Sentinel, по умолчанию сохраняются в Log Analytics. С помощью Microsoft Sentinel можно получать доступ к сохраненным журналам и выполнять запросы на языке запросов Kusto (KQL) для обнаружения угроз и отслеживания сетевой активности.

Процесс приема пользовательских данных Log Analytics обеспечивает высокий уровень контроля над получаемыми данными. Правила сбора данных (DCR) используются для сбора данных и управления ими даже перед их сохранением в рабочей области. Это позволяет фильтровать и расширять стандартные таблицы, а также создавать таблицы с широкими возможностями настройки для хранения данных из источников, создающих уникальные форматы журналов.

Microsoft Sentinel предоставляет два средства для управления этим процессом:

API приема журналов позволяет отправлять журналы пользовательского формата из любого источника данных в рабочую область Log Analytics и хранить эти журналы в определенных стандартных таблицах или в создаваемых вами таблицах с пользовательским форматированием. Вы полностью контролируете создание этих пользовательских таблиц, а также указываете имена и типы столбцов. Для определения, настройки и применения преобразований к этим потокам данных создаются правила сбора данных (DCR).
Сбор данных. С помощью правил DCR базовые запросов KQL применяются ко входящим стандартным журналам (и определенным типам пользовательских журналов), прежде чем они будут сохранены в рабочей области. В рамках этих преобразований можно отфильтровывать ненужные данные, обогащать существующие данные с помощью аналитики или внешних данных, а также маскировать конфиденциальные или персональные данные.

Эти два средства более подробно описаны ниже.

Варианты использования и примеры сценариев

Фильтрация

Преобразование во время приема позволяет отфильтровать ненужные данные, даже прежде чем они будут сохранены в рабочей области.

Можно выполнить фильтрацию на уровне записей (строк), указав условия для включения записей, или на уровне полей (столбцов), удалив содержимое для конкретных полей. Отфильтровав ненужные данные, можно:

сократить затраты, так как уменьшается объем требований к хранилищу;
повысить производительность, так как требуется меньше корректировок времени выполнения запросов.

Преобразование данных во время приема поддерживает сценарии с несколькими рабочими областями.

нормализация

Преобразование приема также позволяет нормализовать журналы при приеме в встроенные или нормализованные таблицы ASIM клиента. Использование нормализации времени приема повышает производительность нормализованных запросов.

Дополнительные сведения о нормализации времени приема с помощью преобразований см. в разделе "Нормализация времени приема".

Обогащение данных и добавление тегов

Кроме того, преобразование во время приема позволяет улучшить аналитику, обогащая данные дополнительными столбцами, которые добавляются в настроенное преобразование KQL. Дополнительные столбцы могут включать проанализированные либо вычисленные данные из существующих столбцов или данные из структур данных, созданных в режиме реального времени.

Например, можно добавить дополнительные сведения, такие как внешние данные отдела кадров, расширенное описание события или классификации, зависящие от пользователя, расположения либо типа действия.

Маскирование

Кроме того, с помощью преобразования во время приема можно маскировать или удалять персональные данные. Например, преобразование данных можно использовать для маскирования всех цифр номера социального страхования или номера кредитной карты, кроме последних, или замены других типов персональных данных незначимыми либо фиктивными данными или стандартным текстом. Маскируйте персональные данные во время приема, чтобы повысить уровень безопасности в сети.

Поток приема данных в Microsoft Sentinel

На следующем рисунке показано, где преобразование данных приема во время приема вводит поток приема данных в Microsoft Sentinel.

Microsoft Sentinel собирает данные в рабочую область Log Analytics из нескольких источников.

Данные из встроенных соединителей данных обрабатываются в Log Analytics с помощью некоторых сочетаний жестко закодированных рабочих процессов и преобразований во время приема в рабочей области DCR. Эти данные можно хранить в стандартных таблицах или в определенном наборе пользовательских таблиц.
Данные, принятые непосредственно в конечную точку API приема журналов, обрабатываются стандартным DCR, который может включать преобразование времени приема. Затем эти данные можно хранить в стандартных или пользовательских таблицах любого типа.

Diagram of the Microsoft Sentinel data transformation architecture.

Поддержка DCR в Microsoft Sentinel

В Log Analytics правила сбора данных (DCR) определяют поток данных для различных входных потоков. Поток данных включает следующее: поток данных для преобразования (стандартный или пользовательский), целевую рабочую область, преобразование KQL и выходную таблицу. Для стандартных входных потоков выходная таблица совпадает со входным потоком.

Поддержка правил DCR в Microsoft Sentinel включает следующее:

Стандартные правила DCR. Сейчас поддерживаются только для соединителей и рабочих процессов на основе АМА, использующих новый API приема журналов.

Каждый рабочий процесс соединителя или источника журналов может иметь собственное выделенное стандартное правило DCR, но несколько соединителей или источников также могут совместно использовать общее стандартное правило DCR.
Правила DCR преобразования рабочей области для рабочих процессов, которые сейчас не поддерживают стандартные правила DCR.

Одно правило DCR преобразования рабочей области обслуживает все поддерживаемые рабочие процессы в рабочей области, которые не обслуживаются стандартным правилом DCR. Рабочая область может использовать только одно правило DCR преобразования рабочей области, но DCR содержит отдельные преобразования для каждого входного потока. Кроме того, правила DCR преобразования рабочей области поддерживаются только для определенного набора таблиц.

Поддержка Microsoft Sentinel преобразования во время приема зависит от типа используемого соединителя данных. Более подробные сведения о пользовательских журналах, преобразовании во время приема и правилах сбора данных см. в статьях, ссылки на которые размещены в разделе Дальнейшие действия в конце этой статьи.

Поддержка DCR для соединителей данных Microsoft Sentinel

В следующей таблице описана поддержка DCR для типов соединителей данных Microsoft Sentinel:

Тип соединителя данных	Поддержка DCR
Прямой прием через API приема журналов	Стандартные правила DCR
Стандартные журналы AMA, такие как: события безопасности Windows, использующие AMA; перенаправленные события Windows; данные CEF; Данные системного журнала	Стандартные правила DCR
Стандартные журналы MMA, такие как Данные системного журнала CommonSecurityLog	Правила DCR преобразования рабочей области
Подключения на основе диагностических настроек	Правила DCR преобразования рабочей области на основе поддерживаемых выходных таблиц для конкретных соединителей данных
Встроенные соединители данных между службами, такие как: Microsoft Office 365 Microsoft Entra ID Amazon S3	Правила DCR преобразования рабочей области на основе поддерживаемых выходных таблиц для конкретных соединителей данных
Встроенный соединитель данных на основе API, например: соединители данных без кода;	Стандартные правила DCR
Встроенные соединители данных на основе API, такие как: Устаревшие соединители данных без кода соединители данных Azure на основе Функций Azure.	В настоящий момент не поддерживается

Поддержка преобразования данных для пользовательских соединителей данных

Если вы создали пользовательские соединители данных для Microsoft Sentinel, с помощью правил DCR можно настроить анализ данных и их сохранение в рабочей области Log Analytics.

Сейчас для приема пользовательских журналов поддерживаются только следующие таблицы:

Дополнительные сведения см. в таблицах, поддерживающих преобразования времени приема.

Ограничения

Сейчас для соединителей данных Microsoft Sentinel известны следующие проблемы с преобразованием данных во время приема:

Преобразования данных с использованием правил DCR преобразований рабочей области поддерживаются только для каждой таблицы, а не для каждого соединителя.

Для всей рабочей области можно использовать только одно правило DCR преобразования рабочей области. В рамках этого правила DCR каждая таблица может использовать отдельный входной поток с собственным преобразованием. Но при наличии двух разных соединителей данных на основе MMA, отправляющих данные в таблицу Syslog, они должны будут использовать одну и ту же конфигурацию входного потока в DCR. Разделение данных на несколько назначений (рабочие области Log Analytics) с преобразованием рабочей области DCR невозможно.
Следующие конфигурации поддерживаются только при использовании API:
- стандартные правила DCR для соединителей на основе AMA, таких как соединители событий безопасности Windows и перенаправленных событий Windows;
- стандартные правила DCR для приема пользовательских журналов в стандартную таблицу.
Применение конфигураций преобразования данных занимает до 60 минут.
Синтаксис KQL: поддерживаются не все операторы. Дополнительные сведения см. в разделах Ограничения KQL и Поддерживаемые функции KQL документации по Azure Monitor.
Журналы можно отправлять только из одного источника данных в одну рабочую область. Чтобы отправить данные из одного источника данных в несколько рабочих областей (назначения) с помощью стандартного DCR, создайте один DCR для каждой рабочей области.

Следующие шаги

Начните настройку преобразования данных во время приема в Microsoft Sentinel.

Ознакомьтесь с дополнительными сведениями о типах соединителей данных Microsoft Sentinel. Дополнительные сведения см. в разделе:

Более подробные сведения о преобразовании во время приема, API пользовательских журналов и правилах сбора данных см. в следующих статьях документации по Azure Monitor:

Поделиться через