Общие сведения о нормализации данных

  • 5 мин

Microsoft Sentinel принимает данные из многих источников. Для работы с различными типами данных и таблицами необходимо понимать их все, а также записывать и использовать уникальные наборы данных для правил, книг и поисковых запросов аналитики для каждого типа или схемы.

Иногда требуются отдельные правила, книги и запросы, даже если типы данных содержат совместно используемые элементы, такие как устройства брандмауэра. Согласование различных типов данных во время расследования и поиска может быть непростой задачей.

Расширенная информационная модель безопасности (ASIM) — это слой между этими различными источниками и пользователем. ASIM следует принципу надежности: "Будьте строги в том, что вы отправляете, быть гибким в том, что вы принимаете". Если принцип надёжности используется как шаблон проектирования, ASIM преобразует несогласованную и трудно используемую исходную телеметрию Microsoft Sentinel в удобные для пользователя данные.

Распространенное использование ASIM

ASIM обеспечивает удобство работы с различными источниками в унифицированных, нормализованных представлениях, предоставляя следующие функции:

  • Обнаружение между источниками. Нормализованные правила аналитики работают в разных источниках, локально и в облаке и обнаруживают атаки, такие как принудительное использование или невозможность перемещения по системам, включая Okta, AWS и Azure.

  • Исходное независимое содержимое. Объем встроенного и пользовательского содержимого с помощью ASIM автоматически расширяется до любого источника, поддерживающего ASIM, даже если источник был добавлен после создания содержимого. Например, аналитика событий процесса поддерживает любой источник, который клиент может использовать для ввода данных, такой как Microsoft Defender для конечной точки, Windows Events и Sysmon.

  • Поддержка пользовательских источников в встроенной аналитике

  • Простота использования. После того как аналитик узнает ASIM, написание запросов проще, так как имена полей всегда совпадают.

ASIM и метаданные событий безопасности с открытым исходным кодом

ASIM соответствует стандартной информационной модели метаданных событий безопасности с открытым исходным кодом (OSSEM), что позволяет прогнозируемой корреляции сущностей в нормализованных таблицах.

OSSEM — это проект под эгидой сообщества, ориентированный в первую очередь на документацию и стандартизацию журналов событий безопасности из различных источников данных и операционных систем. Проект предоставляет также общую информационную модель (CIM), которую могут использовать инженеры по обработке данных во время процедур нормализации данных, чтобы аналитики безопасности могли запрашивать и анализировать данные из различных источников данных.

Компоненты ASIM

На рисунке ниже показано, как ненормализованные данные можно перевести в нормализованное содержимое и затем использовать в Microsoft Sentinel. Например, можно начать с пользовательской, ненормализованной таблицы, а затем с помощью средства синтаксического анализа и схемы нормализации преобразовать эту таблицу в нормализованные данные. Используйте нормализованные данные в пользовательских или предоставленных Майкрософт аналитике, правилах, книгах, запросах и многом другом.

Схема компонентов архитектуры S I M.

ASIM содержит следующие компоненты:

Компонент Описание
Нормализованные схемы Охватывайте стандартные наборы прогнозируемых типов событий, которые можно использовать при создании унифицированных возможностей. Каждая схема определяет поля, представляющие событие, соглашение об именовании нормализованных столбцов и стандартный формат значений полей.
Средства синтаксического анализа Сопоставлять существующие данные с нормализованными схемами с помощью функций KQL. Многие средства синтаксического анализа ASIM доступны в Microsoft Sentinel в готовом виде. Из репозитория Microsoft Sentinel GitHub можно развернуть дополнительные средства синтаксического анализа и модифицируемые версии встроенных средств синтаксического анализа.
Содержимое для каждой нормализованной схемы Включает правила аналитики, книги, запросы охоты и многое другое. Содержимое для каждой нормализованной схемы работает со всеми нормализованными данными без необходимости создавать содержимое для определенного источника.

Терминология ASIM

ASIM использует следующие термины:

Срок Описание
Устройство для составления отчетов Система, которая отправляет записи в Microsoft Sentinel. Эта система может не быть системой субъектов для отправляемой записи.
Запись Единица данных, отправляемых с устройства составления отчетов. Запись часто называется журналом, событием или оповещением, но также может быть другими типами данных.
Содержимое или элемент содержимого Различные, настраиваемые или созданные пользователем артефакты, которые можно использовать с Microsoft Sentinel. Эти артефакты включают, например, аналитические правила, запросы для охоты и рабочие тетради. Элемент содержимого является одним из таких артефактов.

Просмотреть парсеры ASIM

Чтобы просмотреть функции ASIM в среде Microsoft Sentinel.

  • Перейдите в рабочую область Microsoft Sentinel на портале Azure
  • Выберите "Журналы" в левом навигационном меню
  • Разверните область схемы и фильтра слева (при необходимости используйте многоточие для отображения всех инструментов).
  • Выбор функций
  • Расширение Microsoft Sentinel

Вы увидите функции, начиная с ASim и Im.