Общие сведения о нормализации данных

Завершено

Microsoft Sentinel принимает данные из многих источников. Для работы с различными типами данных и таблицами необходимо понимать их все, а также записывать и использовать уникальные наборы данных для правил, книг и поисковых запросов аналитики для каждого типа или схемы.

Иногда требуются отдельные правила, книги и запросы, даже если типы данных содержат совместно используемые элементы, такие как устройства брандмауэра. Согласование различных типов данных во время расследования и поиска может быть непростой задачей.

Расширенная информационная модель безопасности (ASIM) — это слой между этими различными источниками и пользователем. ASIM следует принципу надежности: "строгость в отношении отправляемых данных и гибкость в отношении принимаемых". Если используется принцип надежности в качестве конструктивного шаблона, ASIM преобразует несогласованные и неудобные в использовании исходные данные телеметрии Microsoft Sentinel в понятные пользователям.

Распространенное использование ASIM

ASIM обеспечивает удобство работы с различными источниками в унифицированных, нормализованных представлениях, предоставляя следующие функции:

  • Обнаружение в нескольких источниках. Нормализованные правила аналитики работают в разных источниках, локально и в облаке и обнаруживают атаки, такие как принудительное использование или невозможность перемещения по системам, включая Okta, AWS и Azure.

  • Независимое от источника содержимое. Объем встроенного и пользовательского содержимого с помощью ASIM автоматически расширяется до любого источника, поддерживающего ASIM, даже если источник был добавлен после создания содержимого. Например, аналитика событий процесса поддерживает любой источник, который клиент может использовать для ввода данных, такой как Microsoft Defender для конечной точки, Windows Events и Sysmon.

  • Поддержка пользовательских источников во встроенной аналитике

  • Удобство использования. После того как аналитик узнает ASIM, написание запросов проще, так как имена полей всегда совпадают.

ASIM и метаданные событий безопасности с открытым исходным кодом

ASIM соответствует общей информационной модели метаданных событий безопасности с открытым кодом (OSSEM), что обеспечивает предсказуемую корреляцию сущностей в нормализованных таблицах.

OSSEM — это проект под эгидой сообщества, ориентированный в первую очередь на документацию и стандартизацию журналов событий безопасности из различных источников данных и операционных систем. Проект предоставляет также общую информационную модель (CIM), которую могут использовать инженеры по обработке данных во время процедур нормализации данных, чтобы аналитики безопасности могли запрашивать и анализировать данные из различных источников данных.

Компоненты ASIM

На рисунке ниже показано, как ненормализованные данные можно перевести в нормализованное содержимое и затем использовать в Microsoft Sentinel. Например, можно начать с пользовательской, ненормализованной таблицы, а затем с помощью средства синтаксического анализа и схемы нормализации преобразовать эту таблицу в нормализованные данные. Используйте нормализованные данные в пользовательских или предоставленных Майкрософт аналитике, правилах, книгах, запросах и многом другом.

Diagram of the A S I M Architecture Components.

ASIM содержит следующие компоненты:

Компонент Description
Нормализованные схемы Охватывают стандартные наборы прогнозируемых типов событий, которые можно использовать при создании унифицированных возможностей. Каждая схема определяет поля, представляющие событие, соглашение об именовании нормализованных столбцов и стандартный формат значений полей.
Средства синтаксического анализа Сопоставляют существующие данные с нормализованными схемами с помощью функций KQL. Многие средства синтаксического анализа ASIM доступны в Microsoft Sentinel в готовом виде. Дополнительные средства и версии встроенных средств, доступные для изменения, можно развернуть из репозитория Microsoft Sentinel на GitHub.
Содержимое для каждой нормализованной схемы Включает в себя правила аналитики, книги, поисковые запросы и многое другое. Содержимое для каждой нормализованной схемы работает со всеми нормализованными данными без необходимости создавать содержимое для определенного источника.

Терминология IPAM

В ASIM используются следующие термины:

Срок Description
Устройство составления отчетов Система, отправляющая записи в Microsoft Sentinel. Эта система может не быть исходной системой для отправляемой записи.
Запись Единица данных, отправляемых с устройства составления отчетов. Запись часто называется журналом, событием или оповещением, но это также быть и другой тип данных.
Содержимое или Элемент содержимого Различные настраиваемые или созданные пользователем артефакты, которые можно использовать с помощью Microsoft Sentinel. Эти артефакты включают в себя, например, правила аналитики, поисковые запросы и книги. Элемент содержимого — это один из таких артефактов.

Просмотр средств синтаксического анализа ASIM

Используется для просмотра функций ASIM в среде Microsoft Sentinel.

  • Перейдите в рабочую область Microsoft Sentinel в портал Azure
  • Выбор пункта “Журналы” в левой области навигации
  • Разверните область схемы и фильтра слева (при необходимости используйте многоточие для отображения всех инструментов).
  • Выбор пункта “Функции”
  • Развертывание Microsoft Sentinel

Вы увидите функции, начиная с ASim и Im.