Share via

Нормализация времени приема

  • Статья

Анализ времени запроса

Как описано в обзоре ASIM, Microsoft Sentinel использует как нормализацию времени запроса, так и время приема, чтобы воспользоваться преимуществами каждого из них.

Чтобы использовать нормализацию времени запроса, используйте объединяющие средства синтаксического анализа времени запроса, например _Im_Dns в запросах. Нормализация с помощью синтаксического анализа во время запроса имеет ряд преимуществ.

  • Сохранение исходного формата. Нормализация времени запроса не требует изменения данных, тем самым сохраняя исходный формат данных, отправленный источником.
  • Предотвращение потенциального дублирования хранилища. Так как нормализованные данные являются только представлением исходных данных, нет необходимости хранить как исходные, так и нормализованные данные.
  • Упрощенная разработка. Так как средства синтаксического анализа времени запроса предоставляют представление данных и не изменяют данные, их легко разрабатывать. Разработка, тестирование и исправление средства синтаксического анализа можно выполнять на основе существующих данных. Кроме того, средства синтаксического анализа можно исправить при обнаружении проблемы, а исправление будет применяться к существующим данным.

Анализ времени приема

Хотя средства синтаксического анализа времени запросов ASIM оптимизированы, анализ времени запроса может замедлить выполнение запросов, особенно в больших наборах данных.

Синтаксический анализ времени приема позволяет преобразовывать события в нормализованную схему по мере их приема в Microsoft Sentinel и хранить их в нормализованном формате. Анализ времени приема менее гибкий, и средства синтаксического анализа сложнее разрабатывать, но так как данные хранятся в нормализованном формате, обеспечивает более высокую производительность.

Нормализованные данные могут храниться в собственных нормализованных таблицах Microsoft Sentinel или в пользовательской таблице, использующей схему ASIM. Пользовательская таблица со схемой, близкой к схеме ASIM, но не идентичной, также обеспечивает преимущества нормализации времени приема.

В настоящее время ASIM поддерживает следующие собственные нормализованные таблицы в качестве назначения для нормализации времени приема:

Преимущество собственных нормализованных таблиц заключается в том, что они включаются по умолчанию в унифицированные средства синтаксического анализа ASIM. Пользовательские нормализованные таблицы можно включить в объединяющие средства синтаксического анализа, как описано в разделе Управление средствами синтаксического анализа.

Объединение нормализации времени приема и времени запроса

Запросы всегда должны использовать объединяющие средства синтаксического анализа времени запроса, например _Im_Dns , чтобы воспользоваться преимуществами нормализации времени запроса и времени приема. Собственные нормализованные таблицы включаются в запрашиваемые данные с помощью средства синтаксического анализа заглушки.

Средство синтаксического анализа заглушки — это средство синтаксического анализа времени запросов, которое использует в качестве входных данных нормализованную таблицу. Так как нормализованная таблица не требует синтаксического анализа, средство синтаксического анализа заглушки эффективно.

Средство синтаксического анализа заглушки предоставляет представление вызывающего запроса, который добавляется в собственную таблицу ASIM:

  • Псевдонимы . Чтобы не тратить хранение повторяющихся значений, псевдонимы не хранятся в собственных таблицах ASIM и добавляются во время запроса средствами синтаксического анализа заглушки.
  • Константные значения . Как и псевдонимы, и по той же причине в нормализованных таблицах ASIM также не хранятся постоянные значения, такие как EventSchema. Средство синтаксического анализа заглушки добавляет эти поля. Нормализованная таблица ASIM совместно используется многими источниками, и средства синтаксического анализа времени приема могут изменить свою выходную версию. Таким образом, такие поля, как EventProduct, EventVendor и EventSchemaVersion , не являются константами и не добавляются в средство синтаксического анализа заглушки.
  • Фильтрация — средство синтаксического анализа заглушки также реализует фильтрацию. Хотя собственные таблицы ASIM не нуждаются в средствах синтаксического анализа фильтрации для повышения производительности, фильтрация необходима для поддержки включения в объединяющее средство синтаксического анализа.
  • Обновления и исправления. Использование средства синтаксического анализа заглушки позволяет быстрее устранять проблемы. Например, если данные были приняты неправильно, IP-адрес может не быть извлечен из поля сообщения во время приема. IP-адрес можно извлечь с помощью средства синтаксического анализа заглушки во время запроса.

При использовании пользовательских нормализованных таблиц создайте собственный анализатор заглушки, чтобы реализовать эту функцию, и добавьте его в объединяющие средства синтаксического анализа, как описано в разделе Управление средствами синтаксического анализа. В качестве отправной точки используйте средство синтаксического анализа заглушки для собственной таблицы, например средства синтаксического анализа собственной таблицы DNS и его аналога фильтрации. Если таблица является полунормализованной, используйте средство синтаксического анализа заглушки, чтобы выполнить дополнительный необходимый анализ и нормализацию.

Дополнительные сведения о написании синтаксического анализа см. в статье Разработка средства синтаксического анализа ASIM.

Реализация нормализации времени приема

Чтобы нормализовать данные при приеме, необходимо использовать правило сбора данных (DCR). Процедура реализации DCR зависит от метода, используемого для приема данных. Дополнительные сведения см. в статье Преобразование или настройка данных во время приема в Microsoft Sentinel.

Запрос преобразования KQL является ядром DCR. Версия KQL, используемая в DCR, немного отличается от версии, используемой в других частях Microsoft Sentinel, в соответствии с требованиями обработки событий конвейера. Поэтому вам потребуется изменить любое средство синтаксического анализа времени запроса, чтобы использовать его в DCR. Дополнительные сведения о различиях и о том, как преобразовать средство синтаксического анализа во время запроса в средство синтаксического анализа во время приема, см. в статье Ограничения KQL DCR.

Дальнейшие действия

Дополнительные сведения см. в разделе: