Поделиться через


KQL и озеро данных Microsoft Sentinel

С помощью озера данных Microsoft Sentinel вы можете хранить и анализировать журналы большого объема и низкого качества, такие как данные брандмауэров или DNS, инвентаризации активов и исторические записи на протяжении до 12 лет. Так как хранилище и вычислительные ресурсы разделены, можно запрашивать одну копию данных с помощью нескольких средств без перемещения или дублирования.

Вы можете просматривать данные в озере данных с помощью языка запросов Kusto (KQL) и Записных книжек Jupyter, чтобы поддерживать широкий спектр сценариев, от поиска угроз и расследований до обогащения и машинного обучения.

В этой статье рассматриваются основные понятия и сценарии исследования озера данных, рассматриваются распространенные варианты использования и показано, как взаимодействовать с данными с помощью знакомых средств.

Интерактивные запросы KQL

Используйте язык запросов Kusto (KQL) для выполнения интерактивных запросов непосредственно в озере данных через несколько рабочих пространств.

С помощью KQL аналитики могут:

  • Исследование и реагирование с помощью исторических данных: используйте долгосрочные данные в озере данных для сбора судебно-медицинских доказательств, расследования инцидента, обнаружения шаблонов и реагирования на инциденты.
  • Обогащение исследований с помощью журналов больших объемов: использование шумных или низкоуровневых данных, хранящихся в озере данных, для добавления контекста и глубины в исследования безопасности.
  • Сопоставляйте данные активов и журналов в озере данных: выполняйте запросы инвентаризации активов и журналов идентификации, чтобы связать действия пользователей с ресурсами и выявить более масштабные атаки.

Используйте запросы KQL в Microsoft Sentinel для > в портале Defender, чтобы выполнять интерактивные запросы KQL по мере необходимости напрямую на данных за длительный период. Просмотр озера данных доступен после завершения процесса подключения . Запросы KQL идеально подходят для аналитиков SOC, изучающих инциденты, в которых данные больше не могут находиться на уровне аналитики. Запросы позволяют проводить форензическую аналитику, используя привычные запросы, без необходимости переписывать код. Сведения о начале работы с запросами KQL см. в статье "Исследование озера данных" — запросы KQL.

Задания KQL

Задания KQL — это однократные или запланированные асинхронные запросы KQL для данных в озере данных Microsoft Sentinel. Например, задания полезны для расследований и аналитических сценариев;

  • Длительные однократные запросы для расследований инцидентов и реагирования на инциденты (IR)
  • Задачи агрегирования данных, поддерживающие рабочие процессы обогащения с помощью журналов низкой точности
  • Сопоставление исторической информации об угрозах (TI) для ретроспективного анализа
  • Сканирования по обнаружению аномалий, которые выявляют необычные паттерны в нескольких таблицах
  • Перенос данных из озера данных в аналитический слой для проведения расследования инцидентов или корреляции журналов.

Выполните однократные задания KQL в озере данных, чтобы повысить уровень исторических данных из уровня озера данных на уровень аналитики или создать пользовательские сводные таблицы на уровне озера данных. Повышение уровня данных полезно для анализа первопричин или обнаружения нулевого дня при расследовании инцидентов, охватывающих окно уровня аналитики. Отправьте запланированное задание в озере данных, чтобы автоматизировать повторяющиеся запросы для обнаружения аномалий или построения базовых показателей с помощью исторических данных. Охотники за угрозами могут использовать это для отслеживания необычных шаблонов с течением времени и интеграции результатов в системы обнаружения или панели мониторинга. Дополнительные сведения см. в разделе "Создание заданий" в озере данных Microsoft Sentinel и управлении заданиями в озере данных Microsoft Sentinel.

Сценарии исследования

В следующих сценариях показано, как можно использовать запросы KQL в озере данных Microsoft Sentinel для повышения безопасности:

Сценарий Сведения Пример
Изучение инцидентов безопасности с использованием долгосрочных исторических данных Группы безопасности часто должны выйти за рамки периода хранения по умолчанию, чтобы выявить полную область инцидента. Аналитик SOC третьего уровня, расследующий атаку методом грубой силы, использует KQL запросы по озеру данных для поиска данных старше 90 дней. После выявления подозрительной активности более года назад аналитик продвигает результаты на уровень аналитики для более глубокого анализа и корреляции инцидентов.
Обнаружение аномалий и создание базовых показателей поведения с течением времени Инженеры обнаружения используют исторические данные для установления базовых показателей и определения шаблонов, которые могут указывать на вредоносное поведение. Инженер обнаружения анализирует журналы входа в течение нескольких месяцев, чтобы обнаружить пики активности. Запланировав выполнение задания KQL в озере данных, они создают временной ряд для базового уровня и выявляют шаблон, соответствующий злоупотреблению учетными данными.
Обогащение исследований с помощью журналов с высоким объемом и низкой точностью Некоторые логи содержат много лишней или объемной информации, поэтому они не подходят для уровня аналитики, но все же представляют ценность для контекстного анализа. Аналитики SOC используют KQL для запроса журналов сети и брандмауэра, хранящихся только в озере данных. Эти логи, хотя и находятся вне уровня аналитики, помогают проверять оповещения и предоставлять вспомогательные доказательства во время расследования.
Отвечайте на возникающие угрозы с помощью гибкого распределения уровней данных Когда возникает новая аналитика угроз, аналитики должны быстро получить доступ к историческим данным и действовать на ней. Аналитик угроз реагирует на недавно опубликованный отчет об аналитике угроз, выполняя предлагаемые запросы KQL в хранилище данных. При обнаружении соответствующей активности, произошедшей несколько месяцев назад, необходимый журнал будет повышен до уровня аналитики. Чтобы включить обнаружение в режиме реального времени для будущих обнаружений, политики по уровням можно настроить в соответствующих таблицах, чтобы зеркально отображать последние журналы на уровне аналитики.
Изучение данных ресурсов из источников за пределами традиционных журналов безопасности Обогащение исследования с помощью инвентаризации активов, таких как объекты идентификатора Microsoft Entra и ресурсы Azure. Аналитики могут использовать KQL для запроса информации об идентификации и ресурсах, таких как пользователи Microsoft Entra ID, приложения, группы или инвентаризация ресурсов Azure, чтобы сопоставить журналы для получения более широкого контекста, дополняющего существующие данные безопасности.