Управление уровнями данных и хранением в Microsoft Sentinel

Данные, собранные в Microsoft Sentinel (SIEM) и Microsoft Defender XDR, хранятся в таблицах. Портал Microsoft Defender позволяет управлять периодом хранения и затратами на хранение, связанные с данными. Вы можете управлять хранением и затратами, когда вы:

• Настройте соединители данных для отправки данных в Microsoft Sentinel или Microsoft Defender XDR.
• Управление существующими таблицами и данными.

В этой статье объясняется, как управлять параметрами хранения и уровня данных на портале Microsoft Defender для оптимизации операций безопасности и снижения затрат в Microsoft Sentinel и Microsoft Defender XDR.

Какие таблицы можно управлять на портале Defender?

В этом разделе описаны типы таблиц, которые можно управлять на портале Microsoft Defender.

Тип таблицы	Описание	Примеры	Находится ли в рабочей области Microsoft Sentinel?
Microsoft Sentinel	Встроенные таблицы, в том числе: — таблицы Azure, такие как AzureDiagnostics и SigninLogs. — Таблицы Microsoft Sentinel. - Интеграция Microsoft Defender XDR с Microsoft Sentinel, которая создается в рабочей области Microsoft Sentinel при увеличении срока хранения аналитики на более чем 30 дней. См. тип таблицы XDR для таблиц XDR Defender, которые в настоящее время не поддерживаются.	— таблицы Azure: AzureDiagnostics, SigninLogs — таблицы Microsoft Sentinel: AWSCloudTrailSecurityAlert — таблицы XDR: DeviceEvents, AlertInfo	Да
Настройка	Таблицы, создаваемые вручную или с помощью заданий в рабочей области Microsoft Sentinel, включая сводные правила и таблицы результатов задания поиска, а также пользовательские таблицы источников данных.	Таблицы с суффиксами _CL или _SRCH.	Да
XDR	Таблицы в стандартном уровне XDR, которые по умолчанию содержат 30 дней хранения аналитики. Эти таблицы можно просматривать, но управлять ими нельзя на портале Defender.	IdentityInfo	нет

Замечание

Вы можете просматривать таблицы журналов "Базовые" в рабочей области Microsoft Sentinel на портале Defender, но в настоящее время их можно управлять только из рабочей области Log Analytics. Чтобы управлять этими таблицами на портале Microsoft Defender, измените план таблицы с базового на аналитический в рабочей области Microsoft Sentinel.

Как работают уровни данных и срок хранения

Данные в Microsoft Sentinel можно хранить на одном из двух уровней:

• Уровень аналитики: этот уровень обеспечивает доступность данных для оповещений, поиска угроз, рабочих тетрадей и всех функций Microsoft Sentinel. Он сохраняет данные в двух состояниях:

  • Сохранение данных для аналитики: В этом "горячем" состоянии данные полностью доступны для аналитики в режиме реального времени, включая высокопроизводительные запросы и правила аналитики, а также поиск угроз. По умолчанию Microsoft Sentinel и XDR в Microsoft Defender сохраняют данные на этом уровне в течение 30 дней. Срок хранения всех таблиц можно продлить до двух лет с оплатой ежемесячного долгосрочного хранения. Срок хранения таблиц решений Microsoft Sentinel можно продлить до 90 дней бесплатно.
  • Общее хранение: по умолчанию все данные на уровне аналитики зеркально отражаются в озере данных в течение одного периода хранения. Вы можете продлить хранение данных в озере за пределами хранения аналитики до 12 лет общего хранения с низкой стоимостью.

• Уровень озера данных: на этом низкозатратном "холодном" уровне Microsoft Sentinel хранит ваши данные только в озере данных. Данные на уровне озера данных недоступны для функций аналитики в режиме реального времени и поиска угроз. Однако вы можете получать доступ к данным в озере всякий раз, когда он нужен с помощью заданий KQL, анализировать тенденции с течением времени, выполняя запланированные задания KQL или Spark, а также агрегировать аналитические данные из входящих данных на регулярном уровне с помощью правил сводки.

• Данные XDR. По умолчанию данные поиска угроз XDR в Microsoft Defender всегда доступны на уровне аналитики в течение 30 дней. Вы можете продлить хранение этих данных на уровне аналитики до 90 дней, что повлечет затраты на загрузку, но хранение бесплатно. Расширение периода аналитики более чем на 90 дней также приведет к расходам на хранение. Вы также можете использовать исключительно уровень хранилища данных, но данные всегда доступны в аналитическом уровне в течение 30 дней. Прием данных XDR непосредственно на уровне Data Lake является более экономичным, но включает в себя затраты на прием, хранение и обработку. В этом случае клиенты по-прежнему получают 30 дней данных на уровне Аналитики без дополнительных затрат.

Дополнительные сведения о различиях между этими двумя типами хранения см. в разделе "Сравнение уровней аналитики и озера данных".

На этой схеме показаны компоненты хранения уровней аналитики, озера данных и XDR по умолчанию, а также типы таблиц, применяемые к каждому уровню:

Дополнительные сведения о озере данных Microsoft Sentinel см. в разделе "Что такое озеро данных Microsoft Sentinel".

Сравнение уровней аналитики и озера данных

В этой таблице сравниваются два уровня аналитики и озера данных и их ключевые характеристики:

Сравнение	Уровень аналитики	Уровень хранилища данных
Основные характеристики	Высокопроизводительные запросы и индексирование журналов (также называется горячим или интерактивным хранением).	Экономичное долгосрочное хранение больших объемов данных (также известное как холодное хранилище).
Лучше всего подходит для	Правила аналитики в режиме реального времени, оповещения, охота, книги и все функции Microsoft Sentinel.	— Ведение журнала соответствия и нормативного контроля. - Исторический анализ тенденций и судебно-медицинские экспертизы. — данные с низким уровнем взаимодействия, которые не требуются для оповещений в реальном времени.
Стоимость приема	Стандарт	Минимальный
Цена запроса включена	✅	❌
Оптимизированная производительность запросов	✅	❌ Медленные запросы. Хорошо подходит для аудита. Не оптимизирован для анализа в режиме реального времени.
Возможности запросов	Полные возможности запросов на порталах Microsoft Defender и Azure и с помощью API.	- Полные возможности запросов , включая объединения и соединения. — выполнение запланированных заданий KQL или Spark. — Использование записных книжек.
Полный набор функций аналитики в режиме реального времени	✅	❌ Ограничения на некоторые функции, включая правила аналитики, поисковые запросы, парсеры, списки наблюдения, рабочие тетради и сценарии.
Задания поиска	✅	✅
Сводные правила	✅	✅ Полный KQL на одной таблице, который можно расширить данными из аналитической таблицы с помощью операции lookup
Восстановить	✅	❌ Задания KQL и Notebook могут перенести данные на аналитический уровень.
Экспорт данных	✅	❌
Период хранения	90 дней для Microsoft Sentinel, 30 дней для XDR в Microsoft Defender. Может быть продлено до двух лет по пропорциональной ежемесячной долгосрочной оплате хранения.	Аналогично хранению аналитики, по умолчанию. Может быть продлено до 12 лет.

Что происходит при изменении параметров таблицы

Вы можете переключать уровень таблицы и параметры хранения в любое время.

При изменении уровня таблицы по умолчанию с аналитики в озеро данных (data lake) все запросы для аналитики и поиска в режиме реального времени перестают работать.

При сокращении общего срока хранения таблицы корпорация Майкрософт ожидает 30 дней до удаления данных, чтобы восстановить изменение и избежать потери данных при возникновении ошибки в конфигурации.

При увеличении общей длительности хранения новый период хранения применяется ко всем данным, которые уже были внесены в таблицу и которые еще не удалены.

При изменении параметров хранения аналитики таблицы с существующими данными изменения вступает в силу немедленно.

Пример:

• У вас есть таблица на уровне аналитики с 180 днями хранения аналитики. По умолчанию общий срок хранения также имеет значение 180 дней.
• Вы изменяете срок хранения аналитики на 90 дней, не изменяя общий период хранения 180 дней.
• Microsoft Sentinel автоматически удаляет последние 90 дней данных из хранения аналитики, но продолжает хранить данные, возраст которых составляет от 90 до 180 дней в озере данных.

Управление данными XDR в Microsoft Sentinel

По умолчанию Microsoft Defender XDR сохраняет данные для поиска угроз на уровне по умолчанию XDR в течение 30 дней. Эти данные по умолчанию не интегрируются в уровни аналитики или хранилище данных. Если срок хранения поддерживаемых таблиц XDR превышает 30 дней и составляет до 90 дней, начинают применяться затраты на прием Sentinel, но дополнительные затраты на хранение отсутствуют. Таблицы создаются в рабочей области Microsoft Sentinel на уровне аналитики и копируются на уровень хранилища данных.

Если вы включаете коннектор XDR Microsoft Sentinel на портале Azure, таблицы, выбранные во время установки, автоматически передаются на уровень аналитики и синхронизируются с уровнем хранилища данных. Срок хранения по умолчанию составляет 30 дней, и его можно продлить до 12 лет. Список таблиц см. в статье об интеграции XDR в Microsoft Defender с Microsoft Sentinel. Вы можете загрузить поддерживаемые таблицы XDR, которые не были выбраны во время развертывания коннектора, на аналитический уровень и отражать их на уровень озера данных, задав срок хранения более 30 дней.

Если соединитель XDR Microsoft Sentinel не включен, таблицы XDR не будут автоматически приняты, но вы по-прежнему можете их прием, задав аналитику или хранение уровня озера данных более 30 дней на портале Defender.

Вы можете выбрать импорт поддерживаемых таблиц XDR исключительно в озеро данных, выбрав параметр озера данных при настройке параметров хранения. Дополнительные сведения см. в разделе "Настройка хранения данных и многоуровневого хранения".

Остановите прием данных на уровне аналитики, сбросив срок хранения уровня аналитики и общее хранение до 30 дней по умолчанию. Это действие отключает соединитель на портале Azure.

Дополнительные сведения об управлении таблицами и данными см. в статье "Управление существующими таблицами и данными".

Хранение данных XDR и связанные затраты

В следующих таблицах приведены сведения о периодах свободного хранения и последствиях затрат для различных уровней в Microsoft Sentinel:

Tier	Retention	Примечания.
Расширенная охота (по умолчанию)	30 дней	По умолчанию, включено в лицензию XDR
Уровень аналитики	31-90 дней	Бесплатное хранилище для рабочих областей с поддержкой Sentinel. Данные зеркально отражаются в озере данных. Применяется плата за прием данных Sentinel.
Озеро данных	Конфигурируемый. По умолчанию то же самое, что и уровень аналитики.	Свободное место предоставляется бесплатно, если общий период хранения данных совпадает с периодом хранения на уровне аналитики. Сохранение данных в озере данных после завершения периода хранения на уровне аналитики приводит к расходам на хранение в озере данных. Прием данных непосредственно на уровне озера данных влечет за собой затраты на прием, хранение и обработку.

Дополнительные сведения о выставлении счетов и затратах см. в статье "Общие сведения о полной модели выставления счетов для Microsoft Sentinel"

В следующих примерах данные XDR доступны через расширенный поиск в течение как минимум 30 дней независимо от параметров хранения в уровнях аналитики или озера данных.

Удержание уровня аналитики	Полное сохранение	Затраты на интеграцию данных по уровню аналитики	Затраты на хранилище для уровня аналитических данных	Затраты на слой озера данных
30 дней по умолчанию	30 дней по умолчанию	Никаких дополнительных затрат	N/A	N/A
90 дней	90 дней	Затраты применяются для загрузки данных на уровне аналитики.	Никаких дополнительных затрат. 90 дней включены бесплатно.	Никаких дополнительных затрат. Полное сохранение соответствует уровню хранения данных для аналитики.
90 дней	180 дней	Затраты применяются для загрузки данных на уровне аналитики.	Никаких дополнительных затрат; 90 дней включены бесплатно.	Расходы начисляются за 90 дней дополнительного хранения данных в хранилище (180 - 90 дней).
180 дней	1 год	Затраты применяются для загрузки данных на уровне аналитики.	Затраты применяются за 90 дней хранения дополнительных уровней аналитики.	Затраты применяются на 185 дней дополнительного хранения хранилища данных (365 дней - 180 дней).
0 дней (только озеро данных)	5 лет	N/A	N/A	Затраты начисляются на загрузку и на хранение данных в озере данных в течение 5 лет.

Дальнейшие шаги

Дополнительные сведения:

• Настройка уровней таблиц журнала и параметров хранения
• Создание задания поиска для получения данных, соответствующих определенным критериям