你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

Microsoft Sentinel 中的日志保留计划

日志收集和保留有两个相互竞争的方面,对于成功的威胁检测程序至关重要。 一方面,你希望最大程度地增加收集的日志源的数量,以便获得尽可能全面的安全覆盖。 另一方面,你需要尽量减少引入所有数据所产生的成本。

这些相互竞争的需求需要一种能够平衡数据可访问性、查询性能和存储成本的日志管理策略。

本文讨论数据类别以及用于存储和访问数据的保留状态。 其中还介绍了 Microsoft Sentinel 提供的生成日志管理和保留策略的日志计划。

重要

Microsoft Sentinel 在 Microsoft Defender 门户中正式发布,包括没有 Microsoft Defender XDR 或 E5 许可证的客户。 有关详细信息,请参阅 Microsoft Defender 门户中的 Microsoft Sentinel

引入数据的类别

Microsoft 建议将引入 Microsoft Sentinel 的数据分为两大类别:

  • 主要安全数据是包含关键安全价值的数据。 这些数据用于实时主动监视、计划的警报和分析,以检测安全威胁。 所有 Microsoft Sentinel 体验都需要准实时地获取数据。

  • 辅助安全数据是补充数据,通常记录在大量详细日志中。 这些数据的安全价值有限,但可为检测和调查提供更丰富的信息和上下文,帮助你全面了解安全事件。 它不需要随时可用,但应该根据需要以适当的大小随时提供。

主要安全数据

此类别由为组织提供关键安全价值的日志组成。 主要安全数据可以通过以下安全操作用例来描述:

  • 频繁监视威胁检测(分析)规则 以频繁的间隔或近乎实时的方式在此数据上运行。

  • 按需搜寻。 对这些数据运行复杂的查询来执行交互式、高性能的安全威胁搜寻。

  • 关联。 来自这些源的数据与来自其他主要安全数据源的数据相关联,以检测威胁并生成攻击事件。

  • 定期报告。 来自这些源的数据可随时汇编成组织安全运行状况的定期报告,供安全决策者和一般决策者使用。

  • 行为分析。 来自这些源的数据用于为用户和设备生成基线行为配置文件,使你能够识别可疑的异常行为。

一些主要数据源的示例包括来自防病毒或企业检测和响应 (EDR) 系统的日志、身份验证日志、来自云平台的审核跟踪、威胁情报源以及来自外部系统的警报。

应使用本文后面所述的 Analytics 日志 计划存储包含主要安全数据的日志。

辅助安全数据

此类别包含的日志单个安全价值有限,但对于全面了解安全事件或漏洞至关重要。 通常,这些日志的数量很大而且可能很冗长。 这些数据的安全操作用例包括:

  • 威胁情报。 可以根据危害指标 (IoC) 或攻击指标 (IoA) 列表检查原始数据,以快速轻松地检测威胁。

  • 临时搜寻/调查。 可以交互方式查询 30 天的数据,帮助为威胁搜寻和调查提供关键分析。

  • 大规模搜索。 可以在后台引入和搜索 PB 量级的数据,同时以最少的处理量进行高效存储。

  • 通过摘要规则进行汇总。 将大量日志汇总为聚合信息,并将结果存储为主要安全数据存储。 若要了解有关摘要规则的详细信息,请参阅 包含摘要规则的聚合Microsoft Sentinel 数据

辅助数据日志源的一些示例包括云存储访问日志、NetFlow 日志、TLS/SSL 证书日志、防火墙日志、代理日志和 IoT 日志。 若要详细了解这些来源如何为安全检测带来价值,而无需持续使用,请参阅用于辅助日志引入的日志来源

应使用本文后面介绍的 辅助日志 计划存储包含辅助安全数据的日志。

(现有的 基本日志 计划也用于此目的,但它的成本更高,不建议用于新实例。

日志管理计划

Microsoft Sentinel 提供两种不同的日志存储计划或类型来适应这些类别的引入数据。

  • Analytics 日志计划旨在存储主要安全数据,并确保在高性能环境中轻松且持续地访问。

  • 辅助日志计划旨在长时间以非常低的成本存储次要安全数据,同时仍允许有限的可访问性。

每种计划均以两种不同的状态保存数据

  • 交互式保留状态是引入数据时的初始状态。 此状态允许根据计划对数据进行不同级别的访问,并且此状态的成本因计划而异。

  • 无论采用哪种计划,长期保留状态都能以极低的成本将旧数据保留在原始表中长达 12 年

若要了解有关保留状态的详细信息,请参阅 管理 Log Analytics 工作区中的数据保留

下图汇总并比较了这两种日志管理计划。

Microsoft Sentinel 中可用日志计划的示意图。

分析日志计划

默认情况下,数据将以交互式保留状态保留 90 天,最长可延长至两年。 这种交互式状态虽然开销很高,但可以让你不受限制地以高性能查询数据,并且无需为每次查询支付费用。

当交互式保留期结束时,数据将进入长期保留状态,但仍然保留在其原始表中。 默认情况下未定义长期保留期,但可以将其定义为最长 12 年。 这种保留状态能够以极低的成本保存数据,以满足法规遵从或内部策略目的。 只能使用搜索作业还原将有限的数据集拉取到交互式保留的新表中,然后访问此状态下的数据,这样就可以使用完整的查询功能对其进行处理。

辅助日志计划

辅助日志计划以交互式保留状态将数据保存 30 天。 在辅助计划中,与分析计划相比,此状态的保留成本非常低。 但是查询功能有限:查询按扫描的每 GB 数据收费,并且仅限于单个表,且性能明显更低。 虽然此数据仍处于交互式保留状态,但可以针对此数据运行 摘要规则 ,以在 Analytics 日志计划中创建聚合表、摘要数据,以便对此聚合数据具有完整的查询功能。

当交互式保留期结束时,数据将进入长期保留状态,同时保留在其原始表中。 辅助日志计划中的长期保留类似于分析日志计划中的长期保留,只是访问数据的唯一选项是使用 搜索作业。 辅助日志计划不支持还原