预测编码参考 (预览)

  • 项目

本文介绍 Microsoft Purview 电子数据展示 (Premium) 中预测编码工具的关键概念和指标。 本文中的各节按字母顺序列出。

提示

如果你不是 E5 客户，请使用为期 90 天的 Microsoft Purview 解决方案试用版来探索其他 Purview 功能如何帮助组织管理数据安全性和合规性需求。 立即从Microsoft Purview 合规门户试用中心开始。 了解有关 注册和试用条款的详细信息。

置信度

创建预测编码模型时，置信度是高级设置。 它定义模型的性能指标 (，例如，丰富度、精度和召回率) 属于指定范围， (确定为模型定义的误差幅度，) 代表模型分配给审阅集中项的预测分数的真实值。 置信度和误差边距的值还有助于确定控制集中包含的项数。 置信度级别的默认值为 0.95% 或 95%。

控件集

在预测编码模型的训练过程中使用控件集。 控制集用于评估模型分配给具有训练轮次期间执行的标记的项的预测分数。 控件集的大小取决于审阅集中的项数，以及创建模型时设置的错误值的置信度和边距。 控件集中的项永远不会更改，并且用户无法识别。 控件集中的项总数显示在训练轮的浮出控件页上。

控制集混淆矩阵

完成训练轮次后，模型会将预测分数分配给在训练轮期间标记的控件集中的 10 个项目。 该模型将这 10 个项目的预测分数与在训练轮中分配给该项目的实际标签进行比较。 根据此比较，模型标识以下分类以评估模型的预测性能：


标签 模型预测项相关 模型预测项不相关
审阅者将项目标记为相关 真正例 误报
审阅者将项目标记为不相关 假负 真负

根据这些比较，模型派生 F 分数、精度和召回率指标的值，以及每个指标的误差边距。 矩阵中每种混淆类型的数目显示在训练轮的浮出控件页上。

F 分数

F 分数是精度和召回率指标分数的加权平均值。 此指标的分数范围为 0 到 1。 分数接近 1 表示模型将更准确地检测相关项。 F 评分指标显示在模型仪表板和每个训练轮的浮出控件页上。

误差边距

创建预测编码模式时，误差幅度是一种高级设置。 它指定性能指标 (误差程度，例如，丰富性、精度和召回率) ，这些指标是从控件集中的项随机采样派生的。 较低的误差幅度需要更大的控制集，以确保模型的性能指标在较小的范围内。 误差边距和置信度级别的值还有助于确定控制集中包含的项数。 误差边距的默认值为 0.05% 或 5%。

模型稳定性

模型稳定性指示模型能够准确预测审阅集中的文档是否相关。 当模型不稳定时，可能需要执行更多的训练轮次，以包括模型的稳定性。 当模型稳定时，无需执行更多训练轮次。 模型仪表板指示模型稳定性的当前状态。 当模型稳定时，性能指标已达到与置信度级别和误差边距设置匹配的水平。

翻转率

翻转率是评审集中的项的百分比，其中预测分数在训练轮次之间发生更改。 翻转率小于 5% 时，模型被视为稳定。 翻转率指标显示在模型仪表板和每个训练轮的浮出控件页上。 第一轮训练的翻转率为零，因为之前没有要推翻的预测分数。

精度

精度指标测量预测的与模型相关的项中相关项的比例。 这意味着控件中的项目设置，其中标签由审阅者相关，并预测为模型相关。 此指标的分数范围为 0 到 1。 接近 1 的分数表示模型将识别较少的不相关项。 精度指标显示在模型仪表板和每个训练轮的浮出控件页上。

预测分数

这是模型分配给审阅集中每个文档的分数。 与模型从训练轮中学习相比，分数基于文档的相关性。 通常，预测分数在 0 到0.5 之间的项被视为不相关，预测分数在 0.5 到 1 之间的项目被视为相关项。 预测分数包含在文档元数据字段中。 可以使用预测筛选器显示位于指定预测范围内的审阅集中的项目。

记得

召回率指标衡量模型预测的项在相关项中所占的比例。 这意味着，模型预测的控件集中的相关项也被审阅者标记为相关。 此指标的分数范围为 0 到 1。 接近 1 的分数表示模型将识别较大部分的相关项。 召回率指标显示在模型仪表板和每个训练轮的浮出控件页上。

审阅集

评审集提供预测编码模型的范围。 为审阅集创建新模型时，将从审阅集中选择控件集和训练集的项。 当模型分配预测分数时，它会为评审中的项目分配这些分数。 在创建预测编码模型之前，必须将所有项添加到审阅集。 如果在创建模型后添加项，则不会为这些项目分配预测分数。

丰富

丰富度指标度量模型预测为相关的审阅集项的百分比。 此指标的分数范围为 0 到 1。 丰富度指标显示在模型仪表板上。

抽样项

术语 采样项 是对审阅集中项目随机样本的引用 (，其中包含在创建预测编码模型时选择并与控件集关联的文本) 。 还会为每个训练轮选择一个随机的项目样本。 为模型的控件集选择的项永远不会包含在同一模型的训练集中。 反之亦然：训练集项永远不会包含在控件集中。

训练集

模型从审阅集中随机选择项，并将其添加到训练集中。 在训练轮次期间，训练集中的项 (以及控件集中) 的项目，以便你可以将每个项目标记为“相关”或“不相关”。 此标记或“训练”过程可帮助模型了解如何预测评审中的哪些项相关或不相关。 每次执行训练轮次时，模型都会从评审中选择更多项，并将其添加到该训练轮的训练集中。 永远不会为训练集选择控件集中的项。