你当前正在访问 Microsoft Azure Global Edition 技术文档网站。如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

评估指标

项目
12/19/2023

数据集分为两部分：一组用于训练，一组用于测试。训练集用于训练模型，而测试集用作训练后的模型测试，以计算模型性能和评估。测试集不会通过训练过程引入到模型中，以确保模型在新数据上进行测试。

成功完成训练后，将自动触发模型评估。评估过程首先使用经过训练的模型预测测试集中文档的用户定义类，并将其与提供的数据标记进行比较（这将建立真实的基线）。返回结果后，可以查看模型的性能。对于评估，自定义文本分类使用以下指标：

精准率：度量模型的精确度/准确度。它是正确识别的正值（真正）与所有识别出的正值之间的比率。精准率指标显示正确标记的预测类的数量。

Precision = #True_Positive / (#True_Positive + #False_Positive)
召回率：度量模型预测实际正类的能力。这是预测的真正值与实际标记的结果之间的比率。召回率指标显示正确的预测类的数量。

Recall = #True_Positive / (#True_Positive + #False_Negatives)
F1 分数：F1 分数是精准率和召回率的函数。在精准率和召回率之间进行平衡时，需要用到它。

F1 Score = 2 * Precision * Recall / (Precision + Recall)

注意

分别为每个类（类级评估）和模型共同计算（模型级评估）的精准率、召回率和 F1 分数。

模型级和类级的评估指标

对于类级和模型级评估，精准率、召回率和计算的定义是相同的。但是，真正、假正和假负的计数不同，如下例所示。

下列部分使用以下示例数据集：

文档	实际类	预测类
1	action、comedy	comedy
2	action	action
3	romance	romance
4	romance、comedy	romance
5	comedy	action

action 类的类级评估

键	计数	说明
真正	1	文档 2 已正确分类为 action。
假正	1	文档 5 已错误分类为 action。
假负	1	尽管文档 1 应分类为 Action，但它并没有。

精准率 = #True_Positive / (#True_Positive + #False_Positive) = 1 / (1 + 1) = 0.5

召回率 = #True_Positive / (#True_Positive + #False_Negatives) = 1 / (1 + 1) = 0.5

F1 分数 = 2 * Precision * Recall / (Precision + Recall) = (2 * 0.5 * 0.5) / (0.5 + 0.5) = 0.5

comedy 类的类级评估

键	计数	说明
真正	1	文档 1 已正确分类为 comedy。
假正	0	未将任何文档错误地分类为 comedy。
假负	2	尽管文档 5 和 4 应分类为 comedy，但它们没有。

精准率 = #True_Positive / (#True_Positive + #False_Positive) = 1 / (1 + 0) = 1

召回率 = #True_Positive / (#True_Positive + #False_Negatives) = 1 / (1 + 2) = 0.33

F1 分数 = 2 * Precision * Recall / (Precision + Recall) = (2 * 1 * 0.67) / (1 + 0.67) = 0.80

对整体模型进行模型级评估

键	计数	说明
真正	4	文档 1、2、3 和 4 在预测中获得正确的类。
假正	1	在预测中，为文档 5 提供了错误的类。
假负	2	在预测中，未向文档 1 和 4 提供所有正确类。

精准率 = #True_Positive / (#True_Positive + #False_Positive) = 4 / (4 + 1) = 0.8

召回率 = #True_Positive / (#True_Positive + #False_Negatives) = 4 / (4 + 2) = 0.67

F1 分数 = 2 * Precision * Recall / (Precision + Recall) = (2 * 0.8 * 0.67) / (0.8 + 0.67) = 0.73

注意

对于单标签分类模型，假负和假正的计数始终相等。自定义单标签分类模型始终预测每个文档的一个类。如果预测不正确，预测类的假正计数增加 1，实际类的假负增加 1，模型的假正和假负的总计数将始终相等。对于多标签分类，这种情况并非如此，因为未能预测某个文档的类将被计为假负。

解释类级评估指标

那么，对于某个类来说，具有高精准率或高召回率实际上意味着什么？

Recall	Precision	解释
高	高	此类完全由模型进行处理。
低	高	模型不能始终预测此类，但在执行此类时，它会具有高置信度。这可能是因为此类在数据集中未被充分代表，因此请考虑平衡数据分布。
高	低	该模型可以很好地预测此类，但是它具有低置信度。这可能是因为此类在数据集中被过度代表，因此请考虑平衡数据分布。
低	低	此类在通常无法预测的情况下被模型处理得很差，并且当它被预测时，也不会有很高的置信度。

自定义文本分类模型预计会同时遇到假负和假正。需要考虑每一个将如何影响整个系统，并仔细考虑模型将忽略正确预测并识别错误预测的情况。根据你的方案，精准率或召回率可能更适合评估模型的性能。

例如，如果你的方案涉及处理技术支持票，则预测错误类可能会导致将其转发给错误的部门/团队。在此示例中，应考虑让你的系统对假正更敏感，并且精准率将是一个更相关的评估指标。

作为另一个示例，如果你的方案涉及将电子邮件分类为“重要”或“垃圾邮件”，则不正确的预测可能会导致你丢失有用的电子邮件（如果它标记为“垃圾邮件”）。但是，如果垃圾邮件标为“重要”，则可以忽略它。在此示例中，应考虑让你的系统对假负更敏感，召回率将是一个更相关的评估指标。

如果要针对常规用途方案进行优化，或者当精准率和召回率都很重要时，可以使用 F1 分数。评估分数是主观的，具体取决于你的场景和验收条件。没有适用于每个方案的绝对指标。

指南

训练模型后，你将看到一些关于如何改进模型的指导和建议。建议使用一个涵盖指南部分中所有要点的模型。

训练集有足够的数据：类类型在训练数据中的标记实例少于 15 个时，由于没有针对这些事例对模型进行充分训练，可能会导致准确性降低。
所有类类型都存在于测试集中：测试数据缺少类类型的标记实例时，由于存在未经测试的方案，模型的测试性能可能会变得不太全面。
类类型在训练集和测试集中是平衡的：采样偏差导致类类型频率的表示形式不准确时，由于模型预期类类型出现的频率太高或太低，可能导致准确性降低。
类类型在训练集和测试集之间均匀分布：混合类类型在训练集和测试集之间不匹配时，由于模型的训练方式与测试方式不同，可能导致准确性降低。
训练集中的类类型明显不同：多个类类型的训练数据相似时，由于类类型可能经常被错误分类为彼此，可能会导致准确性降低。

混淆矩阵

重要

混淆矩阵不适用于多标签分类项目。混淆矩阵是用于模型性能评估的 N x N 矩阵，其中 N 是类数目。该矩阵将预期标签与模型预测的标签进行比较。这为模型的性能以及它所犯的错误类型提供了整体视图。

可以使用混淆矩阵来识别彼此之间过于接近且经常被弄错（歧义）的类。在这种情况下，请考虑将这些类合并在一起。如果无法做到这一点，请考虑使用这两个类标记更多文档，以帮助模型区分它们。

所有正确的预测都位于表的对角线上，因此可以非常直观地检查表中是否有预测误差，因为它们将由对角线之外的值表示。

可以根据混淆矩阵计算类级别和模型级别的评估指标：

对角线的值是每个类的真正值。
类行中值的总和（不包括对角线）是模型的假正值。
类列中值的总和（不包括对角线）是模型的假负值。

同样，

模型的真正值是所有类的真正值的总和。
模型的假正值是所有类的假正值的总和。
模型的假负值是所有类的假负值的总和。

通过