Excel 格式的“测试缺口”报表 (Agile)

负责测试软件的团队可以使用“测试缺口”报告来帮助确定其测试计划、测试配置和测试覆盖率中存在的缺陷。 “测试缺口”报告基于测试结果和已为团队项目定义和运行的生成提供以下五个报告。

  • “用户情景状态”:帮助团队确定每个用户情景的测试覆盖率方面的差距。 此报告要求团队成员将测试用例链接到用户情景。

  • “用户情景状态(按配置)”:帮助团队确定针对每个用户情景的每个测试配置的测试覆盖率方面的差距。 此报告要求团队成员将测试用例链接到用户情景。

  • “测试状态(按区域)”:帮助团队确定产品区域的测试覆盖率方面的差距。 此报告要求团队成员将测试用例分配给产品区域。

  • “未执行的测试”:帮助团队标识从未针对每个测试配置运行的测试用例。

  • “代码覆盖率”:帮助团队确定哪些生成和生成程序集具有高或低的代码覆盖率。

只有当团队使用 Microsoft 测试管理器 创建测试计划并开始运行测试时,前四个报告才可用。 有关如何定义测试套件和测试计划的信息,请参见使用 Team Web Access 计划手动测试

备注

在 团队资源管理器 中,可以从团队项目的“Excel 报表”文件夹下的“测试团队管理”文件夹访问“测试缺口”报告。仅当团队项目门户网站已启用且配置为使用 SharePoint 产品时,才可以访问此文件夹。有关详细信息,请参阅使用项目门户网站共享信息

要求

若要查看报告,你必须被分配到某个组或属于某个组,而该组已获得团队项目的 SharePoint 产品 中的“读取”权限。

若要修改或自定义报告,你必须是 SQL Server Analysis Services 中“TfsWarehouseDataReaders”安全角色的成员。 你还必须被分配到或属于某个组,该组已获得团队项目的 SharePoint 产品 中的“成员”权限。 有关详细信息,请参阅授予对 Visual Studio ALM 数据仓库的数据库的访问权限

报表中的数据

“测试缺口”报告显示为团队项目定义的测试计划、测试配置和测试用例的测试结果累计计数。 所有报告都基于访问数据仓库中所存储数据的数据透视表。

用户情景的测试覆盖率

“用户情景状态”报告指示每个用户情景通过或未通过的测试数。 它提供了一个水平条形图,该图显示团队为每个用户情景定义的每个测试用例与测试配置的组合的结果数。 此报告表示为链接到用户情景的所有测试用例运行的测试的累计结果。 此报告显示按以下结果筛选的结果:“已通过”(绿色)、“未通过”(红色)、“从不运行”(蓝色)或“已阻止”(黄色)。

Excel 格式的“用户情景测试状态”报表

“用户情景状态(按配置)”报告显示每个用户情景按测试配置分组的测试结果。

下表描述了在生成报告(该报告关注用户情景测试覆盖率)的数据透视表中所用的报表筛选器和字段。

筛选器

字段

  • 团队项目 - 团队项目层次结构:包括为所选团队项目收集的测试结果。

  • “测试结果 - 迭代层次结构”:包括运行指派给所选迭代的测试用例后得出的测试结果。

  • “测试结果 - 区域层次结构”:包括运行指派给所选迭代的测试用例后得出的测试结果。

  • 测试计划 - 测试计划名称:包括运行所选测试计划中的测试用例后得出的测试结果。

  • “链接的工作项 - 链接的工作项。工作项类型”:包括运行链接到所选工作项类型的测试用例后得出的测试结果。 报告仅当链接到用户情景时才对测试用例的测试结果计数。

特定于“用户情景状态(按配置)”报告的筛选器

  • 测试套件 - 测试套件层次结构:包括运行所选测试套件中的测试用例后得出的测试结果。

  • 测试结果 - 结果:测试的结果。 该报表使用此字段来定义列标签以及筛选测试结果以包括“已通过”、“未通过”、“已阻止”或“从不运行”。

  • “(度量值)测试 - 点计数趋势”:对特定生成中的每个结果的最新版本进行计数。 如果某个测试针对一个生成运行了多次,则“点计数趋势”会为使用该生成的该测试计算最新结果。

  • “工作项链接 - 标题”:链接到测试用例的工作项的标题。 在此报告中,已列出用户情景的标题。

  • 特定于“用户情景状态(按配置)”报告的字段

    • “测试配置 - 配置名称”:要在报告中列出的测试配置的名称。

测试覆盖率(按产品区域)

“测试状态(按区域)”报告指示按产品区域的团队项目通过或未通过的测试用例数。 下表描述了在生成“测试状态(按区域)”报告的数据透视表中所用的报告筛选器和字段。

筛选器

字段

  • “团队项目 - 团队项目层次结构”:包括为所选团队项目收集的测试结果。

  • “测试结果 - 迭代层次结构”:包括运行指派给所选迭代的测试用例后得出的测试结果。

  • 测试计划 - 测试计划名称:包括运行所选测试计划中的测试用例后得出的测试结果。

  • 测试结果 - 结果:测试的结果。 该报表使用此字段来定义列标签以及筛选测试结果以包括“已通过”、“未通过”、“已阻止”或“从不运行”。

  • “(度量值)测试 - 点计数趋势”:对特定生成中的每个结果的最新版本进行计数。 如果某个测试针对一个生成运行了多次,则“点计数趋势”会为使用该生成的该测试计算最新结果。

  • “测试结果 - 区域层次结构”:要包括在报表中的测试结果集,基于指派给已运行的测试用例的区域路径。

从未运行的测试用例

“未执行的测试”报告指示从未运行的测试用例数量。 测试用例是按测试配置和测试结果所有者分组的。 下表描述了在生成“测试状态(按区域)”报告的数据透视表中所用的报告筛选器和字段。

筛选器

字段

  • 团队项目 - 团队项目层次结构:包括为所选团队项目收集的测试结果。

  • “测试结果 - 迭代层次结构”:包括运行指派给所选迭代的测试用例后得出的测试结果。

  • “测试结果 - 区域层次结构”:包括运行指派给所选迭代的测试用例后得出的测试结果。

  • 测试计划 - 测试计划名称:包括运行所选测试计划中的测试用例后得出的测试结果。

  • 测试套件 - 测试套件层次结构:包括运行所选测试套件中的测试用例后得出的测试结果。

  • “测试结果 - 结果”:包括具有所选结果的测试结果。 报告使用此字段筛选测试用例计数,以便只包含结果为“从不运行”的测试结果。

  • “(度量值)测试 - 点计数趋势”:对特定生成中的每个结果的最新版本进行计数。 如果生成中不包含某个测试用例,则将该用例作为“从不运行”计数。

  • “测试配置 - 配置名称”:要在报告中列出的测试配置的名称。

  • “测试用例 - 标题”:测试用例的标题。

  • “测试结果 - 所有者”:运行测试的团队成员的姓名。

代码覆盖率

“代码覆盖率”报告列出每个生成和生成程序集已覆盖、未覆盖或仅部分覆盖的代码行。 可以使用此报告来确定哪些生成和程序集具有的最低和最高的代码覆盖率。 下表描述了在生成“代码覆盖率”报告的数据透视表中所用的报告筛选器和字段。

筛选器

字段

  • “团队项目 - 团队项目层次结构”:包括为所选团队项目定义的生成。

  • “生成 - 生成定义名称”:包括与所选生成定义关联的生成。

  • “生成覆盖率 - 覆盖的行数”:所选生成覆盖的行数。

  • “生成覆盖率 - 未覆盖的行数”:所选生成未覆盖的行数。

  • “生成覆盖率 - 部分覆盖的行数”:所选生成部分覆盖的行数。

    备注

    如果针对某生成执行多次运行,考虑到运行中所覆盖的行的重叠情况,生成覆盖率将反映这些运行的组合覆盖率。

  • “生成 - 生成名称”:生成的名称。 每次运行生成时,均为它分配一个将生成定义名称作为前缀的名称。

  • “程序集 - 程序集”:对其生成覆盖率统计信息的程序集名称。

监控测试缺口所需的活动

为了使“测试缺口”报表有用且精确,团队必须执行下表中描述的活动:

工作表报表

所需的活动

  • 用户情景状态

  • 用户情景状态(按配置)

  • 按区域列出测试状态

  • 未执行的测试

  • 定义测试用例和测试计划,并将测试用例分配给测试计划。

  • 运行测试,然后对于手动测试,将测试用例中每个验证步骤的结果标记为通过或未通过。

  • 用户情景状态

  • 用户情景状态(按配置)

  • 定义用户情景,并将测试用例链接到用户情景。 建议使用的链接类型为“测试方”。

  • 用户情景状态(按配置)

  • 未执行的测试

  • 用户情景状态

  • 用户情景状态(按配置)

  • 按区域列出测试状态

  • 未执行的测试

  • (可选)若要支持筛选,请将“迭代”“区域”路径分配给每个测试用例。 “测试结果 - 迭代层次结构”“测试结果 - 区域层次结构”字段从给它们的相应测试用例分配的“迭代”“区域”路径获得它们的值。

  • 用户情景状态

  • 用户情景状态(按配置)

  • 按区域列出测试状态

  • 未执行的测试

  • 代码覆盖率

  • 配置测试,使其收集代码覆盖率数据。 为使代码覆盖率数据显示在报告中,团队成员必须对测试进行检测以收集相关数据。

更新和自定义报告

可以通过在 Office Excel 中打开“测试缺口”报告并更改某个工作表的数据透视表的筛选器选项,从而更新“测试缺口”报告。 您可以自定义各报表以支持其他视图,如下表所述。

Worksheet

视图

操作

  • 用户情景状态

  • 用户情景状态(按配置)

  • 按区域列出测试状态

  • 未执行的测试

迭代的测试缺口

更改 Iteration 的筛选器(默认值=全部)

  • 用户情景状态

  • 用户情景状态(按配置)

  • 按区域列出测试状态

  • 未执行的测试

产品区域的测试缺口

更改 Area 的筛选器(默认值=全部)

  • 用户情景状态

  • 用户情景状态(按配置)

  • 按区域列出测试状态

  • 未执行的测试

特定测试计划或测试计划集的测试缺口

更改 Test Plan 的筛选器(默认值=全部)

  • 用户情景状态(按配置)

  • 未执行的测试

特定测试套件的测试缺口

更改 Test Suite Hierarchy 的筛选器(默认值=全部)

  • 代码覆盖率

特定生成定义或生成定义集的代码覆盖率

更改 Build Definition Name 的筛选器(默认值=全部)

  • 用户情景状态

  • 用户情景状态(按配置)

  • 按区域列出测试状态

  • 未执行的测试

  • 代码覆盖率

测试缺口或代码覆盖率包括来自最近六周、八周或更多周的数据

在“列数据透视表字段列表”中,添加 Date - Sets 字段,并指定 @@Last 6 weeks@@ 或其他集

有关如何使用和自定义数据透视表和数据透视图报表的更多信息,请参见 Microsoft 网站上的以下页面:

请参见

概念

“测试结果”表

其他资源

Excel 报表