测试分析

Azure DevOps Services |Azure DevOps Server 2022 - Azure DevOps Server 2019

随着时间推移跟踪测试质量并提高测试抵押品是维护正常 DevOps 管道的关键。 利用测试分析功能可以近乎实时地了解用于生成和发布的测试数据。 该功能可通过识别重复且严重影响质量的问题来帮助提高管道效率。

注意

测试分析目前仅适用于 Azure Pipelines。

阅读 术语表 以了解测试报告术语。

根据需要安装 Analytics 扩展

有关详细信息,请参阅 Analytics 市场扩展

查看生成测试分析

为了帮助团队查找并修复频繁或间歇性失败的测试,请使用 最失败的测试 报告。 生成摘要包括托管此报表的 Analytics 页。 顶级视图提供所选生成管道的测试合格率和结果摘要,以及指定时间段内的结果。 默认范围为 14 天。

查看生成中的趋势

查看版本的测试分析

对于作为发布一部分执行的测试,请从右上角 的 Analytics 链接访问测试分析。 与生成一样,摘要提供指定时间段的测试合格率和结果的聚合视图。

查看发布趋势

测试失败

打开生成或发布摘要以查看顶部失败的测试报告。 此报表提供管道中顶级失败测试以及故障详细信息的精细视图。

测试分析详细信息视图

详细视图包含两个部分:

  • 摘要:为指定时间段内在生成或发布中执行的测试提供关键定量指标。 默认视图显示 14 天的数据。

    • 通过率和结果:显示 通过百分比,以及各种结果的测试分布。

      查看通行率

    • 失败的测试:提供在指定时间段内失败的不同测试计数。 在上面的示例中,986 个测试失败源自 124 个测试。

      查看失败的测试

    • 图表视图:指定时间段内每天测试失败和平均通过率的趋势。

      查看图表

  • 结果:基于失败总数的顶级失败测试列表。 有助于识别有问题的测试,并让你深入了解结果的详细摘要。

    查看结果。

组测试失败

报表视图可通过多种不同的方式使用 选项按选项进行组织。 分组测试结果可以深入了解顶级失败测试的各个方面。 在下面的示例中,测试结果根据它们所属 的测试文件 进行分组。 它显示测试文件及其各自对测试失败总数的贡献,在指定时间段内帮助你轻松识别和确定后续步骤的优先级。 此外,对于每个测试文件,它显示导致这些失败的测试。

按测试文件分组

向下钻取到单个测试

“详细信息 ”部分确定一个或多个测试后,选择要分析的单个测试。 这提供了所选测试的向下钻取视图,其中包含各种结果的堆积图,例如在指定时间段内每天通过或失败的测试实例。 此视图可帮助你推断隐藏模式并相应地采取措施。

向下钻取进行测试

相应的网格视图列出了在该时间段内所选测试执行的所有实例。

查看所有测试实例

故障分析

若要对根本原因执行故障分析,请在向下钻取视图中选择一个或多个测试执行实例,以查看上下文中的故障详细信息。

查看失败详细信息

推断隐藏模式

查看单个执行实例的测试失败时,通常很难推断出任何模式。 在下面的示例中,测试失败在特定时间段内发生,并且知道这有助于缩小调查范围。

测试失败模式的示例。

另一个示例是显示非确定性行为的测试 (通常称为 ) 的浮点测试 。 查看单个测试执行实例可能不会提供对行为的任何有意义的见解。 但是,观察时间段的测试执行趋势有助于推断隐藏模式,并帮助解决故障。

报表信息源

测试分析的信息源是生成或发布管道 的已发布测试结果 集。 这些结果在一段时间内累积,形成测试分析提供的丰富见解的基础。

帮助和支持