测试不同的配置

Azure DevOps Services |Azure DevOps Server |Azure DevOps Server 2022 |Azure DevOps Server 2020

你的用户可能会在各种各样的配置上安装或运行你的应用,例如不同的操作系统、Web 浏览器和其他变体。 你会希望至少在具有这些不同配置的阶段中运行一些测试。

使用你的测试计划来决定要在哪些配置上运行哪些测试。 必须确保在运行测试时,已经为所需的配置设置了阶段。

你可以绘制要测试的组合的示意矩阵:

浏览器和操作系统配置的测试矩阵

然后,你可以:

先决条件

类别 要求
项目访问权限 项目成员.
访问权限级别 若要添加测试配置:项目级 管理测试配置, 权限设置为 “允许”。 默认情况下,此权限授予“参与者”和“项目管理员”组的成员。

有关详细信息,请参阅手动测试访问和权限

TCM 命令行工具的先决条件

类别 要求
工具 Visual Studio 2017 Professional 或更低版本。 从命令提示符和以下目录访问 TCM:
- %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
- %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE
- %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE
- 若要运行 TCM 命令,请指定 /collection/teamproject 参数,并根据需要 /login。 另请参阅下表中的必需参数和可选参数。
访问权限级别 - 对一个或多个您想访问的项目拥有有效的项目成员身份,并根据您运行的命令具备所需的权限。 有关详细信息,请参阅手动测试访问和权限
- 用于添加测试计划和测试套件以克隆或导入测试对象的相同访问级别。
参数 说明
/收集:CollectionURL 必需。 指定团队项目集合的 URI。 URI 的格式如下:
- 面向 Azure DevOps 服务:http://dev.azure.com/OrganizationName
- 面向 Azure DevOps Server:http://ServerName:Port/VirtualDirectoryName/CollectionName。 如果不使用虚拟目录,则 URI 的格式如下所示:http://ServerName:Port/CollectionName
/teamprojectproject 必需。 包含要克隆或导入自动化测试的测试对象的项目的名称。
/loginusername,[password] 可选。 指定有效 Azure DevOps 用户的名称和密码,以及有权运行命令的用户。 如果你的 Windows 凭据没有适当的权限,或者你使用的是基本身份验证,或者你未连接到域,请使用此选项。

查看配置和变量

你通常希望查看已可用于运行测试的配置。

你可以从“配置”页查看测试配置和配置变量的列表。

在项目中,从左侧导航区域选择测试计划>配置。 在这里,你将看到当前可用于你的测试计划的所有测试配置和变量。

查询编辑器的屏幕截图,查询测试计划。

选择一个配置或变量,在右侧窗口中查看有关它的更多信息。

创建配置和变量

测试配置是配置变量值的组合。 你的配置变量可以是例如操作系统、浏览器、CPU 类型、数据库。 配置可以是“Windows 8 + 32 位 CPU”或“Windows 10 + 64 位 CPU”。

首先创建配置变量。 然后组合多个变量值以创建配置。

  1. Test Plans Web 门户中打开“配置”页,选择 + 图标,然后选择“新建配置变量”

    屏幕截图显示“新建”菜单中的“新建配置变量”选项。

  2. 为变量键入一个名称(如浏览器)和描述。 选择“添加新值”,然后添加一个值。 向配置变量添加任意数量的值,然后保存它。

    屏幕截图显示向新配置变量添加值。

  3. 重复这些步骤以创建所需的任何其他配置变量。 例如,创建一个名为“操作系统”的配置变量,其中包含要在其上进行测试的每个操作系统的名称。

    屏幕截图显示为“操作系统”配置变量设置值。

  4. 选择 + 图标并选择“新建测试配置”

    屏幕截图显示“新建”菜单中的“新建测试配置”选项。

  5. 为测试配置键入一个名称,并添加你创建的配置变量。 为此配置为每个变量选择一个值。

    屏幕截图显示向新测试配置添加变量。

    确保选中“分配给新测试计划”,使此配置成为你创建的所有新测试计划的默认配置。

  6. 保存你的新测试配置。

将配置分配给测试计划和套件

你可以将配置分配给测试套件或单个测试用例。 分配给测试套件的配置适用于其中的所有测试或套件。

  1. 要将配置分配给测试套件,请在“测试计划”页中选择一个计划。 在“测试套件”区域中,选择一个测试套件并选择“更多选项”或右键单击以打开上下文菜单,然后选择“分配配置”

    屏幕截图显示“分配配置”菜单选项。

    如果向测试套件添加多个配置,测试用例会随你分配的每个配置重复。

    屏幕截图显示向测试套件分配多个配置。

  2. 如有必要,覆盖分配给测试用例的默认配置,并分配所需的配置。 选择一个或多个测试用例,打开上下文菜单,然后选择“分配配置”

    屏幕截图显示向测试用例分配配置。

  3. 搜索并选择要分配给测试用例的配置。

    屏幕截图显示为测试用例设置配置。

使用每个配置运行测试

为特定配置设置测试平台,例如使用 Windows 10 上的 Google Chrome 测试应用。

  1. 选择并运行分配了此配置的测试。

    屏幕截图显示具有特定配置且选中“为 Web 应用程序运行”选项的测试。

    运行测试时,状态栏中会显示配置提醒。

    屏幕截图显示此测试在状态栏中的配置。

跟踪每个配置的测试结果

  1. 打开测试套件的“图表”页,选择“新建”,然后选择“新建测试结果图表”

    屏幕截图显示“新建测试结果图表”菜单选项。

  2. 选择图表类型(如饼图或条形图),然后选择分组依据>配置并选择“确定”

    屏幕截图显示在“配置图表”对话框中选择“分组依据”的配置选项。

    将创建一个图表,可帮助你基于配置跟踪测试。 你可以将此图表固定到仪表板。

    屏幕截图显示包含“未运行”、“通过”和“失败”值的条形图。

如果某个测试用例出现在多个测试套件中,你可以为每个套件设置不同的配置。 同一测试用例在不同的测试套件和测试计划中可以有不同的配置设置。