测试不同的配置

  • 项目

Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019

你的用户可能会在各种配置（如不同的操作系统、Web 浏览器和其他变体）上安装或运行应用。 你需要在具有这些不同配置的阶段至少运行一些测试。

使用测试计划确定要在哪些配置上运行的测试。 必须确保运行测试时，为所需的配置设置阶段。

可以绘制要测试的组合的示意图矩阵：

浏览器和操作系统配置的测试矩阵

然后，你可以：

先决条件

  • 你必须连接到项目。 如果没有项目，请创建一个项目。
  • 必须添加到项目中。 若要添加到项目，请将用户添加到项目或团队。
  • 若要查看或添加测试配置，必须具有 基本 访问权限或更高版本。
  • 若要添加测试配置，必须将项目级 管理测试配置 权限设置为 “允许”。 默认情况下，此权限授予参与者和 Project 管理员istrator 组的成员。

若要了解详细信息，请参阅 手动测试访问权限和权限。

使用 TCM 命令行工具

若要使用 TCM 命令行工具，必须具备以下各项：

  • 已安装 Visual Studio 2017 Professional 或更低版本。 从命令提示符和以下目录访问 TCM：

    • %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
    • %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE
    • %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE

  • 若要运行 TCM 命令，请根据需要指定 /collection 和 /teamproject 参数 /login 。

    参数 说明
    /收集:CollectionURL 必需。 指定团队项目集合的 URI。 URI 的格式如下所示：
    - 对于 Azure DevOps Services： http://dev.azure.com/OrganizationName
    - 对于 Azure DevOps Server： http://ServerName:Port/VirtualDirectoryName/CollectionName。 如果未使用虚拟目录，则 URI 的格式如下所示：http://ServerName:Port/CollectionName
    /teamproject：project 必需。 包含要克隆或导入自动测试的测试对象的项目的名称。
    /login：username,[password] 可选。 指定有效的 Azure DevOps 用户的名称和密码，以及谁有权运行命令。 如果你的 Windows 凭据没有适当的权限，或者你使用的是基本身份验证，或者你未连接到域，请使用此选项。

  • 必须是要访问的一个或多个项目的有效成员，并且具有基于所运行的命令所需的权限。 有关详细信息，请参阅 手动测试访问权限和权限。

  • 必须具有相同的访问级别才能添加测试计划和测试套件以克隆或导入测试对象。

查看配置和变量

你通常希望看到已可用于运行测试的配置。

可以从“配置”页查看测试配置和配置变量的列表。

在项目中，从左侧导航区域选择“测试计划>配置”。 在这里，你将看到测试计划当前可用的所有测试配置和变量。

查询编辑器查询测试计划的屏幕截图。

选择配置或变量，在右侧的窗口中查看有关它的详细信息。

创建配置和变量

测试配置是配置变量值的组合。 配置变量可以是操作系统、浏览器、CPU 类型、数据库。 配置可能是“Windows 8 + 32 位 CPU”或“Windows 10 + 64 位 CPU”。

首先创建配置变量。 然后合并多个变量值来创建配置。

  1. 在“测试计划”Web 门户中打开“配置”页，选择+图标，然后选择“新建配置变量”。

    屏幕截图显示了“新建”菜单中的“新建配置变量”选项。

  2. 键入变量的名称，例如 Browser 和说明。 选择“ 添加新值”，然后添加值。 根据需要向配置变量添加任意数量的值，然后将其保存。

    屏幕截图显示向新配置变量添加值。

  3. 重复这些步骤以创建所需的任何其他配置变量。 例如，创建一个名为 操作系统 的配置变量，其中包含要测试的每个操作系统的名称。

    屏幕截图显示设置操作系统配置变量的值。

  4. 选择 + 图标，然后选择“ 新建测试配置”。

    屏幕截图显示了“新建”菜单中的“新建测试配置”选项。

  5. 键入测试配置的名称，并添加创建的配置变量。 为此配置为每个变量选择一个值。

    屏幕截图显示将变量添加到新的测试配置。

    请确保检查分配到新的测试计划，使此配置成为你创建的所有新测试计划的默认配置。

  6. 保存新的测试配置。

测试配置是配置变量值的组合。 配置变量可以是操作系统、浏览器、CPU 类型、数据库。 配置可能是“Windows 8 + 32 位 CPU”或“Windows 10 + 64 位 CPU”。

必须先创建配置变量。 然后合并多个变量值来创建配置。

  1. 在“测试计划”Web 门户中打开“配置”页，选择new图标，然后选择“新建配置变量”。

    添加新配置变量

  2. 键入变量的名称，例如 Browser，并键入值。 根据需要向配置变量添加任意数量的值，然后将其保存。

    设置新配置变量的值

  3. 重复这些步骤以创建所需的任何其他配置变量。 例如，创建一个名为 操作系统 的配置变量，其中包含要测试的每个操作系统的名称。

    设置操作系统配置变量的值

  4. 选择 new 图标，然后选择“ 新建测试配置”。

    添加新的测试配置

  5. 键入测试配置的名称，并添加创建的配置变量。 为此配置为每个变量选择一个值。

    将变量添加到新的测试配置

    确保检查分配到新的测试计划，使此配置成为你创建的所有新测试计划的默认配置。

  6. 保存新的测试配置。

为测试计划和套件分配配置

可以将配置分配给测试套件或单个测试用例。 分配给测试套件的配置适用于其中的所有测试或套件。

  1. 若要将配置分配给测试套件，请在 “测试计划 ”页中选择一个计划。 在“测试套件”区域中，选择测试套件，然后选择“更多选项”或右键单击以打开上下文菜单，然后选择“分配配置”。

    屏幕截图显示了“分配配置”菜单选项。

    如果将多个配置添加到测试套件，测试用例将重复你分配的每个配置。

    屏幕截图显示了对测试套件的多个配置分配。

  2. 如有必要，请重写分配给测试用例的默认配置，并分配所需的配置。 选择一个或多个测试用例，打开上下文菜单，然后选择“ 分配配置”。

    屏幕截图显示分配分配给测试用例的配置。

  3. 搜索并选择要分配给测试用例的配置。

    屏幕截图显示了测试用例的设置配置。

可以将配置分配给测试计划、测试套件或单个测试用例。 分配给测试计划或测试套件的配置适用于其中的所有测试或套件。

  1. 若要将配置分配给测试计划，请在 “测试计划 ”页中打开计划的快捷菜单，然后选择“ 分配配置以测试计划”。

    将配置分配给测试计划

  2. 若要将配置分配给测试套件，请打开套件的快捷菜单，然后选择“ 将配置分配给测试套件”。

    将配置分配给测试套件

    如果将多个配置添加到测试计划或套件，测试用例会在计划或套件中重复，其中包含已分配的每个配置。

    向测试套件分配多个配置

  3. 如有必要，请重写分配给测试用例的默认配置，并分配所需的配置。 选择一个或多个测试用例，打开快捷菜单，然后选择“ 分配配置”。

    重写分配给测试用例的默认配置

  4. 搜索并选择要分配给这些测试用例的配置。

    设置测试用例所需的配置

使用每个配置运行测试

为特定配置设置测试平台，例如在 Windows 10 上使用 Google Chrome 测试应用。

  1. 选择并运行分配了此配置的测试。

    屏幕截图显示了一个测试，其中选择了特定配置和“运行 Web 应用程序”选项。

    运行测试时，状态栏中会显示配置提醒。

    屏幕截图显示了状态栏中此测试的配置。

  1. 为特定配置设置测试平台，例如在 Windows 10 上使用 Google Chrome 测试应用。

  2. 选择并运行分配了此配置的测试。

    使用分配的配置运行测试

    运行测试时，提醒你在测试运行程序窗口的状态栏中显示所需的配置。

    所需的配置将显示在“测试运行程序”窗口中

跟踪每个配置的测试结果

  1. 打开测试套件的“图表”页，选择“新建”，然后选择“新建”测试结果图表。

    屏幕截图显示了“新建测试结果图表”菜单选项。

  2. 选择图表类型，如饼图或条形图，然后选择“按>配置分组”，然后选择“确定”。

    屏幕截图显示了在“配置图表”对话框中为组选择配置选项。

    创建了一个图表，可帮助你根据配置跟踪测试。 可以将此图表固定到仪表板。

    屏幕截图显示了一个条形图，其中包含“未运行”、“已传递”和“失败”的值。

如果测试用例显示在多个测试套件中，则可以为每个套件设置不同的配置。 同一测试用例可以在不同的测试套件和测试计划中具有不同的配置设置。

  1. 打开测试计划或测试套件的 “图表 ”页，选择“ 新建”，然后选择“ 新建”测试结果图表。

    创建新的测试结果图表

  2. 选择所需的图表类型，在“分组依据”列表中选择“配置”，然后选择“确定”。

    选择所需的图表类型

    创建了一个图表，可帮助你根据配置跟踪测试。 可以将此图表固定到仪表板。

    配置测试结果图表

如果测试用例显示在多个测试计划和测试套件中，则可以为每个测试计划设置不同的配置。 同一测试用例可以在不同的测试套件和测试计划中具有不同的配置设置。