使用不同的数据重复执行测试

  • 项目

Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019

将参数添加到 手动测试 ，以使用不同的测试数据重复测试。 例如，可以测试将不同数量从 1、5、10 或 200 数量添加到购物车。

在手动测试用例的测试步骤中插入参数。 然后，提供参数值的表。 可以将共享参数添加到测试用例或转换最近插入到共享参数中的参数。 共享步骤和共享参数是可以跨多个测试用例共享的不同工作项类型。 它们通过 测试用例共享的步骤 和 引用的引用 链接类型链接到测试用例，如下图所示。

关系图显示了连接到测试用例的共享步骤，该测试用例也连接到共享参数。

使用共享步骤和共享参数，可以使用相同的数据运行多个测试用例。

先决条件

必须具有以下权限和访问级别：

  • 基本 访问权限或更高权限，以及查看相应区域路径下的工作项的权限。 有关详细信息，请参阅将用户添加到项目或团队。
  • 基本 + 测试计划 访问级别，用于添加测试计划和测试套件、删除测试项目并定义测试配置。 或者，具有以下 Visual Studio 订阅之一：
  • 必须具有以下权限：添加或编辑与测试相关的项目，
    • 编辑此节点 权限集中的工作项设置为 “允许 在相应的 区域路径”下添加或修改测试计划、测试套件、测试用例或其他基于测试的工作项类型。
    • 管理在相应的区域路径下设置为“允许”的测试计划权限，以修改测试计划属性，例如生成和测试设置。
    • 在相应的区域路径下管理测试套件权限集，以创建和删除测试套件、添加和删除测试用例、更改与测试套件关联的测试配置，以及修改测试套件层次结构（移动测试套件）。

有关详细信息，请参阅 手动测试访问权限和权限。

将参数添加到测试用例

执行以下步骤，将参数添加到测试。

  1. 通过在操作和测试步骤的预期结果中键入名称前面有“@”，创建参数。

    屏幕截图显示如何输入参数名称和值。

  2. 在步骤列表下，添加参数值的组合。 可能需要向下滚动才能看到它们。

  1. 通过在操作和测试步骤的预期结果中键入名称前面有“@”，创建参数。

    屏幕截图显示了如何创建参数。

  2. 在步骤列表下，添加参数值的组合。 可能需要向下滚动才能看到它们。

在测试用例之间共享参数

执行以下步骤将现有参数转换为共享参数，以便可以在其他测试用例中使用它们和相关数据。

  1. 在打开的测试用例中，选择“ 转换为共享参数”。

    显示将现有参数转换为共享参数的屏幕截图。

  2. 创建共享参数集后，打开另一个测试用例，并将共享参数集添加到该测试用例。

    显示将共享参数集添加到测试用例的屏幕截图。

    可以按名称搜索共享参数集。

    添加共享参数集后会显示在 “参数值 ”部分中。 现在可以在测试用例步骤中使用这些参数。

  3. 如果测试用例对这些共享参数具有不同的参数名称，请将共享参数映射到本地参数以使用共享参数数据。

    屏幕截图显示将共享参数映射到本地参数。

    正确映射时，将显示与共享参数关联的数据。

  4. 在 “参数 ”页中添加、编辑和重命名共享参数集。 在“测试用例”窗格中查看引用它们的 测试用例 。

    屏幕截图显示用于添加、编辑、查看和重命名共享参数的选项。

  5. 每个共享参数集都是一个工作项。 打开“ 属性” 页以查看或更改此工作项。 例如，可以分配所有者并跟踪更改。

不能将多个共享参数集添加到单个测试用例。 如果两个测试用例共享类似的数据，则可以考虑创建一个共享参数集，其中包含所有参数，即使集中的一些列在每个测试用例中仍然未使用。 例如，一个测试用例需要客户 ID、名称、电子邮件和电话，第二个测试用例需要客户 ID、名称和地址。

可以将参数值从 Excel 电子表格导入到共享参数集。 将值粘贴到共享参数网格中。 还可以将数据从网格复制回 Excel。

  1. 将现有参数转换为共享参数，以便可以在其他测试用例中使用它们和相关数据。

    显示将现有参数转换为共享参数的屏幕截图。

  2. 创建共享参数集后，打开另一个测试用例，并将共享参数集添加到该测试用例。 可以按名称搜索共享参数集。

    显示将共享参数集添加到测试用例的屏幕截图。

    添加共享参数集后会显示在 “参数值 ”部分中。 现在可以在测试用例步骤中使用这些参数。

  3. 如果测试用例对这些共享参数具有不同的参数名称，请将共享参数映射到本地参数以使用共享参数数据。

    屏幕截图显示将共享参数映射到本地参数。

    正确映射时，将显示与共享参数关联的数据。

  4. 在 “参数 ”页中添加、编辑和重命名共享参数集。 在“测试用例”窗格中查看引用它们的 测试用例 。

    添加、编辑、查看和重命名共享参数

  5. 每个共享参数集都是一个工作项。 打开“ 属性” 页以查看或更改此工作项。 例如，可以分配所有者并跟踪更改。

不能将多个共享参数集添加到单个测试用例。 如果两个测试用例共享类似的数据，则可以考虑创建一个包含所有参数的共享参数集，即使集中的几个列在每个测试用例中仍然未使用。 例如，一个测试用例需要客户 ID、名称、电子邮件和电话，第二个测试用例需要客户 ID、名称和地址。

可以将参数值从 Excel 电子表格导入到共享参数集。 将值粘贴到共享参数网格中。 还可以将数据从网格复制回 Excel。

使用参数运行测试用例

执行以下步骤以运行使用参数的测试用例。

  1. 选择包含参数的测试用例并开始运行它。 测试运行程序显示参数值的第一行。

    屏幕截图显示测试运行程序，其中显示了参数值的第一行。

  2. 完成这些步骤后，将测试标记为已通过或失败。 转到测试的下一次迭代，该迭代使用下一行参数值。

    屏幕截图显示继续执行下一次测试迭代。

  3. 使用菜单导航到其他迭代。

    屏幕截图显示导航到其他迭代。

  4. 如果任何参数值不正确，请通过从步骤的快捷菜单中选择“ 编辑” 来修复它们，而无需取消测试。

  1. 选择包含参数的测试用例并开始运行它。 测试运行程序显示参数值的第一行。

    屏幕截图显示了测试运行程序和参数值的第一行。

  2. 完成这些步骤后，将测试标记为已通过或失败。 然后转到测试的下一次迭代，该迭代使用下一行参数值。

    屏幕截图显示继续执行下一次测试迭代。

  3. 使用下拉列表导航到其他迭代。

    屏幕截图显示导航到其他迭代。

  4. 如果任何参数值不正确，请通过从快捷菜单中选择“ 编辑” 来修复它们，而无需取消测试。

查看测试结果

测试结果基于所有迭代结果的优先层次结构。 层次结构顺序为 Paused、Failed、Blocked、Passed、Not Applicable 和 Unspecified（活动）。 例如，如果将任何迭代 标记为失败 ，其余所有迭代都标记为 已通过，则整个测试的结果显示为 失败。 此结果不同于没有参数的测试用例，其中结果显示上次运行的状态。

若要查看测试结果，请从 “执行 ”选项卡中选择一个测试点。 选择“ 更多选项 ”或右键单击以打开上下文菜单。 选择“ 查看测试结果”。

屏幕截图显示从上下文菜单中选择“查看测试结果”选项。

可以在“测试结果”对话框中查看结果。

屏幕截图显示了测试点的测试结果。

测试结果基于所有迭代结果的优先层次结构。 层次结构顺序为 Paused、Failed、Blocked、Passed、Not Applicable 和 Unspecified（活动）。 例如，如果将任何迭代 标记为失败 ，其余所有迭代都标记为 已通过，则整个测试的结果显示为 失败。 此结果不同于没有参数的测试用例，其中结果显示上次运行的状态。

  1. 打开详细信息窗格检查测试结果。

    屏幕截图显示检查详细信息窗格中的测试结果。

  2. 双击测试结果以查看测试运行详细信息，以及每次迭代的测试结果。

    显示查看测试运行详细信息的屏幕截图。

使用记录和播放加快测试迭代速度

处理长表参数组合可能容易出错且繁琐。 若要加快速度，请在使用第一组参数值运行测试时创建一个操作记录，然后为其他集播放它。

  1. 使用 Azure 测试计划 运行测试。

  2. 选择“开始”之前选择“创建操作录制”。

  3. 完成第一个测试迭代，然后转到下一个测试迭代。

  4. 将每个步骤标记为已传递或失败，正如你工作的那样。 输入应用程序中的参数值与测试脚本中显示的完全相同。

  5. 选择“播放”以使用下一组参数值运行测试。 你的操作会自动播放，但你仍必须验证结果。

    录制和播放不适用于所有应用程序。 有关详细信息，请参阅 编码的 UI 测试和操作录制支持的配置和平台。