如何:将自动测试与测试用例关联
创建一个手动测试用例即可开始测试周期,但您稍后确定该用例更适合自动测试。 您可能希望将该测试作为测试计划的一部分继续运行。 或者,您可能已有一个手动测试用例,用于在运行测试时创建操作录制。 现在,您已从该操作录制创建了一个编码的 UI 测试,而且您希望将此编码的 UI 测试与原始测试用例相关联并作为自动测试来运行。 有关操作录制和编码的 UI 测试的更多信息,请参见录制和播放手动测试和使用自动编码的 UI 测试来测试用户界面。
使用 Visual Studio 可将自动测试与测试用例相关联。 创建自动测试后,必须签入包含自动测试的测试项目并确保该测试项目是生成定义的一部分。 然后,将自动测试与一个测试用例相关联,该测试用例应已添加到使用此生成的测试计划中。 有关签入测试项目和团队项目生成的更多信息,请参见How to: Add a Project or Solution to Version Control和生成应用程序。
要求
- Visual Studio 旗舰版, Visual Studio 高级专业版, Visual Studio 专业测试工具版
重要
如果不使用 Team Foundation Build 生成应用程序和测试,那么您仍然可以使用 Microsoft 测试管理器运行自动测试。必须创建一个生成定义,该生成定义仅有一个共享位置,您的测试用程序集就位于这里。
同样,您可能已经创建了一组自动测试,您希望使用 Microsoft 测试管理器将其作为测试计划的一部分来运行。 您可以从程序集导入这些自动测试,并使用 Microsoft 测试管理器的命令行工具创建与每个测试关联的测试用例。 有关如何导入自动测试的更多信息,请参见如何:使用 tcm.exe 从自动测试程序集创建测试用例。
只能使用 Visual Studio 将自动测试与测试用例相关联。 不能使用 Microsoft 测试管理器建立此关联。 如果您具有要使用的现有测试用例,则必须首先使用 Visual Studio 打开该测试用例,如下图所示。
然后,将测试方法与测试用例相关联,如下图所示。
备注
您可以从 Microsoft 测试管理器查看信息,但不能修改这些信息。
下表显示了可以创建的自动测试的类型以及哪些类型的测试可作为测试计划的一部分运行:
测试类型 |
说明 |
通过将测试方法与测试用例关联来从测试计划运行 |
---|---|---|
编码的 UI 测试 |
通过执行 UI 操作测试用户界面。 |
是 |
单元测试 |
测试方法级别的代码。 |
是 |
负载测试 |
使用单元测试、Web 性能测试或编码 UI 测试来测试应用程序性能和压力。 |
不建议使用,因为在运行测试时无法查看测试。 |
Web 性能测试 |
用做负载测试的一部分,通过发送和接收 http 请求来测试 Web 应用程序的服务器响应。
说明
这些测试不能用来测试 UI。
|
不建议使用,因为 Web 性能测试主要与负载测试一起使用。 |
一般测试 |
针对被测试应用程序使用 API 调用或命令行工具的测试功能。 |
是 |
使用以下过程可以将自动测试与一个测试用例相关联,之后该测试用例可作为测试计划的一部分来运行:
向现有测试用例添加自动测试
设置测试计划以使用您的生成
创建运行测试所需的测试设置和环境
使用 Microsoft 测试管理器运行自动测试
查看和更新测试结果
向测试用例添加自动测试
与测试用例关联的任何自动测试不使用测试用例中的参数。 使用这些参数的测试用例的迭代仅用于手动测试。
向测试用例添加自动测试
若要打开包含自动测试,选择 *** 文件 *** 的解决方案和指向 打开 然后选择 *** 项/解决方案 ***。
将显示**“打开项目”**对话框。
选择解决方案,然后选择 打开。
备注
必须打开解决方案才能将自动测试与测试用例相关联。
如果您知道测试用例的工作项,请在 团队资源管理器,在 *** 团队 *** 菜单中,选择 *** 转到工作项 ***。
在**“转到工作项”对话框的“ID”**框中,键入测试用例的 ID 号。
选择 *** 好 *** 打开工作项。
提示
如果您不知道ID.,可以在 *** 查询 *** 节点也可以选择在团队资源管理器中 工作项 并使用一个预先存在的查询查找工作项有关如何在团队资源管理器中使用查询的更多信息,请参见查找 Bug、任务和其他工作项。
若要添加自动测试,选择 *** 关联的自动化 *** 选项。
若要查找自动测试名称,请选择省略号 *** (…) ***。
*** 选择测试 *** 显示对话框。 解决方案中的所有测试及其关联的测试项目都将显示在列表中。
备注
如果测试用例已与一个自动测试关联,则必须先移除此关联,然后才能添加其他自动测试。选择 *** 移除关联 *** 可移除现有自动测试。
选择测试,然后选择 *** 好 ***。
备注
“自动化状态”中的值会自动改为“自动”。
若要保存更改为测试用例,请选择 *** 保存工作项 ***。
该过程的下一部分是设置测试计划以使用您的生成。
设置测试计划以使用您的团队项目生成
若要将测试计划设置为运行已创建的自动测试,必须选择用于生成该自动测试的正确生成定义,或者选择具有现有自动测试程序集的正确生成放置位置的生成定义。 必须这样做才能在生成定义的共享位置找到该自动测试并随后从 Microsoft 测试管理器运行该测试。
重要
如果有多个生成配置,则将从生成放置文件夹的根目录以递归方式来搜索用于运行自动测试的测试程序集。如果在运行自动测试时选择了哪些程序集非常重要,则应使用“使用选项运行”指定生成配置。有关如何执行此操作的更多信息,请参见如何:重写测试计划中适用于测试运行的设置。
设置测试计划以使用您的团队项目生成
打开 Microsoft 测试管理器。
备注
若要显示 Microsoft 测试管理器 窗口中,选择 *** 启动 ***,然后选择 *** 所有程序 ***。指向 *** Microsoft *** Visual Studio 2012 然后选择 *** Microsoft测试管理器 ***。
若要选择测试计划,选择在中心组切换器上的下箭头然后选择 *** 测试中心 ***。
在中心组菜单栏上,选择 *** 计划 ***。
若要设置测试计划以运行自动测试,选择 属性 在 ***** 生成的筛选器 *****右侧然后选择下拉箭头。
此时将显示一个对话框,其中包含生成定义和生成质量。
若要选择用于生成自动测试的测试的生成定义,选择 *** 生成定义 ***。
可以为每个生成指定一个特定值以反映该生成的质量。 若要选择要查看"生成的质量,选择 *** 生成质量 ***。
备注
有关生成定义和生成质量的更多信息,请参见生成应用程序。
若要保存更改,请选择 *** 设置生成筛选器 ***。
若要选择最新生成使用与包含自动测试的最新更改的测试计划,必须首先选择 *** 保存 *** 保存计划然后选择 *** 修改 ***。
此时将显示**“分配生成”**活动。 您可以比较当前生成与计划采用的生成。 关联项列表会显示这两个生成之间的工作项更改。 然后,可以指派要采用并用于测试此计划的最新生成。 有关如何选择生成的更多信息,请参见确定哪些生成已实现 Bug 修复、新功能或要求。
若要结束 *** 指派生成 *** 活动并返回到测试计划属性,请选择 关闭 图标。
若要保存对此的这些更改测试计划,请在工具栏的 *** 保存 ***。
创建运行测试所需的测试设置和环境
若要运行自动测试,必须使用标准或SCVMM环境。 无法运行自动测试使用 Microsoft 测试管理器 没有实验室环境。
必须创建在测试设置中包含角色的环境,然后将此环境用在测试计划中。 有关如何创建环境、角色和测试设置的更多信息,请参见设置测试计算机以运行测试或收集数据。
备注
如果要运行的自动测试将与桌面交互,必须将代理设置为作为进程而非服务运行。有关更多信息,请参见如何:设置测试代理以运行与桌面交互的测试。
创建运行测试所需的测试设置和环境
若要创建标准环境,请按照以下主题中的步骤操作: 创建标准环境。
如果使用 Visual Studio 实验室管理工具版,可以创建SCVMM环境。 若要创建SCVMM环境,请按照以下主题中的步骤操作: 使用存储的虚拟机和模板创建 SCVMM 环境。
若要创建测试设置,请按照以下主题中的步骤操作:使用 Microsoft 测试管理器为自动系统测试创建测试设置。
使用 Microsoft 测试管理器运行自动测试
使用 Microsoft 测试管理器运行自动测试
打开 Microsoft 测试管理器。
备注
若要显示 Microsoft 测试管理器 窗口中,选择 *** 启动 ***,然后选择 *** 所有程序 ***。指向 *** Microsoft *** Visual Studio 2012 然后选择 *** Microsoft测试管理器 ***。
若要运行自动测试,请在中心组切换器上的下箭头然后选择 *** 测试中心 ***。
在中心组菜单栏上,选择 测试。
(可选)若要重写生成,测试设置或环境用于运行自动测试的测试使用您在中选择测试计划,右击测试然后选择 *** 运行带有选项 ***。 例如,如果您希望在临时环境而不是标准测试环境中运行,则可以选择其他环境。 从 *** 运行选项 *** 对话框,可以更改这些设置,然后选择 运行 运行所选测试。
备注
如果选择其他环境,则该环境必须包含在所用测试设置中选定的角色。
若要运行自动测试不更改任何选项,右击测试然后选择 运行。
此时将显示**“分析测试运行”**活动。 它显示包含此测试的测试运行进度。
备注
可通过选择多个测试来运行多个自动测试,也可以选择运行整个测试套件。若要运行测试套件,请右击该测试套件然后选择 运行。
查看和更新测试结果
查看和更新测试结果
打开 Microsoft 测试管理器。
备注
若要显示 Microsoft 测试管理器 窗口中,选择 *** 启动 ***,然后选择 *** 所有程序 ***。指向 *** Microsoft *** Visual Studio 2012 然后选择 *** Microsoft测试管理器 ***。
若要查看测试结果,请选择在中心组切换器上的下箭头然后选择 *** 测试中心 ***。
在中心组菜单栏上,选择 测试 然后选择 *** 分析测试运行 ***。
此时将显示**“分析测试运行”**活动。 它显示此测试计划的所有测试运行。
双击某个测试运行将其打开并查看详细信息。
此时将显示该测试运行的详细信息。
(可选)若要更新测试运行的标题,使其更能体现其意义,请在**“标题”**中键入新名称。
(可选)如果测试未通过,可以更新未通过的原因。 选择 *** 解析 *** 并为该失败选择的根源从列表。
(可选)若要向测试结果添加注释,请选择注释图标。 键入注释然后选择 *** 保存注释 ***。
(可选)若要查看单个测试的详细信息,请双击该测试。
此时将显示测试结果。 其中包含测试运行的详细信息、为此测试结果收集的数据附件以及该测试的测试结果历史记录。 您可以关闭此视图以返回到测试运行。
备注
经过分析,如果您确定存在 Bug,则可以从此视图创建 Bug。
若要保存对此的这些更改测试运行,在工具栏上选择 *** 保存 ***。