管理新测试工作量
在 Microsoft 测试管理器 可以使用 测试中心 的帮助您基于测试方法规划测试工作量,。Microsoft 测试管理器 允许您使用创建与团队项目关联的测试计划。在测试计划中,可以定义计划为特定迭代运行哪些测试。此外,还可以创建测试配置来指定要用于运行测试的测试设置。通过定义要运行的测试与测试配置的对应关系,现在可以在开始运行测试时立即使用测试计划来度量进度。
要求
- Visual Studio 旗舰版, Visual Studio 高级专业版, Visual Studio 专业测试工具版
可为同时用于手动测试和自动测试的测试计划创建测试用例。可以通过添加包含操作和预期结果的测试步骤来添加运行手动测试所需的所有信息。此外,可与其他测试共享通用测试步骤以减少维护手动测试步骤的开销。
使用 Microsoft 测试管理器运行这些手动测试时,可以将执行的操作的详细信息收集到日志中或录制下来,以便在下次进行手动测试时可以加快进度。可以捕获桌面视频,创建快照以及向测试结果添加注释。还可以在运行测试时收集其他诊断信息并将其作为测试结果的一部分进行保存。可在运行这些测试时根据需要创建 Bug,并会自动向 Bug 添加所收集的任何数据。
使用Visual Studio可以创建不同类型的自动测试。可以创建单元测试来测试代码中的各个方法,创建编码的 UI 测试来测试 UI 界面,以及创建调用 API 方法的一般测试和负载测试来检查不同压力级别下的应用程序性能。可以将自动测试与测试用例相关联,以便将这些测试作为测试计划的一部分来运行。
运行测试之后,您可以报告进度。使用测试计划构造测试方法时,可以回答下列问题:
有多少个测试已通过或未通过?
还必须为此迭代运行多少个测试?
测试何时完成?
哪些产品区域具有高测试失败率?
哪些测试配置具有高测试失败率?
谁剩的测试最多?
是否可以重新分配资源以便更好地平衡剩余测试?
基于代码更改和 Bug 修复,测试人员应使用哪个生成?
有关测试策略的更多信息,请参见及早并经常测试。
开始管理测试用例
若要测试软件,应首先规划您的测试策略,然后运行测试并提交找到的所有 Bug。然后,可以查看进度并决定是否需要重新运行测试、验证 Bug 修复、添加更多测试用例、添加测试配置或确定当前迭代的测试是否已完成。下列步骤将帮助您开始使用 Microsoft 测试管理器。
连接到团队项目
规划测试工作量
运行测试
跟踪进度
连接
必须先使用 Microsoft 测试管理器连接到 Team Foundation Server 和团队项目。此团队项目就是用于为应用程序添加要求、维护源代码以及生成要测试的应用程序的项目。还可在此团队项目中创建和管理测试项目。您的测试结果也与此团队项目相关联。在您连接到此项目后,可以在其中创建一个测试计划来规划您的测试。
下图演示了如何连接到团队项目。
说明 |
---|
仅显示您具有访问权限的团队项目。有关权限的更多信息,请参见 Team Foundation Server 权限。 |
有关更多信息,请参见如何:连接到团队项目和测试计划。
计划
必须在 Microsoft 测试管理器中使用测试计划定义测试工作量。根据您对项目的要求,该计划可以简单,也可以复杂。通过此测试计划,您可以选择要运行哪些测试并度量测试进度。
您可以在计划中指定一些测试配置来定义要用来运行测试的软件或硬件。然后,在该计划中创建测试套件层次结构。这可以是一个包含所有测试用例的测试套件,或者您可以使用测试套件层次结构提供将测试用例组织在一起的结构。此结构可以根据团队项目中的要求或用户情景进行分组。最后,可以将手动测试用例(具有操作和验证步骤)或自动测试添加到测试套件中。
下图显示了测试计划中的测试项目。
下面的主题用于帮助您规划测试工作量:
任务 |
关联主题 |
---|---|
规划有关如何计划运行测试的配置矩阵:可以创建测试配置以定义要用于运行测试的软件或硬件。可以为计划指定默认配置以及计划要运行的测试与配置的对应关系。 |
|
创建计划:必须为测试创建计划并添加要用作默认配置的测试配置。 |
|
向计划添加测试套件和测试用例:可以创建测试套件,以便将测试用例进行分组。可以根据要求或用户情景创建测试套件。还可以通过选择现有测试用例或添加新测试用例来创建测试套件。然后,可以将手动测试步骤添加到这些测试用例中。还可以将自动测试与测试用例相关联,以便可以从计划运行它们。 |
|
从另一个测试计划导入测试套件:如果另一个测试计划中需要的测试套件与现有测试计划中的相同,可以从现有测试计划导入测试套件。 |
|
指派运行测试的人员:可以将测试计划中的测试指派给您团队中的特定测试人员。默认情况下,测试将被指派给测试用例的所有者。但可以更改此指派。 |
|
计划设置需要用于测试: 可以规划实验室环境和测试您可能需要运行测试的设置。环境可以是标准或SCVMM环境。 |
Test
在创建计划并生成受测应用程序后,即可运行测试。可以选择该应用程序生成作为用于测试的生成。可以运行在测试计划中创建的测试配置和测试套件的组合,如下图所示。
使用测试运行程序可在本地运行手动测试,它允许您记录每个测试步骤的结果并在每次运行测试时保存测试的结果。
您可以使用 Microsoft 测试管理器设定测试设置来确定测试的运行方式,并选择在运行测试时要收集哪些数据和诊断信息。可以使用测试环境在本地或远程收集数据和诊断信息。运行测试时,可以将此数据和诊断随结果一起保存,并且可以在需要时使用它创建详细 Bug。
通常,在测试更复杂的应用程序时可以使用环境。环境由一组角色构成。角色指定计算机在环境中的作用。例如,某个特定角色可称为“用于客户数据存储的网站”。
通过使用环境,可以针对每一特定角色在计算机上运行测试、收集数据或执行系统操作。计算机既可以是物理计算机,也可以是虚拟计算机。例如,您可以在一台计算机上运行测试并收集特定计算机的系统信息,该计算机装有应用程序的 Web 服务器。或者,您也可以在使用多台计算机的环境中运行测试,并收集这些计算机的测试影响数据,然后,您还可以在应用程序的 Web 客户端所运行于的计算机上执行网络仿真。
下图显示了三个方案示例,它们演示如何对测试计划设定测试设置以运行测试。
下面的主题用于帮助您运行测试:
任务 |
关联主题 |
---|---|
设置测试计算机以运行测试或收集数据:可以创建测试设置以定义受测应用程序所需的角色以及如何为每个角色收集数据和诊断。您可以使用包含测试设置中的角色分配物理计算机将使用的实验室环境,在运行测试时。需要测试控制器创建实验室环境。使用 Visual Studio 实验室管理工具版,则只能创建实验室环境。 |
|
从测试计划运行手动测试:可以使用测试运行程序从测试计划运行手动测试,以记录每个步骤是通过还是未通过。可以保存测试结果以及运行测试时收集的任何数据。 |
|
加快手动测试的速度:可以录制在运行手动测试时执行的 UI 操作。再次运行测试时,可以通过将操作录制播放到验证 Bug 时需要执行的测试步骤,使用此操作录制加快进度。 |
|
可以运行直接从Visual Studio测试的运行自动测试: ,从Team Build,或从命令行。您可以将自动测试与从Visual Studio的测试用例并运行测试用例作为测试计划的一部分使用 Microsoft 测试管理器 ,因此从自动测试的测试结果的测试可以跟踪与任何手动测试。 |
|
分析测试结果:可以基于特定测试运行分析自动测试的测试结果。可以基于您的结果对 Bug 进行归档。还可以查看代码覆盖率结果以检查对应用程序的测试是否完全。 |
|
执行探索测试: 可以实现探索测试从Microsoft测试管理器。探索测试 是应用程序未设置测试提前定义。它也称为同时测试计划和测试执行。在探索过程中测试会话,而不限制脚本或设置预先确定的步骤,当您与手动测试。 |
跟踪
现在,您可以跟踪测试计划中定义的测试工作量。可以检查计划是否有较多的生成,并查看基于代码更改建议对这些生成运行的测试。可以运行标准报告,或运行自己的自定义查询来跟踪受测应用程序的质量。
下面的主题用于帮助您跟踪测试工作量:
关键任务 |
关联主题 |
---|---|
查看报表以帮助您跟踪测试进度:可以查看与测试用例准备情况以及测试计划的测试进度相关的报表。 |
|
查找基于代码更改要重新运行的测试:可以比较生成以查看基于受测应用程序的更改,建议要重新运行的测试。 |
|
会审bug: 可以查看bug并确定bug的后续步骤。还可以在必要时重新指派 Bug。 |
|
将标准查询和自定义查询用于报告:您可以使用现有查询来报告测试用例和 Bug。您还可以创建自己的自定义查询以用于报告。 |