运行手动测试

Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019

运行手动测试，并使用 Microsoft 测试运行程序记录每个测试步骤的测试结果。 可以为 Web 应用程序和桌面应用运行测试。

测试运行程序允许以批处理或特定测试用例的形式运行所有活动测试。 在运行测试时修改测试。 可以针对特定生成运行测试。

在测试时，收集屏幕截图或测试操作等信息。 如果在测试时发现问题，请使用测试运行程序创建 bug。 在 bug 中包含测试步骤、屏幕截图和注释。

注意

执行测试点而不是测试用例。 将测试用例添加到测试套件时，系统会生成测试点。 测试点表示测试用例、测试套件、配置和测试人员的唯一组合。

例如，名为 “测试登录功能”的测试用例（具有 Edge 和 Chrome 浏览器的两个配置）生成两个测试点。 你可以执行或运行其中每个测试点。 执行时，将生成测试结果。 通过测试结果视图或执行历史记录，你可以查看测试点的所有执行。 你将在执行选项卡中看到测试点的最新执行。

支持的客户端和运行选项

除了运行特定版本的测试之外，运行选项还支持各种测试方案。 若要查看选项，请在 “执行 ”选项卡中选择一个测试，然后选择“ 使用选项运行”。

选择测试类型和运行程序 提供以下选项：

• 使用基于 Web 浏览器的运行程序进行手动测试，可以选择要测试的特定生成，如生成运行测试中所述。 选择 “查找生成 ”以打开 “查找生成 ”对话框，并搜索要测试的生成。

• 使用测试运行程序客户端 进行手动测试：可以使用测试运行程序客户端为桌面应用程序运行手动测试。 如有必要，请安装 测试运行程序桌面客户端。

• 使用发布阶段 自动测试：若要使用发布阶段运行测试，请选择生成。 选择发布管道和阶段以使用生成的项目。 有关详细信息，请参阅 从测试计划运行自动测试。

• 使用 Microsoft Test Manager 2017 客户端 手动测试从本地计算机收集数据。 选择生成。 选择一个或多个数据收集器：操作日志、事件日志、屏幕和语音录制器和系统信息。

• 使用 Microsoft Test Manager 2015 或更早版本的客户端手动测试

Microsoft 测试管理器客户端中的测试中心是基于桌面的手动测试解决方案。 测试人员可以将其用于手动测试需求。 有关详细信息，请参阅 Microsoft 测试管理器使用情况指南。 若要获取 Microsoft 测试管理器，请安装 Visual Studio Enterprise 或 Visual Studio Test Professional。

先决条件

• 你必须连接到项目。 如果没有项目，请创建一个项目。
• 必须添加到项目中。 若要添加， 请将用户添加到项目或团队。
• 若要查看或运行手动或自动测试，必须具有 基本 访问权限或更高版本。

若要了解详细信息，请参阅 手动测试访问权限和权限。

使用 TCM 命令行工具

若要使用 TCM 命令行工具，必须具备以下各项：

• 已安装 Visual Studio 2017 Professional 或更低版本。 从命令提示符和以下目录访问 TCM：

  • %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
  • %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE
  • %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE

• 若要运行 TCM 命令，请根据需要指定 /collection 和 /teamproject 参数 /login 。

  参数	说明
  /收集:CollectionURL	必需。 指定团队项目集合的 URI。 URI 的格式如下所示： - 对于 Azure DevOps Services： http://dev.azure.com/OrganizationName - 对于 Azure DevOps Server： http://ServerName:Port/VirtualDirectoryName/CollectionName。 如果未使用虚拟目录，则 URI 的格式如下所示：http://ServerName:Port/CollectionName
  /teamproject：project	必需。 包含要克隆或导入自动测试的测试对象的项目的名称。
  /login：username,[password]	可选。 指定有效的 Azure DevOps 用户的名称和密码，以及谁有权运行命令。 如果你的 Windows 凭据没有适当的权限，或者你使用的是基本身份验证，或者你未连接到域，请使用此选项。

• 必须是要访问的一个或多个项目的有效成员，并且具有基于所运行的命令所需的权限。 有关详细信息，请参阅 手动测试访问权限和权限。

• 必须具有相同的访问级别才能添加测试计划和测试套件以克隆或导入测试对象。

运行 Web 应用的测试

按照以下步骤为 Web 应用程序运行测试。

1. 在 Web 门户中，打开项目并选择“测试计划测试计划>”。

2. 如果尚未创建， 请创建手动测试。

3. 选择 “我的 ”或 “全部”，或使用 “按标题 筛选”查找测试计划并选择它。 选择“执行”选项卡。

   

4. 选择一个或多个测试，或测试套件中的所有测试。 然后选择“ 针对 Web 应用程序运行”。

   

   Microsoft 测试运行程序将在新的浏览器中打开并运行。

5. 启动要测试的应用。

   

   你的应用不必在测试运行程序所在的同一台计算机上运行。 只需使用测试运行程序来记录手动运行测试时哪些测试步骤通过或失败。

   例如，你可以在台式计算机上运行测试运行程序，并为在 Windows 8 平板电脑上测试的 Windows 8 运行应用商店应用。

6. 根据预期结果将每个测试步骤标记为通过或失败。

   

   如果测试步骤失败，可以输入注释，了解测试失败的原因或 收集测试的诊断数据。 还可以 创建或添加到 bug。

重要

具有预期结果的任何测试步骤称为 验证测试步骤。 测试人员必须标记状态为验证测试步骤的测试步骤。 测试用例的总体结果反映了测试人员标记的所有测试步骤的状态。 因此，如果测试人员将任何测试步骤标记为失败或未标记，测试用例将状态标记为失败。

创建或添加到 bug

如果测试步骤失败，请输入有关行为的注释并收集诊断数据。 可以创建 bug 来捕获和跟踪问题。 还可以使用有关失败的信息更新现有 bug。

1. 步骤失败时，输入注释并选择“ 创建 bug”。

   

   注意

   如果“创建 bug”按钮未启动 bug 工作项，请验证团队设置是否在“区域”和“迭代”级别正确，如下所示：

   转到项目设置和团队，如果已将正确的团队设置为默认值，检查。

   在该团队中，单击“团队名称”附近的“迭代”和“区域路径”超链接。 将带你到“团队配置”页。

   在“团队配置”页中，选择“迭代”、“默认”和“积压工作”迭代必须与运行测试用例的团队匹配。

   在“团队配置”页中，选择“区域”，默认区域必须与运行测试用例的团队匹配。

2. 在 “新建 bug ”对话框中，输入 bug 的名称。

   

   步骤和注释会自动添加到 bug 中。 如果在 Web 浏览器窗口中运行测试运行程序，则可以将剪贴板中的屏幕截图直接复制到 bug 中。

3. 可以分配 bug、输入批注或链接到其他问题。 完成后，选择“ 保存并关闭 ”。 测试用例链接到创建的 bug。

可以在测试会话期间看到报告的任何 bug。

可以使用有关此步骤的信息更新现有 bug，而不是创建 bug。 从“创建 bug”下拉菜单中选择“添加到现有 bug”。

保存结果、关闭会话并查看结果

完成测试后，保存结果、关闭会话并查看测试结果。

1. 运行所有测试后，选择“ 保存并关闭”。 所有测试结果都存储在 Azure 测试计划中。

2. 查看测试套件的测试状态。 你会看到每个测试的最新结果。

   

   如果尚未运行测试，则其状态为活动状态。 如果要重新运行测试，则将测试的状态重置为活动状态。

3. 打开测试套件，然后在“相关工作”部分选择测试用例。 然后使用该工作项的“相关工作”部分中的子链接查看测试人员提交的 bug。

   

可以脱机运行测试，然后导入结果。 有关详细信息，请参阅 脱机测试执行扩展。

为桌面应用运行测试

如果要为桌面应用程序收集更多诊断数据，请使用测试运行程序客户端运行测试。

1. 在 Web 门户中，打开项目并选择“测试计划测试计划>”。

2. 选择 “我的 ”或 “全部”，或使用 “按标题 筛选”查找测试计划并选择它。 选择“执行”选项卡。

   

3. 从 Azure 测试计划启动测试运行程序，方法是从下拉菜单中选择“ 运行桌面应用程序 ”。

   

4. 如有必要，请下载并安装 测试运行程序桌面客户端。

   

   注意

   检查测试运行程序客户端是否可用于平台。 目前，测试运行程序客户端仅适用于 x64。

5. 选择“ 启动 ”并开始测试，如上一部分所述。 有关数据收集的详细信息，请参阅 在测试时收集诊断数据。

运行所有测试

可以一次性运行测试套件中的所有测试。

选择测试套件，然后选择“ 针对 Web 应用程序 运行”或 “运行桌面应用程序 运行”以运行所有活动测试。

为生成运行测试

选择要对其运行测试的生成。

1. 从下拉列表中，选择“ 使用选项运行”。

   

2. 在 “使用选项 运行”对话框中，选择所需的生成。

   

注意

所选生成必须来自在其中定义测试的项目。

可以为以下选项选择生成：

• 使用基于 Web 浏览器的运行程序手动测试
• 使用发布阶段的自动测试
• 使用 Microsoft Test Manager 2017 客户端进行手动测试

对话框提供的字段因所选选项而异。 有关详细信息，请参阅 支持的客户端和运行选项。

运行期间提交的任何 bug 都与所选生成相关联。 测试结果将针对该生成发布。

在测试运行期间修改测试步骤

修复测试仍在运行期间测试步骤的问题。 选择“编辑测试步骤”图标。

可以插入、重新排序或删除步骤。 还可以编辑文本本身。

捕获丰富的诊断数据

运行测试时，可以添加屏幕截图、将操作捕获为日志以及录制视频或语音。

添加屏幕截图

在运行测试时向测试结果添加屏幕截图。

如果使用 Google Chrome 或 Firefox，请使用 Web 运行程序在测试时获取 Web 应用的屏幕截图。 对于 Microsoft Internet Explorer 或 Microsoft Edge 浏览器或桌面应用测试，请使用 测试运行程序桌面客户端。

有关详细信息，请参阅 “收集诊断数据”。

从测试中捕获操作

将应用程序上的操作捕获为日志。

如果使用 Google Chrome 或 Firefox，请使用 Web 运行程序在测试时将 Web 应用上的操作捕获为图像日志。 对于 Microsoft Internet Explorer 或 Microsoft Edge 浏览器或桌面应用测试，请使用 测试运行程序桌面客户端。

有关详细信息，请参阅 “收集诊断数据”。

捕获正在测试的应用的屏幕录制

在测试期间捕获应用的屏幕录制。

如果使用 Google Chrome 或 Firefox，请使用 Web 运行程序在测试时捕获 Web 和桌面应用的屏幕录制。 对于 Microsoft Internet Explorer 或 Microsoft Edge 浏览器或桌面应用测试，请使用 测试运行程序桌面客户端。

有关详细信息，请参阅 “收集诊断数据”。

使用 TCM 运行测试

可以使用 TCM 命令行工具运行属于测试计划的一部分的测试。 此工具允许你创建和启动测试运行，然后管理所有现有的测试运行。 使用此处记录的 tcm 命令来完成这些任务。

列出测试运行 | 创建测试运行 | 执行测试运行 | 中止测试运行 | 删除测试运行 | 导出测试运行 | 发布测试运行

列出测试运行

用于 tcm run /list 列出测试计划中可用的运行，并显示其 ID。 该 ID 对应于创建运行时定义的工作项 ID。

tcm run /list /collection:teamprojectcollectionurl /teamproject:project 
           [/planid:id  |  /querytext:query] [/login:username,[password]]

参数	说明
/planid：id	可选。 指示列表中仅返回与指定测试计划关联的测试运行。
/querytext：query	可选。 指定要用于列出测试运行子集的查询。

有关说明/collection/teamproject和/login参数，请参阅使用 TCM 命令行工具。

示例

以下命令列出了为 fabrikam Fiber 项目定义的测试运行，该项目托管在 fabrikamprime 组织中。 ID 和 Title 对应于为测试运行定义的工作项 ID 和标题。 例如，测试运行1000052标题为“第 1 周期的测试计划”（手动）。

tcm run /list /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Id        Title                              Owner               Date Completed
--------- ---------------------------------- ------------------- -----------
1000006   Sprint 2 (Manual)                  Thomas Margand      11/5/2021
1000032   33 : Change initial view (Manual)  Danielle Brasseur   11/11/2021
1000040   Sprint 2 (Manual)                  Thomas Margand      11/16/2021
1000042   Sprint 3 (Manual)                  Thomas Margand      11/16/2021
1000046   Special testing (Manual)           Nicoletta Guibord   11/18/2021
1000052   Test Plan for Cycle 1 (Manual)     Bukhosi Bhengu      12/1/2021
1000060   Game Shopping (Manual)             Bukhosi Bhengu      12/6/2021

创建测试运行

用于 tcm run /create 创建与指定测试计划关联的测试运行。 除了测试计划，还可以定义要由其相应的 ID 使用的测试套件和配置。 可以使用命令和命令收集这些 IDtcm plans /list。tcm configs /listtcm suites /list

tcm run /create /title:title /planid:id /collection:CollectionURL /teamproject:project 
            (suiteid:id /configid:configid | /querytext:query) 
            [/settingsname:name] [/owner:owner] [/builddir:directory]  
            [/testenvironment:name] [/login:username,[password]] [/include]

参数	说明
/title：title	指定要用于所创建测试运行的游戏。
/planid：id	指定要在其中创建测试运行的测试计划。
/suiteid：id	指定要用于测试运行的测试套件。
/configid：id	指定要为测试套件运行的测试配置。
/querytext：query	如果指定 suiteid 并指定 ，则 configid为可选。 指定要用于选择要运行的测试的查询。 提示： 可以使用 /querytest 参数运行多个测试套件。 例如：querytext:“SELECT * FROM TestPoint WHERE (ConfigurationId=20 OR ConfigurationId=21) AND (Suiteid=1185 OR Suiteid=1186)”。
/settingsname：name	可选。 指定要用于此测试运行的测试设置。 如果未选择测试设置，将使用测试计划中的默认测试设置。
/owner：owner	可选。 指定测试运行的所有者。
/builddir：directory	可选。 指定要用于查找测试的测试程序集的生成目录。 如果未指定，则基于当前分配给测试计划的生成使用生成位置。
/testenvironment：name	可选。 指定要用于此测试运行的测试环境。 如果未选择测试环境，将使用测试计划中的默认测试环境。
/include	可选。 指定包括为测试运行选择的所有测试，即使测试当前未设置为活动状态。

有关说明/collection/teamproject和/login参数，请参阅使用 TCM 命令行工具。

示例

以下命令在 ID为 77 的测试计划中创建名为 MyTestRun 的测试运行。 该运行使用 ID为 161 的测试套件和 ID为 9 的测试配置。 为 fabrikamprime 组织中托管的 Fabrikam Fiber 项目定义运行。

在此示例中，会创建一 个 ID 为 1000082的测试运行。

tcm run /create /title:MyTestRun /planid:77 /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber" /suiteid:161 /configid:9

Run created with ID: 1000082.

执行测试运行

用于 tcm run /execute 在测试计划中启动其中一个运行。 指定的 ID 对应于创建运行时定义的工作项 ID。 可以使用 tcm run /list 命令查看所有测试运行 ID 的列表 。

tcm run /execute /id:id /collection:teamprojectcollectionurl /teamproject:project [/login:username,[password]]

参数	说明
/id：id	指定要 运行的测试运行的 ID 。

有关说明/collection/teamproject和/login参数，请参阅使用 TCM 命令行工具。

示例

以下命令为 fabrikamprime 组织中托管的 Fabrikam Fiber 项目的 ID1000082启动测试运行。 结果在 CLI 窗口中返回。

tcm run /execute /id:1000082 /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Executing run: MyTestRun

Results
------------------------
Total:                   2
Passed:                  1
Failed:                  1
Inconclusive:            0

中止测试运行

用于 tcm run /abort 取消正在进行的测试运行。 指定的 ID 对应于创建运行时定义的工作项 ID。

tcm run /abort /id:id /collection:teamprojectcollectionurl /teamproject:project [/login:username,[password]]

参数	说明
/id：id	指定要 取消的测试运行的 ID 。

有关说明/collection/teamproject和/login参数，请参阅使用 TCM 命令行工具。

示例

以下命令使用 fabrikamprime 组织中托管的 Fabrikam Fiber 项目的 ID1000082停止测试运行。 结果确认 已取消运行的 ID 和 标题 。

tcm run /abort /id:1000082 /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Run with ID [1000082] and title [MyTestRun] has been aborted.

删除测试运行

用于 tcm run /delete 从测试计划中删除测试运行。 指定的 ID 对应于创建测试运行时定义的工作项 ID。

tcm run /delete /id:id [/noprompt] /collection:teamprojectcollectionurl /teamproject:project [/login:username,[password]]

参数	说明
/id：id	指定要 删除的测试运行的 ID 。
/noprompt	可选。 指定不会提示用户确认删除测试运行。

有关说明/collection/teamproject和/login参数，请参阅使用 TCM 命令行工具。

示例

以下命令使用 fabrikamprime 组织中托管的 Fabrikam Fiber 项目的 ID1000082删除测试运行。 系统会提示用户确认他们想要删除指定的测试运行并提供结果。

tcm run /delete /id:1000082 /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Are you sure you want to delete run [MyTestRun]? (Yes/No) y

Run [MyTestRun] has been deleted.

导出测试运行

用于 tcm run /export 将测试运行导出到指定位置。 指定的 ID 对应于创建运行时定义的工作项 ID。

tcm run /export /id:id /resultsfile:path /collection:teamprojectcollectionurl /teamproject:project [/login:username,[password]]

参数	说明
/id：id	指定要导出的测试运行 ID 。
/resultsfile：path	指定要导出的测试运行的位置和文件名。

有关说明/collection/teamproject和/login参数，请参阅使用 TCM 命令行工具。

示例

以下命令指定在 fabrikamprime 组织中托管的 Fabrikam Fiber 项目的 ID1000082的测试运行将导出到 c：\temp\ResultsForDeveloper.trx。

tcm run /export /id:1000082 /resultsfile:"c:\temp\ResultsForDeveloper.trx" /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

发布测试运行

用于 tcm run /publish 从 Visual Studio 测试运行结果文件发布指定测试计划的结果。

tcm run /publish /suiteid:id /configid:id /resultowner:owner /resultsfile:path 
            /collection:teamprojectcollectionurl /teamproject:project [/title:runtitle] 
            [/runowner:owner] [/build:buildnumber /builddefinition:builddefinition] 
            [/flavor:flavor] [/platform:platform] [/assignfailurestouser:user] 
            [/login:username,[password]] [/buildverification]

参数	说明
/suiteid：id	指定发布测试运行时要使用的测试套件。
/configid：id	指定发布测试运行时要使用的测试配置。
/resultowner：owner	指定测试结果的所有者。
/resultsfile：path	指定要发布的测试运行的位置。 例如，“c：\temp\ResultsForDeveloper.trx”。
/title：runtitle	可选。 指定要用于发布的测试运行的游戏。
/runowner：owner	可选。 指定测试运行的所有者。
/build：buildnumber	可选。 指定要用于发布测试运行的内部版本号。 此参数必须与 /builddefinition.
/builddefinition：builddefinition	可选。 指定要用于发布测试运行的生成定义。 此参数必须与 /build.
/flavor：flavor	可选。 指定生成风格，如 发布。 仅当使用参数时 /build ，才能使用此参数。
/platform:platform	可选。 指定生成平台，例如 x86。 仅当使用参数时 /build ，才能使用此参数。
/assignfailurestouser：user	可选。 指定在测试运行中分配任何失败测试的用户。
/buildverification	可选。 指定此测试运行包含生成验证测试，这些测试检查生成的基本功能。

有关说明/collection/teamproject和/login参数，请参阅使用 TCM 命令行工具。

示例

以下命令为 ID为 161 的测试套件发布测试运行，并使用 ID9 测试配置并重新分配所有者。 这会更新与此配置配对的测试套件中测试用例的现有测试点，并将结果发布到指定的 .trx 文件中。 测试运行中所有失败的测试都分配给指定用户。

tcm run /publish /suiteid:167 /configid:9 /resultowner:"Thomas Margand" /resultsfile:"c:\temp\ResultsForDeveloper.trx" /assignfailurestouser:"Bukhosi Bhengu" /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

常见问题解答

下面是一些常见问题。

问：如何实现重新运行测试？

答： 只需选择任何测试，然后选择“ 运行”。

问：是否可以一起运行测试套件中的所有测试？

答： 是的，选择测试套件，然后选择“ 运行”。 此选项运行测试套件中的所有活动测试。 如果尚未运行测试，则其状态为活动状态。 如果要重新运行测试，可以将测试的状态重置为活动状态。

问：是否可以选择要对其运行测试的生成？

答： 是，选择 “运行 ”，然后选择“ 使用选项运行”。

从下拉列表中选择所需的生成。

运行期间提交的任何 bug 将自动与所选生成相关联。 测试结果将针对该生成发布。

注意

所选生成必须来自在其中定义测试的项目。

问：是否可以在运行测试时修复测试步骤？

答： 是的，如果有适用于 Azure DevOps 的 Azure 测试计划。 可以插入、移动或删除步骤。 也可以编辑文本本身。 使用测试步骤号旁边的编辑图标。

将显示用于编辑测试步骤的工具。

问：是否可以在运行测试时向测试结果添加屏幕截图？

答： 如果你使用的是 Google Chrome 或 Firefox，请使用 Web 运行程序在测试时获取 Web 应用的屏幕截图。 对于 Microsoft Internet Explorer 或 Microsoft Edge 浏览器，或桌面应用测试，可以下载并使用 测试运行程序桌面客户端。

有关详细信息，请参阅 “收集诊断数据”。

问：是否可以将应用上的操作捕获为日志？

答： 如果你使用的是 Google Chrome 或 Firefox，请在测试时使用 Web 运行程序将 Web 应用上的操作捕获为图像日志。 对于 Microsoft Internet Explorer 或 Microsoft Edge 浏览器，或桌面应用测试，可以下载并使用 测试运行程序桌面客户端。

有关详细信息，请参阅 “收集诊断数据”。

问：是否可以捕获应用的屏幕录制内容？

答： 如果你使用的是 Google Chrome 或 Firefox，请使用 Web 运行程序在测试时捕获 Web 和桌面应用的屏幕录制。 对于 Microsoft Internet Explorer 或 Microsoft Edge 浏览器，或桌面应用测试，请下载并使用 测试运行程序桌面客户端。

有关详细信息，请参阅 “收集诊断数据”。

问：如何实现控制我的测试数据保留多长时间？

答： 有关详细信息，请参阅 设置测试保留策略。

问：可从何处下载测试运行程序客户端？

答： 下载 测试运行程序桌面客户端。

问：测试运行程序客户端支持的操作系统是什么？

答： 测试运行程序桌面客户端目前仅在 Windows 上受支持。

问：是否可以选择退出测试运行程序客户端的遥测？

答: 不是。 测试运行程序桌面客户端不会收集任何用户身份数据。 未提供选择退出机制。 有关详细信息，请参阅 Microsoft 隐私策略。

问：是否可以脱机运行测试，然后导入结果？

答： 是的，请参阅 脱机测试执行扩展。

下一步

查看测试进度

相关文章

• 手动测试的常见问题解答
• 在测试时收集诊断数据
• 在连接模式下使用“测试和反馈”扩展进行探索性测试
• 使用测试计划运行自动测试
• 使用 Microsoft 测试管理器运行手动测试