什么是 Azure Test Plans？
Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019
Azure 测试计划提供强大的工具，用于在整个开发过程中推动质量和协作。 此基于浏览器的测试管理解决方案支持计划的手动测试、用户验收测试、探索性测试和利益干系人反馈。
注意
本文适用于 Azure DevOps Services 和 Azure DevOps Server 2020 及更高版本。 大部分信息对早期本地版本有效，但图像仅显示最新版本的示例。 此外，随着 Azure DevOps Server 2020 的发布，用户界面也发生了重大变化。 有关新接口和支持的功能的概述，请参阅导航Test Plans。
Azure Test Plans如何工作？
通过基于浏览器的工具（测试计划、进度报告、参数、配置、运行和测试工具）以及 DevOps 集成功能的组合，Azure Test Plans支持以下测试目标：
自动测试：将 Azure 测试计划与 Azure Pipelines 集成，以支持 CI/CD 中的测试。 将测试计划和测试用例与生成或发布管道相关联。 添加管道任务以捕获和发布测试结果。 通过内置进度报告和管道测试报告查看测试结果。
确保可跟踪性：将测试用例和测试套件链接到用户情景、功能或端到端可跟踪性要求。 自动将测试和缺陷链接到要测试的要求和生成。 从开发板添加和运行测试，或使用大型团队的测试计划中心。 使用管道结果和“要求”小组件跟踪要求测试。
跟踪报告和分析：使用可配置的跟踪图表、仪表板的特定于测试的小组件和内置报表（如进度报告、管道测试结果报告和 Analytics 服务）监视测试结果和进度。
注意
负载和性能测试：Azure DevOps 基于云的负载测试服务已弃用，但 Azure 负载测试可用。 Azure 负载测试是一项完全托管的负载测试服务，使你能够使用现有的 Apache JMeter 脚本生成大规模负载。 有关详细信息，请参阅什么是 Azure 负载测试？。 有关弃用 Azure DevOps 负载测试的详细信息，请参阅 对 Visual Studio 中的负载测试功能的更改和 Azure DevOps 中的云负载测试。
主要优点
Azure Test Plans为软件开发团队提供以下优势。
在任何平台上进行测试：使用 Test Plans Web 门户，可以使用任何受支持的浏览器访问所有手动测试功能。 它使你能够通过易于使用的基于浏览器的界面 创建 和 运行手动测试 ，用户可以从任何平台上的所有主要浏览器访问该界面。
丰富的诊断数据收集：使用基于 Web 的测试运行程序和测试运行程序客户端，可以在手动测试期间 收集丰富的诊断数据 。 此数据包括屏幕截图、图像操作日志、屏幕录制、代码覆盖率、IntelliTrace 跟踪以及正在测试的应用的测试影响数据。 此数据会自动包含在测试期间创建的所有 bug 中，使开发人员可以轻松重现问题。
端到端可跟踪性：Azure DevOps 提供要求、生成、测试和 bug 的端到端可跟踪性，并将 工作项链接到其他对象。 用户可以从板上的卡跟踪其要求质量。 测试时创建的 Bug 会自动链接到要测试的要求和生成，这有助于跟踪要求或生成的质量。
集成分析：分析服务提供将数据馈送到内置报表、可配置仪表板小组件以及使用 Power BI 的可自定义报表。 数据跟踪手动和自动测试的测试计划进度和趋势。 测试分析提供对生成和发布的测试数据的准实时可见性。 Teams 可以针对此数据采取措施来改进测试附件，以帮助维护正常的管道。
可扩展平台。 可以将已了解的工具和技术与最适合与 Azure DevOps 集成和扩展的开发工具相结合。 使用适用于测试平台的 REST API 和贡献模型创建扩展，为测试管理生命周期提供所需的体验。
支持的方案和访问要求
通过分配给用户的访问级别来管理对 Azure DevOps Web 门户功能的访问。 三个main访问级别是利益干系人、基本和基本+测试计划，如关于访问级别中所述。 下表指示使用 Azure Test Plans 执行关联任务所需的访问级别。 除了访问级别外，选择功能还需要执行权限。 有关详细信息，请参阅 手动测试访问权限和权限。
方案和任务
利益干系人
基本
基本 +Test Plans
测试计划
- 创建测试计划和测试套件
- 管理测试计划运行设置
- 管理配置
✔️
测试执行
- (Windows、Linux、Mac) 和测试运行器的任何平台上运行测试
✔️
✔️
使用 Test & Feedback 扩展执行探索性测试
✔️
✔️
✔️
分析和查看测试
- 创建具有各种透视表（如优先级、配置等）的图表，以跟踪测试进度
- 浏览测试结果
- 导出测试计划和测试套件以供审阅
- 用户验收测试 - 通过电子邮件分配测试和邀请
✔️
✔️
手动和探索性测试
为了支持手动和探索性测试，Azure Test Plans使用特定于测试的工作项类型来计划和创作测试。 此外，它还提供两个测试工具来支持运行测试。 测试计划、参数和配置中心提供了用于高效创建和管理测试项、其设置和配置的工具。 测试套件可以是动态的（基于要求的套件和基于查询的套件）来帮助你了解正在开发的关联要求的质量，也可以是静态的，以帮助你涵盖回归测试。
特定于测试的工作项类型
工作项类型（Test Plans、测试套件、测试用例、共享步骤和共享参数）支持多个显式链接，以支持跨多个测试用例跟踪和共享测试步骤和数据。 可以将测试用例分配为手动或自动。 有关其中每个测试项的说明，请参阅 测试对象和术语。
在 Azure DevOps 中，测试结果、测试运行与测试用例之间的关系可以理解为：
- 测试用例： 一个特定方案或一组旨在验证特定特征或功能的步骤。
- 测试运行： 执行一个或多个测试用例的实例。 每个测试运行可以包含多个测试用例。
- 测试结果： 测试运行的结果。 测试运行中的每个测试用例都有其自己的测试结果，指示它是通过还是失败。
注意
使用 Azure DevOps Server 2020 及更高版本，可以通过将测试任务添加到管道来执行自动测试。 使用测试任务时，不需要定义测试计划、测试用例和测试套件。
定义测试计划和测试套件
从测试计划中心创建和管理 测试计划和测试 套件。 将一个或多个测试套件（静态、基于要求或基于查询）添加到测试计划。 导出测试计划和测试套件并与团队共享。 若要了解如何操作，请参阅 创建测试计划和测试套件 和 复制或克隆测试计划、测试套件和测试用例。
使用测试用例创作测试
通过定义测试步骤以及要引用的测试数据（可选）来定义手动测试用例。 测试套件由一个或多个测试用例组成。 可以在测试套件中共享测试用例。 用于定义测试用例的网格视图支持复制、粘贴、插入和删除操作。 快速分配单个或多个测试人员来执行测试。 跨测试套件查看测试结果和对测试用例的引用。 若要了解如何操作，请参阅 创建测试用例。
在每个测试用例中，指定一组测试步骤及其预期结果。 （可选）可以添加 共享步骤 或 共享参数。 为了便于跟踪，请将测试用例链接到他们测试的用户情景、功能或 bug。
管理共享参数
使用参数中心定义和管理跨测试用例共享的参数。 共享参数支持多次使用不同的测试数据重复手动测试。 例如，如果用户可以将不同数量的产品添加到购物车中，则需要检查 200 个数量是否有效，数量为 1。
管理测试配置和变量
借助 “配置” 中心，团队可以定义、查看和管理测试计划引用的测试配置和变量。 测试配置支持在不同的操作系统、Web 浏览器和版本上测试应用程序。 与共享参数一样，可以在多个测试计划之间共享测试配置。
测试执行和测试工具
通过以下工具，开发人员、测试人员和利益干系人可以在执行测试时启动测试并捕获丰富的数据，并自动记录链接到测试的代码缺陷。 通过跨桌面或 Web 应用执行测试来测试应用程序。
- 测试运行程序：一个基于浏览器的工具，用于测试 Web 应用程序，以及一个桌面客户端版本，用于测试从 测试计划 中心启动以运行手动测试的桌面应用程序。 测试运行程序在执行测试时支持丰富的数据收集，例如图像操作日志、视频录制、代码覆盖率等。它还允许用户创建 bug 并标记测试的状态。
- 测试和反馈扩展：支持从 Chrome、Microsoft Edge 或 Firefox 浏览器访问的探索性测试的免费扩展。 该扩展捕获通过图像或视频以及输入口头或类型写入注释来探索的应用程序的交互。 信息在“反馈响应”工作项类型中捕获，以帮助跟踪响应数据。
测试执行功能
可以使用指示的工具执行以下任务。
| 任务 | 测试计划中心 | 测试运行程序 | “测试和反馈”扩展 |
|---|---|---|---|
| 批量标记测试 | ✔️ | ||
| 通过或失败测试或测试步骤 | ✔️ | ✔️ | |
| 执行期间对测试的内联更改 | ✔️ | ✔️ | |
| 暂停和恢复测试 | ✔️ | ✔️ | |
| 测试执行期间的文件 bug | ✔️ | ✔️ | |
| 在测试执行期间捕获屏幕截图、图像操作日志和屏幕录制 | ✔️ | ✔️ | |
| 在测试执行期间更新现有 bug | ✔️ | ✔️ | |
| 验证 bug | ✔️ | ✔️ | |
| 为测试运行分配生成 | ✔️ | ||
| 分配测试设置 | ✔️ | ||
| 查看测试运行 | ✔️ |
执行测试
在 “测试计划 ”中心的“ 执行 ”选项卡中，团队成员可以为为测试套件定义的一个或多个测试用例启动测试执行。 选项包括为 Web 或桌面应用程序运行 测试运行程序 。 （可选）团队成员可以选择 “运行”和选项 ，以选择其他受支持的客户端进行手动测试，或选择内部版本进行自动测试。 有关详细信息，请参阅运行手动测试。
测试运行程序
测试运行程序 为 Web 和桌面应用程序运行测试。 将测试步骤和测试结果标记为通过或失败，并在测试时收集诊断数据，例如系统信息、图像操作日志、屏幕录制和屏幕捕获。 测试期间提交的 Bug 会自动包含所有捕获的诊断数据，以帮助开发人员重现问题。 有关详细信息，请参阅 针对 Web 应用的 运行测试，以及 针对桌面应用的运行测试。
用户验收测试
用户验收测试（UAT）有助于确保团队交付客户请求的价值。 可以创建 UAT 测试计划和套件，邀请多个测试人员执行这些测试，并使用轻型图表监视测试进度和结果。 若要了解如何操作，请参阅 用户验收测试。
使用 Test & Feedback 扩展进行探索性测试
Test 和 Feedback 扩展是一个简单的基于浏览器的扩展，可用于随时随地测试 Web 应用，并且足够简单，可供团队中的每个人使用。 它允许你花更多时间查找问题，减少归档问题的时间，从而有助于提高工作效率。
利益干系人反馈
你应该寻求开发团队外部利益干系人（如营销和销售团队）的反馈，这对开发优质软件至关重要。 开发人员可以请求有关其用户情景和功能的反馈。 利益干系人可以使用基于浏览器的测试和反馈扩展来响应反馈请求，而不仅仅是通过直接捕获丰富的诊断数据和提交 bug 和任务来评价和发送评论。 有关详细信息，请参阅 请求利益干系人反馈 和 提供利益干系人反馈。
自动测试
通过在 Azure Pipelines 中运行测试，可以促进自动测试。 利用测试分析功能可以近乎实时地了解用于生成和发布的测试数据。 它通过识别重复性、高影响质量问题来帮助提高管道效率。
Azure Test Plans通过以下方式支持自动测试：
将测试计划或测试用例与生成或发布管道相关联
在管道定义中指定测试启用任务。 Azure Pipelines 提供了多个任务，包括支持全面测试报告和分析体验的以下任务。
- 发布测试结果任务：用于将测试结果发布到 Azure Pipelines。
- Visual Studio 测试任务：使用 Visual Studio 测试运行程序运行单元和功能测试， (Selenium、Appium、编码的 UI 测试等) 。
- .NET Core CLI 任务：用于生成、测试、打包或发布 dotnet 应用程序。
有关更多任务，请参阅 “发布测试结果”任务
提供内置报表和可配置仪表板小组件以显示管道测试结果。
将测试结果和关联的测试数据收集到 Analytics 服务中。
可跟踪性
Azure Test Plans支持将 bug 和要求链接到测试用例和测试套件。 此外，以下 Web 门户、与测试相关的工具支持可跟踪性：
- 查看链接到测试用例的项目：查看测试用例链接到的测试计划、测试套件、要求和 bug。
- 从开发板添加和运行测试：一种 Azure Boards 功能，它支持从开发板中的用户情景、功能或 bug 定义测试用例。 此外，还可以启动测试运行程序或测试反馈扩展来运行测试或执行探索性测试。
- 要求质量小组件：可配置的小组件，用于从生成或发布管道持续跟踪质量。 小组件显示要求与针对该要求执行的最新测试结果之间的映射。 它提供对需求可追溯性的见解。 例如，要求不满足质量、要求未经过测试等。
查看链接到测试用例的项
在 测试计划 中心，可以查看和打开链接到测试用例的测试套件、要求和 bug。 “ 测试套件 ”选项卡还指示引用测试用例的测试计划和项目。 “ 要求 ”选项卡列出链接到属于要求类别的测试用例的工作项。 此外，还可以创建直接链接查询，该查询通过“ 测试/按 链接类型测试”列出链接到测试用例的项。 有关详细信息，请参阅 创建测试用例 并使用 直接链接查看依赖项。
从开发板添加和运行测试
在 Azure Boards 版块中，可以从用户情景或功能添加测试，自动将测试用例链接到用户情景或功能。 你可以直接从开发板查看、运行和与测试用例交互，并逐步从卡片直接监视状态。 有关详细信息，请参阅 添加、运行和更新内联测试。
“要求质量”小组件
“要求质量”小组件显示范围内所有要求的列表，以及测试和失败测试的通过率和计数。 选择“失败的测试计数”将打开所选生成或版本的“ 测试 ”选项卡。 该小组件还有助于跟踪要求，而无需进行任何关联的测试。 有关详细信息，请参阅 要求可追溯性。
报告和分析
为了支持报告和分析，Azure Test Plans支持测试跟踪图表、测试运行中心、多个内置管道测试报告、仪表板小组件以及存储在 Analytics 服务中的测试数据。
- 可配置的测试图表：可以通过创建测试跟踪图表来深入了解测试计划的创作和执行活动。
- 进度报告：跟踪一个或测试计划或测试套件的进度。
- 测试运行：查看手动和自动测试运行的结果。
- 仪表板小组件：基于所选版本或版本显示测试结果的可配置小组件。 小组件包括 “部署状态 ”小组件和“ 测试结果趋势 (高级) 小组件。
- 测试分析：从内置管道报告获取详细见解，或通过查询 Analytics 服务创建自定义报表。
可配置的测试图表
快速配置轻量级图表以使用所选图表类型跟踪手动测试结果，并将图表固定到仪表板以轻松分析这些结果。 选择保留策略来控制手动测试结果的保留时间。 有关详细信息，请参阅 跟踪测试状态。
进度报告
借助 进度报告 中心，团队可以跟踪多个测试计划或测试套件的进度。 此报告有助于回答以下问题：
- 完成多少测试？
- 通过、失败或阻止了多少个测试？
- 测试是否可能及时完成？
- 每日执行率是多少？
- 哪些测试区域需要注意？
测试运行
“运行”中心显示测试运行的结果，其中包括手动和自动化的所有测试运行。
注意
Azure DevOps Server 2020 及更高版本提供“运行”中心。 它需要启用用于存储和管理测试运行数据的 Analytics 服务。 有关服务的详细信息，请参阅 什么是 Analytics 服务？
选择任何特定运行以查看测试运行的摘要。
部署状态
“部署状态小组件”可配置小组件显示一组最新生成的部署状态和跨多个环境测试通过率的组合视图。 通过指定生成管道、分支和链接发布管道来配置小组件。 若要查看版本中多个环境中的测试摘要，小组件提供了每个环境的矩阵视图和相应的测试通过率。
将鼠标悬停在任何生成摘要上，可以查看更多详细信息，特别是通过和失败的测试数。
高级) (测试结果趋势
“测试结果趋势 (高级) ”小组件提供对多个生成和发布的测试数据的准实时可见性。 小组件显示所选管道的测试结果趋势。 可以使用它来跟踪每日测试计数、通过率和测试持续时间。 跟踪一段时间内的测试质量并改进测试附件是维护正常运行的 DevOps 管道的关键。 小组件支持跟踪一个或多个生成管道或发布管道的高级指标。 小组件还允许按结果筛选测试结果、堆叠指标等。 有关详细信息，请参阅 “配置测试结果趋势”（高级）小组件。
测试分析
内置测试和测试支持的小组件从 Analytics 服务派生其数据。 Analytics 服务是 Azure DevOps 的报告平台，支持“分析和测试”选项卡，以及管道中心提供的向下钻取报表。 测试 失败 向下钻取报告提供已通过和失败测试的摘要。 有关详细信息，请参阅 测试分析。
此外，还可以通过查询 Analytics 服务来创建自定义报表。 有关详细信息，请参阅 使用 OData 查询的示例报告概述。