Microsoft Test Manager 2012 中的新增功能
在本文中,我们将介绍一些 Microsoft 测试管理器 2012年 (MTM),用于与由 Visual Studio ALM 游侠"dogfooded"中的新功能。
综上所述,ALM 巡警是一个解决缺少的功能,通过促进 Visual Studio 产品组、 Microsoft 服务和微软最有价值专家 (MVP) 社区之间的协作,删除通过阻断剂和发布的最佳做法和指导基于现实世界的经验的专家组。
以下是 MTM 2012 年的各种功能的讨论。
探索性测试这有时称为"特设测试",定义为执行软件测试没有已定义的脚本。 想法是可以依靠的创造力的测试人员,帮助表面缺陷与具有为每个测试运行和方案编写脚本分步测试用例。 在 MTM,在 2010 年 1 月发布的第一个版本中探索性测试已启用通过备案通过 Microsoft 测试转轮"探索性的 bug"。 该工具允许用户在开发工作流中,执行一组操作,一旦找到 bug,测试人员可以选择,从而削减到适当数量的步骤,包括在被提交的 bug 录制的操作。
这个想法是测试仪可能会花很长时间才找到一个 bug,应用探索的能力,从而削减步骤然后会给测试人员使用更多或更少的再现步骤基于知道在给定方案的上下文创建 bug 的自由。 此功能给测试人员能够自由地执行测试运行工作流的开发样式中和仍利用功能的精确复制的步骤创建一个 bug。 测试者还可能创建测试用例从这些步骤所以 bug 修复可以通过重新运行脚本的测试用例,稍后验证。
探索性测试经验已大大改进 2012年发行版。 在以前的版本中,提交一个探索性的错误首先需要有一个测试用例从 Microsoft 测试转轮上运行。 用户可以创建一个"虚拟"的测试案例,以及作为一个例子,它命名"探索"或只是利用一些现有的测试案例。 这两个选项似乎有点笨拙而作出发现探索性测试功能有点困难。 在 MTM 的 2012年版本中,不再需要做探索性测试,测试用例时,有几个不同的方法来开始探索性测试会话。 若要开始,只是在试验计划中,用鼠标右键单击一个测试套件并选择"浏览"。用户还可以关联的要求,允许将 bug 和测试用例创建的链接到要求工作项的探索性测试工作。 要这样做,启动探索会话从 MTM 2012 年从积压项目,如中所示, 图 1。
图 1 步骤使用 MTM 的探索性测试
同时探索性测试会话运行,测试人员可以在屏幕截图、 评论和文件附件的形式创建 bug 的附加数据。 中所示的探索性测试窗口图 2 为测试人员提供了很好的体验。 大图标使它轻松地创建 bug 和测试用例,您可以键入并设置格式注意到在自由形式的字段中。 您键入的笔记 — — 由测试人员,如屏幕快照捕获任何数据 — — 为您创建它们获得无缝添加到 bug 或测试用例。 用户已添加和删除步骤,偏离什么被捕获时录制的操作的能力。
图 2 在 MTM 的探索性测试会议
从一个探索性测试会话创建新的 bug 和测试用例是一个常见的工作流,其中一个例子,但用户还可以打开和更新现有手动测试用例和 bug。
MTM 2012 年探索性测试的方案的用户体验是快速和流体 MTM 2012 年的探索性测试。 测试人员有能力可以暂停和继续测试,这使得整体用户体验极其灵活。 许多组织用于支持软件应用程序的一个方案是向外地客户电话呼叫,期间哪些支持代理经常步行通过与最终用户应用程序尝试重现 bug。 经常支持专业人员可能采取笔记和截图,然后稍后将 bug 发送给开发人员。 MTM 2012 的探索性测试功能理论上启用支持专业人员,以遍历最终用户通过手机上的探索性测试会话的应用,然后开发团队饲料有效地丰富的、 可操作的 bug。 一旦关闭该调用,电话支持专业人员然后可以结束测试会话,并开始在下次调用同一个新的会话。
通常情况下,在释放应用程序或应用程序的新功能之前, 产品业主想要测试彻底要确保 bug 并不发布的应用程序。 通过利用探索性测试,组织可以移除创建每个场景脚本的测试用例的开销。 一群测试可能会花时间探索应用程序和文件的 bug 和测试用例,因为他们发现。 这一形式自由测试可以帮助减少更多的开销定义测试工作。
另一个示例,用户可能想要测试应用程序无需开销定义测试用例的纯粹因为临时资源问题。
改进的性能这是一个主要的目标,新的发行版,和产品团队做了很多在这一领域的工作。 连接到一个测试计划,显示测试套件中的,启动 Microsoft 测试转轮、 保存工作项和创建实验室环境都有所改善。 以及这些方面的改进,Visual Studio 团队基础服务器 (TFS) 代理支持已启用附件所以团队使用 MTM 2012 和 TFS 代理现在会看到类似于源代码管理操作的性能优势。 具体而言,附件将被缓存在代理服务器上,保存从不必等待该附件以从 TFS 下载附件的每一位消费者。 几个其他小款包括增设的"最近使用的"的列表,您可以从中选择一个用户无须经过的完整列表。 同时,分配配置是作出更容易通过提供要从选择而不是一个单独的列,为每个配置的单个列表。
测试用例编辑器改进 虽然不明显,测试步骤网格 (所示 图 3) 已被完全重写。 现在在默认情况下产品中可用,通过修补程序和功能包以前可用的功能。 测试步骤网格支持 rtf 文本和多行测试步骤。 此外,复制和粘贴来自 Microsoft Excel 或 Word,包括多行的步骤和富文本,被支持。 屏幕房地产也被管理更好地通过消除周围的测试用例字段在屏幕的顶部框架和提供测试步骤网格和底部的参数区域之间拆分。
图 3 测试案例编辑器改进
为新的迭代到其他计划克隆测试套件从 MTM 用户常见的问题了,"如何复制一个测试计划而不会丢失可追溯吗?"MTM 的 2010年版本允许测试计划要复制,这意味着一个新的试验计划已创建,但不是创建新测试用例。 相反,现有测试用例被""所引用的新的测试计划。 这就意味着在一个计划中更改测试用例也其他计划中更改测试用例。 这不是可取的行为需要绝对的可追溯性的团队。 这些团队不得不使用第三方实用程序或诉诸于一些低级 TFS API 编程来实现所需的结果。
克隆一个测试计划现在是 TCM.exe,测试用例管理命令行工具的功能。 克隆一个测试计划将克隆的测试用例,共享的步骤,测试套件、 分配测试、 配置、 操作录制、 链接、 附件和测试的配置。 测试设置、 测试结果和测试运行不被克隆。 此外,要求根据版面不被克隆。 克隆原来的要求和将它们关联到新的测试案例或关联到老要求新的测试案例是手动操作。
在执行克隆操作是从 TCM.exe 内进行 Visual Studio 命令提示符。 您必须指定集合、 源和目标的套房和新目标测试计划的值。 (可选) 可以使用的 overridefieldname 和 overridefieldvalue 参数指定一个新区域路径或迭代路径,或使用已添加到测试用例的工作项模板的自定义测试实例字段。
Tcm.exe 套房命令格式,如下所示:
Tcm.exe 套件 /clone /collection:CollectionURL /teamproject:project /suiteid:/destinationsuiteid id:/overridefieldname id:fieldname /overridefieldvalue: fieldvalue
下面的命令行会将 id 为 100 的一套复制到 id 为 115 套件:
tcm.exe 套件 /clone /collection:http: / / myTFS:8080/tfs/sampleTPC /teamproject:sampleTeamProject /suiteid:100 /destinationsuiteid:115 /overridefieldname:"迭代路径" /overridefieldvalue:"areapath\sprint 2"
团队项目集合被命名为"sampleTPC,"和团队项目被命名为"sampleTeamProject"。新的迭代路径将会"areapath\sprint 2"。
注意:您可以通过突出显示测试套件中规划的内容,然后在右侧列表上方的测试用例的标头中查看该套件名称旁边的 ID 查找测试套件 ID。
链接到测试用例的只读版本这现在提供了 Microsoft 测试转轮。 此外,Microsoft 测试转轮的测试说明字段支持 rtf,如中所示图 4。
图 4 Microsoft 测试增强功能
视频录制功能增强视频录像机不再需要单独的安装和用户可能现在还可以启用音频录制。 音频录制可启用或禁用诊断数据适配器的视频录像机,如中所示图 5。
图 5 启用音频录制
在 MTM 导航这几种方式中提高了。 你会发现那里是洒在该产品,整个一个链接复制按钮,如中所示图 6。
图 6 复制链接按钮
将单击此链接将 URL 复制到剪贴板上,您可以发送电子邮件的人一个超链接指向您正在查看的项目。
单击包含此地址的超链接将启动 MTM 2012,并使用户直接用 ID 标识的测试结果并运行 ID,其中包含超链接中。
测试计划选择也得到了改善。 当一大批计划已在列表中,从启动屏幕中选择一项计划可能是痛苦的在以前的版本中。 而不是长长的列表中上下滚动,只需键入前几个字母在计划快速跳转到前期立项的审批蛇岛计划列表中的位置。
MTM,使用户可以跳转到计划列表中的右上角一直有一个超链接。 该功能仍然存在,但现在有一个超链接指向该团队项目以及。 跳转到一个团队项目选择屏幕现在也是单一的点击。
连接到 TFS 2010 年多数 MTM 的特征 — — 如测试规划和执行、 数据收集和使用的实验室环境 — — TFS 和不匹配的版本的 MTM 之间很好地工作。 若要使用 MTM 2012,您需要安装 TFS 2010 SP1 和最新的软件更新。 不过,新功能,如探索性测试不会工作直到您升级 TFS 2010 到 TFS 2012 年。
报告 MTM 提供各种类型的报告,以跟踪和衡量测试的有效性。 报告帮助您找出哪些测试用例已传递、 失败或阻止。 MTM 2012 允许您查看计划选项卡中的结果。 有一个选项可以查看结果,提供很好的试验计划的结果状态视图。 您可以查看结果基于测试配置或基于您要查看结果的测试套件。 此外,用户还可以查看基于测试的结果。 若要在计划选项卡中查看结果,请单击结果的链接中所示图 7。 这将打开最新的测试运行的结果。
图 7 测试计划结果
测试数据减少到 TFS 存储减少负荷在默认情况下,2010 年,MTM 时自动的测试运行的结果发布到 TFS 2010 年部署项目和所有在测试运行的二进制文件上载。 这些可用于以后重新测试和分析失败。 这种方法打开测试结果时在客户端上有 TFS 数据库存储和性能问题的开销很大。 MTM 到 2012 年,在默认情况下,只有测试结果文件和其他数据收集器附件上载到 TFS 数据库。 仅当启用代码覆盖率或测试的影响分析,二进制文件上载到 TFS 2012。 这些二进制文件所需的代码分析。
标记 MTM 没有启动 Microsoft 测试转轮的测试用例结果 MTM 2010,在没有任何标记多个测试用例通过或失败的选项。 测试人员只能够设置的单个测试用例,状态,这已从 Microsoft 测试转轮窗口中,这是一个单调乏味的工作要做。 MTM 到 2012 年,测试人员可以标记测试用例的通行证、 失败或阻止直接从测试选项卡的运行测试屏幕。 测试仪还具有单个测试用例或多个测试用例通过试验、 失败测试或块测试,作为标记或重置为活动状态测试的选项 (请参见图 8)。
图 8 中 MTM 的标记测试案例结果
手动测试的 Windows 存储应用 MTM 2012 有助于提高效率的手动测试 Windows 存储的应用程序。 使用 MTM 2012,可以在远程 Windows 8 设备如平板电脑或 Windows 8 的 PC 运行的 Windows 存储应用程序进行测试。 可以在远程 Windows 8 设备上执行您测试步骤,并在同一时间标记为通过或失败 MTM 2012 年在您的本地计算机上的步骤。 MTM 2012 将帮助您生成丰富的行动日志 — — 一个视频与您的操作的文本和图像描述 — — 这是您在远程设备执行的操作的分步表示。
Windows 存储应用程序的手动测试包括三个步骤。 第一步安装远程调试器,其中包括微软测试工具适配器服务。 第二步连接到使用 MTM 2012 的远程设备。 第三步从 MTM 2012 年执行测试用例。
之前测试 Windows 存储应用程序,确保 Microsoft 测试工具适配器服务已启用。 一旦启用该服务,在 2012 年 MTM,连接到的测试计划,你有你的测试套件。 在检测中心,请单击"执行手动测试使用"旁边的修改链接来指定远程设备上运行手动测试的 (请参见图 9)。 选择"远程设备 … …"选项并输入的名称或您要测试的设备的 IP 地址。 单击测试来测试连接,然后保存您的更改。
图 9 Windows 存储应用程序的手动测试
一旦建立连接,则您可以运行手动测试用例。 微软测试转轮开辟了带有开始测试或安装应用程序的选项的"执行手动测试使用"对话框。 安装应用程序会在 Windows 8 设备上,这是一个三步过程复制文件、 安装证书和安装 app 的 Windows 存储应用程序的远程安装。 单击启动选项,则将在 MTM 窗口中,其中您可以标记它们作为合格或失败显示测试步骤。 同时在远程计算机中执行这些步骤,您可以采取的 bug 的截图,并创建 bug。
增强的 Windows 存储软件的操作日志的 MTM 2012 年中,您生成丰富的行动日志与 Windows 存储应用程序或互联网浏览器 10 上执行的操作的文本和图像说明。 操作日志文件包含为每个测试运行期间进行的行动步骤的截图和文件将保存为.html 文件可以在浏览器中查看。 悬停图像操作日志中的任何缩略图会显示执行的操作的全屏图像 (请参阅图 10)。 增强的操作日志轻松音响的 bug。 用户可以看到测试仪、 所采取的具体步骤和一个 bug 提交通过 Microsoft 测试转轮或探索性测试窗口时显示这些日志。
图 10 增强 Windows 存储应用程序的操作日志 (来源:Visual Studio ALM + 团队的基础服务器在博客上 bit.ly/NV0Eru。)
一定要探索这些和许多更多的功能,在 2012 年 MTM,尤其是如果你负责提高质量的解决方案,并测试它们。
Sudheer Adimulam 是 Microsoft 服务 — — 全球交付与测试顾问和作为了 Visual Studio ALM 护林员的工作。 他在计算机应用程序中具有硕士学位,ISTQB、 CSQA、 MCSD 和摊档。
迈克尔总结是总理外地高级工程师开发与微软公司以及工程作为 Visual Studio ALM 游侠。 他专注于帮助 Microsoft 客户与.net 框架的开发与应用生命周期管理。 他可以在他的博客上达到 tfsmentor.com 或在 Twitter 上 twitter.com/mlhoop。
蒂姆 · 星是 Intertech Inc.、 注重培训、 咨询和 Visual Studio ALM 的主要顾问。 他在电气工程学士学位,是酿造、 摊档、 MCT、 Visual Studio ALM 外部游侠和三次 MVP 奖得主。
衷心感谢以下技术专家对本文的审阅:马修 · Aniyan、 Nivedita 巴瓦、 宣武彼得 Schaub 和查尔斯 · 斯特林