重要
Microsoft 365 的测试基础将于 2024 年 5 月 31 日过渡到生命周期结束 (EOL) 。 我们致力于与每位客户密切合作,提供支持和指导,使过渡尽可能顺利。 如果有任何疑问、疑虑或需要帮助, 请提交支持请求。
测试库可帮助你更清楚地注意到运行应用的测试 VM 中的内存使用量显著增加。 性能指标(如内存使用量)可以指示应用程序的整体运行状况,我们相信,此添加将极大地帮助保持应用的最佳性能。
请继续阅读以了解更多详细信息,或watch此视频快速演练最新改进。
有关 Microsoft 365 测试基地帮助进行回归分析的功能的详细信息,请参阅基于过程可靠性的回归结果。
更仔细地了解内存回归
Microsoft 365 仪表板测试基础显示应用程序在新预发布的 Windows 更新上消耗的内存,并将其与上次发布的 Windows 更新使用的内存进行比较。
通过本月的增强功能,内存回归分析现已出现在你最喜爱的进程中。 应用程序可以包含多个进程,并且可以通过“可靠性”选项卡手动选择喜欢的进程。然后,我们的服务将识别这些常用进程中的内存回归,同时比较不同 Windows 更新版本的测试运行。 如果检测到回归,则可以轻松获取有关回归的详细信息。
现在,让我们详细了解此功能,并讨论如何使用 Windows 性能分析器排查内存回归问题。
内存回归导致的故障信号显示在“测试结果”页上的“Microsoft 365 测试基础”仪表板“内存利用率”下:
由于内存消耗较高而导致应用程序失败,也会在 Fail
“测试摘要”页上显示为:
通过提前提供故障信号,我们的目标是明确标记可能会中断和影响应用程序的最终用户体验的潜在问题。
然后,可以下载日志文件,并使用 Windows 性能分析器或首选工具包进一步进行调查。 还可以与 Microsoft 365 测试基地团队共同解决问题,并帮助防止影响最终用户的问题。
对于所有测试运行,在 Microsoft 365 服务测试基础的“内存利用率”选项卡中捕获内存信号。 以下示例显示了最近针对预发行 2020 年 8 月安全更新的载入应用程序“冒烟测试内存压力”的测试运行。 (此应用程序由我们的团队编写,用于说明内存回归。)
在此示例中,与发布的 7 月更新相比,最喜爱的进程“USLTestMemoryStress.exe”进程在预发行的 8 月更新上平均消耗了大约 100 MB,因此 Microsoft 365 的测试基础标识了回归。
其他进程(此处显示为“USLTestMemoryStress_Aux1.exe”和“USLTestMemoryStress_Aux2.exe”)也属于同一应用程序,但两个版本的内存消耗量大致相同,因此它们“传递”并被视为正常。
main过程的回归被确定为“统计显著”,因此服务向用户传达并突出显示了此差异。 如果比较在统计上不显著,则不会突出显示。 内存利用率可能是干扰性的,因此我们使用统计模型来区分生成和发布中有意义的差异与无关紧要的差异。
如果) 误报 (没有真实差异,则很少标记比较,但这是提高正确识别回归 (或真正的可能性的必要权衡。)
下一步是了解导致内存回归的原因。 可以从“下载日志文件”选项下载这两个执行的 zip 文件,如下所示。
这些 zip 文件包含测试运行的结果,包括脚本结果以及 ETL 文件中包含的内存和 CPU 性能数据。
可以下载并解压缩两个测试运行的日志,然后在每个文件夹中找到 ETL 文件,并将其重命名为 target.etl (,用于在预发布更新) 和 baseline.etl (在上次发布的更新上运行的测试) 以简化浏览和导航。
后续步骤
请继续学习下一篇文章,开始了解智能 CPU 回归分析。