Регрессионный анализ памяти

Важно!

31 мая 2024 г. тестовая база для Microsoft 365 будет переведена в режим окончания срока действия (EOL). Мы стремимся тесно сотрудничать с каждым клиентом, чтобы обеспечить поддержку и руководство, чтобы сделать переход как можно более плавным. Если у вас есть вопросы, проблемы или требуется помощь, отправьте запрос на поддержку.

Тестовая база помогает более четко заметить значительное увеличение использования памяти на тестовых виртуальных машинах, работающих с приложениями. Метрики производительности, такие как использование памяти, могут указывать на общую работоспособность приложений, и мы считаем, что это дополнение значительно поможет обеспечить оптимальную работу ваших приложений.

Дополнительные сведения см. в этом видео или watch краткое пошаговое руководство по последним улучшениям.

Дополнительные сведения о способности Тестовой базы для Microsoft 365 помочь в анализе регрессии см. в разделе Результаты регрессии на основе надежности процесса.

Более внимательное внимание к регрессиям памяти

На панели мониторинга Test Base for Microsoft 365 отображается память, используемая приложением в новом предварительно выпущенном обновлении Windows, и сравнивается с памятью, используемой последним выпущенным обновлением Windows.

Благодаря усовершенствованиям этого месяца анализ регрессии памяти теперь доступен в избранных процессах. Приложения могут содержать несколько процессов, и вы можете вручную выбрать избранные процессы на вкладке Надежность. Затем наша служба будет определять регрессии памяти в этих избранных процессах, сравнивая тестовые запуски в разных выпусках обновлений Windows. При обнаружении регрессии сведения о ней легко доступны.

Теперь давайте подробно рассмотрим эту функцию и обсудим, как устранить неполадки с регрессией памяти с помощью Windows Анализатор производительности.

Сигнал о сбое, вызванный регрессией памяти, отображается на панели мониторинга Test Base for Microsoft 365 на странице Результаты теста в разделе Использование памяти:

Сбой приложения из-за более высокого потребления памяти также будет отображаться на Fail странице Сводка теста:

Заранее предоставляя сигналы о сбое, мы стремимся четко отметить потенциальные проблемы, которые могут нарушить работу приложения и повлиять на нее.

Затем вы можете скачать файлы журналов и использовать Анализатор производительности Windows или предпочитаемый набор средств для дальнейшего изучения. Вы также можете совместно с командой тестовых баз для Microsoft 365 устранить проблему и помочь предотвратить проблемы, влияющие на конечных пользователей.

Сигналы памяти записываются на вкладке Использование памяти в службе Test Base для Microsoft 365 для всех тестовых запусков. В приведенном ниже примере показан недавний тестовый запуск с подключенным приложением "Smoke Test Memory Stress" для предварительного обновления для системы безопасности за август 2020 г. (Это приложение было написано нашей командой для иллюстрации регрессии памяти.)

В этом примере избранный процесс "USLTestMemoryStress.exe" потребляет в среднем около 100 МБ в предварительном обновлении за август по сравнению с выпущенным в июле обновлением, поэтому тестовая база для Microsoft 365 обнаружила регрессию.

Другие процессы, показанные здесь как "USLTestMemoryStress_Aux1.exe" и "USLTestMemoryStress_Aux2.exe", также относятся к одному и тому же приложению, но потребляют примерно одинаковый объем памяти для двух выпусков, поэтому они "прошли" и были признаны работоспособными.

Регрессия main процесса была определена как "статистически значимая", поэтому служба сообщила и выделила эту разницу пользователю. Если сравнение не было статистически значимым, оно не было бы выделено. Использование памяти может быть шумным, поэтому мы используем статистические модели для различения значимых различий между сборками и выпусками и несуществующих различий.

Сравнение редко может быть отмечено, если нет истинной разницы (ложноположительный результат), но это необходимое компромиссное значение для повышения вероятности правильного выявления регрессий (или истинных положительных результатов).

Следующий шаг — понять, что вызвало регрессию памяти. Zip-файлы для обоих выполнений можно скачать из параметра Скачать файлы журнала, как показано ниже.

Эти ZIP-файлы содержат результаты тестового запуска, включая результаты скрипта, память и данные о производительности ЦП, включенные в ETL-файл.

Вы можете скачать и распакуть журналы для двух тестовых запусков, а затем найти ETL-файл в каждой папке и переименовать их в target.etl (для теста, выполняемого в предварительном обновлении) и baseline.etl (для теста, выполняемого в последнем выпущенном обновлении), чтобы упростить просмотр и навигацию.

Дальнейшие действия

Перейдите к следующей статье, чтобы приступить к анализу интеллектуальной регрессии ЦП.

Следующее действие