Запуск нагрузочных тестов

Статья
02/20/2013

После создания, изменения и задания параметров конфигурации в соответствии с потребностями нагрузочного тестирования в Visual Studio Ultimate можно выбрать несколько параметров запуска тестов.

Совет
Перед запуском нагрузочного теста рекомендуется проверить, что все входящие в него веб-тесты производительности и модульные тесты оказываются пройденными успешно, если их запускать отдельно.Можно проверить тесты, запустив их в редактор веб-тестов производительности.В случае веб-тестов производительности с привязкой к данным переберите все значения данных.

Перед запуском нагрузочного теста рекомендуется проверить, что все входящие в него веб-тесты производительности и модульные тесты оказываются пройденными успешно, если их запускать отдельно.Можно проверить тесты, запустив их в редактор веб-тестов производительности.В случае веб-тестов производительности с привязкой к данным переберите все значения данных.

Вопросы для выполнения нагрузочных тестов

Перед запуском нагрузочного теста необходимо проверить, что тест настроен в соответствии с требованиями и целями тестирования.

Выберите подходящий шаблон нагрузки.	Для каждого сценария в нагрузочном тесте выберите шаблон нагрузки, соответствующий целям тестирования: Шаблон постоянной нагрузки Шаблон пошаговой нагрузки Шаблон нагрузки на основе целей
Выберите расположение для сохранения результатов нагрузочного тестирования.	Особенности хранилищ результатов нагрузочных тестов
Надлежащим образом задайте интервал выборки для счетчиков производительности.	Особенности определения интервала выборки счетчика производительности
Рассмотрите возможность включения сведений о времени для сбора данных процентилей.	Особенности добавления сведений о времени для сбора данных процентилей
Рассмотрите возможность включения трассировки SQL.	Особенности включения трассировки SQL
Определите, требуются ли дополнительные агенты тестирования.	Не перегружайте агенты тестирования

Дополнительные сведения см. в разделе Considerations for Load Tests.

Режимы изображать диаграммой

Во время выполнения нагрузочного теста в анализаторе тестовой нагрузки по умолчанию открыто представление "Диаграммы".Диаграммы можно отображать в одном из двух режимов:

режим свертывания. Режим свертывания по умолчанию используется в анализаторе тестовой нагрузки в качестве режима построения диаграмм во время выполнения нагрузочного теста.Свертывающаяся диаграмма используется во время нагрузочного теста, чтобы уменьшить объем данных, которые должны сохраняться в памяти; на ней показываются линии тренда счетчика производительности на всем протяжении выполнения теста;

режим прокрутки. Режим прокрутки диаграммы доступен при просмотре результатов нагрузочного теста во время его выполнения.Диаграмма с прокруткой является дополнительным представлением, в котором видны последние точки данных.Диаграмма с прокруткой служит для просмотра только последних 100 интервалов данных в тесте.

Примечание
Режим диаграммы с масштабированием доступен только при просмотре результатов завершенного нагрузочного теста из базы данных.

Изменить режим изображая диаграммой

Для переключения между режимом свертывания и режимом прокрутки во время выполнения нагрузочного теста используйте раскрывающийся список Параметры диаграммы на панели инструментов анализатора тестовой нагрузки.Выберите Диаграмма по всем данным выполнения для режима свертывания или Диаграмма только по последним данным для режима прокрутки.

Задачи

Задачи	Связанные разделы
Настройка параметров запуска нагрузочного теста. Параметры запуска — это наборы свойств, которые влияют на способ выполнения нагрузочного теста.Параметры запуска организованы по категориям в окне "Свойства".	Настройка параметров запуска нагрузочных тестов
Выполнение нагрузочного теста. Для выполнения нагрузочного теста можно использовать различные параметры пользовательского интерфейса или можно запустить нагрузочный тест из командной строки.	Практическое руководство. Запуск нагрузочного теста Практическое руководство. Запуск нагрузочного теста из командной строки.
Дистанционное выполнение нагрузочного теста. С помощью агентов тестирования и контроллеров тестирования можно выполнять нагрузочный тест на одном или нескольких удаленных компьютерах.	Практическое руководство. Выполнение нагрузочного теста с помощью контроллеров тестирования и агентов тестирования, заданных в параметрах тестирования
Просмотр результатов теста в графическом виде во время выполнения теста. Результаты нагрузочного теста отображаются в виде данных в нескольких различных областях во время выполнения теста и после его завершения.	Анализ результатов нагрузочного тестирования в представлении диаграмм анализатора тестовой нагрузки Обзор анализатора тестовой нагрузки
Добавление комментариев к нагрузочному тесту во время его выполнения. При анализе нагрузочного теста во время выполнения или после его завершения можно добавлять комментарии с описанием и комментарии с анализом произвольной длины, которые будут сохранены в результатах нагрузочного теста.	Практическое руководство. Добавление комментария к выполняемому нагрузочному тесту с помощью анализатора тестовой нагрузки
Распределение нагрузочных тестов и веб-тестов производительности между компьютерами. Можно использовать группы компьютеров для моделирования рабочей нагрузки в целях тестирования, а также для одновременного удаленного выполнения тестов на нескольких компьютерах.	Распределение запусков нагрузочных тестов между несколькими тестовыми компьютерами с помощью контроллеров и агентов тестирования
Устранение неполадок эмуляции сети в нагрузочных тестах. Можно проверить правильность работы эмуляции в нагрузочных тестах.	Устранение неполадок эмуляции сети в нагрузочных тестах
Запуск нагрузочных тестов с помощью Team Build. Нагрузочные тесты можно добавить в категорию, которая может запускаться после завершения построения.	Практическое руководство. Настройка и запуск запланированных тестов после построения приложения

Аспекты шаблона нагрузки

Для каждого сценария в нагрузочном тесте выберите один из следующих шаблонов нагрузки в соответствии с целями тестирования.

Дополнительные сведения см. в разделе Изменение шаблонов нагрузки для моделирования действий виртуальных пользователей.

С помощью шаблона постоянной нагрузки

Шаблон постоянной нагрузки используется для применения одинаковой нагрузки, создаваемой пользователями, в ходе выполнения нагрузочного теста.Следует с осторожностью применять шаблон постоянной нагрузки при использовании большого числа пользователей, поскольку в этом случае в начале нагрузочного теста может возникнуть неразумная и нереалистичная нагрузка на серверы.Например, если нагрузочный тест содержит веб-тест, начинающийся с запроса к домашней странице, и для этого нагрузочного теста задана постоянная нагрузка в 1000 пользователей, он максимально быстро отправит первые 1000 запросов к домашней странице.Это может не отражать реального распределения запросов к веб-сайту.Чтобы обойти эту проблему, рассмотрите возможность использования шаблона пошаговой нагрузки, в котором число пользователей постепенно увеличивается до 1000, или указания периода прогрева в параметрах запуска нагрузочного теста.Если задан период прогрева, в ходе этого периода нагрузка будет увеличиваться постепенно.Дополнительные сведения см. в разделе Настройка отсрочек запуска сценария.

С помощью шаблона нагрузки

Шаблон пошаговой нагрузки можно использовать для повышения нагрузки на сервер или серверы в ходе выполнения тестов, чтобы отслеживать изменение производительности с увеличением создаваемой пользователями нагрузки.Например, чтобы увидеть, как один или несколько серверов работают при увеличении нагрузки до 2000 пользователей, можно запустить 10-часовой нагрузочный тест с шаблоном пошаговой нагрузки, обладающим следующими свойствами.

Начальное число пользователей: 100
Максимальное число пользователей: 2000
Длительность шага (секунд): 1800
Время увеличения шага (секунд): 20
Число пользователей на шаге: 100

При этих параметрах нагрузочный тест будет выполняться 30 минут (1800 seconds) при нагрузках в 100, 200, 300 и до 2000 пользователей.Свойство Время увеличения шага заслуживает отдельного упоминания, поскольку это единственное свойство, недоступное в мастере тестовой нагрузки.Это свойство позволяет плавно, а не резко, увеличивать нагрузку между шагами (например, от 100 до 200 пользователей).В этом примере нагрузка будет увеличиваться от 100 до 200 в течение 20 секунд (т. е. по пять пользователей в секунду).Дополнительные сведения см. в разделе Практическое руководство. Указание времени увеличения шага для пошагового шаблона нагрузки.

Использование цель- на основе шаблона нагрузки

Шаблон нагрузки на основе целей удобно использовать, если требуется определить число пользователей, которое может поддерживаться системой, прежде чему будет достигнут определенный уровень использования ресурсов.Этот вариант лучше всего применять, если уже определен самый дефицитный ресурс системы, т. е. ее узкое место.Предположим, что дефицитным ресурсом является процессор сервера баз данных, и нам требуется узнать, сколько пользователей может поддерживать система, если уровень загрузки процессора сервера баз данных составляет приблизительно 75 процентов. Можно воспользоваться шаблоном нагрузки на основе целей, для которого установлена цель поддерживать значение счетчика "% загруженности процессора" в диапазоне от 70 до 80 процентов.

Внимание
Если пропускная способность системы ограничивается каким-либо другим ресурсом, указанная в шаблоне цель может никогда не достигаться, а пользовательская нагрузка будет увеличиваться, пока не будет достигнуто значение Максимальное число пользователей.

Если пропускная способность системы ограничивается каким-либо другим ресурсом, указанная в шаблоне цель может никогда не достигаться, а пользовательская нагрузка будет увеличиваться, пока не будет достигнуто значение Максимальное число пользователей.

Обычно такая нагрузка не является желательной.Поэтому следует с осторожностью выбирать счетчик производительности при использовании шаблона нагрузки на основе целей и принимать обоснованное решение о максимальном числе пользователей, задаваемом в качестве верхней границы пользовательской нагрузки.

Особенности хранилищ результатов нагрузочных тестов

Если установлен выпуск Visual Studio Ultimate, в качестве хранилища результатов нагрузочных тестов используется установленный на компьютере экземпляр SQL Express. Выпуск SQL Express поддерживает использование не более 4 ГБ места на диске.Если планируется запускать большое число нагрузочных тестов в течение длительного периода времени, следует подумать о настройке в качестве хранилища результатов экземпляра полной версии SQL Server, если таковой имеется.Дополнительные сведения см. в разделе Управление результатами нагрузочного теста в репозитории результатов нагрузочного теста.

Вопросы интервала выборки счетчиков производительности

Выберите значение свойства Частота выборки в параметрах запуска нагрузочного теста в соответствии с длительностью нагрузочного теста.Для более низкой частоты выборки, например для значения по умолчанию, равного 5 секундам, требуется больше места в базе данных результатов нагрузочного тестирования.Для более длинных нагрузочных тестов увеличение частоты выборки приводит к уменьшению объема собираемых данных.Дополнительные сведения см. в разделе Практическое руководство. Задание частоты выборки для выполнения нагрузочного теста.

Вот несколько рекомендаций по выбору частоты выборки.

Длительность нагрузочного теста	Рекомендуемая частота выборки
< 1 часа	5 секунд
1–8 часов	15 секунд
8–24 часа	30 секунд
24 часа	60 секунд

Вопросы для включения сведений времени для сбора данных процентиля

В параметрах запуска в редакторе тестовой нагрузки имеется свойство Хранилище сведений о времени.Если свойство Хранилище сведений о времени включено, то в хранилище результатов нагрузочного теста будет записываться время выполнения каждого отдельного теста, транзакции и страницы.Это обеспечивает отображение данных процентилей 90 и 95 в анализаторе тестовой нагрузки на страницах "Тесты", "Транзакции" и "Страницы".

Имеется два варианта включения свойства Хранилище сведений о времени в параметрах запуска. Это свойства Только статистика и Все индивидуальные сведения.В обоих случаях измеряется время всех тестов, страниц и транзакций, а на основе сведений о времени вычисляются данные перцентилей.Отличие состоит в том, что при выборе значения Только статистика после вычисления данных процентилей из хранилища будут удалены сведения о времени для всех отдельных объектов.Это позволит уменьшить место, необходимое для хранения данных при использовании сведений о времени.Однако более опытные пользователи могут предпочесть обрабатывать данные о времени другими способами, с использованием средств SQL.В этом случае следует использовать значение Все индивидуальные сведения, чтобы сведения о времени были доступны для обработки.Кроме того, если задать для свойства значение Все индивидуальные сведения, можно анализировать действия виртуальных пользователей с помощью диаграммы активности виртуальных пользователей в анализаторе тестовой нагрузки после завершения нагрузочного теста.Дополнительные сведения см. в разделе Анализ нагрузочного тестирования действий виртуальных пользователей в представлении сведений анализатора тестовой нагрузки.

Примечание
В версиях Visual Studio до Visual Studio 2010, включая Microsoft Visual Studio 2005 и Visual Studio 2008, Все индивидуальные сведения параметра для свойства * Время хранения детализирует углублением * было доступно.В Visual Studio 2010, 2 и Visual Studio 2012 важных различия: Во-первых, параметр Все индивидуальные сведения не был параметром по умолчанию.Во вторых, параметр Все индивидуальные сведения настраивался после сбора данных, и доступ к этой информации можно было получить только с помощью SQL-запросов.

В версиях Visual Studio до Visual Studio 2010, включая Microsoft Visual Studio 2005 и Visual Studio 2008, Все индивидуальные сведения параметра для свойства *** Время хранения детализирует углублением *** было доступно.В Visual Studio 2010, 2 и Visual Studio 2012 важных различия: Во-первых, параметр Все индивидуальные сведения не был параметром по умолчанию.Во вторых, параметр Все индивидуальные сведения настраивался после сбора данных, и доступ к этой информации можно было получить только с помощью SQL-запросов.

Объем места, необходимый для хранения сведений о времени в хранилище результатов нагрузочного тестирования, может быть очень большим, особенно для длительных тестов.Кроме того, сохранение этих данных в хранилище результатов нагрузочного теста после завершения теста может занять очень много времени, поскольку эти данные хранятся на агентах до завершения тестирования.После завершения нагрузочного теста данные сохраняются в репозитории.По умолчанию свойство Хранилище сведений о времени включено.Если это важно для тестовой среды, можно указать для параметра Хранилище сведений о времени значение Нет.

Дополнительные сведения см. в разделе Практическое руководство. Указание свойства хранилища сведений о синхронизации для запуска нагрузочного теста.

Рассмотрите возможность включения трассировки SQL.

Для диагностирования проблем производительности SQL Server в параметрах запуска, задаваемых в редакторе тестовой нагрузки, имеется набор свойств, позволяющих включить на время нагрузочного теста функцию трассировки Microsoft SQL Server.Если функция трассировки SQL включена, данные трассировки SQL могут отображаться в анализаторе тестовой нагрузки в таблице трассировки SQL, доступной в представлении таблиц.

Трассировка SQL представляет собой достаточно простую в использовании альтернативу запуску отдельного сеанса профилировщика SQL на время выполнения нагрузочного теста.Для включения этой функции у пользователя, запускающего нагрузочный тест, должны быть разрешения на выполнение трассировки SQL; кроме того, должен быть задан каталог, в котором будет сохранен файл трассировки.Обычно этот каталог является общим.После завершения нагрузочного теста данные файла данных трассировки импортируются в хранилище нагрузочных тестов и сопоставляются с выполненным тестом, чтобы их можно было позже просмотреть с помощью анализатора тестовой нагрузки.

Дополнительные сведения см. в разделе Сбор данных трассировки SQL для отслеживания и повышения производительности в нагрузочных тестах.

Не перегружайте агентов тестирования

Если ЦП компьютера агента тестирования загружен более чем на 75% или на нем доступно менее 10% физической памяти, добавьте в нагрузочный тест больше агентов, чтобы для нагрузочного теста было достаточно ресурсов.

Дополнительные сведения см. в разделах Практическое руководство. Задание агентов тестирования для использования в сценариях тестовой нагрузки и Распределение запусков нагрузочных тестов между несколькими тестовыми компьютерами с помощью контроллеров и агентов тестирования.