Запуск нагрузочных тестов

Статья
08/11/2011

После создания, изменения и задания параметров конфигурации в соответствии с потребностями нагрузочного тестирования в Visual Studio Ultimate можно выбрать несколько параметров запуска тестов.

Совет

Перед запуском нагрузочного теста рекомендуется проверить, что все входящие в него веб-тесты производительности и модульные тесты оказываются пройденными успешно, если их запускать отдельно.Тесты можно проверить, запустив их из окна обозревателя тестов или представления теста, либо из редактора веб-тестов производительности.В случае веб-тестов производительности с привязкой к данным переберите все значения данных.

Особенности запуска нагрузочных тестов

Перед запуском нагрузочного теста необходимо проверить, что тест настроен в соответствии с требованиями и целями тестирования.

Выберите подходящий шаблон нагрузки.	Для каждого сценария в нагрузочном тесте выберите шаблон нагрузки, соответствующий целям тестирования: Шаблон постоянной нагрузки Шаблон пошаговой нагрузки Шаблон нагрузки на основе целей
Выберите расположение для сохранения результатов нагрузочного тестирования.	Особенности хранилищ результатов нагрузочных тестов
Надлежащим образом задайте интервал выборки для счетчиков производительности.	Особенности определения интервала выборки счетчика производительности
Рассмотрите возможность включения сведений о времени для сбора данных процентилей.	Особенности добавления сведений о времени для сбора данных процентилей
Рассмотрите возможность включения трассировки SQL.	Особенности включения трассировки SQL
Определите, требуются ли дополнительные агенты тестирования.	Не перегружайте агенты тестирования

Дополнительные сведения см. в разделе Особенности нагрузочных тестов.

Режимы построения диаграмм

Во время выполнения нагрузочного теста в анализаторе тестовой нагрузки по умолчанию открыто представление "Диаграммы". Диаграммы можно отображать в одном из двух режимов:

режим свертывания. Режим свертывания по умолчанию используется в анализаторе тестовой нагрузки в качестве режима построения диаграмм во время выполнения нагрузочного теста. Свертывающаяся диаграмма используется во время нагрузочного теста, чтобы уменьшить объем данных, которые должны сохраняться в памяти; на ней показываются линии тренда счетчика производительности на всем протяжении выполнения теста;
режим прокрутки. Режим прокрутки диаграммы доступен при просмотре результатов нагрузочного теста во время его выполнения. Диаграмма с прокруткой является дополнительным представлением, в котором видны последние точки данных. Диаграмма с прокруткой служит для просмотра только последних 100 интервалов данных в тесте.

Примечание

Режим диаграммы с масштабированием доступен только при просмотре результатов завершенного нагрузочного теста из базы данных.

Изменение режима построения диаграмм

Для переключения между режимом свертывания и режимом прокрутки во время выполнения нагрузочного теста используйте раскрывающийся список Параметры диаграммы на панели инструментов анализатора тестовой нагрузки. Выберите Диаграмма по всем данным выполнения для режима свертывания или Диаграмма только по последним данным для режима прокрутки.

Задачи

Задачи	Связанные разделы
Настройка параметров запуска нагрузочного теста. Параметры запуска — это наборы свойств, которые влияют на способ выполнения нагрузочного теста. Параметры запуска организованы по категориям в окне "Свойства".	Настройка параметров запуска нагрузочных тестов
Выполнение нагрузочного теста. Для выполнения нагрузочного теста можно использовать различные параметры пользовательского интерфейса или можно запустить нагрузочный тест из командной строки.	Практическое руководство. Запуск нагрузочного теста Практическое руководство. Запуск нагрузочного теста из командной строки.
Дистанционное выполнение нагрузочного теста. С помощью агентов тестирования и контроллеров тестирования можно выполнять нагрузочный тест на одном или нескольких удаленных компьютерах.	Практическое руководство. Выполнение нагрузочного теста с помощью контроллеров тестирования и агентов тестирования, заданных в параметрах тестирования
Просмотр результатов теста в графическом виде во время выполнения теста. Результаты нагрузочного теста отображаются в виде данных в нескольких различных областях во время выполнения теста и после его завершения.	Анализ результатов нагрузочного тестирования в представлении диаграмм анализатора тестовой нагрузки Обзор анализатора тестовой нагрузки
Добавление комментариев к нагрузочному тесту во время его выполнения. При анализе нагрузочного теста во время выполнения или после его завершения можно добавлять комментарии с описанием и комментарии с анализом произвольной длины, которые будут сохранены в результатах нагрузочного теста.	Практическое руководство. Добавление комментария к выполняемому нагрузочному тесту с помощью анализатора тестовой нагрузки
Распределение нагрузочных тестов и веб-тестов производительности между компьютерами. Можно использовать группы компьютеров для моделирования рабочей нагрузки в целях тестирования, а также для одновременного удаленного выполнения тестов на нескольких компьютерах.	Распределение нагрузочных тестов между несколькими тестовыми компьютерами с помощью контроллеров и агентов тестирования
Сбор данных производительности ASP.NET в рамках веб-теста производительности. С помощью адаптера диагностических данных профилировщика ASP.NET в параметрах тестирования можно собирать данные о производительности ASP.NET для веб-приложения ASP.NET.	Практическое руководство. Выполнение нагрузочного теста, содержащего веб-тесты производительности и собирающего данные профилировщика ASP.NET
Устранение неполадок эмуляции сети в нагрузочных тестах. Можно проверить правильность работы эмуляции в нагрузочных тестах.	Устранение неполадок эмуляции сети в нагрузочных тестах
Запуск нагрузочных тестов с помощью Team Build. Нагрузочные тесты можно добавить в категорию, которая может запускаться после завершения построения.	Практическое руководство. Настройка и запуск запланированных тестов после построения приложения

Особенности шаблонов нагрузки

Для каждого сценария в нагрузочном тесте выберите один из следующих шаблонов нагрузки в соответствии с целями тестирования.

Дополнительные сведения см. в разделе Изменение шаблонов нагрузки для моделирования действий виртуальных пользователей.

Использование шаблона постоянной нагрузки

Шаблон постоянной нагрузки используется для применения одинаковой нагрузки, создаваемой пользователями, в ходе выполнения нагрузочного теста. Следует с осторожностью применять шаблон постоянной нагрузки при использовании большого числа пользователей, поскольку в этом случае в начале нагрузочного теста может возникнуть неразумная и нереалистичная нагрузка на серверы. Например, если нагрузочный тест содержит веб-тест, начинающийся с запроса к домашней странице, и для этого нагрузочного теста задана постоянная нагрузка в 1000 пользователей, он максимально быстро отправит первые 1000 запросов к домашней странице. Это может не отражать реального распределения запросов к веб-сайту. Чтобы обойти эту проблему, рассмотрите возможность использования шаблона пошаговой нагрузки, в котором число пользователей постепенно увеличивается до 1000, или указания периода прогрева в параметрах запуска нагрузочного теста. Если задан период прогрева, в ходе этого периода нагрузка будет увеличиваться постепенно. Дополнительные сведения см. в разделе Настройка отсрочек запуска сценария.

Использование шаблона пошаговой нагрузки

Шаблон пошаговой нагрузки можно использовать для повышения нагрузки на сервер или серверы в ходе выполнения тестов, чтобы отслеживать изменение производительности с увеличением создаваемой пользователями нагрузки. Например, чтобы увидеть, как один или несколько серверов работают при увеличении нагрузки до 2000 пользователей, можно запустить 10-часовой нагрузочный тест с шаблоном пошаговой нагрузки, обладающим следующими свойствами.

Начальное число пользователей: 100
Максимальное число пользователей: 2000
Длительность шага (секунд): 1800
Время увеличения шага (секунд): 20
Число пользователей на шаге: 100

При этих параметрах нагрузочный тест будет выполняться 30 минут (1800 seconds) при нагрузках в 100, 200, 300 и до 2000 пользователей. Свойство Время увеличения шага заслуживает отдельного упоминания, поскольку это единственное свойство, недоступное в мастере тестовой нагрузки. Это свойство позволяет плавно, а не резко, увеличивать нагрузку между шагами (например, от 100 до 200 пользователей). В этом примере нагрузка будет увеличиваться от 100 до 200 в течение 20 секунд (т. е. по пять пользователей в секунду). Дополнительные сведения см. в разделе Практическое руководство. Указание времени увеличения шага для пошагового шаблона нагрузки.

Примечание

Visual Studio Ultimate позволяет использовать до 250 виртуальных пользователей при локальном выполнении нагрузочного теста.Если для нагрузочного теста требуется больше виртуальных пользователей или если требуется использовать удаленный компьютер, необходимо приобрести Visual Studio Load Test Virtual User Pack 2010.Visual Studio Load Test Virtual User Pack 2010 можно купить там же, где была совершена покупка Visual Studio Ultimate.Дополнительные сведения см. в разделе Управление лицензиями виртуальных пользователей для нагрузочного тестирования с помощью контроллера тестирования и Настройка контроллеров и агентов тестирования для нагрузочного тестирования.

Использование шаблона нагрузки на основе целей

Шаблон нагрузки на основе целей удобно использовать, если требуется определить число пользователей, которое может поддерживаться системой, прежде чему будет достигнут определенный уровень использования ресурсов. Этот вариант лучше всего применять, если уже определен самый дефицитный ресурс системы, т. е. ее узкое место. Предположим, что дефицитным ресурсом является процессор сервера баз данных, и нам требуется узнать, сколько пользователей может поддерживать система, если уровень загрузки процессора сервера баз данных составляет приблизительно 75 процентов. Можно воспользоваться шаблоном нагрузки на основе целей, для которого установлена цель поддерживать значение счетчика "% загруженности процессора" в диапазоне от 70 до 80 процентов.

Предупреждение

Если пропускная способность системы ограничивается каким-либо другим ресурсом, указанная в шаблоне цель может никогда не достигаться, а пользовательская нагрузка будет увеличиваться, пока не будет достигнуто значение Максимальное число пользователей.

Обычно такая нагрузка не является желательной. Поэтому следует с осторожностью выбирать счетчик производительности при использовании шаблона нагрузки на основе целей и принимать обоснованное решение о максимальном числе пользователей, задаваемом в качестве верхней границы пользовательской нагрузки.

Особенности хранилищ результатов нагрузочных тестов

Если установлен выпуск Visual Studio Ultimate, в качестве хранилища результатов нагрузочных тестов используется установленный на компьютере экземпляр SQL Express. Выпуск SQL Express поддерживает использование не более 4 ГБ места на диске. Если планируется запускать большое число нагрузочных тестов в течение длительного периода времени, следует подумать о настройке в качестве хранилища результатов экземпляра полной версии SQL Server, если таковой имеется. Дополнительные сведения см. в разделе Управление результатами нагрузочного теста в репозитории результатов нагрузочного теста.

Особенности определения интервала выборки счетчика производительности

Выберите значение свойства Частота выборки в параметрах запуска нагрузочного теста в соответствии с длительностью нагрузочного теста. Для более низкой частоты выборки, например для значения по умолчанию, равного 5 секундам, требуется больше места в базе данных результатов нагрузочного тестирования. Для более длинных нагрузочных тестов увеличение частоты выборки приводит к уменьшению объема собираемых данных. Дополнительные сведения см. в разделе Практическое руководство. Задание частоты выборки для выполнения нагрузочного теста.

Вот несколько рекомендаций по выбору частоты выборки.

Длительность нагрузочного теста	Рекомендуемая частота выборки
< 1 часа	5 секунд
1–8 часов	15 секунд
8–24 часа	30 секунд
24 часа	60 секунд

Особенности добавления сведений о времени для сбора данных процентилей

В параметрах запуска в редакторе тестовой нагрузки имеется свойство Хранилище сведений о времени. Если свойство Хранилище сведений о времени включено, то в хранилище результатов нагрузочного теста будет записываться время выполнения каждого отдельного теста, транзакции и страницы. Это обеспечивает отображение данных процентилей 90 и 95 в анализаторе тестовой нагрузки на страницах "Тесты", "Транзакции" и "Страницы".

Имеется два варианта включения свойства Хранилище сведений о времени в параметрах запуска. Это свойства Только статистика и Все индивидуальные сведения. В обоих случаях измеряется время всех тестов, страниц и транзакций, а на основе сведений о времени вычисляются данные перцентилей. Отличие состоит в том, что при выборе значения Только статистика после вычисления данных процентилей из хранилища будут удалены сведения о времени для всех отдельных объектов. Это позволит уменьшить место, необходимое для хранения данных при использовании сведений о времени. Однако более опытные пользователи могут предпочесть обрабатывать данные о времени другими способами, с использованием средств SQL. В этом случае следует использовать значение Все индивидуальные сведения, чтобы сведения о времени были доступны для обработки. Кроме того, если задать для свойства значение Все индивидуальные сведения, можно анализировать действия виртуальных пользователей с помощью диаграммы активности виртуальных пользователей в анализаторе тестовой нагрузки после завершения нагрузочного теста. Дополнительные сведения см. в разделе Анализ нагрузочного тестирования действий виртуальных пользователей в представлении сведений анализатора тестовой нагрузки.

Примечание

В предыдущих версиях Visual Studio, включая Microsoft Visual Studio 2005 и Visual Studio 2008, было предусмотрено значение Все индивидуальные сведения для свойства Хранилище сведений о времени.Однако имеются два важных отличия. Во-первых, параметр Все индивидуальные сведения не был параметром по умолчанию.Во вторых, параметр Все индивидуальные сведения настраивался после сбора данных, и доступ к этой информации можно было получить только с помощью SQL-запросов.

Объем места, необходимый для хранения сведений о времени в хранилище результатов нагрузочного тестирования, может быть очень большим, особенно для длительных тестов. Кроме того, сохранение этих данных в хранилище результатов нагрузочного теста после завершения теста может занять очень много времени, поскольку эти данные хранятся на агентах до завершения тестирования. После завершения нагрузочного теста данные сохраняются в репозитории. По умолчанию свойство Хранилище сведений о времени включено. Если это важно для тестовой среды, можно указать для параметра Хранилище сведений о времени значение Нет.

Дополнительные сведения см. в разделе Практическое руководство. Указание свойства хранилища сведений о синхронизации для запуска нагрузочного теста.

Особенности включения трассировки SQL

Для диагностирования проблем производительности SQL Server в параметрах запуска, задаваемых в редакторе тестовой нагрузки, имеется набор свойств, позволяющих включить на время нагрузочного теста функцию трассировки Microsoft SQL Server. Если функция трассировки SQL включена, данные трассировки SQL могут отображаться в анализаторе тестовой нагрузки в таблице трассировки SQL, доступной в представлении таблиц.

Трассировка SQL представляет собой достаточно простую в использовании альтернативу запуску отдельного сеанса профилировщика SQL на время выполнения нагрузочного теста. Для включения этой функции у пользователя, запускающего нагрузочный тест, должны быть разрешения на выполнение трассировки SQL; кроме того, должен быть задан каталог, в котором будет сохранен файл трассировки. Обычно этот каталог является общим. После завершения нагрузочного теста данные файла данных трассировки импортируются в хранилище нагрузочных тестов и сопоставляются с выполненным тестом, чтобы их можно было позже просмотреть с помощью анализатора тестовой нагрузки.

Дополнительные сведения см. в разделе Сбор данных трассировки SQL для отслеживания и повышения производительности в нагрузочных тестах.

Не перегружайте агенты тестирования

Если ЦП компьютера агента тестирования загружен более чем на 75% или на нем доступно менее 10% физической памяти, добавьте в нагрузочный тест больше агентов, чтобы для нагрузочного теста было достаточно ресурсов.

Дополнительные сведения см. в разделах Практическое руководство. Задание агентов тестирования для использования в сценариях тестовой нагрузки и Распределение нагрузочных тестов между несколькими тестовыми компьютерами с помощью контроллеров и агентов тестирования.