Настройка компьютеров и сбор диагностических данных с помощью параметров тестирования
В параметрах тестирования используются адаптеры диагностических данных, указывающие, какие типы данных требуется собирать при запуске ручных или автоматических тестов (или и тех, и других). Адаптеры диагностических данных также позволяют задать способ влияния на тестовый компьютер. Например, адаптер диагностических данных может создать запись действий, журнал действий или видеозапись либо собрать сведения о системе. Кроме того, адаптеры диагностических данных можно использовать для имитации потенциальных узких мест на тестовом компьютере или для уменьшения доступной системной памяти. Например, можно имитировать низкую пропускную способность сети, чтобы создать узкое место в системе.
Параметры тестирования определяют следующее:
тип выполняемых тестов (ручные или автоматические);
набор ролей, необходимых для работы тестируемого приложения;
роль, используемая при тестировании;
адаптеры диагностических данных, используемые для каждой роли.
Примечание
При создании параметров тестирования для тестов с помощью Microsoft Visual Studio 2010 можно выполнять только автоматические тесты. Поэтому нельзя выбрать тип выполняемых тестовФайлы параметров тестирования, создаваемые для Microsoft Visual Studio 2010, нельзя использовать в Microsoft Test Manager.
Выполнение тестов с помощью Microsoft Test Manager
Если тесты выполняются с использованием Microsoft Test Manager, при необходимости можно настроить план тестирования на использование параметров тестирования для всех его ручных тестов и параметры тестирования для всех его автоматических тестов. Дополнительно можно выбрать среду, которая включает набор ролей в параметрах тестирования для всех ручных тестов, также необходимо выбрать среду для всех автоматических тестов в плане. При необходимости можно переопределить эти параметры тестирования и среды при выполнении тестов.
Примечание
При выполнении автоматических тестов с помощью диспетчера Microsoft Test Manager, необходимо использовать среду.
Настройка плана тестирования выполняется с помощью страницы Свойства плана тестирования в Microsoft Test Manager. На следующем рисунке показаны примеры параметров тестирования и сред для плана тестирования.
.png "Понятия параметров тестов")
Примечание
Ручные тесты всегда выполняются на локальном компьютере с помощью Test Runner.Дополнительные сведения см. в разделе Выполнение ручных тестов с помощью средства выполнения тестов.
Выполнение тестов с помощью Microsoft Visual Studio
Если необходимо выполнять тесты с помощью Microsoft Visual Studio 2010, можно настроить используемые параметры тестирования при выполнении тестов. Чтобы выполнять тесты, собирать данные или удаленно воздействовать на тестовый компьютер, необходимо в параметрах тестирования задать используемый контроллер тестирования. Контроллер тестирования будет содержать агенты, которые могут быть использованы для каждой роли в параметрах тестирования. Дополнительные сведения о контроллерах тестирования и агентах тестирования см. в разделе Настройка тестовых компьютеров для выполнения тестов или сбора данных.
Примечание
Среды используются, только если тесты выполняются с помощью Microsoft Test Manager; их нельзя использовать в среде Microsoft Visual Studio 2010.
Дополнительные сведения о средах
Виртуальные и физические среды можно создавать с помощью средства Microsoft Test Manager. В физической среде могут использоваться физические компьютеры или виртуальные машины. Виртуальная среда использует только виртуальные машины. Среда состоит из набора ролей. Роль определяет задачу одного или нескольких компьютеров в среде. Например, определенной ролью может быть роль "Веб-сервер". Можно выполнять тесты, собирать данные или воздействовать на тестовый компьютер для каждой определенной роли в среде.
Для среды необходимо задать контроллер тестирования. Каждый компьютер с агентом тестирования, зарегистрированный на этом контроллере, называется компьютер и доступен для использования в среде. Дополнительные сведения см. в разделе Настройка тестовых компьютеров для выполнения тестов или сбора данных.
На следующем рисунке демонстрируется определение набора ролей для параметров тестирования. После этого можно выбрать среду, которая содержит компьютеры, назначенные для каждой роли, используемой при выполнении тестов. Можно выбрать любую среду, которая включает по крайней мере набор ролей, заданных в параметрах тестирования. Среда может включать другие роли, которые не указаны в параметрах тестирования, как показано на следующем рисунке.
.png "Параметры и среды тестирования")
Подробные сведения о конфигурации параметров тестирования для адаптеров диагностических данных
В следующей таблице представлены общие сведения о различных способах настройки адаптеров диагностических данных для использования с локальными или удаленными компьютерами.
Адаптер диагностических данных, используемый в параметрах тестирования |
Ручные тесты на локальном компьютере |
Автоматические тесты |
Ручные тесты: сбор данных с помощью набора ролей и среды |
Примечания |
|---|---|---|---|---|
Действия. Можно создать параметр тестирования для сбора текстового описания каждого действия, выполняемого в ходе теста. При настройке этого адаптера выбранные значения также используются для создания записи действий во время выполнения ручного теста. Журналы и записи действий сохраняются вместе с результатами теста. В дальнейшем можно воспроизвести запись действий для быстрого перехода по тесту или просмотреть журнал действий, чтобы проанализировать выполненные действия. |
Да |
Нет |
Да (см. примечания) |
|
Прокси-сервер клиента ASP.NET для IntelliTrace и влияния на тесты. Этот прокси-сервер позволяет собирать данные об HTTP-обращениях из клиента к веб-серверу для адаптеров диагностических данных IntelliTrace и влияния на тесты. |
Да |
Да |
Да |
|
Профилировщик ASP.NET: можно создать параметр тестирования, включающий профилирование ASP.NET ASP.NET, собирающее данные производительности веб-приложений ASP.NET. |
Нет |
Да (см. примечания) |
Нет |
|
Покрытие кода. Можно создать параметр тестирования, включающий сведения о покрытии кода, позволяющие узнать объем протестированного кода. |
Нет |
Да (см. примечания) |
Нет |
|
IntelliTrace: адаптер диагностических данных для IntelliTrace можно настроить для сбора определенных диагностических данных трассировки с целью содействия изоляции ошибок, которые трудно воспроизвести. В результате создается файл IntelliTrace с расширением .iTrace, который содержит эти данные. При неудачном завершении теста можно создать ошибку. К этой ошибке автоматически привязывается файл IntelliTrace, сохраняемый вместе с результатами теста. Данные, собираемые в файл IntelliTrace, повышают производительность отладки за счет снижения затрат времени на воспроизведение и диагностику ошибок в коде. Используя этот файл IntelliTrace, можно моделировать локальный сеанс на другом компьютере. Это снижает вероятность того, что ошибку нельзя будет воспроизвести. Дополнительные сведения см. в разделе Отладка с помощью IntelliTrace. |
Да |
Да |
Да |
|
Журнал событий. Можно настроить параметр тестирования для записи журнала событий, который включается в результаты теста. |
Да |
Да |
Да |
|
Эмуляция сети. С помощью параметра тестирования можно указать, что требуется выполнить эмуляцию сетевой нагрузки при тестировании. Эмуляция сети влияет на обмен входящими и исходящими данными с компьютером, имитируя определенную скорость сетевого подключения, например коммутируемое подключение. .gif "Примечание") Примечание
Эмуляцию сети нельзя использовать для увеличения скорости сетевого подключения.
|
Да |
Да |
Да |
Адаптер диагностических данных эмуляции сети можно использовать для роли клиента или сервера. Не требуется использовать адаптер для обеих этих ролей, которые обмениваются данные друг с другом. Если включить адаптер диагностических данных эмуляции сети в параметры тестирования, предполагая использовать его на локальном компьютере, необходимо также привязать драйвер эмуляции сети к одному из сетевых адаптеров компьютера. Драйвер эмуляции сети необходим для работы адаптера диагностических данных эмуляции сети. Драйвер эмуляции сети устанавливается и привязывается к адаптеру двумя способами:
Совет
Также можно установить драйвер эмуляции сети из командной строки на локальном компьютере без установки Visual Studio Test Agent с помощью следующей команды: VSTestConfig NETWORKEMULATION /install
.gif "Предупреждающее замечание") Внимание
Адаптер эмуляции сети не учитывается в нагрузочных тестах.Вместо него в нагрузочных тестах используются параметры, указанные в смешанном сетевом профиле сценария тестовой нагрузки.Дополнительные сведения см. в разделах Определение типов виртуальной сети в сценарии тестовой нагрузки и Практическое руководство. Создание параметра тестирования для распределенного нагрузочного теста.
|
Сведения о системе. В параметрах тестирования можно задать учет сведений о системе компьютера, на котором выполняется тест. |
Да |
Да |
Да |
|
Тест влияния. Можно собирать сведения о том, какие методы кода приложений использовались при выполнении тестового случая. Эти данные можно использовать вместе с данными об изменениях кода приложения, внесенных разработчиками, чтобы определить, на какие тесты влияют эти изменения. |
Да |
Да |
Да |
|
Запись видео. При выполнении теста можно создать видеозапись рабочего стола. Видео может помочь другим членам команды определить проблемы с приложением, которые трудно воспроизвести. |
Да |
Да (см. примечания) |
Да |
|
Примечание
Также можно создать адаптеры диагностических данных в соответствии с определенными требованиями.Дополнительные сведения см. в разделе Создание адаптера диагностических данных для сбора пользовательских данных или воздействия на тестовый компьютер.
Ключевые задачи
Ниже перечислены разделы, которые помогут при создании и настройке параметров тестирования.
Задачи |
Связанные разделы |
|---|---|
Создание параметров тестирования для использования с ручными тестами. Параметры тестирования для плана тестирования можно создавать с помощью поддерживаемых адаптеров диагностических данных для ручных тестов. |
|
Создание параметров тестирования для использования с автоматическими тестами. Параметры тестирования для плана тестирования можно создавать с помощью поддерживаемых адаптеров диагностических данных для автоматических тестов. |
|
Обновление параметров тестирования. Изменения в существующие параметры тестирования можно внести посредством изменения их в центре лабораторий или через действие "Свойства" для плана тестирования. |
|
Выбор имеющихся параметров тестирования для плана тестирования. Параметры тестирования хранятся в Team Foundation Server и могут быть выбраны для использования в нескольких планах тестирования. |
|
Сбор собственных данных или воздействие на тестовый компьютер с помощью пользовательских адаптеров диагностических данных. Можно создать и использовать пользовательский адаптер диагностических данных для выполнения таких задач, как уменьшение свободной системной памяти, уменьшение свободного места на диске, выделение и удержание других ресурсов при выполнении теста. |
Связанные задачи
Выполнение ручных тестов с помощью средства выполнения тестов
Для записи результата каждого шага (пройден или не пройден) ручные тесты можно создавать с помощью Microsoft Test Manager и выполнять с использованием Test Runner. Можно также сохранить результат теста и все данные, собранные при его выполнении.
Выполнение автоматических тестов
Запуск тестов можно выполнять прямо из Microsoft Visual Studio 2010, из Team Foundation Build или из командной строки. Для выполнения автоматических тестов из командной строки можно использовать mstest.exe. Для импорта методов теста в тестовые случаи можно использовать tcm.exe. Затем можно запустить тестовые случаи для определенных конфигураций из командной строки или из средства Microsoft Test Manager и сохранить результаты для соответствующего плана тестирования.
См. также
Основные понятия
Настройка тестовых компьютеров для выполнения тестов или сбора данных
Другие ресурсы
Практическое руководство. Создание параметра тестирования для распределенного нагрузочного теста