Настройка компьютеров и сбор диагностических данных с помощью параметров тестирования

Статья
06/10/2015

Для сбора дополнительных данных при выполнении тестов можно использовать Параметры тестирования в Microsoft Test Manager и Visual Studio. Например, может потребоваться сделать видеозапись при выполнении теста. Есть диагностические адаптеры данных для решения следующих задач:

сбор всех шагов действий пользовательского интерфейса в текстовом формате;
запись действий пользовательского интерфейса для воспроизведения;
сбор сведений о системе;
сбор данных журнала событий;
сбор данных IntelliTrace для изоляции невоспроизводимых ошибок.

Параметры тестирования

Адаптеры диагностических данных можно также использовать для изменения поведения тестового компьютера. Например, с помощью параметра тестирования в Visual Studio можно моделировать различные узкие места топологии сети для оценки производительности приложения, разрабатываемого командой.

Содержание раздела

Использование параметров тестирования с Microsoft Test Manager
Использование параметров тестирования с Visual Studio
Сведения об адаптерах диагностических данных

Использование параметров тестирования с Microsoft Test Manager

С помощью Microsoft Test Manager можно настроить план тестирования для выполнения тестов. План тестирования может использовать два параметра тестирования:

ручные запуски;
автоматические запуски.

Эти параметры тестирования создаются с помощью страницы Свойства плана тестирования в Microsoft Test Manager.

Параметры тестирования Microsoft Test Manager в плане тестирования

Эти параметры тестирования можно настроить для использования лабораторной среды, которая может моделировать один компьютер или несколько ролей компьютера. Параметр тестирования включает отдельные параметры конфигурации для типов данных, собираемых для каждой роли компьютера с помощью адаптеров диагностических данных.

Адаптеры и роли компьютера параметров тестирования

Что еще мне нужно знать?
Примечания
- Ручные тесты всегда выполняются в роли локального компьютера с помощью Test Runner.
- Чтобы выполнять автоматические тесты в Microsoft Test Manager, необходимо использовать лабораторную среду.
Советы
- Дополнительные сведения см. на страницах Testing for Continuous Delivery with Visual Studio 2012 – Chapter 3: Lab Environments (Книга "Шаблоны и приемы. Тестирование при непрерывной поставке с использованием Visual Studio 2012", глава 3 "Лабораторные среды") и Книга "Шаблоны и приемы. Тестирование при непрерывной поставке с использованием Visual Studio 2012", глава 6, "Средства тестирования".

Основные задачи для параметров тестирования с помощью Microsoft Test Manager

Перечисленные ниже разделы описывают процесс создания и настройки параметров тестирования в Microsoft Test Manager.

Задачи	Связанные разделы
Создание параметров тестирования для использования в Microsoft Test Manager. Для ручных и автоматических тестов в плане тестирования можно создавать отдельные параметры тестирования.	Сбор дополнительных данных диагностики в ручных тестах Практическое руководство. Создание параметров тестирования для плана тестирования
Обновление параметров тестирования в Microsoft Test Manager. Существующие параметры тестирования можно изменить в центре лабораторий или с помощью действия "Свойства" для плана тестирования.	Практическое руководство. Изменение существующих параметров тестирования для плана тестирования
Выбор имеющихся параметров тестирования для плана тестирования в Microsoft Test Manager. Параметры тестирования хранятся в Team Foundation Server и их можно выбрать для использования в нескольких планах тестирования.	Практическое руководство. Выбор параметров и сред тестирования для плана тестирования

Лабораторные среды

Лабораторная среда — это коллекция виртуальных или физических машин, которую можно использовать для разработки и тестирования приложений. Лабораторная среда может содержать несколько ролей компьютеров, необходимых для тестирования многоуровневых приложений, например рабочих станций, веб-серверов и серверов баз данных. Вы можете создавать лабораторные среды и управлять ими, а также выполнять ручные тесты в лабораторной среде с помощью Microsoft Test Manager или выполнять автоматические тесты в лабораторной среде. При запуске тестов с использованием лабораторной среды тест будет собирать данные или воздействовать на поведение компьютера для каждой определенной роли компьютера, настроенной в параметрах тестирования. Кроме того, в лабораторной среде можно использовать рабочий процесс "сборка-развертывание-тестирование" для автоматизации процесса сборки, развертывания и выполнения автоматических тестов приложения.

На следующем рисунке показаны примеры параметров тестирования и сред для плана тестирования.

Понятия параметров тестов

На следующем рисунке показано определение набора ролей компьютеров для параметров тестирования. Затем можно выбрать лабораторную среду, которая включает компьютеры или виртуальные машины, назначенные для каждой роли компьютера, используемой при выполнении тестов. Можно выбрать любую лабораторную среду, которая включает по крайней мере набор ролей компьютеров, заданных в параметрах тестирования. Лабораторная среда может включать другие роли компьютеров, которые не указаны в параметрах тестирования, как показано на следующем рисунке.

Параметры и среды тестирования

Использование параметров тестирования с Visual Studio

Для выполнения модульных тестов, закодированных тестов пользовательского интерфейса, веб-тестов производительности или нагрузочных тестов с помощью Visual Studio можно добавлять, настраивать и выбирать параметры тестирования, которые используются при выполнении тестов. Чтобы выполнять тесты, собирать данные или удаленно управлять тестовым компьютером, необходимо задать используемый контроллер тестирования в параметрах тестирования. Контроллер тестирования будет содержать агенты, которые могут быть использованы для каждой роли в параметрах тестирования.

Что еще мне нужно знать?
Примечания
- У Visual Studio 2013 есть некоторые проблемы совместимости параметров тестирования с Visual Studio 2010, о которых нужно знать.
  - В Visual Studio 2013 параметры тестирования не включаются в решение при добавлении проекта модульных тестов или нового проекта закодированных тестов пользовательского интерфейса. Это результат изменений платформы модульного тестирования, улучшивших расширяемость, устойчивость и производительность. Тем не менее существующий тестовый проект Visual Studio 2010 с TESTSETTINGS-файлом можно открыть и он будет выполняться. Кроме того, можно добавить файл .testsettings в решение, если необходимо собирать определенные данные из адаптера данных и диагностики либо запускать тест с контроллерами тестирования; это не рекомендуется делать, если такой необходимости нет.
  - Если вы открыли тестовый проект Visual Studio 2010 с файлом .testsettings или решили, что необходимо добавить файл .testsettings в решение, процедуры выбора активного файла .testsettings и редактирования файла .testsettings изменились.
  - При добавлении в решение проекта веб-тестов производительности и нагрузочных тестов это решение по-прежнему содержит файл .testsettings; однако производители для выбора активного файла .testsettings для веб-тестов производительности и нагрузочных тестов и изменения файла .testsettings для веб-тестов производительности и нагрузочных тестов изменились.
- Лабораторные среды используются, только если тесты выполняются с помощью Microsoft Test Manager, а не в Visual Studio.

Основные задачи для параметров тестирования в Visual Studio

Перечисленные ниже разделы помогут при создании и настройки параметров тестирования для использования в Visual Studio.

Задачи	Связанные разделы
Создание параметров тестирования для использования в Visual Studio. Можно создавать параметры тестирования для модульных тестов, закодированных тестов пользовательского интерфейса, веб-тестов производительности и нагрузочных тестов с использованием поддерживаемых адаптеров диагностических данных.	Указание параметров тестирования для тестов Visual Studio
Редактирование параметров тестирования в Visual Studio. Чтобы исправить существующие параметры тестирования, следует их отредактировать.	Editing test settings
Задайте параметр тестирования для использования в решении. Решение может содержать несколько файлов параметров тестирования. Можно выбрать нужный файл параметров тестирования в зависимости от задач тестирования.	Choose test settings
Настройте тесты Visual Studio для использования удаленных компьютеров. Чтобы выполнять тесты, собирать данные или удаленно управлять тестовым компьютером, можно установить и настроить контроллер и агент тестирования.	Настройка контроллеров и агентов тестирования для управления тестами с помощью Visual Studio

Сведения об адаптерах диагностических данных

В следующей таблице представлены общие сведения о различных способах настройки адаптеров диагностических данных для использования с ролями локальных или удаленных компьютеров.

Адаптер диагностических данных, используемый в параметрах тестирования	Ручные тесты на локальном компьютере	Автоматические тесты	Ручные тесты: сбор данных с помощью набора ролей и среды	Примечания
Журнал действий. В журнал действий заносится текстовое описание каждого действия пользовательского интерфейса, выполняемого в ходе теста. Журналы действий сохраняются вместе с результатами теста. В журнале действий можно просмотреть выполненные действия.	Да	Нет	Да (см. примечания)	При сборе данных в удаленной среде запись будет работать только на локальном компьютере. Журналы действий ведутся при создании записи действий при выполнении ручного теста.
Прокси-сервер клиента ASP.NET для IntelliTrace и влияния на тесты. Этот прокси-сервер позволяет собирать данные об HTTP-обращениях из клиента к веб-серверу для адаптеров диагностических данных IntelliTrace и влияния на тесты.	Да	Да	Да	Используйте это только в том случае, если для клиентской роли выбраны адаптеры диагностических данных влияния на тесты или IntelliTrace.
Профилировщик ASP.NET: можно создать параметр тестирования, включающий профилирование ASP.NET ASP.NET, собирающее данные производительности веб-приложений ASP.NET.	Нет	Да (см. примечания)	Нет	Этот адаптер диагностических данных поддерживается только при выполнении нагрузочных тестов в Visual Studio.
Покрытие кода (Visual Studio 2010). Можно создать параметр тестирования, включающий сведения о покрытии кода, которые позволяют определить объем протестированного кода.	Нет	Да (см. примечания)	Нет	Покрытие кода можно использовать только при запуске автоматических тестов с помощью Visual Studio или программы mstest.exe и только с компьютера, на котором выполняется тест. Удаленный сбор не поддерживается. Сбор данных покрытия кода не работает если есть параметры тестирования, настроенные для сбора сведений IntelliTrace. Примечание Этот адаптер диагностических данных применим только для параметров тестирования Visual Studio.Он не используется для параметров тестирования в Microsoft Test Manager.Кроме того, этот адаптер предназначен для обеспечения совместимости с тестовыми проектами Visual Studio 2010. Примечание Для обеспечения совместимости покрытие кода применяется при выполнении автоматических тестов из Microsoft Test Manager или на удаленном агенте тестирования из Visual Studio с использованием устаревшего средства MSTest runner.
Журнал событий. Можно настроить параметр тестирования для записи журнала событий, который включается в результаты теста.	Да	Да	Да
IntelliTrace: адаптер диагностических данных для IntelliTrace можно настроить для сбора определенных диагностических данных трассировки с целью содействия изоляции ошибок, которые трудно воспроизвести. При этом записывается файл IntelliTrace, который содержит эту информацию. Расширение файла IntelliTrace — .iTrace. При неудачном завершении теста можно создать ошибку. К этой ошибке автоматически привязывается файл IntelliTrace, сохраняемый вместе с результатами теста. Данные, собираемые в файл IntelliTrace, повышают производительность отладки за счет снижения затрат времени на воспроизведение и диагностику ошибок в коде. Используя этот файл IntelliTrace, можно моделировать локальный сеанс на другом компьютере. Это снижает вероятность того, что ошибку нельзя будет воспроизвести.	Да	Да	Да	Если включен сбор данных IntelliTrace, сбор данных покрытия кода работать не будет. Если IntelliTrace используется для роли веб-клиента, необходимо выбрать прокси-сервер клиента ASP.NET для адаптера диагностических данных IntelliTrace и влияния на тесты. Поддерживаются только следующие версии IIS: IIS 7.0, IIS 7.5 и IIS 8.0. Для получения дополнительной информации см. Отладка приложения путем записи выполнения кода с помощью IntelliTrace.
Эмуляция сети. С помощью параметра тестирования можно указать, что требуется выполнить эмуляцию сетевой нагрузки при тестировании. Эмуляция сети влияет на обмен входящими и исходящими данными с компьютером, имитируя определенную скорость сетевого подключения, например коммутируемое подключение. Примечание	Нет	Да (см. примечания)	Нет	Адаптер диагностических данных эмуляции сети можно использовать для роли клиента или сервера. Не требуется использовать адаптер для обеих этих ролей, которые обмениваются данные друг с другом. Примечание Этот адаптер диагностических данных применим только для параметров тестирования Visual Studio.Он не используется для параметров тестирования в Microsoft Test Manager. Примечание Эмуляцию сети нельзя использовать для увеличения скорости сетевого подключения. Предупреждение Если включить адаптер диагностических данных эмуляции сети в параметры тестирования, предполагая использовать его на локальном компьютере, необходимо также привязать драйвер эмуляции сети к одному из сетевых адаптеров компьютера.Драйвер эмуляции сети необходим для работы адаптера диагностических данных эмуляции сети.Драйвер эмуляции сети устанавливается и привязывается к адаптеру двумя способами: Драйвер эмуляции сети устанавливается с приложением Microsoft Visual Studio Test Agent 2013. Microsoft Visual Studio Test Agent можно использовать как на удаленном, так и на локальном компьютере.Процесс установки Visual Studio Test Agent включает этап настройки, в ходе которого драйвер эмуляции сети привязывается к сетевой карте.Дополнительные сведения см. в разделе . Установка и настройка контроллеров и агентов тестирования. Драйвер эмуляции сети устанавливается с Microsoft Visual Studio Test Professional 2013. При первом использовании эмуляции сети программа предложит привязать драйвер эмуляции сети к сетевой карте. Также можно установить драйвер эмуляции сети из командной строки на локальном компьютере без установки Visual Studio Test Agent с помощью следующей команды: VSTestConfig NETWORKEMULATION /install Предупреждение Адаптер эмуляции сети не учитывается в нагрузочных тестах.Вместо него в нагрузочных тестах используются параметры, указанные в смешанном сетевом профиле сценария тестовой нагрузки.Дополнительные сведения см. в разделах Определение типов виртуальной сети в сценарии тестовой нагрузки и Практическое руководство. Создание параметра тестирования для распределенного нагрузочного теста.
Сведения о системе. В параметрах тестирования можно задать учет сведений о системе компьютера, на котором выполняется тест.	Да	Да	Да
Тест влияния. Можно собирать сведения о том, какие методы кода приложений использовались при выполнении тестового случая. Эти данные можно использовать вместе с данными об изменениях кода приложения, внесенных разработчиками, чтобы определить, на какие тесты влияют эти изменения.	Да	Да	Да	Если выполняется сбор данных влияния на тесты для роли веб-приложения, необходимо выбрать Прокси-сервер клиента ASP.NET для адаптера диагностических данных влияния на тесты и IntelliTrace. Поддерживаются только следующие версии IIS: IIS 7.0, IIS 7.5 и IIS 8.0.
Запись видео. При выполнении теста можно создать видеозапись рабочего стола. Видео может помочь другим членам команды определить проблемы с приложением, которые трудно воспроизвести.	Да	Да (см. примечания)	Да	Если программное обеспечение агента тестирования включено для выполнения в качестве процесса, а не службы, то при запуске автоматических тестов можно создать видеозапись. Как это сделать, см. в разделе Практическое руководство. Настройка агента тестирования для выполнения тестов, взаимодействующих с рабочим столом.

Что еще мне нужно знать?
Примечания
- Можно создавать пользовательские адаптеры диагностических данных, чтобы выполнить определенные требования к тестированию, для которых стандартных адаптеров недостаточно.

Связанные задачи

Создание адаптера диагностических данных для сбора пользовательских данных или воздействия на тестовый компьютер

Можно создать и использовать пользовательский адаптер диагностических данных для сбора пользовательских данных или выполнения таких задач, как уменьшение свободной системной памяти, свободного места на диске или выделение и удержание других ресурсов при выполнении теста.

Выполнение ручных тестов с помощью Team Web Access

С помощью Microsoft Test Manager можно выполнять ручные тесты, сеансы произвольного тестирования и автоматизированные тесты из плана тестирования. При выполнении этих тестов из плана тестирования собранные диагностические данные включаются в результаты тестов.

Запуск системных тестов с помощью Microsoft Visual Studio

После настройки параметров тестирования в Visual Studio можно выполнять тесты и собирать диагностические данные, чтобы выявить узкие места и ошибки в приложении.