Практическое руководство. Настройка и запуск запланированных тестов после построения приложения
Эти тесты можно выполнять после завершения построения в целях оценки качества построения. Эти тесты называются тестами проверки построения или тестами состояния. Эти тесты состоят из широкого набора тестов и предназначены для проверки основных областей приложения того или иного построения. Сборка считается успешной при прохождении всех тестов в тесте проверки построения.
В рамках теста проверки построения можно использовать один или несколько типов автоматических тестов. Возможно выполнения следующих типов тестов:
Модульные тесты
Модульные тесты базы данных
Закодированные тесты пользовательского интерфейса
Веб-тесты производительности
Нагрузочные тесты
Обычные тесты
При создании тестов проверки построения используются Visual Studio, Team Foundation (подсистема контроля версий) и Team Foundation Build. Сначала для назначения категорий тестирования предполагаемым тестам используется Visual Studio. Затем с помощью Team Foundation (подсистема контроля версий) автоматические тесты, отмеченные категориями, возвращаются в систему управления версиями. После этого в определение построения можно добавить фильтр категорий тестов. В конце с помощью Team Foundation Build построение, которое будет выполнять тесты в случае успешности, помещается в очередь.
Примечание
Кроме того, на клиентском компьютере нужно установить Сред. Командный обозреватель, а пользовательский сеанс Visual Studio должен быть подключен к компьютеру Team Foundation Server.Сведения о подключении к Team Foundation Server см. в разделе How to: Connect to a Team Project in Team Foundation Server.
В этом разделе описаны все процедуры, необходимые для создания и запуска тестов проверки построения.
Создание категорий тестов для теста проверки построения
Возврат тестов проверки построения
Создание определения построения
Добавление компьютеров и учетных записей пользователей для построения и агентов тестирования в группу TeamTestControllerUsers
Настройка агента для выполнения закодированных тестов пользовательского интерфейса
Запуск определения построения для теста проверки построения
Примечание
Для запуска тестов проверки построения можно использовать списки тестов, однако рекомендуется использовать категории тестов, а не списки тестов, используемые в предыдущих версиях Microsoft Visual Studio 2010, кроме случаев создания политики возврата, требующей использования списка тестов.Дополнительные сведения о создании списка тестов см. в разделе Практическое руководство. Создание списка тестов.
Создание категорий тестов для теста проверки построения
Для создания фильтров выбора тестов, предназначенных к запуску, на основе назначенных им категорий можно использовать логические операторы & (И), | (ИЛИ) и !(НЕ). Чтобы добавить гибкость в выборе тестов, можно создать несколько категорий тестов для использования в определении построения.
Создание категорий тестов для методов тестирования
В меню "Тест" выберите Окна и щелкните пункт Представление теста.
Откроется окно Представление теста.
Выберите тест.
В области свойств выбранного теста нажмите кнопку с многоточием (…) в столбце Категории теста. Откроется окно Категория теста.
В поле Добавить новую категорию введите имя новой категории тестов.
Нажмите кнопку Добавить.
Нажмите кнопку ОК. Тесту будет присвоена новая категория, которая также будет доступна для других тестов в редакторе списка тестов.
Для создания дополнительных категорий тестов повторите шаги с 4 по 6.
Дополнительные сведения о назначении категорий тестов с помощью добавления атрибута в метод тестирования см. в разделе Практическое руководство. Группировка и запуск автоматических тестов с помощью категорий тестов.
Возврат тестов проверки построения
В этой процедуре выполняется возврат всех файлов решения. Это включает категории тестов, добавленные в методы тестов.
Возврат тестов проверки построения в систему управления версиями
Подключитесь к компьютеру Team Foundation Server. Дополнительные сведения см. в разделе How to: Connect to a Team Project in Team Foundation Server.
Если решение еще не находится под контролем системы управления версиями, добавьте его в эту систему. Дополнительные сведения см. в разделе Добавление файлов в систему управления версиями.
Выберите Вид и нажмите Ожидающие возвраты. Откроется окно Ожидающие возвраты.
Выполните возврат всех файлов решения. Дополнительные сведения см. в разделе Возврат ожидающих изменений.
Примечание
Может существовать определенный процесс группы, управляющий созданием тестов проверки построения и управлением ими.Например, этот процесс может требовать, чтобы сборка проверялась локально перед возвратом этого когда вместе с тестами, которые будут для него выполняться.
По завершении операции возврата рядом с каждым файлом в обозревателе решений появляется значок замка, указывающий, что файл возвращен. Дополнительные сведения см. в разделе How to: Identify Version Control Item Status in Solution Explorer.
Возвращенные тесты доступны для использования в построении. Теперь можно создать определение построения, содержащее тесты, которые требуется выполнить в ходе теста проверки построения.
Создание определения построения
Чтобы создать определение построения для теста проверки построения, выполните следующие действия.
В Сред. Командный обозреватель щелкните командный проект.
Правой кнопкой мыши щелкните Построения, а затем выберите пункт Новое определение построения.
Откроется вкладка Новое определение построения.
Введите сведения для нового определения построения. Дополнительные сведения см. в разделе Создание базового определения построения.
Задайте имя, связанное с определением построения в текстовом поле Имя определения построения.
В поле Описание введите соответствующее описание.
Щелкните Рабочая область.
Таблица "Рабочие папки" включает папку системы управления версиями командного проекта, для которого вы создаете новые определения построений, а также локальную папку агента построения. Локальная папка агента построений показана в столбце Локальная папка. Все пути рабочей области в агенте построения приведены к маршрутам относительно показанного корневого каталога по умолчанию.
Чтобы скопировать существующую рабочую область в список рабочих папок, нажмите кнопку Копировать существующую рабочую область для открытия диалогового окна Выбор рабочей области.
Выбранная рабочая область нормализируется до обычной корневой папки в агенте построения, $(SourceDir). (SourceDir) — это переменная среды, которая раскрывается до $(BuildDir)\Sources.
Вы можете также щелкнуть по пустой ячейке в таблице Папка системы управления версиями, затем щелкнуть по многоточию и добавить рабочую папку. Выбранная вами папка системы управления версиями также нормализуется относительно общего корневого каталога в агенте построения.
Щелкните Параметры построения по умолчанию.
В области "Параметры построения по умолчанию" в списке "Контроллер построений" можно выбрать контроллер построений, если он есть. Также, по желанию, можно щелкнуть "Управление", чтобы открыть диалоговое окно "Управление контроллерами построений".
В поле Скопируйте вывод построения в следующий каталог сброса введите путь UNC, например "\\сервер\общая_папка". После завершения процесса построения готовые двоичные файлы и журналы будут находится в этой папке. Дополнительные сведения о настройке каталога сброса см. в разделе Настройка транзитных каталогов.
Если планируется в рамках определения построения запускать закодированные тесты пользовательского интерфейса, веб-тесты производительности или нагрузочные тесты, необходимо использовать результаты построения в этой папке для запуска или установки приложения. Чтобы автоматически установить приложение после завершения построения, но до запуска тестов, можно воспользоваться шаблоном лаборатории по умолчанию, позволяющим развертывать приложение в виртуальной среде, или изменить этот шаблон для развертывания приложения в физической среде.
Примечание
Перед завершением этого этапа необходимо создать общую папку, в которой учетная запись TFSService будет иметь полные права.Дополнительные сведения об учетных записях служб Team Foundation см. в разделе Просмотр служб Team Foundation Server.
Щелкните Процесс.
В области Обязательное свойство выберите Элементы для построения. Нажмите кнопку с многоточием (...).
Откроется диалоговое окно Элементы для построения.
Нажмите кнопку Добавить. Найдите в дереве системы управления версиями решение или проект, который необходимо построить, и нажмите кнопку ОК.
В диалоговом окне Элементы для построения нажмите кнопку ОК.
Чтобы добавить категорию тестов в запуск после завершения построения, откройте раздел Основные. В разделе Автоматические тесты откройте Тестовая сборка, затем щелкните Фильтр категорий. Укажите необходимый фильтр для выбора методов тестирования на основе категории тестов.
Примечание
Фильтры категорий тестов состоят из одного или нескольких логических операторов "&", "|", "!", "&!".Например, параметр "ShoppingCart&SmokeTest" приведет к запуску тестов из категорий "ShoppingCart" и "SmokeTest".Также можно выбрать все тесты в одной категории, указав "SmokeTest".(Одновременное использования логических операторов "&" и "|" невозможно.)
Чтобы указать шаблон поиска для нахождения сборок тестов, щелкните Файл сборки теста. Введите строку поиска. Например, "**\*test*.dll", если в именах DLL-файлов присутствует слово "test".
Примечание
По всем директориям в каталоге Binaries будет выполнен рекурсивный поиск DLL-файлов, удовлетворяющих параметру "*test*.dll".Дополнительные сведения об этом см. в разделе Определение процесса построения.
(Необязательно) Чтобы выбрать файл параметров тестирования для запуска тестов, откройте Автоматизированные тесты, откройте Тестовая сборка и щелкните Файл TestSettings, затем нажмите кнопку с многоточием (…).
На экране отобразится диалоговое окно Обзор. Выберите файл с расширением TESTSETTINGS, содержащий необходимые параметры тестирования, и нажмите кнопку ОК.
Если файл параметров тестирования использует контроллер и агенты тестирования, выполните следующую процедуру: Добавление учетных записей пользователей или компьютеров для построения и тестовых агентов в группу TeamTestControllerUsers.
Если выполняются закодированные тесты пользовательского интерфейса, см. следующую процедуру для настройки агентов на основе файла параметров тестирования: Настройка агентов тестирования для выполнения закодированных тестов пользовательского интерфейса.
Примечание
Чтобы выбрать получить конкретный агент, укажите его в параметрах агента в разделе "Дополнительно".Например, если при выполнении закодированного теста пользовательского интерфейса необходимо выбрать агент, который выполняется в качестве интерактивного процесса, его можно выбрать здесь.
Дополнительные сведения о файлах параметров тестирования см. в разделе Создание параметров тестирования для запуска автоматических тестов из Visual Studio.
Примечание
Есть два файла параметров тестирования по умолчанию.В файле Local.testsettings по умолчанию собраны только системные сведения.Если также необходимо собирать данные IntelliTrace и данные анализа влияния на тесты для использования при определении тестов, рекомендованных к выполнению на основании изменений в построении, следует выбрать файл параметров тестирования с именем TraceAndTestImpact.testsettings.
(Необязательно) Для выполнения нагрузочных тестов в рамках процесса построения необходимо настроить репозиторий результатов нагрузочных тестов, а также настроить контроллер тестов, указанный в параметрах тестирования, на использование этого репозитория. Дополнительные сведения см. в разделе Практическое руководство. Выбор хранилища результатов нагрузочного теста..
Для сохранения нового определения построения нажмите кнопку Сохранить.
Новое определение построения появится в окне Сред. Командный обозреватель в папке Построения.
Примечание
Если после завершения построения вы не хотите добавлять список тестов вместо категории тестирования, добавьте для этого аргументы командной строки.Дополнительные сведения об аргументах командной строки см. в разделе Запуск автоматических тестов из командной строки.
Добавление компьютеров или учетных записей пользователей для построения и агентов тестирования в группу TeamTestControllerUsers
Если файл параметров тестирования, добавленный в определение построения, использует контроллер и агенты тестирования, добавьте компьютеры для всех используемых построений и агентов тестирования в группу безопасности TeamTestControllerUsers на компьютере контроллера тестирования. Например, если необходимо выполнить закодированный тест пользовательского интерфейса в рамках процесса построения, следует добавить эти компьютеры в группу безопасности.
Предупреждение
Если агенты построения или тестирования настроены на использование различных пользователей, а не учетной записи сетевой службы, убедитесь, что вместо этого в группу безопасности TeamTestControllerUsers добавлена учетная запись этого домена.
Добавление пользователей или компьютеров для агентов построения и тестирования в группу TeamTestControllerUsers
На компьютере контроллера тестирования построения нажмите кнопку Пуск и выберите последовательно пункты Панель управления, Администрирование и Управление компьютером.
На экране появится диалоговое окно Управление компьютером.
Откройте окно Локальные пользователи и группы и выберите Группы.
Отобразятся группы.
Для добавления пользователей или компьютеров щелкните правой кнопкой мыши группу TeamTestControllerUsers и выберите команду Добавить в группу.
Откроется диалоговое окно Свойства TeamTestControllerUsers.
Проверьте, есть ли уже в списке "Члены" учетная запись домена или компьютеры. Если нет, нажмите кнопку Добавить.
Появится диалоговое окно Выбор: пользователи, компьютеры или группы.
По умолчанию отображаются только пользователи или группы. Чтобы добавить компьютеры, щелкните Типы объектов, выберите Компьютеры и нажмите кнопку ОК.
Чтобы добавить компьютер, введите имя пользователя в поле Введите имена выбираемых объектов и нажмите кнопку ОК.
Предупреждение
Необходимо добавить как компьютер, на котором выполняется агент построения, так и компьютер для агента тестирования.
Чтобы добавить учетную запись пользователя домена, проверьте правильность расположения, в поле Введите имена объектов для выбора введите имя учетной записи, которую хотите использовать, и нажмите кнопку ОК.
Важно!
Повторите описанные шаги для добавления всех необходимых учетных записей.
Нажмите кнопку ОК, чтобы применить изменения.
Настройка агентов для выполнения закодированных тестов пользовательского интерфейса
Для выполнения закодированных тестов пользовательского интерфейса в рамках запланированного тестирования после построения приложения необходимо выполнить одно из следующих действий.
Используйте файл параметров тестирования, задающий для выполнения тестов контроллер тестирования и роли для приложения. Создайте эти параметры тестирования с помощью Microsoft Visual Studio 2010. Для любого агента тестирования, назначенного для роли, в которой выполняются тесты в параметрах тестирования, необходимо выполнить действия из данной процедуры, чтобы настроить агент тестирования на выполнение в качестве процесса, а не службы. Дополнительные сведения о контроллерах тестирования и агентах тестирования см. в разделах Настройка тестовых компьютеров для выполнения тестов или сбора данных и Установка и настройка агентов Visual Studio и контроллеров тестирования и построения.
Используйте файл параметров тестирования, который не задает контроллер тестирования. Если это сделать, затем необходимо настроить службу агента построения таким образом, чтобы она могла взаимодействовать с рабочим столом. Выберите для службы свойство Разрешить взаимодействие с рабочим столом. Это позволяет агенту построения выполнять закодированный тест пользовательского интерфейса.
Предупреждение
Если выполняемый закодированный тест пользовательского интерфейса запускает браузер, для запуска используется учетная запись службы построения.Данная учетная запись службы должна совпадать с учетной записью активного пользователя этого компьютера.При использовании другой учетной записи пользователя браузер не будет запущен.
Настройка агента тестирования для выполнения закодированных тестов пользовательского интерфейса
- Чтобы настроить агенты тестирования для выполнения закодированных тестов пользовательского интерфейса, выполните действия, указанные в следующем разделе: Практическое руководство. Настройка агента тестирования для выполнения тестов, взаимодействующих с рабочим столом.
Чтобы запустить тест проверки построения с помощью командного построения
Чтобы запустить тест проверки построения с помощью командного построения
В Сред. Командный обозреватель щелкните командный проект.
Правой кнопкой мыши щелкните Построения, а затем выберите пункт Поставить в очередь новое построение.
(Необязательно). Измените расположение и папку построения.
Щелкните Очередь.
Начнется построение и откроется диалоговое окно обозревателя построений.
После завершения построения щелкните Готово, чтобы просмотреть подробные сведения.
Для просмотра сведений об отдельном построении дважды щелкните его в списке.
Отобразится новая вкладка со сведениями. В ней можно просмотреть состояние тестового запуска.
Для просмотра подробных результатов теста выберите тест и щелкните Просмотреть результаты теста.
Выберите папку, чтобы сохранить результаты теста локально.
Результаты теста отобразятся в окне Результаты теста.
Дополнительные сведения см. в разделе Построение приложения.
См. также
Основные понятия
Выполнение автоматических тестов
Определение категорий тестов для группировки тестов
Определение списков тестов для группировки тестов
Тестирование производительности приложения и его устойчивости к нагрузкам