Получение результатов теста
Обновлен: Ноябрь 2007
Подсистема времени выполнения тестов формирует результаты тестов различного типа в зависимости от выполняемых видов тестов.
.gif "Примечание") Примечание. |
|---|
Сведения о результатах выполнения встроенных типов тестов, а именно модульного, ручного, веб-, нагрузочного, универсального и упорядоченного тестов см. в разделе Результаты определенных типов тестов. |
Для всех типов тестов характерно следующее поведение.
Основные результаты. После выполнения теста (локально или удаленно) формируется набор основных результатов. Дополнительные сведения см. в разделе Основные результаты теста. Результаты выводятся в окне результатов теста, где указано состояние, например "Пройден" или "Ошибка", а также любые возникшие сообщения об ошибках. Отображение информации в этом окне можно настроить; дополнительные сведения см. в разделе Практическое руководство. Изменение представлений результатов теста.
Файл результатов теста. При выполнении тестов создается файл результатов теста, который автоматически сохраняется на диске. Результаты записываются в XML-файл с расширением TRX, в котором содержатся сведения о тесте и тестовом запуске. Поскольку тестовый запуск остается в памяти до тех пор, пока решение не будет закрыто, его можно сохранить на диск с указанным именем при помощи команды Экспортировать результаты выбранного теста. Подобным образом, результаты теста можно загрузить из TRX-файла на диске. Дополнительные сведения см. в разделе Практическое руководство. Экспорт результатов теста.
Примечание.Visual Studio записывает автоматически создаваемый файл результатов теста в папку Test Results в иерархии папок решения. Если для создания проекта используется диалоговое окно Создать проект и принята структура папок по умолчанию, папка решения будет находиться в иерархии папок "Мои документы". Если решение открыто из Team Foundation (подсистема контроля версий), оно будет находиться в рабочей области. Дополнительные сведения о расположении папки Test Results см. в разделе Общие сведения о развертывании тестов.
Дополнительные результаты. Дополнительные результаты по отдельному тесту можно найти на странице сведений о результатах теста, а для всего тестового запуска – на странице сведений о выполнении тестов. Отображаемые на этих страницах результаты зависят от типа теста.
Примечание.После запуска тестов и просмотра их результатов может возникнуть необходимость изменить тесты и запустить их повторно, особенно, если какие-то тесты завершились ошибкой. Чтобы создать тестовый запуск еще раз, возможно, после изменения одного или нескольких тестов в нем, на панели инструментов окна результатов теста щелкните Повторить. Дополнительные сведения см. в разделе Практическое руководство. Повторное выполнение теста.
Общая отчетность по результатам теста
Для всех типов тестов имя теста и результат теста отображаются сразу после запуска тестов. Результат, такой как Отложен, Выполняется, С неопределенным результатом, Завершен и Ошибка, обновляется в реальном времени по мере выполнения теста. По ходу выполнения определенных типов тестов, в частности, веб-тестов и нагрузочных тестов, формируются более расширенные данные; см. раздел Результаты определенных типов тестов.
| Примечание. |
|---|
Представление окна результатов теста можно изменять несколькими способами. Например, можно применить фильтрацию для просмотра только определенных тестовых запусков. Дополнительные сведения см. в разделе Практическое руководство. Изменение представлений результатов теста. |
Тестовый запуск можно приостанавливать, останавливать и возобновлять при помощи кнопок в окне результатов теста. При этом результат теста обновляется и отражает текущее состояние тестового запуска. Дополнительные сведения см. в разделе Практическое руководство. Приостановка, возобновление и остановка тестового запуска.
По выполнении тестового запуска его результаты записываются на диск. Дополнительные сведения об определении и использовании файла, в котором хранятся результаты, см. в разделе Практическое руководство. Импорт результатов теста.
| Примечание. |
|---|
Удаленное выполнение тестов является асинхронной операцией. Можно выполнить удаленный тестовый запуск, закрыть Visual Studio и выполнение тестов будет продолжено. После перезапуска Visual Studio и подключения к удаленному выполнению, результаты теста отобразятся в окне результатов теста. |
Страница сведений о результатах теста
Для всех типов тестов (за исключением веб- и нагрузочного теста) на странице сведений о результатах теста отображаются сведения из окна результатов теста, а также дополнительные подробные результаты теста по отдельному тесту. Для просмотра этих результатов в окне результатов теста щелкните результат теста и нажмите клавишу ВВОД, дважды щелкните результат теста или щелкните правой кнопкой мыши результат теста и выберите команду Просмотреть подробные результаты теста.
| Примечание. |
|---|
В этом окне будут показаны подробные результаты теста по конкретным, отдельным типам тестов. Эта страница может оказаться особенно полезной пользователям, настраивающим Visual Studio Team System Test Edition и желающим добавить новые типы средств просмотра для определенных результатов теста. |
В этом окне также отображаются определенные ошибки, которые могут быть причиной невыполнения теста, а именно:
Тест-контейнер, в частности, нагрузочный или упорядоченный тест, пуст и не может быть выполнен.
Один или несколько элементов развертывания для тестов не могут быть найден и развернуты.
Страница сведений о выполнении тестов
После выполнения тестов в строке состояния окна результатов теста выводится общее состояние тестового запуска. Это состояние относится ко всему тестовому запуску, а не к отдельным входящим в его состав тестам.
Для просмотра подробных результатов по всему тестовому запуску откройте страницу сведений о выполнении тестов. Для этого щелкните ссылку состояния в строке состояния. Формулировка ссылки состояния отражает состояние тестового запуска: ошибка тестового запуска, тест с неопределенными результатами, тестовый запуск не удался или тестовый запуск завершен.
На странице Сведения о выполнении тестов отображаются общие сведения о тестовом запуске, включая конфигурацию тестового запуска, которая была активной при выполнении тестов. В этом окне также указаны пройденные, не выполненные или пропущенные тесты в запуске, и приводится описание возникших ошибок, таких как невозможность инструментировать двоичные файлы.
Здесь также отображаются определенные ошибки, которые могут быть причиной невыполнения тестового запуска, а именно:
Не удается развернуть файлы развертывания, указанные в конфигурации тестового запуска.
Ошибка покрытия кода по причине невозможности оснащения построений.
Ошибка покрытия кода по причине невозможности сбора информации.
Не удается скопировать файлы с контроллера после удаленного запуска теста.
Результаты определенных типов тестов
Результаты различных типов встроенных тестов отличаются. Дополнительные сведения о результатах теста см. в разделе Основные результаты теста.
Модульные тесты. Модульный тест выполняется успешно, если время ожидания не истекло, не было вызвано исключение и соответствующий атрибут ExpectedException отсутствует, и если оператор Assert не вызывает ошибку теста и не выдает неопределенный результат. Дополнительные сведения см. в разделе Структура модульных тестов. Результаты покрытия кода можно также получить при выполнении модульных тестов; дополнительные сведения см. в разделе Практическое руководство. Получение данных о покрытии кода.
Для модульных тестов на странице сведений о результатах теста также отображается продолжительность теста, имя компьютера, на котором был выполнен тест, а также время начала и окончания теста. В этом окне также выводятся возникшие сообщения об ошибках, а в области Трассировка стека ошибок – место ошибки.
Ручные тесты. Тестер, выполняющий ручные тесты, назначает результаты и вводит комментарии. При запросе подробных сведений, описанных в разделе Страница сведений о результатах теста, открывается окно с текстом ручного теста, комментариями тестера и результатом теста.
Веб-тесты. Результаты по веб-тестам являются более подробными, чем для большинства типов тестов. Например, в результатах указываются отправленные HTTP-запросы и возвращенные HTTP-ответы. На вкладке Веб-обозреватель выводится изображение каждой возвращенной веб-страницы. Дополнительные сведения см. в разделе Практическое руководство. Запуск веб-теста.
Нагрузочные тесты. Результаты нагрузочных тестов являются расширенными и включают, например, график, на котором показаны мгновенные значения счетчиков в течение выполнения теста. Результаты нагрузочного теста можно просматривать по мере их формирования или после завершения нагрузочных тестов. Дополнительные сведения см. в разделе Описание хранилища результатов нагрузочного теста.
Универсальные тесты. Результаты универсального теста включают значение "Пройден" или "Ошибка", а также любые возникшие сообщения об ошибках. Универсальный тест считается выполненным, если исполняемый файл, оболочкой для которого он является, возвращает значение "0", а ошибка возникает при возвращении любого другого значения. Универсальный тест может также создавать подробный XML-файл результатов, в котором может содержаться более подробная информация, чем просто значения "Пройден" или "Ошибка". Помимо подробных сведений в нем могут присутствовать другие значения, такие как "Неопределенный результат" или "Время ожидания истекло". Дополнительные сведения см. в разделах Общие сведения об обычных тестах и Использование файла сводки результатов для обычного теста.
Упорядоченные тесты. Упорядоченный тест выполняется успешно, если входящие в его состав тесты также выполняются успешно. На странице сведений о результатах теста содержится таблица со списком всех тестов, входящих в состав упорядоченного теста. Для просмотра подробных результатов отдельного теста достаточно дважды щелкнуть строку в этой таблице. Дополнительные сведения см. в разделе Общие сведения об упорядоченных тестах.
См. также
Задачи
Практическое руководство. Изменение представлений результатов теста