Практическое руководство. Создание тестовых случаев из сборки автоматических тестов с помощью средства tcm.exe
Если автоматические тесты были созданы с использованием Visual Studio, возможно потребуется выполнить эти тесты как часть плана тестирования. С помощью добавления их в тестовый план, можно оценить ход тестирования. Можно совместно просмотреть результаты этих автоматических тестов и любых других тестов в плане тестирования, а также отследить ход выполнения проделанной работы. Можно также связать эти тестовые случаи с требованиями, чтобы просматривать состояние автоматических тестов для требования. Дополнительные сведения об этой операции см. в разделе Привязка существующих тестовых случаев к требованию.
Для выполнения этих тестов как части плана тестирования можно использовать средство командной строк tcm.exe. С его помощью создаются тестовые случаи для всех методов теста на основе свойств метода тестов или на основе категории теста. Если необходимо добавить тест в имеющийся тестовый случай, можно связать метод теста непосредственно с тестовым случаем. Дополнительные сведения см. в разделе Практическое руководство. Связывание автоматического теста с тестовым случаем.
При наличии существующих автоматических тестов, созданных в одной из предыдущих версий Microsoft Visual Studio 2010, их можно связать с тестовым случаем после обновления тестового проекта, содержащего автоматические тесты, до версии Visual Studio 2010.
После импорта методов теста и создания тестовых случаев, необходимо добавить эти тестовые случаи в план тестирования. Для выполнения этих тестовых случаев необходимо использовать физическую или виртуальную среду. Выполнять автоматические тесты с помощью Microsoft Test Manager без среды нельзя.
Необходимо вернуть тестовый проект, содержащий методы автоматических тестов и убедиться, что тестовый проект входит в определение построения. Необходимо убедиться, что построение, созданное с использованием определения построения, выбрано в плане тестирования. Сведения из построения используются средством Microsoft Test Manager для нахождения правильной сборки метода теста и используются для выполнения автоматических тестов.
Дополнительные сведения о возврате тестовых проектов и командных построений см. в разделах Добавление файлов в систему управления версиями и Построение приложения.
Автоматические тесты можно выполнять локально из командной строки с помощью тестовой среды и параметров тестирования. Дополнительные сведения см. в разделе Практическое руководство. Запуск тестовых случаев со средствами автоматизации из командной строки с помощью программы Tcm.
Чтобы создать тестовые случаи из сборки автоматических тестов, которые затем можно выполнять в составе плана тестирования, выполните следующие действия.
Создайте тестовые случаи из сборки автоматических тестов и добавьте их в план
Настройте использование планом тестирования нужного командного построения
Создание параметров тестирования и среды для выполнения тестов
Выполнение автоматического теста с помощью Microsoft Test Manager
Просмотр и обновление результатов теста
Типичные параметры процедур
Параметр |
Описание |
|---|---|
/collection:CollectionURL |
Задает универсальный код ресурса (URI) коллекции командных проектов. URI имеет следующий формат: http://ИмяСервера:Порт/ИмяВиртуальногоКаталога/ИмяКоллекции Если виртуальный каталог не используется, URI имеет следующий формат: http://имя_сервера:порт/имя_коллекции Если правильный путь неизвестен, обратитесь к системному администратору Team Foundation. |
/teamproject: имя_командного_проекта |
Командный проект, который требуется использовать. Командный проект должен быть определен в коллекции проектов, указанной параметром /collection. |
/login: имя_пользователя,пароль |
Необязательный. Задает имя и пароль пользователя, который выполнил вход на сервер уровня приложений Team Foundation Server и имеет разрешения на выполнение команды. Этот параметр используется в следующих случаях: учетным данным Windows не предоставлены соответствующие разрешения, используется базовая проверка подлинности, пользователь не подключен к домену. |
/? или help |
Отображает справку по команде в окне командной строки. |
Процедуры
Создание тестовых случаев из сборки автоматических тестов
Чтобы создать тестовые случаи из сборки автоматических тестов, выполните следующие действия
Откройте командную строку Visual Studio.
Для этого нажмите кнопку Пуск, последовательно выберите Все программы, Microsoft Visual Studio 2010, Средства Visual Studio, после чего выберите пункт Командная строка Visual Studio 10.0.
Откроется командная строка в папке <диск>:\Program Files\Microsoft Visual Studio 10.0\VC
Перейдите в папку, в которой содержится сборка, построенная для тестового проекта.
Для этого сначала перейдите в папку решения. Затем перейдите в папку тестового проекта, указав в командной строке следующую команду:
cd <имя_проекта> \bin\Debug
Для импорта всех методов теста из сборки, введите в командную строку следующую команду:
tcm testcase /collection:<CollectionURL> /teamproject: <имя командного проекта> /import /storage: <имя сборки> .dll
Будут получены примерно следующие результаты.
Modification Title
---------------- ------------------
Added <Name of test method>
Added <Name of test method>
Summary
------------
Added 2
Updated 0
Total 2
Примечание
Созданные тестовые случаи будут иметь те же имена, что и импортированные методы теста.
(Необязательно) Можно ограничить методы теста, импортированные из сборки, на основе категорий теста. Дополнительные сведения о категориях тестов см. в разделе Определение категорий тестов для группировки тестов. Например, следующая команда показывает, как можно импортировать тесты, которые относятся к категориям ShoppingCart и SmokeTest.
tcm testcase /collection:<CollectionURL> /teamproject: <имя командного проекта> /import /storage: <имя сборки> .dll /category:"ShoppingCart&SmokeTest"
(Необязательно) Можно ограничить методы теста, импортированные из сборки, на основе свойства метода теста. Например, следующая команда показывает, как можно импортировать все тесты, у которых значение приоритета равно 0 или 1.
tcm testcase /collection:<CollectionURL> /teamproject: <имя командного проекта> /import /storage: <имя сборки> .dll/maxpriority:1
Откройте Microsoft Test Manager.
Примечание
Чтобы открыть окно Microsoft Test Manager, нажмите кнопку "Пуск" и выберите "Все программы".Выберите Microsoft Visual Studio 2010 и щелкните Microsoft Test Manager 2010.
Чтобы выбрать план тестирования, щелкните стрелку вниз на центральном переключателе групп и выберите Центр тестирования.
В строке меню центральной группы выберите пункт План.
(Необязательно) Для выбора другого плана тестирования щелкните гиперссылку с именем плана тестирования в верхнем правом углу или щелкните значок главного окна.
Можно добавить эти тестовые случаи в новый набор тестов или в существующий набор тестов. Для добавления тестовых случаев выберите Содержание, затем выберите набор тестов в иерархии наборов тестов или добавьте новый тестовый набор. В области сведений набора тестов нажмите кнопку Добавить.
Откроется диалоговое окно Добавить тестовые случаи в набор.
Примечание Сведения об определении наборов тестов и планов тестирования см. в разделе Группировка тестовых случаев в наборы тестов.
Выберите созданные тестовые случаи. Имена этих тестовых случаев будут такими же, как у методов теста в тестовой сборке. Затем нажмите кнопку Добавить тестовые случаи.
В списке тестов отображаются все тестовые случаи для выбранного набора тестов.
Примечание
Тестовые случаи можно также импортировать непосредственно в статический набор тестов.Дополнительные сведения об этой операции см. в разделе tcm. Импорт автоматических тестов в тестовые случаи.
Настройка использования планом тестирования нужного командного построения
Для настройки выполнения планом тестирования созданного автоматического теста необходимо выбрать соответствующее определение построения для выполнения построения методов автоматического теста. Это нужно сделать так, чтобы сборка автоматических тестов находилась в общей папке для определения построения и его можно было выполнить из Microsoft Test Manager.
Для настройки использования планом тестирования нужного командного построения выполните следующие действия.
Откройте Microsoft Test Manager.
Примечание
Чтобы открыть окно Microsoft Test Manager, нажмите кнопку "Пуск" и выберите "Все программы".Выберите Microsoft Visual Studio 2010 и щелкните Microsoft Test Manager 2010.
Чтобы выбрать план тестирования, щелкните стрелку вниз на центральном переключателе групп и выберите Центр тестирования.
В строке меню центральной группы выберите пункт План.
Для настройки выполнения планом тестирования автоматических тестов выберите меню Свойства и щелкните Фильтровать по построениям.
Откроется диалоговое окно Фильтровать выполненные построения.
Для выбора определения построения для выполнения построения автоматических тестов щелкните Определение построения.
Каждому построению можно присвоить определенное значение, отражающее качество построения. Чтобы выбрать качество построений для просмотра, щелкните Свойство построения.
Примечание
Дополнительные сведения об определениях и свойстве построения см. в разделе Определение процесса построения.
Для сохранения изменений выберите команду Задать фильтр построения.
Чтобы выбрать последнее построение для использования с данным планом тестирования, включающим изменения автоматического теста, сначала необходимо нажать кнопку Сохранить для сохранения плана, а затем кнопку Изменить.
Появится действие Назначить построение. Можно сравнить текущее построение с выбираемым построением. Список связанных элементов показывает измененные в другом построении рабочие элементы. Затем можно назначить последнее построение для использования при тестировании с этим планом. Дополнительные сведения о том, как выбирать построение, см. в разделе Определение построений, содержащих исправления ошибок, новые возможности или требования.
Чтобы закрыть действие Назначить построение и вернуться к свойствам плана тестирования, щелкните значок Закрыть.
Чтобы сохранить изменения для данного плана тестирования, нажмите на панели инструментов кнопку Сохранить.
Создание параметров тестирования и среды для выполнения тестов
Для выполнения автоматических тестов необходимо использовать физическую или виртуальную среду. Выполнять автоматические тесты с помощью Microsoft Test Manager без среды нельзя.
Необходимо создать среду, содержащую роли в параметрах тестирования, и использовать эту среду в плане тестирования. Дополнительные сведения о том, как создать среду, роли и параметры тестирования, см. раздел Настройка тестовых компьютеров для выполнения тестов или сбора данных.
Примечание
Если требуется выполнить автоматические тесты, которые взаимодействуют с рабочим столом, настройте свой агент для запуска в виде процесса, а не службы.Дополнительные сведения см. в разделе Практическое руководство. Настройка агента тестирования для выполнения тестов, взаимодействующих с рабочим столом.
Для создания параметров тестирования и среды для выполнения тестов выполните следующие действия.
Чтобы создать физическую среду, выполните действия, указанные в следующем разделе: Создание физической среды, используемой для тестирования.
При использовании Visual Studio Lab Management можно создать виртуальную среду. Чтобы создать виртуальную среду, выполните действия, указанные в следующем разделе: Практическое руководство. Создание среды из виртуальных машин или шаблонов. Дополнительные сведения о создании виртуальных сред см. в разделе Виртуальные среды — понятия и указания.
Чтобы создать параметры тестирования, выполните действия, указанные в следующем разделе: Создание параметров тестирования для автоматических тестов в составе плана тестирования.
Выполнение автоматического теста с помощью Microsoft Test Manager
Выполнение автоматического теста с помощью Microsoft Test Manager
Откройте Microsoft Test Manager.
Примечание
Чтобы открыть окно Microsoft Test Manager, нажмите кнопку "Пуск" и выберите "Все программы".Выберите Microsoft Visual Studio 2010 и щелкните Microsoft Test Manager 2010.
Чтобы выполнить автоматический тест, щелкните стрелку вниз на центральном переключателе групп и выберите Центр тестирования.
В строке меню центральной группы выберите команду Тест.
(Необязательно) Для переопределения построения, параметров тестирования или среды для выполнения автоматических тестов, выбранных в этом плане тестирования, щелкните тест правой кнопкой мыши и выберите команду Запуск с параметрами. Например, если нужно выполнить тесты в эмуляционной среде, а не в обычной тестовой среде, можно выбрать другую среду. В диалоговом окне "Параметры выполнения" эти параметры можно изменить и нажать Выполнить, чтобы выполнить выбранный тест.
Примечание
Если выбрана другая среда, она должна содержать те же роли, что и среда, которая была создана в используемых параметрах тестирования.
Чтобы выполнить автоматический тест, не изменяя параметры, щелкните тест правой кнопкой мыши и выберите Выполнить.
Отображается действие Анализ тестовых запусков, показывающее ход выполнения тестового запуска, который содержит этот тест.
Примечание
Можно выбрать и выполнять несколько автоматических тестов, а также можно выполнять целый набор тестов.Для выполнения набора тестов щелкните правой кнопкой мыши набор тестов и выберите Выполнить.
Просмотр и обновление результатов теста
Просмотр и обновление результатов теста
Откройте Microsoft Test Manager.
Примечание
Чтобы открыть окно Microsoft Test Manager, нажмите кнопку "Пуск" и выберите "Все программы".Выберите Microsoft Visual Studio 2010 и щелкните Microsoft Test Manager 2010.
Чтобы просмотреть результаты теста, щелкните стрелку вниз на центральном переключателе групп и выберите Центр тестирования.
В строке меню центральной группы последовательно выберите пункты Тест и Анализ тестовых запусков.
Появится действие Анализ тестовых запусков. Оно показывает выполнения тестов для этого плана тестирования.
Дважды щелкните запуск тестов, чтобы открыть его и посмотреть сведения.
Отображаются сведения о тестовом запуске.
(Необязательно) Чтобы присвоить запуску более понятное название, введите его в поле Название.
(Необязательно) если тест завершился ошибкой, можно добавить причину ошибки. Щелкните Разрешение и выберите из списка причину ошибки.
(Необязательно) чтобы добавить примечание к результату теста, щелкните значок "Комментарии". Введите примечание и нажмите кнопку Сохранить примечания.
(Необязательно) для просмотра подробностей отдельного теста дважды щелкните тест.
Отображается результат теста. Он содержит сведения о выполнении теста, вложения с данными, собранными для данного результата теста и журнал результатов данного теста. Чтобы вернуться к тестовому запуску, нужно закрыть это представление.
Примечание
Если во время анализа обнаружена ошибка, из этого представления можно создать сообщение об ошибке.
Чтобы сохранить изменения для данного тестового запуска, нажмите на панели инструментов кнопку Сохранить.
См. также
Задачи
Практическое руководство. Связывание автоматического теста с тестовым случаем