Поделиться через

Практическое руководство. Создание тестовых случаев из сборки автоматических тестов с помощью средства tcm.exe

  • Статья

Если автоматические тесты были созданы с использованием Visual Studio, возможно потребуется выполнить эти тесты как часть плана тестирования.С помощью добавления их в тестовый план, можно оценить ход тестирования.Можно совместно просмотреть результаты этих автоматических тестов и любых других тестов в плане тестирования, а также отследить ход выполнения проделанной работы.Можно также связать эти тестовые случаи с требованиями, чтобы просматривать состояние автоматических тестов для требования.Дополнительные сведения об этой операции см. в разделе Привязка существующих тестовых случаев к требованию.

Для выполнения этих тестов как части плана тестирования можно использовать средство командной строк tcm.exe. С его помощью создаются тестовые случаи для всех методов теста на основе свойств метода тестов или на основе категории теста.Если необходимо добавить тест в имеющийся тестовый случай, можно связать метод теста непосредственно с тестовым случаем.Дополнительные сведения см. в разделе Практическое руководство. Связывание автоматического теста с тестовым случаем.

Требования

  • Visual Studio Ultimate, Visual Studio Premium, Visual Studio Test Professional

Если имеются существующие автоматические тесты из более ранних версий Visual Studio, можно связать эти тесты с тестовым случаем после обновления тестовый проект, содержащий автоматических тестов в Visual Studio.

После импорта методов теста и создания тестовых случаев, необходимо добавить эти тестовые случаи в план тестирования.Чтобы запустить эти тестовый случай из планов тестирования, необходимо использовать лабораторной среды.Выполнять автоматические тесты с помощью Microsoft Test Manager без среды нельзя.

Необходимо вернуть тестовый проект, содержащий методы автоматических тестов и убедиться, что тестовый проект входит в определение построения.Необходимо убедиться, что построение, созданное с использованием определения построения, выбрано в плане тестирования.Сведения из построения используются средством Microsoft Test Manager для нахождения правильной сборки метода теста и используются для выполнения автоматических тестов.

Дополнительные сведения о возврате тестовых проектов и командных построений см. в разделах How to: Add a Project or Solution to Version Control и Построение приложения.

Автоматические тесты можно выполнять локально из командной строки с помощью тестовой среды и параметров тестирования.Дополнительные сведения см. в разделе Практическое руководство. Запуск автоматических тестов из командной строки с помощью программы Tcm.

Чтобы создать тестовые случаи из сборки автоматических тестов, которые затем можно выполнять в составе плана тестирования, выполните следующие действия.

  • Создайте тестовые случаи из сборки автоматических тестов и добавьте их в план

  • Настройте использование планом тестирования нужного командного построения

  • Создание параметров тестирования и среды для выполнения тестов

  • Выполнение автоматического теста с помощью Microsoft Test Manager

  • Просмотр и обновление результатов теста

Типичные параметры процедур

Параметр

Описание

/collection:CollectionURL

Задает универсальный код ресурса (URI) коллекции командных проектов.URI имеет следующий формат: http://ИмяСервера:Порт/ИмяВиртуальногоКаталога/ИмяКоллекции

Если виртуальный каталог не используется, URI имеет следующий формат:

http://имя_сервера:порт/имя_коллекции

Если правильный путь неизвестен, обратитесь к системному администратору Team Foundation.

/teamproject:имя_командного_проекта

Командный проект, который требуется использовать.Командный проект должен быть определен в коллекции проектов, указанной параметром /collection.

/login:имя_пользователя,пароль

Необязательный параметр.Задает имя и пароль пользователя, который выполнил вход на сервер уровня приложений Team Foundation Server и имеет разрешения на выполнение команды.

Этот параметр используется в следующих случаях: учетным данным Windows не предоставлены соответствующие разрешения, используется базовая проверка подлинности, пользователь не подключен к домену.

/? или help

Отображает справку по команде в окне командной строки.

Процедуры

Dd465191.collapse_all(ru-ru,VS.110).gifСоздание тестовых случаев из сборки автоматических тестов

Чтобы создать тестовые случаи из сборки автоматических тестов, выполните следующие действия

  1. Откройте командную строку Visual Studio.

    Для этого выберите Запуск, Все программы, Майкрософт Visual Studio 2012, Средства Visual Studio Tools, а затем выберите Командная строка для разработчиков.

    Откроется командная строка в папке <диск>:\Program Files\Microsoft Visual Studio 11.0\VC

  2. Перейдите в папку, в которой содержится сборка, построенная для тестового проекта.

    Для этого сначала перейдите в папку решения.Затем перейдите в папку тестового проекта, указав в командной строке следующую команду:

    cd <имя_проекта>\bin\Debug

  3. Для импорта всех методов теста из сборки, введите в командную строку следующую команду:

    tcm testcase /collection:<CollectionURL> /teamproject:<имя командного проекта> /import /storage:<имя сборки>.dll

    Будут получены примерно следующие результаты.

    Modification Title

    ---------------- ------------------

    Added <Name of test method>

    Added <Name of test method>

    Summary

    ------------

    Added 2

    Updated 0

    Total 2

    ПримечаниеПримечание

    Созданные тестовые случаи будут иметь те же имена, что и импортированные методы теста.

  4. (Необязательно) Можно ограничить методы теста, импортированные из сборки, на основе категорий теста.Дополнительные сведения о категориях тестов см. в разделе Определение категорий тестов для группировки тестов.Например, следующая команда показывает, как можно импортировать тесты, которые относятся к категориям ShoppingCart и SmokeTest.

    tcm testcase /collection:<CollectionURL> /teamproject:<имя командного проекта> /import /storage:<имя сборки>.dll /category:"ShoppingCart&SmokeTest"

  5. (Необязательно) Можно ограничить методы теста, импортированные из сборки, на основе свойства метода теста.Например, следующая команда показывает, как можно импортировать все тесты, у которых значение приоритета равно 0 или 1.

    tcm testcase /collection:<CollectionURL> /teamproject:<имя командного проекта> /import /storage:<имя сборки>.dll/maxpriority:1

  6. Откройте Microsoft Test Manager.

    ПримечаниеПримечание

    Для отображения окна Microsoft Test Manager выберите команду пуск и выберите все программы.Укажите Microsoft Visual Studio 2012 а затем выберите Microsoft Test Manager.

  7. Чтобы выбрать план тестирования, выберите вниз- стрелка на разбивочном управлении группы, а затем выберите Центр тестирования.

  8. На центральной панели меню группа выберите План.

  9. (Необязательно) для выбора другого плана тестирования выбрать гиперссылку с именем плана тестирования в верхн- правом углу или выбрать значок главного окна.

  10. Можно добавить эти тестовые случаи в новый набор тестов или в существующий набор тестов.Чтобы добавить тестовый случай в план, выберите Содержание а затем выберите набор тестов в иерархии наборов тестов или добавьте новый набор тестов.Затем выберите Добавить в области сведений набора тестов.

    Откроется диалоговое окно Добавить тестовые случаи в набор.

    Примечание   Сведения об определении наборов тестов и планов тестирования см. в разделе Группировка тестовых случаев в наборы тестов.

  11. Выберите созданные тестовые случаи.Имена этих тестовых случаев будут такими же, как у методов теста в тестовой сборке.Затем выберите Добавить тестовые случаи.

    В списке тестов отображаются все тестовые случаи для выбранного набора тестов.

    ПримечаниеПримечание

    Тестовые случаи можно также импортировать непосредственно в статический набор тестов.Дополнительные сведения об этой операции см. в разделе tcm. Импорт автоматических тестов в тестовые случаи.

Dd465191.collapse_all(ru-ru,VS.110).gifНастройка использования планом тестирования нужного командного построения

Для настройки выполнения планом тестирования созданного автоматического теста необходимо выбрать соответствующее определение построения для выполнения построения методов автоматического теста.Это нужно сделать так, чтобы сборка автоматических тестов находилась в общей папке для определения построения и его можно было выполнить из Microsoft Test Manager.

Для настройки использования планом тестирования нужного командного построения выполните следующие действия.

  1. Откройте Microsoft Test Manager.

    ПримечаниеПримечание

    Для отображения окна Microsoft Test Manager выберите команду пуск и выберите все программы.Укажите Microsoft Visual Studio 2012 а затем выберите Microsoft Test Manager.

  2. Чтобы выбрать план тестирования, выберите вниз- стрелка на разбивочном управлении группы, а затем выберите Центр тестирования.

  3. На центральной панели меню группа выберите План.

  4. Для настройки использования планом тестирования автоматических тестов выберите Свойства а затем выберите Фильтр для построений.

    Откроется диалоговое окно Фильтровать выполненные построения.

  5. Для выбора определения построения, которое используется для построения автоматических тестов выберите Определение построения.

  6. Каждому построению можно присвоить определенное значение, отражающее качество построения.Чтобы выбрать качество построений нужно иметь возможность просматривать выберите Качество построения.

    ПримечаниеПримечание

    Дополнительные сведения об определениях и свойстве построения см. в разделе Определение процесса построения.

  7. Чтобы сохранить изменения, выберите Задать фильтр построения.

  8. Чтобы выбрать последнее построение для использования с данным планом тестирования, включающим изменения автоматического теста, сначала необходимо выбрать Сохранить для сохранения плана, а затем выбрать Изменить.

    Появится действие Назначить построение.Можно сравнить текущее построение с выбираемым построением.Список связанных элементов показывает измененные в другом построении рабочие элементы.Затем можно назначить последнее построение для использования при тестировании с этим планом.Дополнительные сведения о том, как выбирать построение, см. в разделе Определение построений, содержащих исправления ошибок, новые возможности или требования.

  9. Чтобы закрыть действие Назначить построение и вернуться к свойствам плана тестирования выберите значок Закрыть.

  10. Чтобы сохранить изменения для данного плана тестирования, выберите Сохранить на панели инструментов.

Создание параметров тестирования и среды для выполнения тестов

Для выполнения автоматических тестов необходимо использовать лабораторной среды.Выполнять автоматические тесты с помощью Microsoft Test Manager без среды нельзя.

Необходимо создать среду, содержащую роли в параметрах тестирования, и использовать эту среду в плане тестирования.Дополнительные сведения о том, как создать среду, роли и параметры тестирования, см. раздел Настройка тестовых компьютеров для выполнения тестов или сбора данных.

ПримечаниеПримечание

Если требуется выполнить автоматические тесты, которые взаимодействуют с рабочим столом, настройте свой агент для запуска в виде процесса, а не службы.Дополнительные сведения см. в разделе Практическое руководство. Настройка агента тестирования для выполнения тестов, взаимодействующих с рабочим столом.

Для создания параметров тестирования и среды для выполнения тестов выполните следующие действия.

  1. Чтобы создать стандартную среду, выполните действия, указанные в этом разделе: Создание стандартной среды.

  2. Чтобы создать среду SCVMM выполните шаги, описанные в этом разделе: Создание среды SCVMM с помощью хранимых виртуальных машин и шаблонов.Если требуется дополнительные сведения о создании лабораторные среды, см. в Руководство по созданию сред SCVMM и управлению ими.

  3. Чтобы создать параметры тестирования, выполните действия, указанные в следующем разделе: Создание параметров тестирования для автоматических системных тестов с помощью Microsoft Test Manager.

Выполнение автоматического теста с помощью Microsoft Test Manager

Выполнение автоматического теста с помощью Microsoft Test Manager

  1. Откройте Microsoft Test Manager.

    ПримечаниеПримечание

    Для отображения окна Microsoft Test Manager выберите команду пуск и выберите все программы.Укажите Microsoft Visual Studio 2012 а затем выберите Microsoft Test Manager.

  2. Для выполнения автоматических тестов выберите вниз- стрелка на разбивочном управлении группы, а затем выберите Центр тестирования.

  3. В центральной строке меню группа выберите Тест.

  4. (Необязательно) для переопределения построения параметры тестирования или среды, используемой для выполнения автоматических тестов, выбранных в данном плане тестирования, щелкните правой кнопкой мыши тест и выберите пункт Запуск с параметрами.Например, если нужно выполнить тесты в эмуляционной среде, а не в обычной тестовой среде, можно выбрать другую среду.В диалоговом окне параметры выполнения эти параметры можно изменить, а затем выбрать Запуск, чтобы выполнить выбранный тест.

    ПримечаниеПримечание

    Если выбрана другая среда, она должна содержать те же роли, что и среда, которая была создана в используемых параметрах тестирования.

  5. Для выполнения автоматических тестов без изменять любые параметры, щелкните правой кнопкой мыши тест и выберите Запуск.

    Отображается действие Анализ тестовых запусков, показывающее ход выполнения тестового запуска, который содержит этот тест.

    ПримечаниеПримечание

    Можно выбрать и выполнять несколько автоматических тестов, а также можно выполнять целый набор тестов.Чтобы запустить набор, щелкните правой кнопкой мыши набор тестов, а затем выберите Запуск.

Просмотр и обновление результатов теста

Просмотр и обновление результатов теста

  1. Откройте Microsoft Test Manager.

    ПримечаниеПримечание

    Для отображения окна Microsoft Test Manager выберите команду пуск и выберите все программы.Укажите Microsoft Visual Studio 2012 а затем выберите Microsoft Test Manager.

  2. Чтобы просмотреть результаты тестов, выберите вниз- стрелка на разбивочном управлении группы, а затем выберите Центр тестирования.

  3. На центральной панели меню группа выберите Тест а затем выберите Анализ тестовых запусков.

    Появится действие Анализ тестовых запусков.Оно показывает выполнения тестов для этого плана тестирования.

  4. Дважды щелкните тестовый запуск, чтобы открыть его и посмотреть сведения.

    Отображаются сведения о тестовом запуске.

  5. (Необязательно) Чтобы присвоить запуску более понятное название, введите его в поле Название.

  6. (Необязательно) Если тест завершился ошибкой, можно добавить причину ошибки.Выберите Разрешение и выберите причина ошибки из списка.

  7. (Необязательно) чтобы добавить примечание к результату теста выберите значок комментарии.Введите ваши комментарии, а затем выберите Сохранить примечания.

  8. (Необязательно) Для просмотра подробностей отдельного теста дважды щелкните тест.

    Отображается результат теста.Он содержит сведения о выполнении теста, вложения с данными, собранными для данного результата теста и журнал результатов данного теста.Чтобы вернуться к тестовому запуску, нужно закрыть это представление.

    ПримечаниеПримечание

    Если во время анализа обнаружена ошибка, из этого представления можно создать сообщение об ошибке.

  9. Чтобы сохранить изменения для данного тестового запуска, выберите Сохранить на панели инструментов.

См. также

Задачи

Практическое руководство. Связывание автоматического теста с тестовым случаем

Ссылки

tcm. Импорт автоматических тестов в тестовые случаи

Основные понятия

Практическое руководство. Запуск автоматических тестов из командной строки с помощью программы Tcm

Другие ресурсы

Создание автоматических тестов с помощью Microsoft Test Manager