Практическое руководство. Связывание автоматического теста с тестовым случаем

Часто цикл тестирования начинается с ручного тестового случая, который впоследствии становится нужно автоматизировать. Нужно продолжать выполнять этот тест в составе плана тестирования. Ручной тестовый случай мог использоваться для создания записи действий при выполнении теста. Во время записи действий был создан закодированный тест пользовательского интерфейса, который нужно связать с исходным тестовым случаем и выполнять как автоматический тест. Дополнительные сведения о записи действий и закодированных тестах пользовательского интерфейса см. в разделах Запись и воспроизведение ручных тестов и Тестирование пользовательского интерфейса с помощью автоматических тестов пользовательского интерфейса.

Автоматический тест связывается с ручным тестовым случаем с помощью Visual Studio. После создания автоматического теста необходимо вернуть тестовый проект, содержащий автоматический тест и убедиться, что тестовый проект входит в определение построения. После этого автоматический тест связывается с тестовым случаем, добавленным в план тестирования, использующий данное построение. Дополнительные сведения о возврате тестовых проектов и командных построений см. в разделах Добавление файлов в систему управления версиями и Построение приложения.

Важно!

Если для построения приложения и тестов не используется Team Foundation Build, автоматические тесты можно по-прежнему выполнять с помощью Microsoft Test Manager.Необходимо создать определение построения, в которое добавлена общая папка, содержащая сборки для тестов.

Кроме того, может быть нужно выполнять набор автоматических тестов в составе плана тестирования с помощью Microsoft Test Manager. Можно импортировать такие автоматические тесты из сборки и создать тестовые случаи, связанные с каждым из тестов, с помощью средства командной строки для Microsoft Test Manager. Дополнительные сведения об импорте автоматических тестов см. в разделе Практическое руководство. Создание тестовых случаев из сборки автоматических тестов с помощью средства tcm.exe.

Автоматический тест можно связать с тестовым случаем только с помощью Visual Studio. Это нельзя сделать с помощью Microsoft Test Manager. Если у вас есть тестовый случай, который вы хотите использовать, откройте его с помощью Visual Studio, как показано на следующем рисунке.

После этого можно связать метод теста с тестовым случаем, как показано на следующем рисунке.

Если необходимо создать новый тестовый случай, можете сделать это в окне представления теста согласно описанию следующей процедуры: Создание тестового случая на основе автоматического теста. Для обеспечения возможности запуска тестового случая последний необходимо добавить в план тестирования.

Примечание

Можно просматривать сведения из Microsoft Test Manager, но изменять их нельзя.

В следующей таблице показаны типы доступных для создания автоматических тестов и указаны типы тестов, которые можно выполнять в рамках плана тестирования.

Тип тестов	Описание	Запуск из плана тестирования путем связывания метода теста с тестовым случаем
Закодированные тесты пользовательского интерфейса	Тестирование пользовательского интерфейса путем выполнения действий пользовательского интерфейса.	Да
Модульные тесты	Тестирование кода на уровне методов.	Да
Модульные тесты базы данных.	Тестирование хранимых процедур, функций или триггеров в базе данных.	Да
Нагрузочные тесты	Тестирование производительности приложения и его устойчивости к нагрузкам с помощью модульных тестов, веб-тестов производительности и закодированных тестов пользовательского интерфейса.	Не рекомендуется из-за невозможности следить за ходом выполнения теста.
Веб-тесты производительности	Использование в составе нагрузочных тестов для тестирования ответов сервера для веб-приложений путем отправки и получения HTTP-запросов. Примечание Эти тесты нельзя использовать для тестирования пользовательского интерфейса.	Не рекомендуется, поскольку веб-тесты производительности предназначены преимущественно для использования с нагрузочными тестами.
Обычные тесты	Тестирование функциональных возможностей с помощью вызовов API или средств командной строки для тестируемого приложения.	Да

Чтобы связать автоматический тест с тестовым случаем, который затем можно выполнять в составе плана тестирования, выполните следующие действия.

• Добавление автоматического теста в существующий тестовый случай

• Создание тестового случая на основе автоматического теста

• Настройте использование планом тестирования нужного построения.

• Создание параметров тестирования и среды для выполнения тестов

• Выполнение автоматического теста с помощью Microsoft Test Manager

• Просмотр и обновление результатов теста

Добавление автоматического теста в тестовый случай

Параметры в тестовом случае не будут использоваться связываемым с ним автоматическим тестом. Итерации тестового случая, которые используют эти параметры, предназначены только для ручных тестов.

Для добавления автоматического теста в тестовый случай выполните следующие действия.

1. Чтобы открыть решение, содержащее автоматический тест, щелкните Файл и последовательно выберите Открыть и Проект/решение.

   Откроется диалоговое окно Открыть проект.

2. Выберите решение и нажмите кнопку Открыть.

   Примечание

   Для связи автоматизации с тестовым случаем необходимо открыть решение.

3. Если вы знаете рабочий элемент тестового случая, в Сред. Командный обозреватель, в меню Группа выберите пункт Переход к рабочему элементу.

   Также можно щелкнуть правой кнопкой мыши узел Рабочие элементы командного проекта.

4. В диалоговом окне Переход к рабочему элементу в поле Идентификатор введите идентификатор тестового случая.

5. Нажмите кнопку ОК для открытия рабочего элемента.

   Примечание

   Если идентификатор неизвестен, рабочий элемент можно найти с помощью уже существующего запроса в узлах Командные запросы и Мои запросы.Дополнительные сведения об использовании запросов в Сред. Командный обозреватель см. в разделе Поиск ошибок, задач и прочих рабочих элементов.

6. Для добавления автоматического теста выберите вкладку Связанные средства автоматизации.

7. Чтобы найти имя автоматического теста, нажмите кнопку с многоточием (…).

   Откроется диалоговое окно Выберите тест. Все тесты в решении отображаются в списке вместе со связанными с ними тестовыми проектами.

   Примечание

   Если с тестовым случаем уже связан автоматический тест, перед добавлением другого автоматического теста необходимо удалить эту связь.Для удаления существующей автоматизации щелкните Удалить ассоциацию.

8. Выберите тест и нажмите ОК.

   Примечание

   Значение поля Состояние автоматизации автоматически изменяется на Автоматический.

9. Для сохранения изменений тестового случая нажмите кнопку Сохранить рабочий элемент.

   Следующим шагом процедуры является настройка плана тестирования для использования определенного построения.

Создание тестового случая на основе автоматического теста

Для добавления автоматического теста в тестовый случай выполните следующие действия.

1. Чтобы открыть решение, содержащее автоматический тест, щелкните Файл и последовательно выберите Открыть и Проект/решение.

   Откроется диалоговое окно Открыть проект.

2. Выберите решение и нажмите кнопку Открыть.

   Примечание

   Для связи автоматизации с тестовым случаем необходимо открыть решение.

3. Чтобы открыть окно представления теста, щелкните Тест, выберите пункт меню Окна и укажите Представление теста.

   Откроется окно представления теста.

4. Чтобы создать тестовый случай на основе автоматического теста, щелкните правой кнопкой мыши метод теста в окне представления теста и выберите Создать тестовый случай на основе теста.

   Поля на вкладке Связанные средства автоматизации автоматически заполняются данными метода теста, выбранного в окне представления теста.

   Примечание

   Значение поля Состояние автоматизации автоматически изменяется на Автоматический.

5. Введите имя тестового случая в поле Название.

6. Чтобы выбрать важность тестового случая, щелкните Приоритет.

   Примечание

   Дополнительные сведения о полях в тестовом случае см. в разделе Практическое руководство. Создание ручного тестового случая.

7. Для сохранения изменений тестового случая нажмите кнопку Сохранить рабочий элемент.

   Вы должны добавить тестовый случай в план тестирования с помощью Microsoft Test Manager. Дополнительные сведения см. в разделе Добавление тестового случая в набор тестов.

   Следующим шагом процедуры является настройка плана тестирования для использования определенного построения.

Настройка использования планом тестирования нужного командного построения

Для настройки запуска из плана тестирования созданного автоматического теста необходимо выбрать соответствующее определение построения, с помощью которого был построен автоматический тест, или определение построения, которое содержит правильную папку размещения построений существующих сборок автоматических тестов. Это нужно сделать так, чтобы автоматический тест находился в общей папке для определения построения и его можно было выполнить из Microsoft Test Manager.

Важно!

При наличии нескольких конфигураций построения поиск сборок тестов, необходимых для выполнения автоматических тестов, выполняется рекурсивно, начиная с корневого каталога папки размещения построений.Если при запуске автоматических тестов имеет значение, какие сборки выбираются, следует использовать команду Запуск с параметрами для задания конфигурации построения.Дополнительные сведения об этой операции см. в разделе Практическое руководство. Переопределение параметров запусков теста в плане тестирования.

Для настройки использования планом тестирования нужного командного построения выполните следующие действия.

1. Откройте Microsoft Test Manager.

   Примечание

   Чтобы открыть окно Microsoft Test Manager, нажмите кнопку Пуск и выберите Все программы.Выберите Microsoft Visual Studio 2010 и щелкните Microsoft Test Manager 2010.

2. Чтобы выбрать план тестирования, щелкните стрелку вниз на центральном переключателе групп и выберите Центр тестирования.

3. В строке меню центральной группы выберите пункт План.

4. Для настройки выполнения планом тестирования автоматических тестов выберите меню Свойства и щелкните стрелку раскрывающегося списка справа от пункта Фильтровать по построениям.

   Откроется диалоговое окно, показывающее определение и качество построения.

5. Для выбора определения построения для выполнения построения автоматических тестов щелкните Определение построения.

6. Каждому построению можно присвоить определенное значение, отражающее качество построения. Чтобы выбрать качество построений для просмотра, щелкните Свойство построения.

   Примечание

   Дополнительные сведения об определениях и свойстве построения см. в разделе Построение приложения.

7. Для сохранения изменений выберите команду Задать фильтр построения.

8. Чтобы выбрать последнее построение для использования с данным планом тестирования, включающим изменения автоматического теста, сначала необходимо нажать кнопку Сохранить для сохранения плана, а затем кнопку Изменить.

   Появится действие Назначить построение. Можно сравнить текущее построение с выбираемым построением. Список связанных элементов показывает измененные в другом построении рабочие элементы. Затем можно назначить последнее построение для использования при тестировании с этим планом. Дополнительные сведения о том, как выбирать построение, см. в разделе Определение построений, содержащих исправления ошибок, новые возможности или требования.

9. Чтобы закрыть действие Назначить построение и вернуться к свойствам плана тестирования, щелкните значок Закрыть.

10. Чтобы сохранить изменения для данного плана тестирования, нажмите на панели инструментов кнопку Сохранить.

Создание параметров тестирования и среды для выполнения тестов

Для выполнения автоматических тестов необходимо использовать физическую или виртуальную среду. Выполнять автоматические тесты с помощью Microsoft Test Manager без среды нельзя.

Необходимо создать среду, содержащую роли в параметрах тестирования, и использовать эту среду в плане тестирования. Дополнительные сведения о том, как создать среду, роли и параметры тестирования, см. раздел Настройка тестовых компьютеров для выполнения тестов или сбора данных.

Примечание

Если требуется выполнить автоматические тесты, которые взаимодействуют с рабочим столом, настройте свой агент для запуска в виде процесса, а не службы.Дополнительные сведения см. в разделе Практическое руководство. Настройка агента тестирования для выполнения тестов, взаимодействующих с рабочим столом.

Для создания параметров тестирования и среды для выполнения тестов выполните следующие действия.

1. Чтобы создать физическую среду, выполните действия, указанные в следующем разделе: Создание физической среды, используемой для тестирования.

2. При использовании Visual Studio Lab Management можно создать виртуальную среду. Чтобы создать виртуальную среду, выполните действия, указанные в следующем разделе: Практическое руководство. Создание среды из виртуальных машин или шаблонов. Дополнительные сведения о создании виртуальных сред см. в разделе Виртуальные среды — понятия и указания.

3. Чтобы создать параметры тестирования, выполните действия, указанные в следующем разделе: Создание параметров тестирования для автоматических тестов в составе плана тестирования.

Выполнение автоматического теста с помощью Microsoft Test Manager

Выполнение автоматического теста с помощью Microsoft Test Manager

1. Откройте Microsoft Test Manager.

   Примечание

   Чтобы открыть окно Microsoft Test Manager, нажмите кнопку Пуск и выберите Все программы.Выберите Microsoft Visual Studio 2010 и щелкните Microsoft Test Manager 2010.

2. Чтобы выполнить автоматический тест, щелкните стрелку вниз на центральном переключателе групп и выберите Центр тестирования.

3. В строке меню центральной группы выберите команду Тест.

4. (Необязательно) Для переопределения построения, параметров тестирования или среды для выполнения автоматических тестов, выбранных в этом плане тестирования, щелкните тест правой кнопкой мыши и выберите команду Запуск с параметрами. Например, если нужно выполнить тесты в эмуляционной среде, а не в обычной тестовой среде, можно выбрать другую среду. В диалоговом окне Параметры выполнения эти параметры можно изменить и нажать Выполнить, чтобы выполнить выбранный тест.

   Примечание

   Если выбрана другая среда, она должна содержать те роли, которые выбраны в используемых параметрах тестирования.

5. Чтобы выполнить автоматический тест, не изменяя параметры, щелкните тест правой кнопкой мыши и выберите Выполнить.

   Появится действие Анализ тестовых запусков. Оно показывает ход выполнения запуска тестов, содержащего данный тест.

   Примечание

   Можно выбрать и выполнять несколько автоматических тестов, а также можно выполнять целый набор тестов.Для выполнения набора тестов щелкните правой кнопкой мыши набор тестов и выберите Выполнить.

Просмотр и обновление результатов теста

Просмотр и обновление результатов теста

1. Откройте Microsoft Test Manager.

   Примечание

   Чтобы открыть окно Microsoft Test Manager, нажмите кнопку Пуск и выберите Все программы.Выберите Microsoft Visual Studio 2010 и щелкните Microsoft Test Manager 2010.

2. Чтобы просмотреть результаты теста, щелкните стрелку вниз на центральном переключателе групп и выберите Центр тестирования.

3. В строке меню центральной группы последовательно выберите пункты Тест и Анализ тестовых запусков.

   Появится действие Анализ тестовых запусков. Оно показывает выполнения тестов для этого плана тестирования.

4. Дважды щелкните запуск тестов, чтобы открыть его и посмотреть сведения.

   Отображаются сведения о тестовом запуске.

5. (Необязательно) Чтобы присвоить запуску более понятное название, введите его в поле Название.

6. (Необязательно) если тест завершился ошибкой, можно добавить причину ошибки. Щелкните Разрешение и выберите из списка причину ошибки.

7. (Необязательно) чтобы добавить примечание к результату теста, щелкните значок "Комментарии". Введите примечание и нажмите кнопку Сохранить примечания.

8. (Необязательно) для просмотра подробностей отдельного теста дважды щелкните тест.

   Отображается результат теста. Он содержит сведения о выполнении теста, вложения с данными, собранными для данного результата теста и журнал результатов данного теста. Закройте это представление для возврата к выполнению тестов.

   Примечание

   Если во время анализа вы обнаружили ошибку, из этого представления можно создать сообщение об ошибке.

9. Чтобы сохранить изменения для данного выполнения тестов, нажмите на панели инструментов кнопку Сохранить.

См. также

Задачи

Практическое руководство. Создание тестовых случаев из сборки автоматических тестов с помощью средства tcm.exe

Другие ресурсы

Создание автоматических тестов