Управление новыми работами по тестированию

Можно использовать Центр тестирования в Microsoft Test Manager помогут планировать работы по тестированию, основанный на собственном подходе.Microsoft Test Manager позволяет использовать для создания плана тестирования, который связан с командным проектом.В таком плане можно указать тесты, которые планируется выполнить в определенной итерации.Кроме того, можно создать конфигурации тестов, определяющие настройку тестов, которую необходимо использовать для их выполнения.Сопоставление выполняемых тестов с конфигурациями тестов позволяет использовать план тестирования для измерения хода тестирования сразу после запуска тестов.

Требования

• Visual Studio Ultimate, Visual Studio Premium, Visual Studio Test Professional

Для планов тестирования можно создавать тестовые случаи, которые используются как в ручных, так и в автоматических тестах.Чтобы выполнить план вручную, можно указать все необходимые данные путем добавления шагов теста, содержащих и действия, и ожидаемые результаты.Кроме того, для сокращения временных затрат на обслуживание шагов ручных тестов можно совместно использовать общие шаги теста.

При запуске ручных тестов с помощью приложения Microsoft Test Manager сведения о выполняемых действиях можно собирать как в журнале, так и в виде записи, которую удобно использовать в следующий раз для быстрой перемотки ручных тестов.Доступна видеозапись рабочего стола, создание снимков и добавление комментариев к результатам теста.Если выполнить тест и сохранить его как часть результатов теста, можно также собирать другую диагностическую информацию.При необходимости в ходе выполнения тестов можно создавать ошибки и автоматически добавлять к ним любые собираемые данные.

С помощью Visual Studio можно создать различные типы автоматических тестов.модульные тесты для тестирования отдельных методов в коде, закодированные тесты пользовательского интерфейса для тестирования пользовательского интерфейса, обычные тесты, вызывающие методы API, и нагрузочные тесты для проверки производительности приложений при различных уровнях нагрузки.Для выполнения автоматических тестов в составе плана тестирования можно связать эти тесты с тестовыми случаями.

После запуска тестов можно создавать отчеты о ходе тестирования.Благодаря использованию планов тестирования для структурирования работ по тестированию можно ответить на перечисленные ниже вопросы.

• Сколько тестов выполнено успешно и сколько завершились неудачей?

• Сколько тестов осталось выполнить для данной итерации?

• Когда завершится тестирование?

• В каких областях продукта наблюдается высокий уровень сбоев тестов?

• Какие конфигурации тестов приводят к высокому уровню сбоев тестов?

• Какому пользователю принадлежит большинство тестов, которые еще не выполнены?

• Можно ли перераспределить ресурсы с целью уравновешивания оставшихся операций тестирования?

• Какое построение следует применять тест-инженерам в зависимости от изменений кода и исправления ошибок?

Дополнительные сведения о стратегиях тестирования см. в разделе Частое тестирование на ранних этапах разработки.

Начало работы с управлением тестовыми случаями

При тестировании программного обеспечения сначала планируется стратегия тестирования, а затем выполняются тесты и отправляются обнаруженные ошибки.После этого можно проанализировать ход тестирования и решить, следует ли выполнить тесты еще раз, проверить исправления ошибок, добавить дополнительные тестовые случаи и конфигурации тестов. Возможно, в результате такого анализа будет принято решение о завершении тестирования для текущей итерации.Далее описываются шаги, которые необходимо выполнить, приступая к использованию приложения Microsoft Test Manager.

• Подключение к командному проекту

• Планирование работ по тестированию

• Выполнение тестов

• Отслеживание хода тестирования

Подключение

Сначала необходимо подключиться к серверу Team Foundation Server и командному проекту с помощью приложения Microsoft Test Manager.При подключении следует выбрать тот командный проект, который использовался для добавления требований к приложению, поддержки исходного кода и построения тестируемого приложения.Создание артефактов тестирования и управление ими осуществляется в том же командном проекте.Результаты тестов также связаны с данным командным проектом.После подключения к проекту можно создать в нем план тестирования, который будет использоваться при планировании работ по тестированию.

На следующем рисунке показан процесс подключения к командному проекту.

Примечание
Будут отображаться только те командные проекты, к которым у пользователя есть право доступа.Дополнительные сведения о разрешениях см. в разделе Разрешения Team Foundation Server.

Дополнительные сведения см. в разделе Практическое руководство. Подключение к командному проекту и плану тестирования.

Планирование

В приложении Microsoft Test Manager необходимо определить работы по тестированию с помощью плана тестирования.Сложность и подробность этого плана зависит от требований конкретного проекта.Планы тестирования позволяют выбирать тесты для выполнения и измерять ход тестирования.

В составе плана можно указать конфигурации тестов, чтобы определить программное обеспечение или оборудование, которое необходимо использовать при выполнении тестов.Затем в плане создается иерархия наборов тестов.Можно использовать только один набор тестов, содержащий все тестовые случаи, или иерархию наборов тестов, определяющую структуру группировки тестовых случаев.В такой структуре группировка может выполняться на основе требований или описаний функциональности пользователей из командного проекта.И наконец, в набор тестов добавляются ручные тестовые случаи, содержащие шаги действий и проверки, или автоматические тесты.

На следующем рисунке показаны артефакты тестирования в плане тестирования.

Перечисленные ниже разделы помогут спланировать работы по тестированию.

Задачи	Связанные разделы
Создание матрицы конфигураций для планирования способов выполнения тестов. Можно создать конфигурации тестов, чтобы определить программное обеспечение или оборудование, которое необходимо использовать при выполнении тестов.Кроме того, можно указать конфигурации, по умолчанию используемые для плана, и сопоставить конфигурации с тестами, которые планируется выполнить.	Конфигурации тестов — указание платформ тестирования
Создание плана. Необходимо создать план для тестов и добавить используемые конфигурации тестов в качестве конфигураций по умолчанию.	Создание и определение плана тестирования Практическое руководство. Использование другого плана тестирования
Добавление в план наборов тестов и тестовых случаев. Можно создать наборы тестов для группировки тестовых случаев.Тестовые случаи создаются на основе требований или описаний функциональности пользователей.Наборы тестов можно также создавать путем выбора существующих тестовых случаев или добавления новых тестовых случаев.Затем можно добавить в эти тестовые случаи шаги ручных тестов.Кроме того, с тестовыми случаями часто связывают автоматические тесты для их выполнения из плана.	Практическое руководство. Создание наборов тестов на основе запроса и управление ими Добавление тестового случая в набор тестов Создание ручных тестовых случаев с помощью Microsoft Test Manager Создание автоматических тестов с помощью Microsoft Test Manager
Импорт наборов тестов из другого плана тестирования. В случае необходимости использования определенных наборов тестов в другом плане тестирования можно импортировать их из существующего плана тестирования.	Практическое руководство. Копирование наборов тестов из другого плана тестирования
Назначение пользователей для выполнения тестов. Тесты в плане тестирования можно назначать определенным тестерам в команде.По умолчанию тесты назначаются владельцам тестовых случаев.Однако это назначение можно изменить.	Практическое руководство. Назначение члена команды, выполняющего тесты в плане тестирования
Планирование установки необходимо использовать для тестирования: можно запланировать, как лабораторные среды и параметров тестирования, возможно для выполнения тестов.Среды могут быть среды стандартных или SCVMM.	Настройка тестовых компьютеров для выполнения тестов или сбора данных

Тест

При наличии созданного плана и построения тестируемого приложения все готово к выполнению тестов.Данное построение можно выбрать для использования при тестировании.Комбинации конфигураций и наборов тестов, созданных в плане тестирования, доступны для выполнения, как показано на следующем рисунке.

Ручные тесты выполняются локально с помощью средства Test Runner, которое позволяет записывать результат каждого шага и сохранить результаты теста при любом его выполнении.

Используя Microsoft Test Manager, можно настроить параметры тестирования, чтобы определить способ выполнения тестов и выбрать данные и диагностические сведения, которые будут собираться при тестировании.Данные и диагностическую информацию можно собирать локально или удаленно, используя для этого среды тестирования. При запуске тестов можно сохранять данные и диагностическую информацию вместе с результатами, а при необходимости можно использовать эти сведения для создания подробных описаний ошибок.

Среды, как правило, используются при тестировании более сложных приложений.Среда состоит из набора ролей.Роль определяет задачу компьютера в среде.Например, роль может называться "Веб-сайт для хранения данных клиентов".

Среда позволяет выполнять тесты, собирать данные и выполнять системные действия на компьютерах для каждой определенной роли.Компьютером может быть физический компьютер или виртуальная машина.Например, можно выполнять тесты на одном компьютере, а также собирать системные сведения о компьютере, на котором установлен веб-сервер для вашего приложения.Другой вариант состоит в выполнении тестов в среде, в которой используется несколько компьютеров, и сборе данных влияния тестов на этих компьютерах. Затем можно выполнить эмуляцию сети на компьютере, на котором установлен веб-клиент для тестируемого приложения.

На следующем рисунке показаны три примера настройки параметров тестирования с помощью плана тестирования для выполнения тестов.

Перечисленные ниже разделы помогут в выполнении тестов.

Задачи	Связанные разделы
Настройка тестовых компьютеров для выполнения тестов и сбора данных. Для определения ролей, необходимых для тестируемого приложения, и способа сбора данных и диагностических сведений для каждой роли можно создать параметры тестирования.Можно использовать лабораторной среды, содержащую роли в параметрах тестирования для присвоения фактические компьютеры, которые будут использоваться при выполнении тестов.Требуется, что тестовый контроллер создает лабораторные среды.Можно создать только лабораторные среды, используя Visual Studio Lab Management.	Настройка тестовых компьютеров для выполнения тестов или сбора данных Использование лабораторной среды в жизненном цикле приложения
Запуск ручных тестов из плана тестирования. Для записи результатов каждого шага (пройден или не пройден) можно запускать ручные тесты из плана тестирования с помощью Test Runner.Можно также сохранить результат теста и все данные, собранные при его выполнении.	Выполнение ручных тестов с помощью средства выполнения тестов
Ускорение ручного тестирования. Можно записать действия пользовательского интерфейса, предпринимаемые при выполнении ручного теста.При повторном выполнении теста запись действий можно использовать для ускоренной перемотки вперед посредством воспроизведения этой записи вплоть до шага теста, который необходимо выполнить для проверки ошибки.	Запись и воспроизведение ручных тестов
Выполнение автоматических тестов. тесты можно выполнять непосредственно из Visual Studio из построения группы или из командной строки.Можно связать автоматический тест с тестовым случаем из Visual Studio и запустить, что тестовый случай в составе плана тестирования с помощью Microsoft Test Manager поэтому результаты теста из автоматических тестов можно отслеживать с любыми ручными тестами.	Запуск автоматических тестов в Microsoft Test Manager Начальное руководство по выполнению автоматических тестов из плана тестирования Практическое руководство. Настройка и запуск запланированных тестов после построения приложения Запуск автоматических тестов из командной строки
Анализ результатов теста. Результаты автоматических тестов можно проанализировать на основе конкретного тестового запуска.На основании результатов можно создавать ошибки.Можно также просмотреть результаты покрытия кода для проверки того, что в тестах действительно тестируется максимально возможная область функциональности приложения.	Просмотр результатов теста в Microsoft Test Manager Анализ результатов покрытия кода
выполнять произвольное тестирование: можно реализовывать произвольное тестирование от Microsoft Test Manager.Произвольное тестирование тестирование приложения без заранее определенных наборов тестов.Он также называется синхронные планирование тестирования и выполнения тестов.Во время выполнения исследовательского тестового сеанса не ограничены скрипту или набор предопределенных действий по мере с ручным тестом.	Выполнение произвольного тестирования с помощью Microsoft Test Manager

Отслеживание

Теперь можно приступить к отслеживанию работ по тестированию, определенных в плане тестирования.Можно проверить, предусмотрено ли для плана несколько построений, и просмотреть тесты, которые рекомендуется выполнить для этих построений, на основе изменений кода.Кроме того, для отслеживания качества тестируемого приложения можно создавать стандартные отчеты или выполнять настраиваемые запросы.

Перечисленные ниже разделы помогут отслеживать работы по тестированию.

Ключевые задачи	Связанные разделы
Просмотр отчетов, которые помогают отслеживать ход тестирования. Можно просматривать отчеты о готовности тестовых случаев и ходе тестирования, созданные для плана тестирования.	Отчеты о ходе выполнения планов тестирования
Поиск тестов для повторного выполнения на основе изменений кода. Можно сравнить построения, чтобы увидеть, какие тесты рекомендуется выполнить еще раз, на основании изменений тестируемого приложения.	Поиск тестов, затрагиваемых изменениями кода Определение построений, содержащих исправления ошибок, новые возможности или требования
Рассмотрение ОШИБОК: можно проанализировать ошибки и определить следующие шаги для их устранения.При необходимости можно также повторно назначить ошибки.	Практическое руководство. Отслеживание ошибок Практическое руководство. Создание поисковых запросов и управление ими
Использование стандартных и настраиваемых запросов для отчетов. Можно использовать существующие запросы для создания отчетов о тестовых случаях и ошибках.Кроме того, для отчетов можно создавать собственные настраиваемые запросы.	Практическое руководство. Поиск тестовых случаев в Microsoft Test Manager Практическое руководство. Отслеживание ошибок Практическое руководство. Создание поисковых запросов и управление ими

См. также

Основные понятия

Тестирование приложения