Поделиться через


Отчет "Ход выполнения плана тестирования"

После того как команда создала планы тестирования и начала проводить тесты, используя средства управления тестами в Team Foundation Server (TFS), которые включают в себя Test Runner, Microsoft Test Manager и центр тестирования Team Web Access (TWA), можно воспользоваться отчетом "Ход выполнения плана тестирования" для отслеживания процесса выполнения командой тестирования продукта.

Сведения об определении наборов тестов и планов тестирования см. в разделе Планирование ручных тестов с помощью Team Web Access.

Сведения о способах доступа к отчетам, их обновления и управления отчетами см. в разделе Отчеты (SQL Server Reporting Services).

Содержание раздела

  • Данные в отчете

  • Интерпретация отчета

  • Фильтрация отчета

Этот отчет может использоваться для получения ответов на следующие вопросы:

  • Какую часть тестирования выполнила команда?

  • Будет ли завершено вовремя тестирование?

  • Сколько осталось выполнить тестов?

  • Сколько тестов завершается успешно?

  • Сколько тестов завершается ошибками?

  • Сколько тестов остановлено?

Требования

  • Для просмотра отчета пользователь должен входить в группу, которой была предоставлена роль Обозреватель в службах отчетов. Для получения дополнительной информации см. Добавление пользователей в командные проекты.

  • Коллекция командных проектов, в которой содержится командный проект, была создана с поддержкой служб SQL Server Reporting Services. Если при запуске Team Explorer и развертывании узла командного проекта не отображается пункт Отчет Отчеты, отчет недоступен. Инструкции по добавлению отчетов см. в разделе Добавление отчетов в командный проект.

Данные в отчете

Данные отчета "Ход выполнения плана тестирования" получаются из хранилища данных и результатов тестов, которые создаются при выполнении тестов с использованием Microsoft Test Manager. В отчете содержится площадная диаграмма, отображающая сведения о результатах последних тестов в указанных планах тестирования для определенного времени. Для получения дополнительной информации см. Выполнение ручных тестов с помощью Team Web Access.

На рисунке ниже показан пример отчета "Ход выполнения плана тестирования".

Пример отчета "Ход выполнения плана тестирования"

По горизонтальной оси откладываются дни спринта или итерации, а по вертикальной — тестовые точки. Тестовая точка — это связь тестового случая с конфигурацией теста в определенном наборе тестов. Подробнее о тестовых точках см. в статье Отчеты о ходе выполнения планов тестирования. В таблице ниже приводится значение каждого результата теста.

Результат теста

Описание

Передано

Количество пройденных тестовых случаев.

Сбой

Количество тестовых случаев, завершившихся сбоем.

С неопределенным результатом

Количество тестовых случаев, которые были выполнены и получили состояние "С неопределенным результатом".

Заблокировано

Количество тестовых случаев, выполнение которых было заблокировано.

Невыполненные

Количество тестовых случаев, которые не были выполнены.

Другой

Количество тестовых случаев, которые были выполнены и получили одно из следующих состояний: "Отменен", "Не выполнен", "Выполнен, но отменен", "Не может быть выполнен", "Отключен", "Тайм-аут", "Отложен", "Выполняется" или "С неопределенным результатом".

Создание фильтров для отчета "Ход выполнения плана тестирования" можно выполнить следующими способами:

  • изменить начальную и конечную даты отчета;

  • отфильтровать планы тестирования, перечисленные в отчете, по заданным путям к итерации, области и названиям или состояниям плана тестирования.

Подробнее см. в подразделе Фильтрация отчета далее в этом разделе.

Необходимые действия для управления тестовыми случаями и планами тестирования

Для обеспечения точности и актуальности отчета "Ход выполнения плана тестирования" команда должна выполнить следующие действия по управлению планами тестирования:

  • определить тестовые случаи и указать пути итерации и области для каждого тестового случая;

  • определить планы тестирования и указать их текущее состояние;

  • Для ручных тестов, отмечать результаты каждого проверочного шага в тестовом случае как "пройдено" или "не пройдено".

    Важно!

    Если тест проверочный, тест-инженеры должны отмечать шаги теста состояниями.Общий результат теста показывает состояние всех отмеченных шагов теста.Таким образом, тест получит состояние "не пройдено", если какой-либо из шагов теста отмечен как непройденный или не отмечен.

    В случае автоматических тестов каждый тест автоматически отмечается как пройденный или завершенный неудачей.

  • Для поддержки фильтрации тестовым случаям необходимо назначить пути итерации и области.

Интерпретация отчета

Количество успешно выполненных планов тестирования и планов тестирования, завершившихся сбоем, можно отслеживать. Отчет "Ход выполнения плана тестирования" содержит совокупное значение всех планов тестирования, сгруппированных по состоянию результата.

Вопросы, ответы на которые содержатся в отчете

С помощью отчета можно определить ход работ в рамках спринта, итерации или за определенный период времени. Например, можно получить ответы на следующие вопросы.

  • Какую часть тестирования выполнила команда?

  • Будет ли завершено вовремя тестирование?

  • Сколько осталось выполнить тестов?

  • Сколько тестов завершается успешно?

  • Сколько тестов завершается ошибками?

  • Сколько тестов остановлено?

Рабочая версия отчета

В рабочей версии отчета "Ход выполнения плана тестирования" показано постепенное выполнение и завершение планов тестирования, как продемонстрировано на рисунке ниже. В идеале, в отчете содержится примерно одинаковое число тестовых случаев для заданного плана. С течением цикла разработки количество выполненных тестов должно увеличиваться, а количество тестовых случаев с другими состояниями должно уменьшаться.

Работоспособная версия отчета о ходе выполнения плана тестирования

Нерабочая версия отчета

Ниже перечислены некоторые признаки нерабочей версии отчета "Ход выполнения плана тестирования".

  • Большое количество тестовых случаев завершаются неудачей.

    Если в диаграмме над зеленым преобладает красный цвет, количество тестовых случаев, завершающихся неудачами, превышает количество успешно завершенных тестовых случаев. В зависимости от текущей стадии в цикле продукта, возможно, следует проверить причину завершения большего количества тестовых случаев неудачей.

  • Число тестовых случаев, которые выполняются успешно, остается неизменным.

    Как показано на рисунке ниже, число успешных тестовых случаев и тестовых случаев, завершившихся неудачей или невыполненных, остается неизменным. Возможно, следует изучить факторы, воздействующие на каждую область.

    Неработоспособная версия отчета о ходе выполнения плана тестирования

Фильтрация отчета

Фильтрация отчета "Ход выполнения плана тестирования" позволяет просмотреть тестовые случаи, определенные для заданных итерации, областей продукта, планов тестирования и состояний планов тестирования. На рисунке ниже показаны доступные фильтры.

Фильтры для отчета о ходе выполнения плана тестирования

Изменение интервала времени отчета

  1. Щелкните значок календаря рядом с полем Начало итерации (дата) или Конец итерации (дата) и выберите дату.

  2. Нажмите кнопку Просмотр отчета.

Фильтрация планов тестирования и тестовых случаев, перечисленных в отчете

  1. Выполните одно или оба указанных ниже действия.

    • В списке Итерация или Область установите флажок для каждого включаемого пути итерации или области продукта.

    • В списках План тестирования и Состояние плана тестирования установите флажки для каждого включаемого плана тестирования и состояния плана тестирования.

  2. Нажмите кнопку Просмотр отчета.

См. также

Другие ресурсы

Отчеты (SQL Server Reporting Services)

MSF for Agile Software Development для Visual Studio ALM