Панель мониторинга "Тест" (гибкая разработка)

Статья
08/11/2011

С помощью панели мониторинга "Тест" можно отслеживать операции тестирования, создавать отчеты о ходе выполнения, находить пробелы в покрытии тестами и определять области, требующие дополнительного изучения. Эта панель мониторинга показывает пять отчетов, предоставляющих сведения о тестировании за последние четыре недели.

Примечание

Доступ к панелям мониторинга осуществляется через портал командного проекта.Доступ к панели мониторинга "Тест" возможен только, если этот портал включен и может использовать приложение Microsoft Office SharePoint Server 2007.Дополнительные сведения см. в разделе Панели мониторинга (гибкая разработка) или Доступ к порталу командного проекта и руководству по процессам.

В этом разделе

Данные, отображающиеся на панели мониторинга
Действия, необходимые для отслеживания тестирования
Наблюдение за ходом выполнения тестирования
Определение пробелов в тестировании
Наблюдение за сбоями тестов и регрессиями
Настройка панели мониторинга "Тест"

Эту панель мониторинга можно использовать для ответа на следующие вопросы.

Создаются ли тестовые случаи в соответствии с графиком?
Определила ли команда тестовые случаи для всех описаний функциональности пользователей?
Каковы доли успешных, неуспешных и заблокированных тестовых случаев?
Указывают ли метрики ошибок тестов на проблему, требующую дополнительного изучения?
В каком состоянии находится вчерашнее построение?
Что входит в число последних возвратов?

Необходимые разрешения

Для просмотра панели мониторинга необходимо иметь разрешение или принадлежать к группе, имеющей разрешение Чтение в Продукты SharePoint для командного проекта. Для изменения, копирования или настройки панели мониторинга необходимо иметь разрешение или принадлежать к группе, имеющей разрешения Члены в Продукты SharePoint для командного проекта. Дополнительные сведения см. в разделе Добавление пользователей в командные проекты.

Для изменения отчета в приложении Office Excel необходимо быть членом группы безопасности TfsWarehouseDataReaders в службах аналитики SQL Server и необходимо иметь разрешение или принадлежать к группе, имеющей разрешения Члены в Продукты SharePoint для командного проекта. Дополнительные сведения см. в разделе Предоставление доступа к базам данных хранилища данных для Visual Studio ALM.

Для просмотра рабочего элемента необходимо быть членом группы Читатели или иметь разрешение Просмотр рабочих элементов на этом узле со значением Разрешить. Для создания или изменения рабочего элемента необходимо быть членом группы Участники или располагать разрешением Изменение рабочих элементов на этом узле со значением Разрешить. Дополнительные сведения см. в разделе Управление разрешениями.

Данные, содержащиеся на панели мониторинга "Тест"

С помощью панели мониторинга "Тест" можно определить, насколько успешно команда выполняет тестирование описаний функциональности пользователей. В частности, данная панель мониторинга отображает веб-части, показанные на рисунке и описанные в таблице ниже.

Веб-части для панели мониторинга хода выполнения теста

Примечание

Отчеты Ход выполнения плана тестирования, Готовность тестовых случаев, Состояние тестирования описания функциональности пользователей и Действия тестирования доступны, только когда группа создает планы тестирования и выполняет тесты с использованием приложений Test Runner и Microsoft Test Manager.Сведения об определении наборов тестов и планов тестирования см. в разделе Группировка тестовых случаев в наборы тестов.

Диаграммы выработки, хода выполнения и трендов и отчеты от Шаг 1 до Шаг 5 не отображаются, если недоступен сервер, содержащий службы аналитики для командного проекта.

Веб-часть	Отображаемые данные	Связанный раздел
	Гистограмма результатов всех тестовых случаев, сгруппированных по последнему записанному результату на протяжении последних четырех недель. Результаты включают следующие значения: Никогда не запускавшиеся, Заблокировано, Сбой или Выполнено.	Отчет "Ход выполнения плана тестирования"
	Гистограмма, показывающая количество тестовых случаев, находящихся в состоянии Разработать или Готово в последние четыре недели.	Отчет "Готовность тестовых случаев"
	Горизонтальная линейчатая диаграмма, показывающая количество результатов теста для каждой комбинации тестового случая и конфигурации теста, определенной для каждого описания функциональности пользователей. В диаграмме результаты тестов группируются по последним тестовым запускам; отображаемые параметры: Выполнено (зеленый), Непройденный (красный), Блокировано (фиолетовый) или Никогда не запускавшиеся (серый).	Отчет "Состояние тестирования описания функциональности пользователей" в формате Excel (гибкая разработка)
	График показывает совокупное количество всех результатов запусков ручных тестовых случаев в течение последних четырех недель.	Отчет "Действия тестирования" в формате Excel
	Гистограмма, показывающая общее число всех результатов тестовых случаев со сбоями, отсортированных по типу сбоя, в течение последних четырех недель. Типы сбоев включают следующие: Регрессия, Новая проблема и Известная проблема.	Отчет "Анализ сбоя" в формате Excel
	Список предстоящих событий. Этот список является производным от веб-части SharePoint.	Неприменимо
	Количество активных, разрешенных и закрытых рабочих элементов. Открыть список рабочих элементов можно посредством щелчка каждого номера. Этот список является производным от веб-части Team Web Access.	Рабочие элементы и рабочий процесс (гибкая разработка)
	Список последних построений и сведения об их состоянии. Для просмотра дополнительных сведений выберите конкретное построение. Этот список является производным от веб-части Team Web Access. Условные обозначения: : построение выполняется : построение не началось : построение успешно завершено : ошибка построения : построение остановлено : построение выполнено частично	Управление завершенными построениями и их просмотр
	Список последних возвратов. Для просмотра дополнительных сведений выберите конкретный возврат. Этот список является производным от веб-части Team Web Access.	Работа с окнами "Возврат" и "Ожидающие изменения"

Действия, необходимые для отслеживания тестирования

Для обеспечения точности и актуальности отчетов на панели мониторинга "Тест", команда должна выполнить следующие действия.

Определить тестовые случаи и описания функциональности пользователей и создать связи Тест выполнил между тестовыми случаями и описаниями функциональности пользователей.
Определить планы тестирования и назначить им тестовые случаи. Дополнительные сведения см. в разделе Определение действий тестирования с помощью планов тестирования.
Отметить каждый проверочный шаг ручных тестов в составе тестового случая как пройденный или завершившийся неудачей.

Важно!

Если тест проверочный, инженерам-испытателям необходимо отмечать шаг теста состоянием.Общий результат тестового случая отражает состояние всех шагов теста, отмеченных инженером-испытателем.Таким образом, тестовый случай получит состояние "Завершен неудачей", если инженер-испытатель отметил какой-либо шаг теста как завершенный неудачей или не отметил его вовсе.

Что касается автоматических тестов, каждый тестовый случай автоматически отмечается как пройденный или завершившийся неудачей.
(Необязательно) Назначить каждому тестовому случаю пути Итерация и Область для поддержки фильтрации.

Наблюдение за ходом выполнения тестирования

Можно использовать первые три отчета панели мониторинга "Тест", чтобы следить за ходом выполнения теста и отвечать на вопросы в следующей таблице.

Отчет	Вопросы, на которые отвечает отчет	Примечания
Готовность тестовых случаев	Сколько тестовых случаев определила команда по тестированию? Сколько тестовых случаев готовы к выполнению на данный момент? Сколько тестовых случаев все еще следует написать и просмотреть? Достаточно ли общего количества тестовых случаев для количества пользовательских описаний функциональности, реализуемых командой? Какой процент тестовых случаев команда по тестированию может выполнить на данный момент? Сможет ли команда подготовить все тестовые случаи к концу итерации?	На хороший ход выполнения указывает равномерное увеличение числа тестовых случаев, разрабатываемых и перемещаемых командой в состояние готовности. На проблемы с ходом выполнения указывает отсутствие или небольшое число готовых к выполнению тестовых случаев. Если все тестовые случаи находятся длительное время в состоянии разработки, возможно, какая-то проблема блокирует дальнейшее выполнение. Может потребоваться изучение причин блокировки. Если количество тестовых случаев выглядит недостаточным, может возникнуть пробел в тестировании. Количество тестовых случаев, определенных для проекта, должно быть равно или больше количества описаний функциональности пользователей, реализуемых командой. Количество тестовых случаев выглядит недостаточным.
Ход выполнения плана тестирования	Сколько тестовых случаев завершается успешно? Сколько тестовых случаев завершается неудачей? Сколько тестовых случаев блокируется? Сколько тестовых случаев не выполнено? Какой процент тестовых случаев, завершившихся успешно по всем планам тестирования? Какую часть тестирования выполнила команда? Будет ли завершено вовремя тестирование?	С течением цикла разработки, количество выполненных тестов должно увеличиваться, а количество тестовых случаев с другими состояниями должно убывать. На проблемы с ходом выполнения указывает слишком большое число неудачных тестовых случаев. В зависимости от текущей стадии в цикле продукта, возможно, следует проверить причину завершения большего количества тестовых случаев неудачей. Если число тестовых случаев, не выполненных или завершенных неудачей, не меняется, может быть нужно исследовать причины, связанные с каждой из областей.
Состояние тестирование описаний функциональности пользователей	Выполняются ли тестовые случаи для каждого описания функциональности пользователей? Если тестовые случаи блокируются или не выполняются, понимает ли команда причины блокировки и устраняет ли их?	На хороший ход выполнения показывает высокая доля успешно выполняемых тестовых случаев для каждого описания функциональности пользователей. На проблемы с ходом выполнения указывает большое число тестовых случаев для определенного описания функциональности пользователя, находящихся в состоянии Никогда не запускавшиеся, Заблокировано или Сбой. Может быть нужно исследовать причины, не дающие успешно пройти тестовым случаям, определенным для описания функциональности пользователя.

Определение пробелов в тестировании

Можно использовать отчет Состояние тестирования описания функциональности пользователей, чтобы определять, покрывают ли тесты весь код, и отвечать на следующие вопросы.

Какие описания функциональности пользователей имеют наименьшее общее количество тестовых случаев?
Какие описания функциональности пользователей имеют наибольшее общее количество тестовых случаев, которые заблокированы или никогда не выполнялись.
Соответствует ли ожиданиям объем тестового случая для каждого описания функциональности пользователей?
Какие описания функциональности пользователей отличаются высоким процентом сбоев тестов?
Сколько тестовых случаев в среднем определено для описания функциональности пользователей?

Наблюдение за сбоями тестов и регрессиями

Отслеживая сбои тестов, можно заранее определять и решать проблемы в коде. Можно использовать два последние отчета панели мониторинга "Тест", чтобы узнавать количество тестов, завершающихся неудачей.

Отчет	Вопросы, на которые отвечает отчет	Примечания
Действия тестирования, выполняемые вручную	Уменьшается ли количество тестов, не выполненных командой? Уменьшает ли команда общее количество заблокированных тестов? Уменьшается ли со временем количество тестов, завершающихся неудачей? Выполняется ли больше тестов? Имеются ли какие-либо необъяснимые пики активности тестирования?	Отчет Действия тестирования, выполняемые вручную показывает результаты каждого тестового случая для каждой конфигурации теста и для всех планов тестирования. Выявленные пики могут указывать на проблемы в действиях тестирования или в качестве кода, возвращаемого командой. Может понадобиться проверить показатели последних построений, состояние ошибок, а также обработанный код, чтобы определить, могут ли они помочь понять изменения.
Анализ ошибок тестирования	Сколько тестов находится в состоянии регрессии? Поддерживает ли команда общее число регрессий или сбоев тестов в пределах ожидаемого диапазона или командных целей? Решает ли команда своевременно новые и известные проблемы?	Хороший отчет "Анализ ошибок тестирования" содержит умеренное число новых и известных проблем и регрессий. При возникновении в этих областях каких-либо пиков может потребоваться дополнительное исследование. Пики могут указывать на проблемы в действиях тестирования или в качестве кода, возвращаемого командой. Кроме того, может понадобиться проверить показатели последних построений, состояние ошибок, а также обработанный код, чтобы определить, могут ли они помочь понять изменения.

Действия тестирования, выполняемые вручную

Уменьшается ли количество тестов, не выполненных командой?
Уменьшает ли команда общее количество заблокированных тестов?
Уменьшается ли со временем количество тестов, завершающихся неудачей?
Выполняется ли больше тестов?
Имеются ли какие-либо необъяснимые пики активности тестирования?

Отчет Действия тестирования, выполняемые вручную показывает результаты каждого тестового случая для каждой конфигурации теста и для всех планов тестирования. Выявленные пики могут указывать на проблемы в действиях тестирования или в качестве кода, возвращаемого командой.

Может понадобиться проверить показатели последних построений, состояние ошибок, а также обработанный код, чтобы определить, могут ли они помочь понять изменения.

Анализ ошибок тестирования

Сколько тестов находится в состоянии регрессии?
Поддерживает ли команда общее число регрессий или сбоев тестов в пределах ожидаемого диапазона или командных целей?
Решает ли команда своевременно новые и известные проблемы?

Хороший отчет "Анализ ошибок тестирования" содержит умеренное число новых и известных проблем и регрессий. При возникновении в этих областях каких-либо пиков может потребоваться дополнительное исследование. Пики могут указывать на проблемы в действиях тестирования или в качестве кода, возвращаемого командой.

Кроме того, может понадобиться проверить показатели последних построений, состояние ошибок, а также обработанный код, чтобы определить, могут ли они помочь понять изменения.

Настройка панели мониторинга "Тест"

Панель мониторинга "Тест" можно настраивать следующими способами.

Изменять фильтры для каждого отчета в Office Excel, чтобы сосредоточить внимание на определенных областях или итерациях продуктов.
Фильтровать отчет Действия тестирования, выполняемые вручную в Office Excel по определенным планам тестирования или ручным или автоматизированным тестовым случаям.
Добавлять существующие отчеты Excel, например Состояние ошибки, Обработка кода и Покрытие кода, на панель мониторинга.
Создавать и добавлять отчеты в Office Excel, показывающие работу определенных членов команды. Пример см. в разделе Отчет "Ошибки по назначению" в формате Excel.

Дополнительные сведения о работе с отчетами в приложении Office Excel, а также о настройке этих отчетов содержатся на следующих страницах веб-сайта Майкрософт: