Отчет "Команда тестирования: ход выполнения" в формате Excel

Статья
08/11/2011

Команды, несущие ответственность за тестирование программного обеспечения, могут использовать отчет "Ход работы команды тестирования" для отслеживания действий по тестированию и предоставления сведений о ходе работы по созданию и автоматизации тестов, а также выполнению теста регрессии. В отчете "Ход работы команды тестирования" представлено шесть отчетов, основанных на данных о результатах тестирования и тестовых случаях, определенных в рамках командного проекта.

В отчете Ход выполнения плана тестирования команда может просматривать ход выполнения плана тестирования, чтобы определить, сможет ли она завершить тестирование вовремя.
Отчет Состояние создания тестового случая позволяет команде отслеживать процесс создания определений тестовых случаев, чтобы как можно раньше начать их выполнение.
Отчет Состояние тестов по наборам позволяет команде определять количество выполненных тестов в каждом наборе тестов.
Отчет Состояние тестов по областям позволяет команде определять количество выполненных тестов в каждой области продуктов.
Отчет Анализ сбоя позволяет команде отслеживать количество находимых регрессий.
Отчет Статус разработки автоматизации помогает команде отслеживать количество тестовых случаев, требующих автоматизации.

Отчет "Ход работы команды тестирования" доступен только в том случае, если команда создает планы тестирования и начинает выполнение тестов с использованием Microsoft Test Manager. Дополнительные сведения см. в разделе Тестирование приложения.

Примечание

Отчет "Ход работы команды тестирования" находится в папке Управление командой тестирования, расположенной в папке Отчеты Excel командного проекта Сред. Командный обозреватель.Доступ к данной папке возможен только в том случае, если портал командного проекта работает и может использовать приложение Продукты SharePoint.Дополнительные сведения см. в разделе Доступ к порталу командного проекта и руководству по процессам.

В этом разделе

Данные в отчетах
Необходимые действия для отслеживания хода работы команды тестирования
Обновление и настройка отчета

Связанные разделы

Необходимые разрешения

Для просмотра отчета необходимо быть членом группы, имеющей разрешение Чтение в Продукты SharePoint для командного проекта.

Для изменения или настройки отчета необходимо быть членом роли безопасности TfsWarehouseDataReaders служб аналитики SQL Server. Кроме того, необходимо иметь разрешение или быть членом группы, имеющей разрешение Члены в Продукты SharePoint для командного проекта. Дополнительные сведения см. в разделах Предоставление доступа к базам данных хранилища данных для Visual Studio ALM и Управление разрешениями.

Данные в отчетах

В отчете по проекту команды тестирования представлены данные из отчетов сводных таблиц, имеющих доступ к данным в хранилище данных. Данные извлекаются из результатов, создаваемых, когда участники команды определяют тестовые случаи и выполняют тесты с использованием Microsoft Test Manager. Дополнительные сведения см. в разделах Выполнение тестов и Просмотр результатов теста.

Состояния создания тестовых случаев и разработки автоматизации

С помощью отчета "Состояние создания тестовых случаев" можно отслеживать ход выполнения командой работ по определению и проектированию тестовых случаев. Этот отчет отображает нисходящий график, который показывает, какое количество тестовых случаев находилось в состоянии разработки и готовности за последние шесть недель.

Отчет "Состояние разработки тестовых случаев" в формате Excel

С помощью отчета "Состояние разработки автоматизации" можно отслеживать ход выполнения командой работ по автоматизации тестовых случаев. Этот отчет отображает нисходящий график, который показывает, какое количество тестовых случаев перешло в состояние автоматизированных за последние шесть недель.

Отчет "Статус разработки автоматизации" в формате Excel

В следующей таблице описаны фильтры отчетов и поля, используемые в отчетах сводных таблиц для создания отчетов о состоянии создания тестовых случаев и состоянии разработки автоматизации.

Фильтры	Поля
Командный проект - Иерархия командных проектов: включает рабочие элементы, определенные для выбранного командного проекта. Рабочий элемент - Иерархия Work Item.Iteration: включает рабочие элементы, присвоенные выбранным путям итерации. Рабочий элемент - Иерархия Work Item.Area: включает рабочие элементы, присвоенные выбранным областям продукта. Рабочий элемент - Тип Work Item.Work Item: включает только выбранные рабочие элементы. Для этих отчетов выбирается тестовый случай.	(Мера) Рабочий элемент - Количество рабочих элементов: количество рабочих элементов. Отчет использует это поле для подсчета всех рабочих элементов в указанных состояниях. Дата - Наборы - Последние 6 недель: интервал времени, результаты за который необходимо включить в отчет. Поле, присущее отчету о состоянии создания тестовых случаев: Рабочий элемент - Состояние: состояние тестового случая. Отчет использует данное поле для определения отметки столбцов и фильтрации тестовых случаев, включаемых в столбцы Разработка и Готово. Поле, присущее отчету о состоянии разработки автоматизации: Рабочий элемент - Microsoft.VSTS.TCM - Автоматизирован: состояние автоматизации тестового случая. Отчет использует данное поле для отметки столбцов как Автоматизировано и Не автоматизировано.

Командный проект - Иерархия командных проектов: включает рабочие элементы, определенные для выбранного командного проекта.
Рабочий элемент - Иерархия Work Item.Iteration: включает рабочие элементы, присвоенные выбранным путям итерации.
Рабочий элемент - Иерархия Work Item.Area: включает рабочие элементы, присвоенные выбранным областям продукта.
Рабочий элемент - Тип Work Item.Work Item: включает только выбранные рабочие элементы. Для этих отчетов выбирается тестовый случай.

(Мера) Рабочий элемент - Количество рабочих элементов: количество рабочих элементов. Отчет использует это поле для подсчета всех рабочих элементов в указанных состояниях.
Дата - Наборы - Последние 6 недель: интервал времени, результаты за который необходимо включить в отчет.

Поле, присущее отчету о состоянии создания тестовых случаев:

Рабочий элемент - Состояние: состояние тестового случая. Отчет использует данное поле для определения отметки столбцов и фильтрации тестовых случаев, включаемых в столбцы Разработка и Готово.

Поле, присущее отчету о состоянии разработки автоматизации:

Рабочий элемент - Microsoft.VSTS.TCM - Автоматизирован: состояние автоматизации тестового случая. Отчет использует данное поле для отметки столбцов как Автоматизировано и Не автоматизировано.

Ход выполнения плана тестирования

Отчет "Ход выполнения плана тестирования" включает гистограмму результатов всех тестовых случаев. В этом отчете результаты теста сгруппированы по самым недавним зафиксированным результатам, отображаются данные за последние четыре недели. Результаты включают следующие значения: Невыполненные, Блокировано, Завершено неудачно или Пройдено.

Отчет "Ход выполнения плана тестирования"

С помощью этого отчета можно определить ход работ в течение спринта, итерации или за определенный период времени. Например, можно получить ответы на следующие вопросы:

Какую часть тестирования выполнила команда?
Будет ли завершено вовремя тестирование?
Сколько осталось выполнить тестов?
Сколько тестов завершается успешно?
Сколько тестов завершается ошибками?
Сколько тестов остановлено?

Результаты тестов по наборам тестов или областям продукта

В отчетах "Состояние тестов по наборам" и "Состояние тестов по областям" перечисляются все результаты тестов, собранные для всех тестовых случаев на основе зафиксированных результатов. Результаты тестов группируются в отчете либо по наборам тестов, либо по областям продуктов. Результаты тестов включают Никогда не запускался, Блокирован, Не пройден и Пройден.

Эти отчеты можно использовать для изучения наборов тестов или областей продукта с большими количествами не пройденных тестов или невыполненных тестовых случаев.

Тест регрессии

Отчет "Анализ сбоя" используется командой тестирования для отслеживания числа обнаруженных ею регрессий. Регрессиями называются ошибки тестируемого программного обеспечения, которые не возникали в предыдущих версиях. Команда, выполняющая тест регрессии, в первую очередь занимается поиском ошибок, возникающих только в новых версиях программного обеспечения.

Отчет "Анализ сбоя" содержит гистограмму, которая показывает общее число всех результатов тестов со сбоями. В этом отчете результаты сгруппированы по типам сбоев для всех тестовых случаев и тестовых конфигураций и отображены данные за последние шесть недель. Типы сбоев включают следующие: Регрессия, Нет, Новая проблема и Известная проблема.

Отчет "Анализ сбоя" в формате Excel

Система проверяет каждую конфигурацию теста, для которой был выполнен тестовый случай, и пытается определить предшествующий результат тестового случая для такой же конфигурации. Тип сбоя, назначаемый паре "тестовый случай-конфигурация" определяется на основе следующих критериев.

Регрессия. Аналогичный тестовый случай, который выполнялся непосредственно перед данным тестовым случаем, завершился с результатом Пройден.
Нет: если непосредственный предшествующий результат не Пройден или Сбой.
Новая проблема. Результат предшествующего тестового случая не найден.
Известная проблема. Аналогичный тестовый случай, который выполнялся непосредственно перед данным тестовым случаем, завершился с результатом Не пройден.

Команда может просматривать отчет, чтобы получить следующую информацию:

Сколько всего тестов находится в состоянии регрессии?
Поддерживает ли команда общее число регрессий или сбоев тестов в пределах ожидаемого диапазона или командных целей?
Удается ли команде решать проблемы после их выявления? Своевременно ли устраняются известные проблемы?

Хороший отчет "Анализ сбоев" содержит умеренное число новых и известных проблем и регрессий. При возникновении пиков в одной или нескольких областях может потребоваться дополнительное изучение проблемы. Пики могут указывать на проблемы в действиях тестирования или качестве кода, возвращаемого командой. Кроме того, может понадобиться проверить состояние последних построений, состояние ошибок и обновление кода, чтобы определить, могут ли показатели в каждой из этих областей помочь понять изменения в результатах тестирования.

Поля и фильтры отчетов

В следующей таблице описаны фильтры и поля отчетов, используемые в сводных таблицах для создания отчетов о ходе выполнения плана тестирования, состоянии тестов по наборам или областям и анализе сбоев.

Фильтры	Поля
Командный проект - Иерархия командных проектов: включает результаты теста, собранные для выбранного командного проекта. Результат тестирования - Иерархия итераций: включает результаты теста, выполненного из тестовых случаев, назначенных выбранным итерациям. План тестирования - Имя плана тестирования: включает результаты тестов, выполненных из тестовых случаев, относящихся к выбранным планам тестирования. Фильтры, присущие отчету "Ход выполнения плана тестирования": Результат тестирования - Иерархия областей: включает результаты теста, выполненного из тестовых случаев, назначенных выбранным областям продукта. Набор тестов - Иерархия набора тестов: включает результаты тестов, выполненных из тестовых случаев, относящихся к выбранным наборам тестов. Фильтры, присущие отчету "Состояние тестов по наборам": Результат тестирования - Иерархия областей: включает результаты теста, выполненного из тестовых случаев, назначенных выбранным областям продукта. Фильтры, присущие отчету "Состояние тестов по областям": Результат тестирования - Иерархия областей: включает результаты теста, выполненного из тестовых случаев, назначенных выбранным областям продукта. Набор тестов - Иерархия набора тестов: включает результаты тестов, выполненных из тестовых случаев, относящихся к выбранным наборам тестов. Результат тестирования — выходной результат: включает результаты тестов с выбранным результатом. В отчете это поле используется для фильтрации количества результатов тестов по результату Не пройден.	Результат тестирования - Выходной результат: выходные данные теста. В отчете это поле используется, чтобы определить метки столбцов и отфильтровать результаты тестов в соответствии с исходом: "Пройденный", "Непройденный", "Заблокирован" или "Никогда не запускавшиеся". (Мера) Тест - Тренд подсчета очков: подсчитывает последнюю версию результатов каждого из тестов в заданном построении. Если тест выполняется в построении несколько раз, значение "Тренд подсчета очков" будет содержать последний результат теста в данном построении. Если тестовый случай не включен в построение, он считается как "никогда не запускавшийся". Поля, присущие отчету "Ход выполнения плана тестирования": Дата - Наборы - Последние 6 недель: интервал времени, результаты за который необходимо включить в отчет. Поля, присущие отчету "Состояние тестов по наборам": Набор тестов - Иерархия набора тестов: наборы тестов для отображения в отчете. Поле, присуще отчету "Состояние тестов по областям": Результат тестирования — иерархия областей: набор результатов тестов для включения в отчет на основании путей к областям, которые назначены выполняемым тестовым случаям. Поля, присущие отчету "Состояние тестов по областям": Результат теста - Тип сбоя: в отчете это поле используется для построения столбцов. Дата - Наборы - Последние 6 недель: интервал времени, результаты за который необходимо включить в отчет.

Командный проект - Иерархия командных проектов: включает результаты теста, собранные для выбранного командного проекта.
Результат тестирования - Иерархия итераций: включает результаты теста, выполненного из тестовых случаев, назначенных выбранным итерациям.
План тестирования - Имя плана тестирования: включает результаты тестов, выполненных из тестовых случаев, относящихся к выбранным планам тестирования.

Фильтры, присущие отчету "Ход выполнения плана тестирования":

Результат тестирования - Иерархия областей: включает результаты теста, выполненного из тестовых случаев, назначенных выбранным областям продукта.
Набор тестов - Иерархия набора тестов: включает результаты тестов, выполненных из тестовых случаев, относящихся к выбранным наборам тестов.

Фильтры, присущие отчету "Состояние тестов по наборам":

Результат тестирования - Иерархия областей: включает результаты теста, выполненного из тестовых случаев, назначенных выбранным областям продукта.

Фильтры, присущие отчету "Состояние тестов по областям":

Результат тестирования - Иерархия областей: включает результаты теста, выполненного из тестовых случаев, назначенных выбранным областям продукта.
Набор тестов - Иерархия набора тестов: включает результаты тестов, выполненных из тестовых случаев, относящихся к выбранным наборам тестов.
Результат тестирования — выходной результат: включает результаты тестов с выбранным результатом. В отчете это поле используется для фильтрации количества результатов тестов по результату Не пройден.

Результат тестирования - Выходной результат: выходные данные теста. В отчете это поле используется, чтобы определить метки столбцов и отфильтровать результаты тестов в соответствии с исходом: "Пройденный", "Непройденный", "Заблокирован" или "Никогда не запускавшиеся".
(Мера) Тест - Тренд подсчета очков: подсчитывает последнюю версию результатов каждого из тестов в заданном построении. Если тест выполняется в построении несколько раз, значение "Тренд подсчета очков" будет содержать последний результат теста в данном построении. Если тестовый случай не включен в построение, он считается как "никогда не запускавшийся".

Поля, присущие отчету "Ход выполнения плана тестирования":

Дата - Наборы - Последние 6 недель: интервал времени, результаты за который необходимо включить в отчет.

Поля, присущие отчету "Состояние тестов по наборам":

Набор тестов - Иерархия набора тестов: наборы тестов для отображения в отчете.

Поле, присуще отчету "Состояние тестов по областям":

Результат тестирования — иерархия областей: набор результатов тестов для включения в отчет на основании путей к областям, которые назначены выполняемым тестовым случаям.

Поля, присущие отчету "Состояние тестов по областям":

Результат теста - Тип сбоя: в отчете это поле используется для построения столбцов.
Дата - Наборы - Последние 6 недель: интервал времени, результаты за который необходимо включить в отчет.

Необходимые действия для отслеживания хода работы команды тестирования

Для обеспечения точности и актуальности отчетов "Ход работы команды тестирования" команда должна выполнить следующие действия:

Определение тестовых случаев и планов тестирования и назначение тестовых случаев соответствующим планам тестирования. Дополнительные сведения см. в разделе Определение действий тестирования с помощью планов тестирования.
Выполнение тестов. Дополнительные сведения см. в разделе Выполнение тестов.
Для ручных тестов, отмечать результаты для каждого шага проверки в тестовом случае, обозначая шаг как пройденный или нет.

Важно!

Если тест проверочный, тест-инженеры должны отмечать шаги теста состояниями.Общий результат тестового случая отражает состояние всех шагов теста, отмеченных тест-инженером.Таким образом, тестовый случай получит состояние "не пройдено", если тест-инженер отметил какой-либо из шагов теста как непройденный или не отметил вообще.

Для автоматических тестов, каждый тестовый случай автоматически отмечается как пройденный или завершившийся неудачей.
(Необязательно) Чтобы отфильтровать отчеты по областям продукта или итерациям, укажите пути области и итерации каждого тестового случая.

Для обеспечения точности и актуальности отчетов "Разрывы при тестировании", команда должна выполнить действия, описанные в следующей таблице.

Лист "Отчет"	Требуемые действия
Состояние создания тестового случая Состояние разработки автоматизации	Определить тестовые случаи и обновить параметр Состояние, изменив значение Разработка на Готово.
Состояние разработки автоматизации	Автоматизируйте тестовые случаи. Дополнительные сведения см. в разделе Создание автоматических тестов.
Ход выполнения плана тестирования Состояние тестирования по наборам Состояние тестирования по областям Анализ ошибок	Определите наборы тестов и планы тестирования. Назначьте тестовые случаи планам тестирования и наборам тестов. Дополнительные сведения см. в разделах Определение действий тестирования с помощью планов тестирования и Группировка тестовых случаев в наборы тестов. Запустите тесты и для ручных тестов отметьте результаты каждого шага проверки в составе тестового случая как "Пройден" или "Не пройден". Дополнительные сведения см. в разделе Выполнение тестов.
Состояние создания тестового случая Состояние разработки автоматизации Ход выполнения плана тестирования Состояние тестирования по наборам Состояние тестирования по областям Анализ ошибок	(Необязательно) Назначение каждому тестовому случаю значения Путь итерации и Путь к области для поддержки фильтрации. Значения полей Результат тестирования - Иерархия итераций и Результат тестирования - Иерархия областей подставляются из полей Путь итерации и Путь к области, присвоенных соответствующим тестовым случаям.

Обновление и настройка отчетов

Вы можете обновить отчет "Ход работы команды тестирования", открыв его в Office Excel и изменив параметры фильтра отчета сводной таблицы для одного из листов. Для поддержки других представлений можно настроить каждый отчет в соответствии со следующей таблицей.

Просмотр	Действие
Состояние создания и автоматизации для итерации Ход выполнения плана тестирования и результаты теста для итерации Тест регрессии для итерации	Измените фильтр для Iteration (по умолчанию — "Все")
Состояние создания и автоматизации для области продукта Ход выполнения плана тестирования и результаты теста для области продукта Тест регрессии для области продукта	Измените фильтр для Area (по умолчанию — "Все")
Ход выполнения плана тестирования и результаты теста для выбранных планов тестирования Тест регрессии для выбранных планов тестирования Анализ сбоев для выбранных планов тестирования	Измените фильтр для Test Plan (по умолчанию — "Все")
Состояние создания и автоматизации за последние восемь, десять и более недель Ход выполнения плана тестирования за последние восемь, десять или более недель Тест регрессии для анализа сбоев итерации за последние восемь, десять и более недель	В списке полей сводной таблицы замените значение @@Last 6 weeks@@ другим набором Set

Дополнительные сведения о работе с отчетами сводных таблиц и сводных диаграмм, а также о настройке этих отчетов содержатся на следующих страницах веб-сайта Майкрософт: