Отчет "Анализ сбоя" в формате Excel

Статья
08/11/2011

Отчет "Анализ сбоя" используется для отслеживания числа регрессий, обнаруженных командой инженеров-испытателей. Регрессиями называются ошибки тестируемого программного обеспечения, которые не возникали в предыдущих версиях. Команда, выполняющая регрессионное тестирование, в первую очередь занимается поиском ошибок, возникающих только в новых версиях программного обеспечения. В отчете "Анализ сбоя" для каждого тестового случая отображается число отдельных конфигураций, которые ранее завершались успешно, а теперь закончились неудачей. Эти данные собираются за последние четыре недели.

Данный отчет доступен только в том случае, если команда создает планы тестирования и начинает выполнение тестов с использованием Microsoft Test Manager. Дополнительные сведения об определении наборов тестов и планов тестирования см. в разделе Определение действий тестирования с помощью планов тестирования. Сведения о том, как открыть этот отчет, см. в разделе Отчеты Excel (гибкая разработка).

Примечание

Отчет "Анализ сбоя" можно просмотреть на панели мониторинга "Тест".Доступ к панелям мониторинга возможен только в том случае, если портал командного проекта работает и на нем доступен сервер Microsoft Office SharePoint Server 2007.Дополнительные сведения см. в разделе Доступ к порталу командного проекта и руководству по процессам.

В этом разделе

Данные в отчете
Интерпретация отчета
Обновление и настройка отчета

Связанные разделы

Примечание

Команда использует тестовые случаи для определения как ручных, так и автоматических тестов, которые можно выполнять и которыми можно управлять с помощью Test Runner и Microsoft Test Manager.Посредством Microsoft Test Manager можно создавать не только тестовые случаи, но и наборы тестов, а также конфигурации тестов, которые поддерживают тестирование проекта.Конфигурации тестов используются для определения способа выполнения тестовых случаев и наборов тестов.Можно группировать тестовые случаи, объединяя их в иерархию наборов тестов в плане тестирования.В результате создания наборов тестов наборы тестовых случаев можно выполнять в качестве группы.Дополнительные сведения см. в разделе Определение действий тестирования с помощью планов тестирования.

Необходимые разрешения

Для просмотра отчета необходимо быть членом группы, имеющей разрешение Чтение в Продукты SharePoint для командного проекта.

Для изменения или настройки отчета необходимо быть членом роли безопасности TfsWarehouseDataReaders служб аналитики SQL Server. Кроме того, необходимо иметь разрешение или быть членом группы, имеющей разрешение Члены в Продукты SharePoint для командного проекта. Дополнительные сведения см. в разделах Предоставление доступа к базам данных хранилища данных для Visual Studio ALM и Управление разрешениями.

Данные в отчете

В отчете "Анализ сбоя" представлена гистограмма, на которой показано общее число всех неудачных результатов тестовых случаев для всех конфигураций за последние четыре недели. Регистрируются следующие типы ошибок: Новая проблема, Известная проблема и Регрессия.

Отчет "Анализ сбоя" в формате Excel

Этот отчет основан на отчете сводной диаграммы, в котором показаны данные результатов тестов, хранящиеся в хранилище данных, за последние четыре недели.

Система проверяет каждую конфигурацию, для которой был выполнен тестовый случай, и пытается определить предшествующий результат тестового случая для такой же конфигурации. Тип сбоя, назначаемый паре "тестовый случай-конфигурация" определяется на основе следующих критериев.

Регрессия. Аналогичный тестовый случай, который выполнялся непосредственно перед данным тестовым случаем, завершился с результатом Пройден.
Новая проблема. Результат предшествующего тестового случая не найден.
Известная проблема. Аналогичный тестовый случай, который выполнялся непосредственно перед данным тестовым случаем, завершился с результатом Не пройден.

Действия, необходимые для отслеживания регрессий

Для обеспечения точности и актуальности отчета "Анализ сбоев" команда должна выполнить следующие действия.

Определите тестовые случаи и планы тестирования. Присвойте тестовые случаи планам тестирования.
Что касается ручных тестов, необходимо отмечать каждый шаг проверки в составе тестового случая как пройденный или завершившийся неудачей.

Важно!

Если тест проверочный, инженерам-испытателям необходимо отмечать шаг теста состоянием.Общий результат тестового случая отражает состояние всех шагов теста, отмеченных инженером-испытателем.Поэтому, если инженер-испытатель пометил один из шагов теста состоянием "не пройден" или не пометил какой-либо шаг теста, тестовый случай получит состояние "не пройден".

Что касается автоматических тестов, каждый тестовый случай автоматически отмечается как пройденный или завершившийся неудачей.
(Необязательно) Назначить каждому тестовому случаю пути Итерация и Область для поддержки фильтрации.

Интерпретация отчета

Содержание отчета "Анализ сбоя" зависит от текущего этапа цикла разработки продукта. На ранних итерациях в нем должно отображаться небольшое число регрессий, если они вообще будут найдены. На более поздних этапах цикла разработки следует ожидать увеличение числа регрессий. Анализ данного отчета должен выполняться для поиска ответов на следующие вопросы.

Сколько всего тестов находится в состоянии регрессии?
Поддерживает ли команда общее число регрессий или сбоев тестов в пределах ожидаемого диапазона или командных целей?
Удается ли команде решать проблемы после их выявления? Своевременно ли устраняются известные проблемы?

Хороший отчет "Анализ сбоев" содержит умеренное число новых и известных проблем и регрессий. При возникновении пиков в одной или нескольких областях может потребоваться дополнительное исследование. Пики могут указывать на проблемы в действиях тестирования или в качестве кода, возвращаемого командой.

Кроме того, может понадобиться проверить состояние последних построений, состояние ошибок и обновление кода, чтобы определить, могут ли показатели в каждой из этих областей помочь понять изменения в результатах тестирования.

Обновление и настройка отчета

Для обновления отчета "Анализ сбоев" можно открыть его в приложении Office Excel и изменить параметры фильтрации для отчета сводной таблицы. Для поддержки других представлений можно настроить данный отчет в соответствии со следующей таблицей.

Просмотр	Действие
Анализ сбоя для итерации	Измените фильтр для Iteration (по умолчанию — "Все")
Анализ сбоя для области продукта	Измените фильтр для Area (по умолчанию — "Все")
Анализ сбоя для конкретного плана тестирования или набора планов тестирования	Добавьте фильтр для Test Plan (по умолчанию — "Все")
Анализ сбоя за последние шесть, восемь или более недель	В списке полей сводной таблицы замените значение @@Last 4 weeks@@ другим набором Set

Дополнительные сведения о работе с отчетами сводных таблиц и сводных диаграмм, а также о настройке этих отчетов содержатся на следующих страницах веб-сайта Майкрософт: