Отчет "Анализ сбоя" в формате Excel
Отчет "Анализ сбоя" используется для отслеживания числа регрессий, обнаруженных командой инженеров-испытателей. Регрессиями называются ошибки тестируемого программного обеспечения, которые не возникали в предыдущих версиях. Команда, выполняющая тест регрессии, в первую очередь занимается поиском ошибок, возникающих только в новых версиях программного обеспечения. В отчете "Анализ сбоя" для каждого тестового случая отображается число отдельных конфигураций, которые ранее завершались успешно, а теперь закончились неудачей. Эти данные собираются за последние четыре недели.
Этот отчет доступен только в том случае, если команда создает планы тестирования и начинает выполнение тестов с использованием Microsoft Test Manager. Сведения об определении наборов тестов и планов тестирования см. в разделе Планирование ручных тестов с помощью Team Web Access. Дополнительные сведения о доступе к этому отчету см. в разделе отчеты Excel.
Примечание
Отчет "Анализ сбоя" можно просмотреть на панели мониторинга "Тест".Доступ к этой панели мониторинга возможен только в том случае, если портал командного проекта работает и настроен на использование SharePoint Server Enterprise Edition.
Необходимые разрешения
Для просмотра отчета необходимо быть членом группы, имеющей разрешение Чтение в Продукты SharePoint для командного проекта.
Для изменения или настройки отчета необходимо быть членом роли безопасности TfsWarehouseDataReaders служб аналитики SQL Server. Кроме того, необходимо иметь разрешение или быть членом группы, имеющей разрешение Члены в Продукты SharePoint для командного проекта. Дополнительные сведения см. в разделе Предоставление доступа к базам данных хранилища данных для Visual Studio ALM.
Данные в отчете
В отчете "Анализ сбоя" представлена гистограмма, на которой показано общее число всех неудачных результатов тестовых случаев для всех конфигураций за последние четыре недели. Регистрируются следующие типы ошибок: Новая проблема, Известная проблема и Регрессия.
.png "Отчет \"Анализ сбоя\" в формате Excel")
Этот отчет основан на отчете сводной диаграммы, в котором показаны данные результатов тестов, хранящиеся в хранилище данных, за последние четыре недели.
Система проверяет каждую конфигурацию, для которой был выполнен тестовый случай, и пытается определить предшествующий результат тестового случая для такой же конфигурации. Тип сбоя, назначаемый паре "тестовый случай-конфигурация" определяется на основе следующих критериев.
Регрессия. Аналогичный тестовый случай, который выполнялся непосредственно перед данным тестовым случаем, завершился с результатом Пройден.
Новая проблема. Результат предшествующего тестового случая не найден.
Известная проблема. Аналогичный тестовый случай, который выполнялся непосредственно перед данным тестовым случаем, завершился с результатом Не пройден.
Действия, необходимые для отслеживания регрессий
Для обеспечения точности и актуальности отчета "Анализ сбоев" команда должна выполнить следующие действия.
Определите тестовые случаи и планы тестирования. Присвойте тестовые случаи планам тестирования.
Отметить каждый проверочный шаг ручных тестов в составе тестового случая как пройденный или завершившийся неудачей.
Важно!
Тестерам следует отмечать шаг проверочного теста состоянием.Общий результат тестового случая отражает состояние всех шагов теста, отмеченных инженером-испытателем.Поэтому, если инженер-испытатель пометил один из шагов теста состоянием "не пройден" или не пометил какой-либо шаг теста, тестовый случай получит состояние "не пройден".
Что касается автоматических тестов, каждый тестовый случай автоматически отмечается как пройденный или завершившийся неудачей.
(Необязательно.) Для поддержки фильтрации каждому тестовому случаю следует присвоить значения Путь итерации и Путь к области.
Интерпретация отчета
Содержание отчета "Анализ сбоя" зависит от текущего этапа цикла разработки продукта. На ранних итерациях в нем должно отображаться небольшое число регрессий, если они вообще будут найдены. На более поздних этапах цикла разработки следует ожидать увеличение числа регрессий. Анализ данного отчета должен выполняться для поиска ответов на следующие вопросы.
Сколько всего тестов находится в состоянии регрессии?
Поддерживает ли команда общее число регрессий или сбоев тестов в пределах ожидаемого диапазона или командных целей?
Удается ли команде решать проблемы после их выявления? Своевременно ли устраняются известные проблемы?
Хороший отчет "Анализ сбоев" содержит умеренное число новых и известных проблем и регрессий. При возникновении пиков в одной или нескольких областях может потребоваться дополнительное исследование. Пики могут указывать на проблемы в действиях тестирования или в качестве кода, возвращаемого командой.
Кроме того, может понадобиться проверить состояние последних построений, состояние ошибок и обновление кода, чтобы определить, могут ли показатели в каждой из этих областей помочь понять изменения в результатах тестирования.
Обновление и настройка отчета
Для обновления отчета "Анализ сбоев" можно открыть его в приложении Office Excel и изменить параметры фильтрации для отчета сводной таблицы. Для поддержки других представлений можно настроить данный отчет в соответствии со следующей таблицей.
Просмотр |
Действие |
|---|---|
Анализ сбоя для итерации |
Измените фильтр для Iteration (по умолчанию — "Все") |
Анализ сбоя для области продукта |
Измените фильтр для Area (по умолчанию — "Все") |
Анализ сбоя для конкретного плана тестирования или набора планов тестирования |
Добавьте фильтр для Test Plan (по умолчанию — "Все") |
Анализ сбоя за последние шесть, восемь или более недель |
В списке полей сводной таблицы замените значение @@Last 4 weeks@@ другим набором Set |
Дополнительные сведения о работе с отчетами сводных таблиц и сводных диаграмм, а также о настройке этих отчетов содержатся на следующих страницах веб-сайта Майкрософт: