Поделиться через


Отчет "Тенденции ошибок"

Отчет "Тенденции ошибок" можно использовать для облегчения отслеживания показателя обнаружения и устранения ошибок командой. В этом отчете отображается плавающее или скользящее среднее количество ошибок, занесенных в отчет, решенных и закрытых со временем. При руководстве большой командой или большим объемом ошибок можно еженедельно выполнять мониторинг отчета о тенденциях ошибок, чтобы иметь представление о том, насколько успешно команда обнаруживает, решает и закрывает ошибки.

Сведения о способах доступа к отчетам, их обновления и управления отчетами см. в разделе Отчеты (SQL Server Reporting Services).

Примечание

Для этого отчета требуется, чтобы коллекция командных проектов, в которой содержится нужный командный проект, была создана с поддержкой служб отчетов SQL Server.Если при запуске Team Explorer и развертывании узла командного проекта не отображается пункт ОтчетОтчеты, отчет недоступен.

В этом разделе

  • Данные в отчете

  • Настройка длительности итерации

  • Интерпретация отчета

  • Фильтрация отчета

Этот отчет может использоваться для получения ответов на следующие вопросы:

  • Сколько ошибок вносится в отчет, разрешается и закрывается за один день?

  • Какова общая тенденция, согласно которой команда обрабатывает ошибки?

  • Позволяют ли показатели активации и решения ошибок завершать итерацию надлежащим образом?

Необходимые разрешения

Для просмотра отчета пользователь должен входить в группу, которой была предоставлена роль Браузер в службах отчетов SQL Server. Дополнительные сведения см. в разделе Добавление пользователей в командные проекты или Управление разрешениями.

Данные в отчете

В отчете по тенденциям ошибок подсчитывается скользящее среднее количества ошибок, открытых, решенных и закрытых командой, на основе указанных фильтров. Скользящее среднее базируется на периоде семи дней, предшествующих дате подсчета. Это значит, что в отчете усредняется количество ошибок каждого состояния за каждый из семи дней, предшествующих дате подсчета, а затем результат делится на семь. Данные извлекаются из хранилища данных.

На приведенном ниже рисунке иллюстрируется пример отчета "Тенденции ошибок".

Пример отчета о тенденциях ошибок

В отчете отображается до трех линейных графиков, и в каждом графике представлены показатели скользящего среднего количества активированных, решенных и закрытых ошибок.

Данные отчета можно отфильтровать следующими способами:

  • изменить начальную и конечную даты отчета;

  • отфильтровать ошибки, учтенные в отчете, указав пути к итерации и пути к области или указав состояние, приоритет или важность ошибки.

Дополнительные сведения см. в разделе Фильтрация отчета далее в этом разделе.

Действия, необходимые для отслеживания ошибок

Для обеспечения точности и актуальности отчета "Тенденции ошибок" команда должна выполнить следующие действия.

  • Определить ошибки, а также указать их пути Итерации и Области.

  • Обновить Состояние каждой ошибки по мере ее фиксации, проверки и закрытия.

  • Указать Приоритет и Важность каждой ошибки в процессе рассмотрения.

Для быстрого обновления итерации, области, состояния, приоритет и важности ошибок можно использовать книгу "Рассмотрение". Дополнительные сведения см. в разделе Книга "Рассмотрение".

Настройка длительности спринт-этапа итерации

Для получения актуального значения тенденций ошибок для текущей итерации, даты начала и окончания в отчете должны совпадать с текущим циклом итерации.

Изменение длительности итерации

  1. Щелкните значок календаря и выберите дату около поля Начало итерации (дата) или Конец итерации (дата).

  2. Нажмите кнопку Просмотр отчета.

Интерпретация отчета

Следует ожидать изменения показателей ошибок в зависимости от текущего состояния цикла разработки продукта. Команда должна находить меньше ошибок в ранних итерациях, чем в последующих. Команда должна закрыть большинство ошибок в итерациях, приближенных к завершению цикла продукта.

Интерпретировать показатели ошибок лучше всего в контексте действий над всеми текущими командными проектами и других метрик, представленных в состояниях ошибок и отчетах "Возобновления". Например, особенно быстро команда может находить ошибки в плохо написанном коде, в недавно интегрированном коде, в процессе расширенного тестирования или при исключительных событиях, таких как ошибки "bug bash". С другой стороны, ошибки сложнее обнаружить в высококачественном продукте и при неэффективном тестировании. Метрики можно использовать для покрытия кода, обработки кода и показателей тестов, что будет способствовать дальнейшей оценке смысла тенденций ошибок.

С продвижением продукта к завершения своего цикла команда должна реже находить ошибки.

Отчет "Тенденции ошибок" может содержать один или несколько индикаторов, описанных в левом столбце следующей таблицы. Вопросы в правом столбце предназначены для более подробного рассмотрения.

Индикатор

Вопросы, которые следует задать

Команда находит приблизительно одинаковое количество ошибок в течение последовательных периодов. Если команда находит одинаковое количество ошибок за неделя за неделей или итерация за итерацией, следует изучить основную причину. В начале цикла тестирования тесты могут быть недостаточно строгими или тщательными, чтобы находить большое количество ошибок. На этапе ранних итераций такая ситуация соответствует ожиданиям. Тем не менее, по мере разработки продукта тесты должны использовать более обширные сценарии и интеграции.

  • Являются ли тестовые случаи адекватными для тестирования разрабатываемых описаний функциональности пользователей?

  • Возможно, тесты устарели или используются в отношении неверной функциональности?

  • Достаточно ли тщательно группа тестирования тестирует каждое описание функциональности пользователя?

Команда находит множество ошибок в каждый период времени. Команда легко может обнаруживать ошибки в сыром коде, в недавно интегрированном коде, при эффективном тестировании или при особых событиях, таких как ошибки "bug bash".

  • Указывают ли метрики покрытия кода, обработки кода или хода тестирования на проблему с кодом или тестированием?

Команда находит мало ошибок в каждый период. Проблема обнаружения ошибок может возникать в случае высококачественного продукта или при неэффективном тестировании.

  • Указывают ли метрики покрытия кода, обработки кода или хода тестирования на проблему с кодом или тестированием?

Команда устраняет множество ошибок в каждый период времени. Высокий показатель решения ошибок, как правило, указывает на позитивную динамику выполнения.

  • Немедленно ли закрываются решенные ошибки? Показатель закрытия должен соответствовать показателю решения ошибок.

  • Не выходит ли показатель возобновлений ошибок на ожидаемые рамки?

Команда быстро разрешает ошибки, но не закрывает их. Члены команды, назначенные для проверки исправления ошибок, возможно, не достаточно тесно сотрудничают, либо различные приоритеты препятствуют членам команды закрывать решенные ошибки.

  • Возможно, выделены чрезмерные ресурсы для тестирования?

  • Возможно, следует пересмотреть приоритеты тестирования?

Рабочая версия отчета

Рабочий отчет "Тенденции ошибок" указывает на то, что команда находит больше ошибок в начале цикла разработки и меньше ошибок ближе к завершению выпуска. Команда должна решать и закрывать больше ошибок при приближении к завершению проекта.

Если команда решает ошибки быстрее, чем находит их, количество активных ошибок начнет уменьшаться. Если команда начинает находить меньше ошибок, продукт стабилизируется.

Нерабочая версия отчета

Нерабочий отчет "Тенденции ошибок" может свидетельствовать о том, что команда находит ошибки быстрее по мере приближения даты сдачи проекта и решает ошибки более медленно. В такой ситуации невыполненная работа по решению ошибок команды накапливается, поскольку ошибки не исправляются, что говорит о необходимости выяснить причины возникновения этой ситуации. На приведенной ниже иллюстрации отображен отчет команды, которая находит много ошибок, решает меньше ошибок, чем находит, и закрывает меньше ошибок, чем решает.

Неработоспособная версия отчета о тенденциях ошибок

Фильтрация отчета и изменение отображения

Отчет "Тенденции ошибок" можно отфильтровать или изменить его отображение следующими способами:

  • изменить начальную и конечную даты отчета;

  • отфильтровать ошибки, учтенные в отчете, указав пути к итерации и пути к области или указав состояние, приоритет или важность.

На следующем рисунке показаны доступные фильтры.

Фильтры для отчета о тенденциях ошибок

Фильтрация ошибок, перечисленных в отчете

  1. Выполните одно или оба из следующих действий.

    • В списках Итерация и Область установите флажок для каждой включаемой итерации или области продукта.

    • В списках Состояние, Приоритет или Важность установите флажки рядом с каждым включаемым состоянием, приоритетом и важностью.

  2. Нажмите кнопку Просмотр отчета.

См. также

Основные понятия

Панель мониторинга "Ошибки"

Книга "Рассмотрение"

Отчет "Состояние ошибки"

Отчет "Реактивации"

Другие ресурсы

Отчеты (SQL Server Reporting Services)