Отчет "Разрывы при тестировании" в формате Excel (CMMI)

Статья
08/15/2011

Команды, несущие ответственность за тестирование программного обеспечения, могут использовать отчет "Разрывы при тестировании" для определения отсутствия планов тестирования, конфигураций тестов и объемов тестирования. В отчете "Разрывы при тестировании" представлено пять отчетов, основанных на результатах тестирования и построениях, определенных и выполненных в рамках командного проекта.

Состояние требования: позволяет команде определять пропуски в объеме тестирования для каждого требования. Для создания этого отчета необходимо, чтобы участники команды связали требования и тестовые случаи.
Состояние требования по конфигурациям: позволяет команде определять пропуски в объеме тестирования для каждой конфигурации теста для каждого требования. Для создания этого отчета необходимо, чтобы участники команды связали требования и тестовые случаи.
Отчет Состояние тестов по областям помогает выявлять пробелы в покрытии областей продукта тестами. Для создания этого отчета необходимо, чтобы участники команды назначили областям продукта тестовые случаи.
Отчет Тесты не выполнены помогает находить тестовые случаи, которые ни разу не выполнялись для каждой из конфигураций тестов.
Отчет Покрытие кода помогает определять построения и сборки построений, которые имеют высокое или низкое покрытие кода.

Первые четыре отчета доступны только в том случае, если команда создает планы тестирования и начинает выполнение тестов с использованием Microsoft Test Manager. Сведения об определении наборов тестов и планов тестирования см. в разделе Группировка тестовых случаев в наборы тестов.

Примечание

Отчет "Разрывы при тестировании" находится в папке Управление командой тестирования, расположенной в папке Отчеты Excel командного проекта Сред. Командный обозреватель.Доступ к данной папке возможен только в том случае, если портал командного проекта работает и может использовать приложение Продукты SharePoint.Дополнительные сведения см. в разделе Доступ к порталу командного проекта и руководству по процессам.

В этом разделе

Данные в отчетах
Необходимые действия для отслеживания пробелов в тестировании
Обновление и настройка отчета

Связанные разделы

Необходимые разрешения

Для просмотра отчета необходимо быть членом группы, имеющей разрешение Чтение в Продукты SharePoint для командного проекта.

Для изменения или настройки отчета необходимо быть членом роли безопасности TfsWarehouseDataReaders служб аналитики SQL Server. Кроме того, необходимо иметь разрешение или быть членом группы, имеющей разрешение Члены в Продукты SharePoint для командного проекта. Дополнительные сведения см. в разделах Предоставление доступа к базам данных хранилища данных для Visual Studio ALM и Управление разрешениями.

Данные в отчетах

В отчетах "Разрывы при тестировании" представлены суммарные количества результатов тестов для планов тестирования, конфигураций тестов и тестовых случаев, определенных для командного проекта. Все отчеты основаны на сводных таблицах, имеющих доступ к данным в хранилище данных.

Объем тестирования требований

В отчете о состоянии требований указывается, какое количество тестов пройдено, а какое количество не пройдено по каждому из требований. В отчете представлена горизонтальная линейчатая диаграмма, которая отображает сочетание количества результатов теста для каждого тестового случая и конфигурации теста, определенное командой для каждого требования. В отчете представлен суммарный исход тестов, выполненных для всех тестовых случаев, связанных с требованиями. В отчете отображаются результаты, отфильтрованные по следующим исходам: Пройденный (зеленый), Непройденный (красный), Никогда не запускавшиеся (синий) и Заблокирован (желтый).

Отчет "Состояние тестирования требования" в формате Excel

В отчете "Состояние требования по конфигурациям" представлены результаты тестирования каждого из требований, сгруппированные по конфигурациям тестов.

В следующей таблице описаны фильтры отчетов и поля, используемые в сводных таблицах для создания отчетов об объеме тестирования требований.

Фильтры	Поля
Командный проект - Иерархия командных проектов: включает результаты теста, собранные для выбранного командного проекта. Результат тестирования - Иерархия итераций: включает результаты теста, выполненного из тестовых случаев, назначенных выбранным итерациям. Результат тестирования - Иерархия областей: включает результаты теста, выполненного из тестовых случаев, назначенных выбранным областям продукта. План тестирования - Имя плана тестирования: включает результаты тестов, выполненных из тестовых случаев, относящихся к выбранным планам тестирования. Связанный рабочий элемент - Тип Work Item Linked.Work Item: включает результаты тестов, выполненных из тестовых случаев, связанных с выбранным типом рабочих элементов. В отчете учитываются только результаты тестирования тестовых случаев, связанных с требованием. Фильтр, присущий отчету "Состояние требования по конфигурациям": Набор тестов - Иерархия набора тестов: включает результаты тестов, выполненных из тестовых случаев, относящихся к выбранным наборам тестов.	Результат тестирования - Выходной результат: выходные данные теста. В отчете это поле используется, чтобы определить метки столбцов и отфильтровать результаты тестов в соответствии с исходом: "Пройденный", "Непройденный", "Заблокирован" или "Никогда не запускавшиеся". (Мера) Тест - Тренд подсчета очков: подсчитывает последнюю версию результатов каждого из тестов в заданном построении. Если тест выполняется для построения несколько раз, значение "Тренд подсчета очков" будет содержать последний результат для выполнения теста для данного построения. Связь рабочего элемента - Название: название рабочего элемента, связанное с тестовым случаем. В данном отчете указывается название требования. Поле, присущее отчету "Состояние требования по конфигурациям": Конфигурация теста - Имя конфигурации: имя конфигурации теста для включения в отчет.

Командный проект - Иерархия командных проектов: включает результаты теста, собранные для выбранного командного проекта.
Результат тестирования - Иерархия итераций: включает результаты теста, выполненного из тестовых случаев, назначенных выбранным итерациям.
Результат тестирования - Иерархия областей: включает результаты теста, выполненного из тестовых случаев, назначенных выбранным областям продукта.
План тестирования - Имя плана тестирования: включает результаты тестов, выполненных из тестовых случаев, относящихся к выбранным планам тестирования.
Связанный рабочий элемент - Тип Work Item Linked.Work Item: включает результаты тестов, выполненных из тестовых случаев, связанных с выбранным типом рабочих элементов. В отчете учитываются только результаты тестирования тестовых случаев, связанных с требованием.

Фильтр, присущий отчету "Состояние требования по конфигурациям":

Набор тестов - Иерархия набора тестов: включает результаты тестов, выполненных из тестовых случаев, относящихся к выбранным наборам тестов.

Результат тестирования - Выходной результат: выходные данные теста. В отчете это поле используется, чтобы определить метки столбцов и отфильтровать результаты тестов в соответствии с исходом: "Пройденный", "Непройденный", "Заблокирован" или "Никогда не запускавшиеся".
(Мера) Тест - Тренд подсчета очков: подсчитывает последнюю версию результатов каждого из тестов в заданном построении. Если тест выполняется для построения несколько раз, значение "Тренд подсчета очков" будет содержать последний результат для выполнения теста для данного построения.
Связь рабочего элемента - Название: название рабочего элемента, связанное с тестовым случаем. В данном отчете указывается название требования.
Поле, присущее отчету "Состояние требования по конфигурациям":
- Конфигурация теста - Имя конфигурации: имя конфигурации теста для включения в отчет.

Объем тестирования по областям продукта

В отчете о состоянии тестирования по областям продукта указывается, какое количество тестовых случаев пройдено, а какое количество не пройдено по каждой из областей продукта. В следующей таблице описаны фильтры отчетов и поля, используемые в сводных таблицах для создания отчета "Состояние тестов по областям".

Фильтры	Поля
Командный проект - Иерархия командных проектов: включает результаты теста, собранные для выбранного командного проекта. Результат тестирования - Иерархия итераций: включает результаты теста, выполненного из тестовых случаев, назначенных выбранным итерациям. План тестирования - Имя плана тестирования: включает результаты тестов, выполненных из тестовых случаев, относящихся к выбранным планам тестирования.	Результат тестирования - Выходной результат: выходные данные теста. В отчете это поле используется, чтобы определить метки столбцов и отфильтровать результаты тестов в соответствии с исходом: "Пройденный", "Непройденный", "Заблокирован" или "Никогда не запускавшиеся". (Мера) Тест - Тренд подсчета очков: подсчитывает последнюю версию результатов каждого из тестов в заданном построении. Если тест выполняется для построения несколько раз, значение "Тренд подсчета очков" будет содержать последний результат для выполнения теста для данного построения. Результат тестирования - Иерархия областей: набор результатов тестов для включения в отчет на основании путей к областям, которые назначены выполняемым тестовым случаям.

Командный проект - Иерархия командных проектов: включает результаты теста, собранные для выбранного командного проекта.
Результат тестирования - Иерархия итераций: включает результаты теста, выполненного из тестовых случаев, назначенных выбранным итерациям.
План тестирования - Имя плана тестирования: включает результаты тестов, выполненных из тестовых случаев, относящихся к выбранным планам тестирования.

Результат тестирования - Выходной результат: выходные данные теста. В отчете это поле используется, чтобы определить метки столбцов и отфильтровать результаты тестов в соответствии с исходом: "Пройденный", "Непройденный", "Заблокирован" или "Никогда не запускавшиеся".
(Мера) Тест - Тренд подсчета очков: подсчитывает последнюю версию результатов каждого из тестов в заданном построении. Если тест выполняется для построения несколько раз, значение "Тренд подсчета очков" будет содержать последний результат для выполнения теста для данного построения.
Результат тестирования - Иерархия областей: набор результатов тестов для включения в отчет на основании путей к областям, которые назначены выполняемым тестовым случаям.

Тестовые случаи, которые ни разу не выполнялись

Отчет о тестах, которые никогда не выполнялись, содержит сведения о количестве тестовых случаев, которые никогда не выполнялись. Тестовые случаи группируются по конфигурациям теста и владельцам результатов теста. В следующей таблице описаны фильтры отчетов и поля, используемые в сводных таблицах для создания отчета "Состояние тестов по областям".

Фильтры	Поля
Командный проект - Иерархия командных проектов: включает результаты теста, собранные для выбранного командного проекта. Результат тестирования - Иерархия итераций: включает результаты теста, выполненного из тестовых случаев, назначенных выбранным итерациям. Результат тестирования - Иерархия областей: включает результаты теста, выполненного из тестовых случаев, назначенных выбранным областям продукта. План тестирования - Имя плана тестирования: включает результаты тестов, выполненных из тестовых случаев, относящихся к выбранным планам тестирования. Набор тестов - Иерархия набора тестов: включает результаты тестов, выполненных из тестовых случаев, относящихся к выбранным наборам тестов. Результат тестирования - Выходной результат: включает результаты тестов с выбранным исходом. В отчете это поле используется для фильтрации количества тестовых случаев по результату "Никогда не запускавшиеся".	(Мера) Тест - Тренд подсчета очков: подсчитывает последнюю версию результатов каждого из тестов в заданном построении. Если тестовый случай не включен в построение, он считается "никогда не запускавшимся". Конфигурация теста - Имя конфигурации: имя конфигурации теста для включения в отчет. Тестовый случай - Название: название тестового случая. Результат тестирования - Владелец: имя участника команды, выполнившего тест.

Командный проект - Иерархия командных проектов: включает результаты теста, собранные для выбранного командного проекта.
Результат тестирования - Иерархия итераций: включает результаты теста, выполненного из тестовых случаев, назначенных выбранным итерациям.
Результат тестирования - Иерархия областей: включает результаты теста, выполненного из тестовых случаев, назначенных выбранным областям продукта.
План тестирования - Имя плана тестирования: включает результаты тестов, выполненных из тестовых случаев, относящихся к выбранным планам тестирования.
Набор тестов - Иерархия набора тестов: включает результаты тестов, выполненных из тестовых случаев, относящихся к выбранным наборам тестов.
Результат тестирования - Выходной результат: включает результаты тестов с выбранным исходом. В отчете это поле используется для фильтрации количества тестовых случаев по результату "Никогда не запускавшиеся".

(Мера) Тест - Тренд подсчета очков: подсчитывает последнюю версию результатов каждого из тестов в заданном построении. Если тестовый случай не включен в построение, он считается "никогда не запускавшимся".
Конфигурация теста - Имя конфигурации: имя конфигурации теста для включения в отчет.
Тестовый случай - Название: название тестового случая.
Результат тестирования - Владелец: имя участника команды, выполнившего тест.

Покрытие кода

В отчете "Покрытие кода" перечисляются строки кода каждого построения и каждой сборки построений, охваченные, не охваченные и частично охваченные тестированием. Этот отчет можно использовать для определения построений и сборок с наименьшим и наибольшим покрытием кода. В следующей таблице описаны фильтры отчетов и поля, используемые в отчетах сводных таблиц для создания отчетов о покрытии кода.

Фильтры	Поля
Командный проект - Иерархия командных проектов: включает построения, определенные для выбранного командного проекта. Построение - Имя определения построения: включает построения, связанные с выбранными определениями построений.	Покрытие построения - Покрытые строки: количество строк, охваченных выбранным построением. Покрытие построения - Не покрытые строки: количество строк, не охваченных выбранным построением. Покрытие построения - Частично покрытые строки: количество строк, частично охваченных выбранным построением. Примечание При выполнении нескольких тестовых запусков в отношении построения покрытие на основе построения отражает объединенное покрытие запусков с учетом возможного наложения строк, покрытых различными запусками. Построение - Имя построения: имя построения. При каждом запуске построения ему назначается имя, в качестве префикса содержащее имя определения построения. Сборка - Сборка: имя сборки, относительно которой была сформирована статистика покрытия.

Командный проект - Иерархия командных проектов: включает построения, определенные для выбранного командного проекта.
Построение - Имя определения построения: включает построения, связанные с выбранными определениями построений.

Покрытие построения - Покрытые строки: количество строк, охваченных выбранным построением.
Покрытие построения - Не покрытые строки: количество строк, не охваченных выбранным построением.
Покрытие построения - Частично покрытые строки: количество строк, частично охваченных выбранным построением.

Примечание

При выполнении нескольких тестовых запусков в отношении построения покрытие на основе построения отражает объединенное покрытие запусков с учетом возможного наложения строк, покрытых различными запусками.
Построение - Имя построения: имя построения. При каждом запуске построения ему назначается имя, в качестве префикса содержащее имя определения построения.
Сборка - Сборка: имя сборки, относительно которой была сформирована статистика покрытия.

Необходимые действия для отслеживания пробелов в тестировании

Для обеспечения точности и актуальности отчетов "Разрывы при тестировании", команда должна выполнить действия, описанные в следующей таблице.

Лист "Отчет"	Требуемые действия
Состояние требования Состояние требований в соответствии с конфигурацией Состояние тестирования по областям Тесты не выполнены	Определение тестовых случаев и планов тестирования и назначение тестовых случаев соответствующим планам тестирования. Дополнительные сведения см. в разделе Определение действий тестирования с помощью планов тестирования; Запустите тесты и для ручных тестов отметьте результаты каждого шага проверки в составе тестового случая как "Пройден" или "Не пройден". Дополнительные сведения см. в разделе Выполнение тестов.
Состояние требования Состояние требований в соответствии с конфигурацией	Определите требования и создайте связи между тестовыми случаями и требованиями. Рекомендуемый тип связи — Тест выполнил.
Состояние требований в соответствии с конфигурацией Тесты не выполнены	Определите конфигурации тестов и назначьте их тестовым случаям или наборам тестов. Дополнительные сведения см. в разделе Определение матрицы тестов с помощью конфигураций тестов;
Состояние требования Состояние требований в соответствии с конфигурацией Состояние тестирования по областям Тесты не выполнены	(Необязательно) Назначение каждому тестовому случаю значения Путь итерации и Путь к области для поддержки фильтрации. Значения полей Результат тестирования - Иерархия итераций и Результат тестирования - Иерархия областей подставляются из полей Путь итерации и Путь к области, присвоенных соответствующим тестовым случаям.
Состояние требования Состояние требований в соответствии с конфигурацией Состояние тестирования по областям Тесты не выполнены Покрытие кода	Настройка системы построения. Для использования приложения Team Foundation Build необходимо настроить систему построения. Дополнительные сведения см. в разделе Настройка системы построения. Создание определений построения. Для получения кода для разных платформ можно создать несколько определений построения и выполнить каждое из них. Также каждое построение можно выполнить с использованием другой конфигурации. Дополнительные сведения см. в разделе Определение процесса построения. Определение тестов для автоматического запуска в качестве части построения. Как часть определения построения можно выбрать тесты, которые будут выполняться как часть построения или в случае ошибки будут остановлены. Дополнительные сведения см. в разделе Определение построения с помощью шаблона по умолчанию. Настройка тестов для сбора данных о покрытии кода. Чтобы данные о покрытии кода попали в отчет, члены команды должны инструментировать тесты для сбора этих данных. Дополнительные сведения см. в разделах Практическое руководство. Настройка покрытия кода с помощью параметров тестирования для автоматических тестов и Практические примеры: Gather Code-Coverage Data with Generic Tests. Регулярное выполнение построения. Построения можно запускать через заданные интервалы или после каждого возврата. Используя запланированный триггер, можно создавать регулярные построения. Дополнительные сведения см. в разделах Создание базового определения построения и Запуск построений и наблюдение за ними. Примечание Несмотря на то что член команды может вручную оценить построение с помощью приложения Сред. Обозреватель сборки, эта оценка не отражается в отчете "Индикаторы качества построения".Оценка построения отображается в отчете "Сводка построения".Дополнительные сведения см. в разделах Оценка качества завершенного построения и Отчет "Сводка построения".

Обновление и настройка отчета

Отчет "Разрывы при тестировании" можно обновить, открыв его в Office Excel и изменив параметры фильтра отчета сводной таблицы для одного из листов. Для поддержки других представлений можно настроить каждый отчет в соответствии со следующей таблицей.

Лист	Просмотр	Действие
Состояние требования Состояние требований в соответствии с конфигурацией Состояние тестирования по областям Тесты не выполнены	Разрывы при тестировании для итерации	Измените фильтр для Iteration (по умолчанию — "Все")
Состояние требования Состояние требований в соответствии с конфигурацией Состояние тестирования по областям Тесты не выполнены	Разрывы при тестировании для области продукта	Измените фильтр для Area (по умолчанию — "Все")
Состояние требования Состояние требований в соответствии с конфигурацией Состояние тестирования по областям Тесты не выполнены	Разрывы при тестировании для конкретного плана тестирования или набора планов тестирования	Измените фильтр для Test Plan (по умолчанию — "Все")
Состояние требований в соответствии с конфигурацией Тесты не выполнены	Разрывы при тестировании для конкретного набора тестов	Измените фильтр для Test Suite Hierarchy (по умолчанию — "Все")
Покрытие кода	Покрытие кода для конкретного определения построения или набора определений построений	Измените фильтр для Build Definition Name (по умолчанию — "Все")
Состояние требования Состояние требований в соответствии с конфигурацией Состояние тестирования по областям Тесты не выполнены Покрытие кода	Разрывы при тестировании или покрытие кода, включающие данные последних шести, восьми и более недель	В список полей сводной таблицы вставьте поле Date - Sets и выберите набор @@Last 6 weeks@@ или любой другой

Дополнительные сведения о работе с отчетами сводных таблиц и сводных диаграмм, а также о настройке этих отчетов содержатся на следующих страницах веб-сайта Майкрософт: