Анализ результатов теста с помощью перспективы теста в базе данных служб Analysis Services для Visual Studio ALM и создание соответствующего отчета

С помощью перспективы теста в кубе служб аналитики SQL Server для Visual Studio Team Foundation Server можно просматривать только меры, измерения и атрибуты, которые относятся к отчетности результатов тестов и выполнения тестов.Например, можно использовать следующие меры для определения общего качества каждого построения, тестов, на которые влияет построение, и числа тестовых случаев, которые были выполнены.Также можно ответить на вопросы об изменениях в исходых результатах.

Группа мер "Тестирование" основывается на реляционной таблице результатов теста, которая включает отчетность по результатам теста в качестве свойства тестов или независимых результатов.Дополнительные сведения см. в разделе Таблицы результатов теста.

С помощью перспективы тестов можно создавать отчеты, которые предназначены для ответа на следующие вопросы: Отчеты о состоянии: Что является состоянием тестирования определенных описаний функциональности пользователей или областей продукта? Что является качеством построений, основанном на количестве неудачных и успешно завершившихся тестов? Сколько тестовых случаев не выполнено? Какие тестовые случаи некогда не выполнялись? Отчеты о тенденциях: Сколько тестов заблокировано, успешно завершено или завершено с ошибками с течением времени? Сколько тестов находится в состоянии регрессии? Как согласуются действия тестирования, выполняемые вручную, с течением времени? Примечание Если хранилище данных Visual Studio Application Lifecycle Management (ALM) использует SQL Server Enterprise Edition, список кубов будет включать куб Team System и набор перспектив.Перспективы позволяют получить конкретное представление данных без необходимости прокрутки всех измерений и групп мер во всем кубе Team System.

Для использования нескольких мер и атрибутов измерения, команда тестов должна публиковать результаты теста в хранилище данных для Team Foundation Server.Дополнительные сведения см. далее в этом разделе в Действия, необходимые для управления тестами и построениями.

Содержание раздела

• Пример: Отчет о ходе выполнения тестирования пользовательских описаний функциональности

• Меры теста

• Измерения и атрибуты в перспективе теста, которая поддерживает фильтрацию и категоризацию

  • Измерения построения, версии построения и платформы построения

  • Измерения тестового случая, конфигурации теста, плана тестирования и набора тестов

  • Измерение результата теста

  • Измерение тестового запуска

  • Измерения рабочего элемента и связанного рабочего элемента

• Действия, необходимые для управления тестами и построениями

Пример: Отчет о ходе выполнения тестирования пользовательских описаний функциональности

С помощью отчетов сводной таблицы и сводной диаграммы в Excel можно создать отчет о состоянии, в котором показан ход выполнения тестирования описания функциональности пользователей, что похоже на отчет на следующем рисунке.

Шаблоны процессов для Microsoft Solutions Framework (MSF) v5.0 включают отчет состояние тестирования описания функциональности пользователей и отчет состояние тестирования требования в Excel.Дополнительные сведения см. в разделах Отчет "Состояние тестирования описания функциональности пользователей" в формате Excel (гибкая разработка) и Отчет "Состояние тестирования требования" в формате Excel (CMMI).

К началу

Определение и фильтрация сводных полей

Путем выполнения следующих шагов можно создать отчет о ходе выполнения тестирования описания функциональности пользователя:

1. В Excel подключитесь к службы кубу службы аналитики для Team Foundation Server, а затем вставить отчет сводной диаграммы.

   Дополнительные сведения см. в разделе Создание отчета в Microsoft Excel для Visual Studio ALM.

2. Щелкните правой кнопкой мыши диаграмму, нажмите кнопку Изменить тип диаграммы, нажмите кнопку Область, а затем нажмите кнопку Линейчатая с накоплением.

3. Для каждого фильтра отчета щелкните правой кнопкой мыши каждое из следующих полей, укажите иерархии или интересующие элементы, а затем перетащите поля в область Фильтр отчета.

   • Иерархия командных проектов из измерения Командный проект

   • Путь области из измерения Командный проект

   • Путь итерации из измерения Тестовый случай

   • Тип рабочего элемента из измерения Связанный рабочий элемент

     Укажите тип в качестве описания функциональности пользователя, требования или другого типа рабочего элемента, который содержит тестовые связанные случаи, которые необходимо сообщить.

4. Перетащите поле Тренд подсчета очков из-под группы мер Тест в область Значения.

5. Перетащите поле Результат из-под измерения Результат теста в области Названия столбцов.

К началу

Меры теста

В следующей таблице описаны меры, которые включеы в группу мер.Можно выполнить анализ результатов теста с помощью агрегата результатов тестов и их результата для конкретного построения или с помощью измененного результата для результата теста.

Мера	Описание
Тренд подсчета результатов построения	Подсчитывает последнюю версию каждого результата в определенном построении. Пример отчета, в котором используется эта мера, см. в разделе Отчет "Качество построения" в формате Excel.
Тренд подсчета очков	Число самых последних версий каждого результата теста в определенном построении.Если тест выполняется для построения несколько раз, значение "Тренд подсчета очков" будет содержать последний результат для выполнения теста для данного построения.Если тестовый случай не включен в построение, тестовый случай считается как "никогда не запускавшийся". Используйте эту меру для определения, какие или сколько тестов завершились ошибкой в текущем построении.
Число результатов	Подсчитывает последнюю версию каждого результата теста.Используйте эту меру, если необходимо определить общий объем тестирования. Пример отчета, в котором используется эта мера, см. в разделе Отчет "Индикаторы качества построения".
Число переходов результатов	Подсчитывает все результаты, результат которых изменился в определенном построении.Используйте эту меру, если необходимо определить, какие тесты были затронуты указанным построением.
Число тестовых случаев	Количество тестовых случаев.Используйте эту меру, если требуется определить, сколько выполнено тестовых случаев для указанного тестового запуска или построения.

Измерения и атрибуты в перспективу теста, которая поддерживает фильтрацию и категоризацию

С помощью атрибутов, описанных в данном разделе, можно вычислять статистические значения на основе меры, отфильтровать отчет или определить оси отчета.Эти атрибуты являются дополнением к общим измерениям Командный проект и Дата, которые описываются в Работа с общими измерениями.

В данном разделе

• Измерения построения, версии построения и платформы построения

• Измерения тестового случая, конфигурации теста, плана тестирования и набора тестов

• Измерение результата теста

• Измерение тестового запуска

• Измерения рабочего элемента и связанного рабочего элемента

К началу

Измерения построения, версии построения и платформы построения

Можно фильтровать отчеты тестов, основанные на определении построения, конфигурации построения или платформы построения, с помощью атрибутов, описанных в таблице ниже.

Измерение	Атрибут	Описание
Построение	Имя определения построения	Имя, присвоенное к определению построения, для которого выполнено построение. Пример отчета, в котором используется этот атрибут, см. в разделе Отчет "Качество построения" в формате Excel.
	Идентификатор построения	Число, присвоенное построению.Каждый раз, когда выполняется указанное определение построения, Идентификатор построения увеличивается на 1.
	Имя построения	Имя или выражение, которое идентифицирует элемент уникальным образом.Дополнительные сведения см. в разделе Работа с номерами построений.
	Время начала построения	Дата и время, когда запушено построение.
	Тип построения	Причина выполнения построения.Типы построения сопоставлены с триггером, который был определен для построения.В Team Foundation Server поддерживается следующие типы построения: ручные, непрерывные (активируемые при каждом возврате кода), последовательные (с накоплением возвратов до завершения предыдущего построения), с условным возвратом и по расписанию.Дополнительные сведения см. в разделе Задание триггеров и причин выполнения построения.
	Удалить расположение	Папка удаления, определенная для построения и задающаяся в виде URL-адреса.URL-адрес указывает протокол, с которым веб-браузеры осуществляют поиск ресурсов Интернета.URL-адрес также включает имя сервера, на котором находится ресурс.Можно также включить путь к ресурсу. Дополнительные сведения см. в разделе Выбор промежуточного расположения и настройка папки сброса.
Версия построения	Версия построения	(Только опубликованные результаты тестов) Имя, которое определяет категорию построений, присвоеных к набору завершенных построений, которые были опубликованы как часть тестового запуска.Например, конфигурация построения может использоваться для обозначения бета-выпуска или окончательного выпуска.Дополнительные сведения см. в разделе Параметры командной строки для публикации результатов тестов.
Платформа построения	Платформа построения	Имя платформы компьютера, для которой было сделано сквозное (не локальное) построение (например, x86 или Любой ЦП).Дополнительные сведения см. в разделе Определение процесса построения, основанного на шаблоне по умолчанию.

К началу

Измерения тестового случая, конфигурации теста, плана тестирования и набора тестов

Измерения тестового случая, конфигурации теста, плана тестирования и набора тестов соотсветсвуют тому, как можно организовать, настроить, автоматизировать и запустить тесты с использованием Microsoft Test Manager от Visual Studio 2010 Ultimate или Visual Studio Professional Test.

Тестовый случай соответсвует типу рабочего элемента, который используется командой по тестированию для определения как ручных так, и автоматических тестов, котрые команда может запустить и затем управлять ими с помощью Microsoft Test Manager.План тестирования состоит из конфигураций теста и наборов тестов.Конфигурация теста определяет программное или аппаратное обеспечение, на котором нужно выполнить тесты.Набор тестов определяет иерархию внутри плана, позволяя группировать вместе тестовый случаи.

Дополнительные сведения см. в следующих разделах:

• Управление новыми работами по тестированию

• Практическое руководство. Создание ручного тестового случая

• Конфигурации тестов — указание платформ тестирования

• Создание тестов для невыполненной работы по продукту, пользовательских историй или требований

Измерение	Атрибут	Описание
Тестовый случай	Иерархия областей и многое другое	Измерения рабочего элемента и тестового содержит все атрибуты, которые связаны с рабочими элементами, например Состояние, Тип рабочего элемента, Идентификатор рабочего элемента.Дополнительные сведения о структуре измерения тестового случая см. в разделе Анализ данных рабочего элемента и тестового случая с помощью перспективы рабочего элемента и составление соответствующего отчета. Описание атрибутов см. в разделе Справочник по полям рабочих элементов для Visual Studio ALM. Дополнительные сведения о работе с датой, областью и итерацией иерархии, см. в разделе Работа с общими измерениями в кубе служб Analysis Services. Эта группа мер содержит дополнительные атрибуты, если пользовательские поля в определении типа рабочего элемента определяют Dimension в качестве включаемого в отчетность атрибута.Дополнительные сведения о том, как использовать необязательный атрибут reportable и его значения см. в разделе Добавление и изменение полей рабочих элементов для поддержки отчетов.
Конфигурация теста	Идентификатор конфигурации и имя конфигурации	Число, которое присвоено системой, имя тестовой конфигурации.
План тестирования	Иерархия областей, путь к области, иерархия итерации и пути итерации	Область продукта и веха, которая присвоена плану тестирования. Дополнительные сведения см. в разделе Анализ данных рабочего элемента и тестового случая с помощью перспективы рабочего элемента и составление соответствующего отчета.
	Иерархия даты окончания по месяцам или по неделям. Иерархия даты начала по месяцам или по неделям	Необязательные значения, которые владелец плана тестирования может присвоить плану тестирования.Они представляют дату, когда план тестирования должен начаться, и дату, когда план тестирования должен завершиться. Дополнительные сведения о том, как работать с иерархиями даты см. в разделе Работа с общими измерениями в кубе служб Analysis Services.
	Идентификатор плана тестирования и имя плана тестирования	Число, которое назначется системой, и имя, которое назначается владельцем плана тестирования.
	Владелец плана тестирования	Имя пользователя участника команды по тестированию, который создал или в настоящее время является владелецем плана тестирования.
	Идентификатор и состояние плана тестирования	Номер, присвоенный системой, и имя состояния плана тестирования.Например, Неактивно указывает, что план тестирования определяется, а Активно указывает, что план тестирования готов к расмотрению и выполнению.
Набор тестов	Иерархия наборов средств тестирования	Предоставляет механизм для указания нескольких фильтров, основанных на коллекции проекта, командном проекте и наборе тестов.
	Путь набора	Соответствует иерархии наборов тестов, настроенных для всех командных проектов в коллекции командных проектов.

К началу

Измерение результата теста

В следующей таблице перечислены все атрибуты, специфичные для тестовых мер в кубе.Прежде чем можно будет создать отчет о Тип сбоя или Разрешение, команда по тестрированию должна заполнить эту информацию в качестве части действий тестрирования.

Атрибут	Описание
Тип сбоя и идентификатор типа сбоя	Совпадает с одной из следующих причин завершения теста ошибкой: Нет, Известная проблема, Новая проблема или Регрессия. Microsoft Test Manager автоматически присвоит номер или идентификатор для каждой причины.Команда по тестированю может (но это не требуется) присвоить тип сбоя каждому тестовому сбою. Примечание Невозможно добавить или изменить набор типов сбоя. Пример отчета о тренде, в котором отображаются результаты результатов тестов, основанных на типах сбоя, см. в разделе Отчет "Анализ сбоя" в формате Excel.
Результат и идентификатор результата	Результат теста (например, Пройден, Сбой или С неопределенным результатом). Пример отчета о тренде, в котором отображаются результаты планов тестирования и конфигураций тестов, см. в разделе Отчет "Ход выполнения плана тестирования".
Состояние готовности и идентификатор состояния готовности	Состояние заданного теста в тестовом запуске.Допустимые значения: Completed, InProgress, None, NotReady и Ready.
Состояние разрешения	(Необязательно) Имя Разрешение с тест-инженером, который указан в качестве причины сбоя теста.По умолчанию все шаблоны процессов MSF имеет следующие состояния: Требуется исследование, Неполадка теста, Неполадка продукта и Неполадка конфигурации.Команда по тестированию может (но не требуется) присвоить состояние сбоя каждому непройденному тесту. Примечание После создания командного проекта эти состояния нельзя изменить и нельзя добавить новые состояния.Дополнительные сведения см. в разделе Defining Resolution States for Test.
Выполненный результат теста	Имя пользователя или другой учетной записи, под которой был выполнен тест. Пример отчета, в котором используется этот атрибут, см. в разделе Отчет "Производительность команды тестирования" в формате Excel.
Владелец результата теста	Имя пользователя или другой учетной записи, которая является владелцем результата теста.Назначение соответствует значению, которое установлено с помощью переключателя tcm /resultowner.
Приоритет результатов теста	Приоритет конкретного теста в запуске теста.

К началу

Измерение тестового запуска

В следующей таблице описываются атрибуты, которые определены для измерения тестового запуска.Многие из этих атрибутов соответствуют параметрам, которые команда по тестированию определяет при запуске и публикации тестов.Дополнительные сведения см. в разделе tcm. Запуск тестов из плана тестирования с помощью служебной программы командной строки.

Атрибут	Описание
Полная дата, дата создания, иерархия дат начала по месяцам или по неделям	Даты, если тестовый запуск был создан, завершен или запущен.Эти атрибуты можно использовать для фильтрации или составления отчета.Дополнительные сведения см. в разделе Работа с общими измерениями в кубе служб Analysis Services.
Автоматический	Флаг, который указывает на то, что тест запущен, содержит один или несколько автоматических тестов. Пример отчета, в котором используется этот атрибут, см. в разделе Отчет "Качество построения" в формате Excel.
Выполнение проверки построения	Флаг, которое указывает, запущен ли тест, содержт тесты проверки построения, которые проверяют базовую функциональность построения.Этот флаг соответствует ключу tcm /buildverification. Пример отчета, в котором используется этот атрибут, см. в разделе Отчет "Качество построения" в формате Excel.
Идентификатор тестового запуска.	Число, присвоенное системой тестовому запуску.
Владелец тестового запуска	Соответсвует владелецу, который назначен тестовому запуску, созданному или опубликованному командой для тестирования.Соответствует переключателю tcm /owner.
Состояние и идентификатор тестового запуска.	Имя или номер, присвоенный состоянию тестового запуска (например, Прервано, Завершено, Выполняется, Не запущено или Нет данных).
Название тестового запуска	Соответствует заголовку, присвоенному тестовому запуску, который создан или опубликован команда для тестирования.Соответствует переключателю tcm /title.

К началу

Измерения рабочего элемента и связанного рабочего элемента

Можно связать тестовый случаи с другими рабочими элементами, как описания функциональности пользователей, требования и ошибки.С помощью измерений связанных рабочих элементов, можно создать отчет, который содержит результаты тестов, которые относятся к связанным рабочим элементам.Отчет о ходе выполнения для тестирования описания функциональности пользователей, описанный ранее в этом разделе, приводит пример использования связанного рабочего элемента.

Описание атрибутов см. в разделе Справочник по полям рабочих элементов для Visual Studio ALM.

Действия, необходимые для управления тестами и построениями

Для создания отчетов о тестах, которые содержат полезные данные, участники команды должны выполнить следующие действия для управления построениями и тестами:

• Действия при построении

  • Настройка системы построения.Для использования Team Foundation Build, команда должна настроить систему построения.

    Дополнительные сведения см. в разделе Configure Your Build System.

  • Создание определений построения.Команда должна создать хотя бы одно определение построения.Для получения кода для разных платформ команда может создать несколько определений построения.Также команда может запустить каждое построение для различных конфигураций.

    Дополнительные сведения см. в разделе Создание определения построения.

  • (Рекомендуется) Регулярное выполнение построений.Команда может автоматически запускать построения с указаными интервалами или после каждого возврата.С помощью триггера расписания, команда может автоматически запускать построения в тоже время, или в тотже день, или в указанные дни.

    Дополнительные сведения см. в разделах Задание триггеров и причин выполнения построения и Запуск построений, наблюдение за построениями и управление ими.

  Дополнительные сведения см. в разделе Действия построения Team Foundation.

• Действия по управления тестами

  • Укажите тестовый случай, планы тестирования и конфигурации теста.Для составления отчета для тестового случаям и плана тестирования, команда для тестирования должна определить эти элементы.Команда для тестирования может также указать наборы тестов и присвоить тестовые случаи планам тестирования.

  • (Необязательно) **Назначьте области продукта и контрольных этапов тестам и отслеживайте состояние.**Команда для тестирования может указать пути Область и Итерация для каждого тестового случая и плана тестирования.Укажите Состояние для каждого тестового случая и Состояние плана тестирования для каждого плана тестирования.

  • (Необязательно) Связать тестовый случай с рабочими элементами.Например, команда для тестирования может отслеживать ход тестирования на каждом описании функциональности с использованием типа соединения Тест выполнил, чтобы связать тестовые случаи для описаний функциональности пользователей.

  • (Необязательно) Пометьте результаты тестов.Для ручных тестов команда для тестирования может отметить результаты каждого шага проверки в составе тестового случая как "Пройден" или "Не пройден".

    Важно
    Тест-инженеры должны отметить каждый шаг проверочного теста с состоянием.Общий результат теста показывает состояние всех отмеченных шагов теста.Таким образом, тест получит состояние "завершен неудачей", если тест-инженер отметил какой-либо шаг теста как завершенный неудачей или не отметил его вовсе.

    Каждый автоматический тест автоматически отмечается как пройденный или завершенный неудачей.

  • (Необязательно) Настройка тестов для сбора данных о покрытии кода.Чтобы данные о покрытии кода попали в отчет, участники команды должны инструментировать тесты для сбора этих данных.

    Важно
    Для сбора данных о покрытии кода, необходимо установить Visual Studio Premium или Visual Studio Ultimate на компьютере агента построения.Дополнительные сведения см. в разделе Развертывание и настройка агентов построения.

    Дополнительные сведения см. в разделах Больше не рекомендуется настраивать покрытие кода с использованием параметров тестирования и How to: Gather Code-Coverage Data with Generic Tests.

  • Определение тестов для автоматического запуска в качестве части построения.Как часть определения построения можно указать автоматические тесты для запуска в качестве построения и анализа изменений кода тестов.

    Дополнительные сведения см. в разделе Определение процесса построения, основанного на шаблоне по умолчанию.

  • Публиковать тесты.В качестве части действий построений и тестов, команда для тестирования должна опубликовать результаты теста в хранилище данных для Team Foundation Server.

    Дополнительные сведения см. в разделе Параметры командной строки для публикации результатов тестов.

К началу

См. также

Основные понятия

Анализ сведений о построении и покрытии построения с использованием перспективы построения и создание соответствующего отчета

Перспективы и группы мер, предоставляемые в кубе служб Analysis Services для Team System

Другие ресурсы

Выполнение тестов в процессе построения