Анализ и включение в отчеты результатов тестов с использованием перспективы "Тест" в базе данных служб Analysis Services для Visual Studio ALM

С помощью перспективы "Тестирование" в кубе SQL Server Analysis Services для Visual Studio Team Foundation Server можно просматривать только показатели, измерения и атрибуты, которые относятся к отчетам результатов тестов и тестовых запусков. Например, можно использовать эти показатели для определения общего качества каждой сборки, тестов, на которые влияет сборка, и числа тестовых случаев, которые были выполнены. Также можно ответить на вопросы об изменениях в выходных данных.

Группа показателей "Тестирование" основывается на реляционной таблице результатов теста, которая позволяет получать результаты в виде свойств тестов или независимых выходных данных. Для получения дополнительной информации см. таблицы результатов теста.

С помощью перспективы "Тестирование" можно создавать отчеты, дающие ответы на следующие вопросы: Отчеты о состоянии Каково состояние тестирования определенных пользовательских историй или областей продукта? Каково качество сборок, исходя из числа не пройденных и пройденных тестов? Сколько тестовых случаев не запускалось? Какие тестовые случаи не запускались? Отчеты о тенденциях Сколько тестов заблокировано, пройдено или не пройдено в течение определенного времени? Сколько тестов находится в состоянии регрессии? Насколько единообразны действия тестирования, выполняемые вручную в течение определенного времени? Примечание Если хранилище данных Visual Studio Application Lifecycle Management (ALM) использует SQL Server Enterprise Edition, список кубов будет включать куб Team System и набор перспектив.Перспективы позволяют получить конкретное представление данных без необходимости прокрутки всех измерений и групп мер во всем кубе Team System.

Для использования множества показателей и измерений атрибутов "Тестирование" команда по тестированию должна публиковать результаты тестов в хранилище данных для Team Foundation Server. Дополнительные сведения см. в подразделе Действия, необходимые для управления тестами и сборками далее в данном разделе.

Содержание раздела

• Пример. Отчет о ходе выполнения тестирования пользовательских историй

• Меры тестирования

• Измерения и атрибуты в перспективе "Тест", поддерживающие фильтрацию и классификацию

  • Измерения "Сборка", "Версия сборки" и "Платформа сборки"

  • Измерения "Тестовый случай", "Конфигурация теста", "План тестирования" и "Набор тестов"

  • Измерение "Результат теста"

  • Измерение "Тестовый запуск"

  • Измерения "Рабочий элемент" и "Связанный рабочий элемент"

• Требуемые действия

Пример. Отчет о ходе выполнения тестирования пользовательских историй

С помощью отчетов сводной таблицы и сводной диаграммы в Excel можно создать отчет о состоянии, в котором показан ход выполнения тестирования пользовательских историй, аналогичный отчету на следующем рисунке.

Шаблоны процессов Agile и CMMI для Microsoft Solutions Framework (MSF) включают отчеты в формате Excel Отчет "Состояние тестирования описания функциональности пользователей" в формате Excel (гибкая разработка) и Отчет "Состояние тестирования требования" в формате Excel (CMMI).

Указание и фильтрация полей сводной диаграммы

Путем выполнения следующих шагов можно создать отчет о ходе выполнения тестирования пользовательских историй:

1. В Excel подключитесь к кубу Analysis Services для Team Foundation Server и вставьте отчет сводной диаграммы.

   Для получения дополнительной информации см. Создание отчетов Excel при помощи запроса рабочего элемента.

2. Щелкните правой кнопкой мыши по диаграмме и нажмите последовательно кнопки Изменить тип диаграммы, Область, а затем Линейчатая с накоплением.

3. Для каждого фильтра отчета щелкните правой кнопкой мыши каждое из следующих полей, укажите иерархии или интересующие элементы, а затем перетащите поля в область Фильтр отчета.

   • Иерархия командных проектов из измерения Командный проект.

   • Путь области из измерения Командный проект.

   • Путь итерации из измерения Тестовый случай.

   • Тип рабочего элемента из измерения Связанный рабочий элемент.

     Укажите тип как пользовательскую историю, требование или другой тип рабочего элемента, содержащий связанные тестовые случаи, которые следует включить в отчет.

4. Перетащите поле Тренд подсчета очков из группы показателей Тестирование в область Значения.

5. Перетащите поле Результат из измерения Результат теста в область Названия столбцов.

Меры тестирования

В следующей таблице описаны показатели, которые входят в группу "Тестирование". Можно анализировать результаты тестов с помощью агрегирования результатов и выходных данных для конкретной сборки или с помощью измененных выходных данных результатов теста.

Мера	Описание
Тренд подсчета результатов сборки	Подсчитывает последнюю версию каждого результата в определенной сборке. Пример отчета, в котором используется этот показатель, см. в разделе Отчет "Качество построения" в формате Excel.
Тренд подсчета очков	Число последних версий каждого результата теста в определенной сборке. Если тест выполняется для построения несколько раз, значение "Тренд подсчета очков" будет содержать последний результат для выполнения теста для данного построения. Если тестовый случай не включен в сборку, тестовый случай считается как "Никогда не запускавшийся". Используйте этот показатель для определения того, какие или сколько тестов завершились ошибкой в текущей сборке.
Число результатов	Подсчитывает последнюю версию каждого результата теста. Используйте этот показатель для определения общего объема тестирования. Пример отчета, в котором используется этот показатель, см. в разделе Отчет "Индикаторы качества построения".
Число переходов результатов	Подсчитывает все результаты, выходные данные которых изменились в определенной сборке. Используйте этот показатель для определения, какие тесты были затронуты указанной сборкой.
Число тестовых случаев	Число тестовых случаев. Используйте этот показатель для определения, сколько тестовых случаев выполнено для указанного тестового запуска или сборки.

Измерения и атрибуты в перспективе "Тест", поддерживающие фильтрацию и классификацию

С помощью атрибутов, описанных в данном разделе, можно агрегировать показатели, фильтровать отчеты и указывать оси отчета. Эти атрибуты являются дополнением к общим измерениям Командный проект и Дата, которые описываются в разделе Работа с общими измерениями.

Измерения "Сборка", "Версия сборки" и "Платформа сборки"

Можно фильтровать отчеты тестов по определению сборки, версии сборки и платформе сборки с помощью атрибутов, описанных в таблице ниже.

Измерение	Атрибут	Описание
Сборка	Имя определения сборки	Имя, присвоенное определению сборки, для которого была выполнена сборка. Пример отчета, в котором используется этот атрибут, см. в разделе Отчет "Качество построения" в формате Excel.
	Идентификатор сборки	Номер, присвоенный сборке. При каждом выполнении указанного определения сборки значение атрибута Идентификатор сборки увеличивается на 1.
	Имя сборки	Имя или выражение, однозначно определяющее сборку. Для получения дополнительной информации см. Использование номеров сборок для назначения завершенным сборкам значимых имен.
	Время начала сборки	Дата и время запуска сборки.
	Тип сборки	Причина выполнения сборки. Типы сборки связаны с триггером, который был определен для нее. Team Foundation Server поддерживает следующие типы сборок: ручные, непрерывные (активируемые при каждом возврате), последовательные (с накоплением возвратов до завершения предыдущей сборки), с условным возвратом и по расписанию. Для получения дополнительной информации см. Задание триггеров и причин выполнения сборки.
	Расположение сброса	Папка сброса, определенная для сборки в виде URL-адреса. URL-адрес указывает протокол, с помощью которого веб-браузеры осуществляют поиск ресурсов Интернета. URL-адрес также включает имя сервера, на котором находится ресурс. Можно также включить путь к ресурсу. Для получения дополнительной информации см. Настройка транзитных каталогов.
Версия построения	Версия построения	(Только опубликованные результаты тестов). Имя, определяющее категорию сборок, назначенную набору завершенных сборок, которые были опубликованы в рамках тестового запуска. Например, версия сборки может использоваться для обозначения бета-выпуска или окончательного выпуска.
Платформа построения	Платформа построения	Имя платформы, для которой была сделана сквозная (не локальная) сборка (например, x86 или Любой ЦП). Для получения дополнительной информации см. Использование шаблона по умолчанию для процесса сборки.

Измерения "Тестовый случай", "Конфигурация теста", "План тестирования" и "Набор тестов"

Измерения "Тестовый случай", "Конфигурации теста", "План тестирования" и "Набор тестов" позволяют организовывать, настраивать, автоматизировать и запускать тесты с использованием Microsoft Test Manager от Visual Studio 2010 Ultimate или Visual Studio Test Professional.

Тестовый случай соответствует типу рабочего элемента, который используется командой по тестированию для определения ручных и автоматических тестов, которые команда может запускать, а также управлять ими с помощью Microsoft Test Manager. План тестирования состоит из конфигураций и наборов тестов. Конфигурация теста определяет программное или аппаратное обеспечение, на котором требуется выполнить тесты. Набор тестов определяет иерархию внутри плана, позволяя группировать тестовые случаи.

Для получения дополнительной информации см. Тестирование приложения.

Измерение	Атрибут	Описание
Тестовый случай	Иерархия областей и многое другое	Измерения "Рабочий элемент" и "Тестовый Случай" содержат все атрибуты, которые связаны с рабочими элементами, такие как "Состояние", "Тип рабочего элемента" и "Идентификатор рабочего элемента". Дополнительные сведения о структуре измерения "Тестовый случай" см. в разделе Анализ и включение в отчеты данных рабочих элементов и тестовых случаев с использованием перспективы "Рабочий элемент". Описание атрибутов см. в разделе Справочник по полям рабочих элементов для Visual Studio ALM. Дополнительные сведения о работе с иерархиями дат, областей и итераций см. в разделе Общие измерения в кубе служб Analysis Services. Эта группа показателей содержит дополнительные атрибуты, если пользовательские поля в определении типа рабочего элемента определяют Dimension в качестве включаемого в отчеты атрибута. Дополнительные сведения о том, как использовать необязательный атрибут reportable и его значения см. в разделе Добавление и изменение полей рабочих элементов для поддержки отчетов.
Конфигурация теста	Идентификатор и имя конфигурации	Номер, присвоенный системой, и имя конфигурации теста.
План тестирования	Иерархия областей, путь области, иерархия итераций и путь итерации	Область продукта и веха, которая присвоена плану тестирования. Для получения дополнительной информации см. Анализ и включение в отчеты данных рабочих элементов и тестовых случаев с использованием перспективы "Рабочий элемент".
	Иерархия даты окончания по месяцам или по неделям Иерархия даты начала по месяцам или по неделям	Необязательные значения, которые владелец плана тестирования может присвоить плану тестирования. Они представляют даты, когда план тестирования должен начаться и завершиться. Дополнительные сведения о том, как работать с иерархиями дат, см. в разделе Общие измерения в кубе служб Analysis Services.
	Идентификатор и имя плана тестирования	Номер, присвоенный системой, и имя, присвоенное владельцем плана тестирования.
	Владелец плана тестирования	Имя пользователя члена команды по тестированию, который создал план тестирования или в настоящее время является его владельцем.
	Идентификатор и состояние плана тестирования	Присваиваемый системой номер и имя состояния плана тестирования. Например, состояние Неактивно указывает, что план тестирования в процессе определения, а состояние Активно указывает, что план тестирования готов к рассмотрению и выполнению.
Набор тестов	Иерархия наборов средств тестирования	Предоставляет механизм для указания нескольких фильтров, основанных на коллекции проекта, командном проекте и наборе тестов.
	Путь к набору	Соответствует иерархии наборов тестов, настроенных для всех командных проектов во всех коллекциях командных проектов.

Измерение "Результат теста"

В следующей таблице перечислены все измерения и атрибуты, которые относятся к показателям теста в кубе. Чтобы можно было создавать отчеты о типе сбоя или разрешении, команда по тестированию должна указать эти сведения в ходе тестирования.

Атрибут	Описание
Тип сбоя и идентификатор типа сбоя	Соответствует одной из следующих причин, по которой тест не был пройден: Отсутствует, Известная проблема, Новая проблема или Регрессия. Microsoft Test Manager автоматически присваивает номер или идентификатор каждой причине. Команда по тестированию может (хотя это и не обязательно) присвоить тип сбоя каждому не пройденному тесту. Примечание Изменить набор типов сбоя или добавить в него новые типы невозможно. Пример отчета о тренде, в котором отображаются сведения о результатах тестов, основанных на типах сбоя, см. в разделе Отчет "Анализ сбоя" в формате Excel.
Результат и идентификатор результата	Результат теста (например, Пройден, Не пройден или С неопределенным результатом). Пример отчета о тренде, в котором отображаются результаты планов тестирования и конфигураций тестов, см. в разделе Отчет "Ход выполнения плана тестирования".
Состояние готовности и идентификатор состояния готовности	Состояние определенного теста в тестовом запуске. Допустимые значения: Завершено, Выполняется, Нет, Не готово и Готово.
Состояние резолюции	(Необязательно) Имя разрешения, в которой тестировщик определил причину непрохождения теста. По умолчанию все шаблоны процессов MSF имеют следующие состояния резолюций: Требуется исследование, Неполадка теста, Неполадка продукта и Неполадка конфигурации. Команда по тестированию может (хотя это и не обязательно) присвоить состояние резолюции каждому не пройденному тесту. Примечание Можно изменять эти состояния или добавлять новые с помощью средства командной строки tcm.См. раздел Настройка и управление средой тестирования [tcm и Microsoft Test Manager].
Кем получен результат тестирования	Имя пользователя или другой учетной записи, под которой был выполнен тест. Пример отчета, в котором используется этот атрибут, см. в разделе Отчет "Производительность команды тестирования" в формате Excel.
Владелец результата тестирования	Имя пользователя или другой учетной записи, которая является владельцем результата теста. Назначение соответствует значению, которое установлено с помощью переключателя tcm /resultowner.
Приоритет результата тестирования	Приоритет конкретного теста в запуске теста.

Измерение "Тестовый запуск"

В следующей таблице описываются атрибуты, которые определены для измерения "Тестовый запуск". Многие из этих атрибутов соответствуют параметрам, которые команда по тестированию задает при запуске тестов.

Атрибут	Описание
Дата завершения, дата создания, иерархия дат начала по месяцам или неделям	Даты, когда тестовый запуск был создан, завершен или запущен. Эти атрибуты можно использовать для фильтрации или структуризации отчета. Для получения дополнительной информации см. Общие измерения в кубе служб Analysis Services.
Автоматический	Флаг, который указывает, что тестовый запуск содержит один или несколько автоматических тестов. Пример отчета, в котором используется этот атрибут, см. в разделе Отчет "Качество построения" в формате Excel.
Выполнение проверки сборки	Флаг, который указывает, что тестовый запуск содержит тесты проверки сборки, которые проверяют ее базовую функциональность. Этот флаг соответствует переключателю tcm /buildverification. Пример отчета, в котором используется этот атрибут, см. в разделе Отчет "Качество построения" в формате Excel.
Идентификатор тестового запуска	Номер, которые система присвоила тестовому запуску.
Владелец тестового запуска	Соответствует владельцу, который назначен тестовому запуску, созданному или опубликованному командой по тестированию. Соответствует переключателю tcm /owner.
Состояние и идентификатор тестового запуска	Имя или номер, присвоенные состоянию тестового запуска (например, Прервано, Завершено, Выполняется, Не запущено или Нет данных).
Название тестового запуска	Соответствует заголовку, присвоенному тестовому запуску, созданному или опубликованному командой по тестированию. Соответствует переключателю tcm /title.

Измерения "Рабочий элемент" и "Связанный рабочий элемент"

Можно связывать тестовые случаи с другими рабочими элементами, такими как пользовательские истории, требования и ошибки. С помощью измерения "Связанный рабочий элемент" можно создать отчет, который содержит результаты тестов, относящиеся к связанным рабочим элементам. Отчет о ходе выполнения тестирования пользовательских историй, описанный ранее в этом разделе, представляет собой пример использования связанного рабочего элемента.

Описание атрибутов см. в разделе Справочник по полям рабочих элементов для Visual Studio ALM.

Требуемые действия

Для создания отчетов, содержащих важные данные о ходе и результатах тестирования, членам команды следует просмотреть сведения, приведенные в следующих разделах:

• Выполнение тестов в процессе сборки

• Использование покрытия кода для определения объема протестированного кода

См. также

Основные понятия

Отчет "Ход выполнения плана тестирования"

Перспективы и группы мер, предоставляемые в кубе служб Analysis Services для Visual Studio

Другие ресурсы

Отчеты "Управление тестированием"