Просмотр результатов теста

  • Мақала

Azure DevOps Services | Azure DevOps Server 2022 — Azure DevOps Server 2019

Автоматические тесты можно настроить для запуска в рамках сборки или выпуска для различных языков. Тестовые отчеты обеспечивают эффективный и согласованный способ просмотра результатов тестов, выполняемых с помощью различных платформ тестирования, для измерения качества конвейера, проверки трассировки, устранения неполадок и владения сбоем диска. Кроме того, он предоставляет множество расширенных возможностей создания отчетов, рассмотренных в следующих разделах.

Вы также можете выполнить более глубокий анализ результатов теста с помощью службы аналитики. Пример использования с конвейерами сборки и развертывания см. в статье "Анализ результатов теста".

Ознакомьтесь с глоссарием, чтобы понять терминологию тестового отчета.

Опубликованные результаты теста можно просмотреть на вкладке "Тесты" в сводке по сборке или выпуску.

Результаты теста Surface на вкладке "Тесты"

Результаты теста можно просмотреть на вкладке "Тесты " с помощью одного из следующих параметров:

  • Автоматически выводить результаты теста. По умолчанию конвейер может автоматически выводить выходные данные теста для нескольких популярных тестовых модулей. Это делается путем анализа журналов ошибок, созданных во время операции сборки, а затем проверка подписей тестовых сбоев. В настоящее время Azure DevOps поддерживает следующие языки и тестовые средства выполнения для автоматического вывода результатов теста:

  • Тестовые задачи выполнения. Встроенные задачи выполнения тестов, такие как Visual Studio Test, которые автоматически публикуют результаты теста в конвейере или другие, такие как Ant, Maven, Gulp, Grunt и Xcode, которые предоставляют эту возможность в рамках задачи.

  • Публикация задачи "Результаты теста". Задача, которая публикует результаты тестирования в Azure Pipelines или TFS при выполнении тестов с помощью выбранного средства выполнения, а результаты доступны в любом из поддерживаемых форматов результатов теста.

  • API-интерфейсы. Результаты теста, опубликованные непосредственно с помощью API управления тестами.

Сведения о тестировании Surface за пределами вкладки "Тесты"

На вкладке " Тесты " представлена подробная сводка по выполнению теста. Это полезно для отслеживания качества конвейера, а также для устранения неполадок. Azure DevOps также предоставляет другие способы получения сведений о тестировании:

Просмотр результатов теста в сборке

Сводка по сборке предоставляет временная шкала представление ключевых шагов, выполняемых в сборке. Если тесты выполнялись и сообщались как часть сборки, в представлении временная шкала отображается веха теста. Веха теста содержит сводку результатов теста в качестве меры процента прохождения вместе с индикаторами сбоев и прерываний , если они существуют.

Просмотр теста в представлении сборки временная шкала

Просмотр результатов теста в выпуске

В представлении конвейера можно просмотреть все этапы и связанные тесты. Представление содержит сводку результатов теста в качестве меры процента передачи вместе с индикаторамисбоев и прерываний, если они существуют. Эти индикаторы аналогичны представлению временная шкала сборки, что дает согласованный интерфейс для сборки и выпуска.

Просмотр теста в представлении холста выпуска

Вкладка "Тесты"

Сводки сборки и выпуска содержат сведения о выполнении теста. Выберите "Сводка теста", чтобы просмотреть сведения на вкладке "Тесты ". Эта страница содержит следующие разделы

  • Сводка. Предоставляет ключевые количественные метрики для выполнения теста, например общее количество тестов, неудачные тесты, процент передачи и многое другое. Он также предоставляет разностные индикаторы изменений по сравнению с предыдущим выполнением.

  • Результаты: перечисляет все выполненные и сообщаемые тесты в рамках текущей сборки или выпуска. В представлении по умолчанию показаны только неудачные и прерванные тесты, чтобы сосредоточиться на тестах, требующих внимания. Однако вы можете выбрать другие результаты с помощью предоставленных фильтров.

  • Сведения: список тестов, которые можно сортировать, группировать, искать и фильтровать, чтобы найти нужные результаты теста.

Вкладка

Выберите любой тестовый запуск или результат, чтобы просмотреть область сведений, которая отображает дополнительные сведения, необходимые для устранения неполадок, таких как сообщение об ошибке, трассировка стека, вложения, рабочие элементы, исторические тенденции и многое другое.

Вкладка

Совет

Если вы используете задачу тестирования Visual Studio для выполнения тестов, выходные данные диагностики, записанные из тестов (с помощью любого из методов Console.WriteLine, Trace.WriteLine или TestContext.WriteLine), будут отображаться в виде вложения для неудачного теста.

Следующие возможности вкладки "Тесты" помогают повысить производительность и устранить неполадки.

Фильтрация результатов теста большого объема

С течением времени тесты начисляются и могут легко увеличиваться до десятков тысяч тестов. Для этих приложений с очень большим количеством тестов может быть трудно перейти к результатам для выявления сбоев тестов, связывания первопричин или получения владения проблемами. Фильтры упрощают быстрый переход к результатам теста, интересующим вас. Вы можете фильтровать по имени теста, результату (сбою, передаче и многому другому), файлам тестирования (в файлах с тестами ) и владельцу (для тестовых файлов). Все критерии фильтрации являются накопительными по природе.

Фильтрация большого набора результатов теста

Кроме того, с несколькими параметрами группирования, такими как тестовое выполнение, файл тестирования, приоритет, требование и многое другое, можно упорядочить представление результатов точно так же, как требуется.

Тестирование управления долгами с помощью ошибок

Чтобы управлять тестовый долг за неудачные или длительные тесты, можно создать ошибку или добавить данные в существующую ошибку и просмотреть все связанные рабочие элементы на вкладке рабочего элемента.

Иммерсивный интерфейс устранения неполадок

Сообщения об ошибках и трассировки стека являются длительными в природе и нуждаются в достаточном объеме недвижимости для просмотра сведений во время устранения неполадок. Чтобы обеспечить иммерсивное взаимодействие по устранению неполадок, представление сведений можно развернуть до полного представления страницы, пока не сможет выполнять необходимые операции в контексте, например создание ошибок или сопоставление требований для выбранного результата теста.

Представление панели полной страницы

Устранение неполадок данных для сбоя теста

Для тестовых сбоев сообщения об ошибках и трассировки стека доступны для устранения неполадок. Вы также можете просмотреть все вложения, связанные с сбоем теста на вкладке "Вложения ".

Тестирование управления долгами

Вы можете создать или добавить в существующую ошибку для управления проверкой задолженности за сбои или длительные тесты. Вкладка "Рабочие элементы" содержит сведения обо всех ошибках и требованиях, связанных с тестом, чтобы проанализировать влияние на требования, а также знать состояние и кто работает над ошибкой.

Журнал выполнения теста может обеспечить значимые аналитические сведения о надежности или производительности тестов. При устранении неполадок важно знать, как тест выполнялся в прошлом. Вкладка "Тесты" предоставляет журнал тестов в контексте результатов теста. Сведения журнала тестов предоставляются постепенно, начиная с текущего конвейера сборки в другие ветви, или текущий этап на другие этапы для сборки и выпуска соответственно.

Просмотр исторических тенденций

Просмотр выполнения выполняемых тестов

Тесты, такие как интеграция и функциональные тесты, могут выполняться в течение длительного времени. Поэтому важно видеть текущее или почти текущее состояние выполнения теста в режиме реального времени в любое время. Даже в случаях, когда тесты выполняются быстро, полезно знать состояние соответствующих результатов теста как можно раньше; особенно при возникновении сбоев. Во время выполнения представление устраняет необходимость ждать завершения выполнения теста. Результаты доступны почти в режиме реального времени по мере выполнения, помогая выполнять действия быстрее. Вы можете отлаживать сбой, файлить ошибку или прервать конвейер.

Представление выпуска в ходе выполнения

Примечание.

В настоящее время эта функция доступна как для сборки, так и для выпуска с помощью задачи Тестирования Visual Studio в задании с несколькими агентами. Он будет доступен для заданий одного агента в будущем выпуске.

В приведенном ниже представлении показана сводка по тесту на этапе выполнения в выпуске, сообщая общее количество тестов и количество сбоев тестов в определенный момент времени. Тестовые сбои доступны для устранения неполадок, создания ошибок или принятия других соответствующих действий.

Представление сводки хода выполнения

Просмотр сводных результатов теста

Во время выполнения теста тест может привести к возникновению нескольких экземпляров или тестов, которые способствуют общему результату. Ниже приведены некоторые примеры: тесты, которые выполняются повторно, тесты, состоящие из упорядоченного сочетания других тестов (упорядоченных тестов) или тестов с различными экземплярами на основе входного параметра (управляемые данными тесты).

Так как эти тесты связаны, они должны сообщаться вместе с общим результатом, производным от отдельных экземпляров или тестов. Эти результаты теста отображаются в виде сводного результата теста на вкладке "Тесты ":

  • Повторный запуск неудачных тестов: возможность повторного запуска неудачных тестов доступна в последней версии задачи Тестирования Visual Studio. Во время повторного запуска можно выполнить несколько попыток для неудачного теста, и каждая ошибка может иметь другую первопричину из-за недетерминированного поведения теста. Тестовые отчеты предоставляют объединенное представление для всех попыток повторного выполнения, а также общий результат теста в виде сводной единицы. Кроме того, API управления тестами теперь поддерживают возможность публикации и запроса итогов результатов теста.

    Повторное выполнение неудачных тестов

  • Тесты на основе данных: аналогично повторному запуску неудачных тестов, все итерации тестов на основе данных передаются в этом тесте в сводном представлении. Сводное представление также доступно для упорядоченных тестов (.orderedtest в Visual Studio).

    Тест на основе данных

Примечание.

Метрики в разделе сводки теста, такие как общее количество тестов, переданных, неудачных или других вычислений, вычисляются с использованием корневого уровня итогового результата теста.

Просмотр прерванных тестов

Выполнение теста может прерываться из-за нескольких причин, таких как неправильный код теста, ошибки в исходном тесте или проблемы с окружающей средой. Независимо от причины прерывания, важно иметь возможность диагностировать поведение и определить первопричину. Прерванные тесты и тестовые запуски можно просмотреть вместе с завершенными запусками на вкладке "Тесты ".

Просмотр остановленных тестов.

Примечание.

В настоящее время эта функция доступна как для сборки, так и для выпуска, используя задачу тестирования Visual Studio в задании нескольких агентов или публикации результатов теста с помощью API управления тестами. Он будет доступен для заданий одного агента в будущем выпуске.

Автоматически выведенные результаты теста

Azure DevOps может автоматически выводить выходные данные тестов, выполняемых в конвейерах для нескольких поддерживаемых платформ тестирования. Эти автоматически выведенные тестовые отчеты не требуют определенной конфигурации конвейеров и являются нулевым способом начать работу с помощью отчетов о тестах.

Пример автоматически выводимого тестового отчета

См. список средств выполнения, для которых результаты теста автоматически выводятся.

Поскольку в таких выводимых отчетах присутствуют только ограниченные метаданные теста, они ограничены функциями и возможностями. Следующие функции недоступны для выводимых тестовых отчетов:

  • Группируйте результаты теста по файлу теста, владельцу, приоритету и другим полям
  • Поиск и фильтрация результатов теста
  • Проверка сведений о переданных тестах
  • Предварительный просмотр всех вложений, созданных во время тестов в самом веб-пользовательском интерфейсе
  • Связывание тестового сбоя с новой ошибкой или список связанных рабочих элементов для этого сбоя
  • См. аналитику сборки для тестирования в Конвейерах

Примечание.

Некоторые бегуники, такие как Mocha, имеют несколько встроенных репортеров консоли, таких как dot-matrix и индикатор выполнения. Если вы настроили выходные данные консоли, отличные от по умолчанию для тестового запуска, или вы используете настраиваемый репортер, Azure DevOps не сможет вывести результаты теста. Он может выводить только результаты от репортера по умолчанию .

Справка и поддержка