Что такое Azure Test Plans?

Сервисы Azure DevOps | Azure DevOps Server | Azure DevOps Server 2022

Планы тестирования Azure предлагают мощные средства для обеспечения качества и совместной работы в процессе разработки. Это решение для управления тестами на основе браузера поддерживает запланированное ручное тестирование, приемочное тестирование пользователей, исследование и отзывы заинтересованных лиц.

Примечание.

Эта статья относится к Azure DevOps Services и Azure DevOps Server 2020 и более поздним версиям. Большая часть информации допустима для более ранних локальных версий, однако изображения отображают только примеры последней версии. Кроме того, пользовательский интерфейс значительно изменился с выпуском Azure DevOps Server 2020. Общие сведения о новом интерфейсе и поддерживаемых возможностях см. в разделе "Навигация по планам тестирования".

Как работают планы тестирования Azure?

С помощью сочетания средств на основе браузера— планов тестирования, отчета о ходе выполнения, параметров, конфигураций, запусков и средств тестирования, а также функций интеграции DevOps, планы тестирования Azure поддерживают следующие задачи тестирования:

• Выполнение ручного и исследовательского тестирования:

  • Упорядочение планового ручного тестирования: Назначьте тестировщиков и руководителей тестирования для организации тестов в планы тестирования и наборы тестов.
  • Проводите тестирование принятия пользователей: назначьте тестировщиков принятия пользователей, чтобы убедиться, что доставленное значение соответствует требованиям клиента, повторное использование тестовых артефактов, созданных инженерными командами.
  • Выполнение исследовательского тестирования: разработчики, тестировщики, команды UX, владельцы продуктов и другие пользователи изучают программные системы без использования планов тестирования или наборов тестов.
  • Сбор отзывов заинтересованных лиц: привлечение заинтересованных лиц за пределами команды разработчиков, таких как пользователи из отдела маркетинга и продаж, для проведения тестирования.

• Автоматизация тестирования. Интеграция планов тестирования Azure с Azure Pipelines для поддержки тестирования в CI/CD. Связывание планов тестирования и тестовых вариантов с конвейерами сборки или выпуска. Добавьте задачи конвейера для записи и публикации результатов теста. Просмотрите результаты теста с помощью встроенных отчетов о ходе выполнения и отчетов о тестировании конвейера.

• Обеспечение трассировки: связывание тестовых вариантов и наборов тестов с пользовательскими историями, функциями или требованиями к сквозной трассировки. Автоматически свяжите тесты и дефекты с требованиями и сборками, которые тестируются. Добавьте и запустите тесты из доски или используйте центр планов тестирования для более крупных команд. Отслеживайте тестирование требований с результатами pipeline и виджетом "Требования".

• Отслеживание отчетов и анализа: отслеживайте результаты тестирования и ход выполнения с помощью настраиваемых диаграмм отслеживания, мини-приложений для конкретных тестов для панелей мониторинга и встроенных отчетов, таких как отчеты о ходе выполнения, отчеты о результатах конвейера и служба аналитики.

Примечание.

Нагрузочное и производительное тестирование: Хотя облачная служба нагрузочного тестирования Azure DevOps устарела, доступно нагрузочное тестирование Azure. Нагрузочное тестирование Azure — это полностью управляемая служба нагрузочного тестирования, которая позволяет использовать существующие скрипты Apache JMeter для создания высокомасштабируемой нагрузки. Дополнительные сведения см. в статье Что такое Нагрузочное тестирование Azure. Дополнительные сведения об отмене нагрузочного тестирования Azure DevOps см. в статье Об изменениях функциональных возможностей нагрузочных тестов в Visual Studio и облачном нагрузочном тестировании в Azure DevOps.

Ключевые преимущества

Планы тестирования Azure предоставляют команды разработки программного обеспечения следующими преимуществами.

• Тестирование на любой платформе: с помощью веб-портала "Планы тестирования" можно использовать любой поддерживаемый браузер для доступа ко всем возможностям тестирования вручную. Он позволяет создавать и запускать тесты вручную с помощью удобного интерфейса на основе браузера, к которому пользователи могут обращаться со всех основных браузеров на любой платформе.

• Сбор расширенных диагностических данных: Используйте веб-средство запуска тестов для сбора диагностических данных во время ручного тестирования, включая снимки экрана, журналы действий с изображениями и видеозаписи экрана. Azure Test Plans автоматически добавляет захваченные данные в отчеты об ошибках, которые вы создаете во время тестирования, что помогает разработчикам воспроизвести проблемы.

• Сквозная трассировка: Azure DevOps обеспечивает сквозную трассировку ваших требований, построений, тестов и ошибок с помощью связывания рабочих элементов с другими объектами. Пользователи могут отслеживать качество требований с карточек на доске. Ошибки, созданные при тестировании, автоматически связаны с требованиями и сборками, что помогает отслеживать качество требований или сборок.

• Интегрированная аналитика: служба аналитики предоставляет данные для встроенных отчетов, настраиваемых виджетов панели мониторинга и индивидуализируемых отчетов с помощью Power BI. Данные отслеживают ход выполнения плана тестирования и тенденции для ручных и автоматических тестов. Аналитика тестирования обеспечивает почти в режиме реального времени видимость тестовых данных для версий и релизов. Команды могут использовать эти данные для улучшения тестовых материалов и поддержания здоровых конвейеров.

• Расширяемая платформа. Вы можете объединить инструменты и технологии, которые вам уже известны, с инструментами разработки, которые лучше всего подходят для интеграции с Azure DevOps и расширения. Используйте интерфейсы REST API и модель вклада, доступную для платформы тестирования, для создания расширений, которые предоставляют необходимый интерфейс для жизненного цикла управления тестами.

Поддерживаемые сценарии и требования к доступу

Доступ к функциям веб-портала Azure DevOps управляется с помощью уровней доступа, назначенных пользователям. Тремя основными уровнями доступа являются Уровень "Заинтересованное лицо", "Базовый", и "Базовый+Тест", как описано в разделе "Об уровнях доступа". В следующей таблице указывается уровень доступа, необходимый для выполнения связанных задач с планами тестирования Azure. Помимо уровней доступа, для выбора функций требуются разрешения для выполнения. Для получения дополнительных сведений см. раздел «Доступ и разрешения для тестирования: Руководство».

Сценарий и задачи

Заинтересованная сторона

Базовая

Базовые +тестовые планы

---

Планирование тестирования

• Создание планов тестирования и наборов тестов
• Управление параметрами запуска плана тестирования
• Управление конфигурациями

✔️

Тестирование выполнения

• Выполнение тестов на любой платформе (Windows, Linux, Mac) с помощью средства запуска тестов

✔️

✔️

Выполнение исследовательского тестирования с помощью расширения "Тест и обратная связь"

✔️

✔️

✔️

Анализ и проверка тестов

• Создание диаграмм с различными сводными данными, такими как приоритет, конфигурация и т. д., для отслеживания хода выполнения теста
• Обзор результатов теста
• Экспорт планов тестирования и наборов тестов для проверки
• Тестирование принятия пользователем— назначение тестов и приглашение по электронной почте

✔️

✔️

Произвольное и ручное тестирование

Для поддержки ручного и исследовательского тестирования планы тестирования Azure используют типы рабочих элементов для планирования и создания тестов. Кроме того, он предоставляет два средства тестирования для поддержки выполнения тестов. Центры тестов, параметров и конфигураций предоставляют средства для эффективного создания элементов тестирования, их параметров и конфигураций и управления ими. Наборы тестов могут быть динамическими — наборами на основе требований и наборами на основе запросов, чтобы помочь вам понять качество связанных требований в процессе разработки или статические, чтобы помочь вам охватывать тесты регрессии.

Типы рабочих элементов для конкретных тестов

Типы рабочих элементов — планы тестирования, наборы тестов, тестовые варианты, общие действия и общие параметры — поддерживают несколько явных ссылок на отслеживание требований и совместное использование шагов тестирования и данных во многих тестовых случаях. Тестовые случаи можно назначать вручную или автоматически. Описание каждого из этих элементов теста см. в разделе "Тестовые объекты и термины".

В Azure DevOps связь между результатом теста, выполнением теста и тестовый случай можно понять следующим образом:

• Тестовый случай: конкретный сценарий или набор шагов, предназначенных для проверки определенной функции или функциональности.
• Тестовое выполнение: экземпляр, в котором выполняются один или несколько тестовых вариантов. Каждый тестовый запуск может включать несколько тестовых вариантов.
• Результат теста: результат выполнения теста. Каждый тестовый случай в тестовом прогоне имеет собственный результат теста, указывающий, прошел он или не прошел.

Примечание.

С помощью Azure DevOps Server 2020 и более поздних версий можно выполнять автоматические тесты, добавляя тестовые задачи в конвейеры. Определение планов тестирования, тестовых вариантов и наборов тестов не требуется при использовании тестовых задач.

Определение планов тестирования и наборов тестов

Вы создаете и управляете планами тестирования и наборами тестов из центра планов тестирования. Добавьте один или несколько наборов тестов ( статические, на основе требований или запросы) в планы тестирования. Экспортируйте и делитесь планами тестирования и наборами тестов с вашими командами. Чтобы узнать как, см. создавать тестовые планы и наборы тестов, копировать или клонировать тестовые планы, наборы тестов и тест-кейсы.

Автор проводит тестирование с помощью тестовых случаев

Вы определяете тестовые случаи вручную, определяя этапы тестирования и при необходимости тестовые данные для ссылки. Наборы тестов состоят из одного или нескольких тестовых вариантов. Вы можете делиться тестовыми случаями внутри наборов тестов. Представление в виде сетки для определения тестовых сценариев поддерживает операции копирования, вставки, добавления и удаления. Быстрое назначение одного или нескольких тестировщиков для выполнения тестов. Просмотрите результаты теста и ссылки на тестовый случай в наборах тестов. Сведения о том, как это сделать, см. в статье "Создание тестовых вариантов".

В каждом тестовом случае можно указать набор шагов тестирования с ожидаемыми результатами. При необходимости можно добавить общие шаги или общие параметры. Для трассировки можно связать тестовые случаи с пользовательскими историями, функциями или ошибками, которые они тестируют.

Управление общими параметрами

Используйте концентратор параметров для определения параметров, совместно используемых в тестовых случаях и управления ими. Общие параметры обеспечивают поддержку повторения ручных тестов несколько раз с различными данными теста. Например, если пользователи могут добавлять в корзину разные объемы продукта, необходимо проверить, работает ли количество 200 и количество 1.

Управление конфигурациями тестов и переменными

С помощью центра конфигураций команды могут определять, проверять и управлять конфигурациями тестов и переменными, на которые ссылаются планы тестирования. Конфигурации тестов обеспечивают поддержку тестирования приложений в различных операционных системах, веб-браузерах и версиях. Как и в случае с общими параметрами, конфигурации тестов можно совместно использовать в нескольких планах тестирования.

Выполнение тестов и инструменты тестирования

С помощью следующих средств разработчики, тестировщики и заинтересованные лица могут инициировать тесты и записывать богатые данные при выполнении тестов и автоматически регистрировать дефекты кода, связанные с тестами. Протестируйте приложение, выполнив тесты в классических приложениях или веб-приложениях.

• Средство запуска тестов: средство на основе браузера, которое вы запускаете из центра планов тестирования для выполнения ручных тестов для веб-приложений и классических приложений. Test Runner поддерживает снимки экрана, журналы действий с изображениями и записи экрана. Вы также можете создавать ошибки и записывать результаты теста.
• Расширение "Тестирование и обратная связь": бесплатное расширение для Chrome и Microsoft Edge, которое поддерживает исследовательское тестирование. Расширение фиксирует взаимодействие с приложением с помощью изображений, видео и типизированных комментариев. Azure DevOps хранит сведения в рабочем элементе ответа на отзывы, чтобы отслеживать данные ответа.

Возможность выполнения тестов

Следующие задачи можно выполнить с помощью указанных средств.

Задача	Центр планов тестирования	Запуск тестов	Расширение Test & Feedback
Массовые тесты пометок	✔️
Выполнение тестов или этапов тестирования с результатами успешно или неуспешно		✔️	✔️
Встроенные изменения тестов во время выполнения		✔️	✔️
Приостановка и возобновление тестов		✔️	✔️
Ошибки файлов во время выполнения теста		✔️	✔️
Снимки экрана, журнал действий с изображениями и запись экрана в ходе выполнения теста.		✔️	✔️
Обновление существующих ошибок во время выполнения теста		✔️	✔️
Проверка ошибок		✔️	✔️
Назначьте сборку для тестового запуска	✔️
Назначение параметров теста	✔️
Просмотр тестовых запусков	✔️

Выполнение тестов

На вкладке "Тестовые планы" участники команды могут инициировать выполнение теста для одного или нескольких тестовых случаев, определенных для набора тестов. Варианты включают запуск Test Runner для веб-приложения или настольного приложения. При необходимости члены команды могут выбрать "Выполнить" с параметрами , чтобы выбрать другие поддерживаемые клиенты для ручного тестирования или выбрать сборку для автоматического тестирования. Дополнительные сведения см. в разделе "Запуск ручных тестов".

Запуск тестов

Тестирующая утилита выполняет тесты для ваших веб- и настольных приложений. Пометьте тестовые шаги и результаты теста как успешные или неудачные, а также соберите диагностические данные, такие как системная информация, журналы действий с изображениями, записи экрана и снимки экрана при тестировании. Ошибки, поданные во время тестов, автоматически включают все захваченные диагностические данные, чтобы помочь разработчикам воспроизвести проблемы. Дополнительные сведения см. в разделе "Запуск тестов для веб-приложений " и "Запуск тестов для классических приложений".

Приемочное тестирование пользователями

Пользовательское приемочное тестирование (UAT) помогает командам обеспечивать выполнение запросов клиентов. Вы можете создать планы и наборы тестов UAT, пригласить нескольких тестировщиков для выполнения этих тестов, а также отслеживать ход тестирования и результаты с помощью упрощенных диаграмм. Сведения о том, как можно узнать, см. в разделе "Проверка принятия пользователем".

Использование расширения Test и Feedback для исследовательского тестирования

Расширение Test & Feedback — это простое расширение на основе браузера, с помощью который можно тестировать веб-приложения в любое время и в любом месте, и достаточно просто для всех пользователей в команде. Это помогает повысить производительность, позволяя тратить больше времени на поиск проблем и меньше времени их подачи.

Снимок экрана расширения Test & Feedback, на котором показаны рабочий элемент и его критерии приемки.

Отзывы заинтересованных лиц

Вы должны обратиться за отзывом заинтересованных лиц за пределами команды разработчиков, таких как маркетинг и отделы продаж, что жизненно важно для разработки хорошего качества программного обеспечения. Разработчики могут запросить отзывы о своих пользовательских историях и функциях. Заинтересованные лица могут отвечать на запросы отзывов с помощью расширения тестов и отзывов на основе браузера — не только для оценки и отправки комментариев, но и путем записи расширенных диагностических данных и отправки ошибок и задач напрямую. Дополнительные сведения см. в разделах Запрос отзывов заинтересованных лиц и Предоставление отзывов заинтересованных лиц.

Автоматическое тестирование

Автоматическое тестирование упрощается путем выполнения тестов в Azure Pipelines. Аналитика тестирования предоставляет возможность почти в реальном времени просматривать тестовые данные для сборок и выпусков. Это помогает повысить эффективность процесса, выявляя повторяющиеся проблемы с существенным влиянием на качество.

Планы тестирования Azure поддерживают автоматическое тестирование следующим образом:

• Связывание планов тестирования или тестовых вариантов с конвейерами сборки или выпуска

• Укажите задачи для тестирования в определении конвейера. Azure Pipelines предоставляет несколько задач, в том числе следующие задачи, обеспечивающие полноценные отчеты и аналитические возможности.

  • Публикация задачи "Результаты теста" — публикация результатов теста в Azure Pipelines.
  • Задача тестирования Visual Studio: используйте для выполнения модульных и функциональных тестов (Selenium, Appium, закодированного теста пользовательского интерфейса и многое другое) с помощью средства запуска тестов Visual Studio.
  • Задача CLI .NET Core: используется для сборки, тестирования, упаковки или публикации приложения dotnet.

  Дополнительные задачи см. в разделе "Публикация результатов теста"

• Предоставьте встроенные отчеты и настраиваемые мини-приложения панели мониторинга для отображения результатов тестирования конвейера.

• Соберите результаты теста и связанные данные теста в службу Аналитики.

Возможность трассировки

Планы тестирования Azure поддерживают связывание ошибок и требований к тестовых случаям и наборам тестов. Кроме того, на следующем веб-портале средства, связанные с тестированием, поддерживают трассировку:

• Просмотр элементов, связанных с тестовым случаем: просматривайте планы тестирования, наборы тестов, требования и ошибки, на которые ссылается тестовый случай..
• Добавьте и запустите тесты из доски: функция Azure Boards, которая поддерживает определение тестовых вариантов из пользовательских историй, функций или ошибок из доски. Кроме того, можно запустить средство запуска тестов или расширение "Тест и обратная связь", чтобы выполнить тесты или выполнить исследование.
• Мини-приложение качества требований: настраиваемое мини-приложение, используемое для непрерывного отслеживания качества из конвейера сборки или выпуска. Мини-приложение показывает сопоставление между требованием и последними результатами теста, выполненными в отношении этого требования. Он предоставляет понимание трассируемости требований. Например, требования не соответствуют качеству, требованиям, не протестированным и т. д.

Просмотр элементов, связанных с тестовым случаем

В узле планов тестирования можно просмотреть и открыть наборы тестов, требования и ошибки, связанные с тестовым случаем. На вкладке "Наборы тестов" также указываются тестовые планы и проекты, ссылающиеся на тестовый случай. На вкладке "Требования" перечислены рабочие элементы, связанные с тестовый случай, принадлежащий категории требований. Кроме того, можно создать запрос прямых ссылок, который перечисляет элементы, ссылающиеся на тестовые случаи через тип ссылки Tests/Tested by. Дополнительные сведения см. в статье "Создание тестовых вариантов" и использование прямых ссылок для просмотра зависимостей.

Добавление и запуск тестов с доски

На досках Azure Boards можно добавлять тесты из истории пользователя или функции, автоматически связывая тестовый случай с историей пользователя или функцией. Вы можете просматривать, запускать и взаимодействовать с тестовыми случаями непосредственно на доске и в процессе отслеживать прогресс непосредственно на карточке. Дополнительные сведения см. в разделе "Добавление, запуск и обновление встроенных тестов".

Мини-приложение "Требования качества"

Мини-приложение "Качество требований" отображает список всех требований в области, а также частоту прохождения тестов и количество неудачных тестов. При выборе количества непрошедших тестов откроется вкладка "Тесты для выбранной сборки или релиза. Мини-приложение также помогает отслеживать требования без связанных тестов. Дополнительные сведения см. в разделе Трассируемость требований.

Отчеты и анализ

Для поддержки отчетности и анализа Azure Test Plans поддерживает диаграммы отслеживания тестов, концентратор запусков тестов, несколько встроенных отчетов о тестах конвейера, виджеты панели мониторинга и тестовые данные, которые хранятся в службе аналитики.

• Настраиваемые тестовые диаграммы: вы можете получить представление о создании и выполнении плана тестирования, создав тестовые диаграммы отслеживания.
• Отчет о ходе выполнения. Отслеживание хода выполнения одного или тестового плана или наборов тестов.
• Тестовые запуски. Просмотрите результаты выполнения ручного и автоматического тестирования.
• Мини-приложения панели мониторинга: настраиваемые мини-приложения, отображающие результаты теста на основе выбранных сборок или выпусков. Виджеты включают виджет состояния развертывания и виджет "Тренд результатов тестов (расширенный)".
• Анализ тестов: вы получите подробные сведения из встроенных отчетов конвейера или создадите пользовательские отчеты путем отправки запросов к службе Аналитики.

Настраиваемые тестовые диаграммы

Быстро настройте упрощенные диаграммы для отслеживания результатов ручного теста с помощью выбранного типа диаграммы и закрепления диаграмм на панели мониторинга, чтобы легко проанализировать эти результаты. Выберите политику хранения, чтобы контролировать срок хранения результатов ручного тестирования. Дополнительные сведения см. в разделе "Отслеживание состояния теста".

Отчеты о ходе выполнения

С помощью центра отчетов "Ход выполнения" команды могут отслеживать ход выполнения нескольких тестового плана или набора тестов. Этот отчет помогает ответить на следующие вопросы:

• Сколько тестов завершено?
• Сколько тестов прошло, завершилось сбоем или заблокировано?
• Скорее всего, тестирование завершится вовремя?
• Что такое ежедневный показатель выполнения?
• Какие тестовые области требуют внимания?

Пробные запуски

В Центре тестового запуска отображаются вручную и автоматические запуски тестов. Используйте его для поиска и фильтрации запусков, проверки сводок и аналитики, проверки отдельных результатов теста, предварительного просмотра вложений и связывания результатов с рабочими элементами.

Актуальные снимки экрана и подробные инструкции см. в статье Управление тестовыми запусками в планах тестирования Azure DevOps.

Состояния развертывания

Настраиваемое мини-приложение «Состояние развертывания» показывает объединенное представление о состоянии развертывания и проценте прохождения тестов в нескольких средах для последней серии сборок. Вы настраиваете мини-приложение, указав конвейер сборки, ветку и связанные конвейеры релизов. Чтобы просмотреть сводку тестов для нескольких сред в релизе, виджет предоставляет матричное представление каждой среды и соответствующий уровень прохождения тестов.

Наведите указатель мыши на любую сводку сборки, и вы можете просмотреть дополнительные сведения, в частности количество пройденных и неудачных тестов.

Тенденция результатов теста (дополнительно)

Мини-приложение "Тенденция результатов теста" (Дополнительно) обеспечивает практически в реальном времени видимость тестовых данных для нескольких сборок и выпусков. Мини-приложение показывает тенденцию результатов теста для выбранных конвейеров. Его можно использовать для отслеживания ежедневного количества тестов, процента успешных тестов и длительности тестирования. Отслеживание качества теста с течением времени и улучшение тестового обеспечения является ключом к поддержанию работоспособного конвейера DevOps. Мини-приложение поддерживает отслеживание расширенных метрик для одного или нескольких конвейеров сборки или конвейеров выпуска. Мини-приложение также позволяет фильтровать результаты теста по исходам, группировать метрики и выполнять другие действия. Для получения дополнительной информации см. в разделе «Настройка мини-приложения "Тенденция результатов теста" (расширенное)».

Аналитика тестов

Встроенные тесты и поддерживаемые тестами мини-приложения получают свои данные из службы Аналитики. Служба аналитики — это платформа отчетов для Azure DevOps и поддерживает вкладку "Аналитика и тесты" и отчеты детализации, доступные в центре Pipelines. Отчет по сбоям тестов содержит сводку по успешно пройденным и провалившимся тестам. Дополнительные сведения см. в разделе "Анализ тестов".

Кроме того, можно создавать пользовательские отчеты, запрашивая службу Аналитики. Дополнительные сведения см. в разделе "Обзор примеров отчетов с помощью запросов OData".

Следующие шаги

Тестирование объектов и терминов

Связанный контент

• Навигация по планам тестирования
• Копирование или клонирование планов тестирования, наборов тестов и тестовых вариантов
• Связывание автоматических тестов с тестовыми случаями
• О запросе и предоставлении отзывов
• Общие сведения об интеграции и совместной работе между службами
• Сведения о тестах конвейера

Дополнительные ресурсы

• Модульное тестирование
• Основные сведения о модульных тестах
• Модульное тестирование устойчивых функций
• Что такое Нагрузочное тестирование Azure?