Что такое Azure Test Plans?

Azure DevOps Services | Azure DevOps Server 2022 — Azure DevOps Server 2019

Планы тестирования Azure предлагают мощные средства для обеспечения качества и совместной работы в процессе разработки. Это решение для управления тестами на основе браузера поддерживает запланированное ручное тестирование, приемочное тестирование пользователей, исследование и отзывы заинтересованных лиц.

Примечание.

Эта статья относится к Azure DevOps Services и Azure DevOps Server 2020 и более поздним версиям. Большая часть информации допустима для более ранних локальных версий, однако изображения отображают только примеры последней версии. Кроме того, пользовательский интерфейс значительно изменился с выпуском Azure DevOps Server 2020. Общие сведения о новом интерфейсе и поддерживаемых возможностях см. в разделе "Навигация по планам тестирования".

Как работают планы тестирования Azure?

С помощью сочетания средств на основе браузера— планов тестирования, отчета о ходе выполнения, параметров, конфигураций, запусков и средств тестирования, а также функций интеграции DevOps, планы тестирования Azure поддерживают следующие задачи тестирования:

• Выполнение ручного и исследовательского тестирования:

  • Упорядочение планового ручного тестирования: Назначьте тестировщиков и руководителей тестирования для организации тестов в планы тестирования и наборы тестов.
  • Проводите тестирование принятия пользователей: назначьте тестировщиков принятия пользователей, чтобы убедиться, что доставленное значение соответствует требованиям клиента, повторное использование тестовых артефактов, созданных инженерными командами.
  • Выполнение исследовательского тестирования: разработчики, тестировщики, команды UX, владельцы продуктов и другие пользователи изучают программные системы без использования планов тестирования или наборов тестов.
  • Сбор отзывов заинтересованных лиц: привлечение заинтересованных лиц за пределами команды разработчиков, таких как пользователи из отдела маркетинга и продаж, для проведения тестирования.

• Автоматизация тестирования. Интеграция планов тестирования Azure с Azure Pipelines для поддержки тестирования в CI/CD. Связывание планов тестирования и тестовых вариантов с конвейерами сборки или выпуска. Добавьте задачи конвейера для записи и публикации результатов теста. Просмотрите результаты теста с помощью встроенных отчетов о ходе выполнения и отчетов о тестировании конвейера.

• Обеспечение трассировки: связывание тестовых вариантов и наборов тестов с пользовательскими историями, функциями или требованиями к сквозной трассировки. Автоматически свяжите тесты и дефекты с требованиями и сборками, которые тестируются. Добавьте и запустите тесты из доски или используйте центр планов тестирования для более крупных команд. Отслеживайте тестирование требований с результатами pipeline и виджетом "Требования".

• Отслеживание отчетов и анализа: отслеживайте результаты тестирования и ход выполнения с помощью настраиваемых диаграмм отслеживания, мини-приложений для конкретных тестов для панелей мониторинга и встроенных отчетов, таких как отчеты о ходе выполнения, отчеты о результатах конвейера и служба аналитики.

Примечание.

Нагрузочное и производительное тестирование: Хотя облачная служба нагрузочного тестирования Azure DevOps устарела, доступно нагрузочное тестирование Azure. Нагрузочное тестирование Azure — это полностью управляемая служба нагрузочного тестирования, которая позволяет использовать существующие скрипты Apache JMeter для создания высокомасштабируемой нагрузки. Дополнительные сведения см. в статье Что такое Нагрузочное тестирование Azure. Дополнительные сведения об отмене нагрузочного тестирования Azure DevOps см. в статье Об изменениях функциональных возможностей нагрузочных тестов в Visual Studio и облачном нагрузочном тестировании в Azure DevOps.

Ключевые преимущества

Планы тестирования Azure предоставляют команды разработки программного обеспечения следующими преимуществами.

• Тестирование на любой платформе: с помощью веб-портала "Планы тестирования" можно использовать любой поддерживаемый браузер для доступа ко всем возможностям тестирования вручную. Он позволяет создавать и запускать тесты вручную с помощью удобного интерфейса на основе браузера, к которому пользователи могут обращаться со всех основных браузеров на любой платформе.

• Сбор расширенных диагностических данных: С использованием веб-интерфейса Test Runner и клиента Test Runner можно собирать подробные диагностические данные во время выполнения ручных тестов. Эти данные включают снимки экрана, журнал действий с изображениями, записи экрана, покрытие кода, трассировки IntelliTrace и данные о влиянии на тесты для ваших тестируемых приложений. Эти данные автоматически включаются во все ошибки, создаваемые во время тестирования, что упрощает воспроизведение проблем разработчиками.

• Сквозная трассировка: Azure DevOps обеспечивает сквозную трассировку ваших требований, построений, тестов и ошибок с помощью связывания рабочих элементов с другими объектами. Пользователи могут отслеживать качество требований с карточек на доске. Ошибки, созданные при тестировании, автоматически связаны с требованиями и сборками, что помогает отслеживать качество требований или сборок.

• Интегрированная аналитика: служба аналитики предоставляет данные для встроенных отчетов, настраиваемых виджетов панели мониторинга и индивидуализируемых отчетов с помощью Power BI. Данные отслеживают ход выполнения плана тестирования и тенденции для ручных и автоматических тестов. Аналитика тестирования обеспечивает почти в режиме реального времени видимость тестовых данных для версий и релизов. Команды могут использовать эти данные для улучшения тестовых материалов и поддержания здоровых конвейеров.

• Расширяемая платформа. Вы можете объединить инструменты и технологии, которые вам уже известны, с инструментами разработки, которые лучше всего подходят для интеграции с Azure DevOps и расширения. Используйте интерфейсы REST API и модель вклада, доступную для платформы тестирования, для создания расширений, которые предоставляют необходимый интерфейс для жизненного цикла управления тестами.

Поддерживаемые сценарии и требования к доступу

Доступ к функциям веб-портала Azure DevOps управляется с помощью уровней доступа, назначенных пользователям. Тремя основными уровнями доступа являются Уровень "Заинтересованное лицо", "Базовый", и "Базовый+Тест", как описано в разделе "Об уровнях доступа". В следующей таблице указывается уровень доступа, необходимый для выполнения связанных задач с планами тестирования Azure. Помимо уровней доступа, для выбора функций требуются разрешения для выполнения. Для получения дополнительных сведений см. раздел «Доступ и разрешения для тестирования: Руководство».

Сценарий и задачи

Заинтересованная сторона

Базовая

Базовые +тестовые планы

---

Планирование тестирования

• Создание планов тестирования и наборов тестов
• Управление параметрами запуска плана тестирования
• Управление конфигурациями

✔️

Тестирование выполнения

• Выполнение тестов на любой платформе (Windows, Linux, Mac) с помощью средства запуска тестов

✔️

✔️

Выполнение исследовательского тестирования с помощью расширения "Тест и обратная связь"

✔️

✔️

✔️

Анализ и проверка тестов

• Создание диаграмм с различными сводными данными, такими как приоритет, конфигурация и т. д., для отслеживания хода выполнения теста
• Обзор результатов теста
• Экспорт планов тестирования и наборов тестов для проверки
• Тестирование принятия пользователем— назначение тестов и приглашение по электронной почте

✔️

✔️

Произвольное и ручное тестирование

Для поддержки ручного и исследовательского тестирования планы тестирования Azure используют типы рабочих элементов для планирования и создания тестов. Кроме того, он предоставляет два средства тестирования для поддержки выполнения тестов. Центры тестов, параметров и конфигураций предоставляют средства для эффективного создания элементов тестирования, их параметров и конфигураций и управления ими. Наборы тестов могут быть динамическими — наборами на основе требований и наборами на основе запросов, чтобы помочь вам понять качество связанных требований в процессе разработки или статические, чтобы помочь вам охватывать тесты регрессии.

Типы рабочих элементов для конкретных тестов

Типы рабочих элементов — планы тестирования, наборы тестов, тестовые варианты, общие действия и общие параметры — поддерживают несколько явных ссылок на отслеживание требований и совместное использование шагов тестирования и данных во многих тестовых случаях. Тестовые случаи можно назначать вручную или автоматически. Описание каждого из этих элементов теста см. в разделе "Тестовые объекты и термины".

В Azure DevOps связь между результатом теста, выполнением теста и тестовый случай можно понять следующим образом:

• Тестовый случай: конкретный сценарий или набор шагов, предназначенных для проверки определенной функции или функциональности.
• Тестовое выполнение: экземпляр, в котором выполняются один или несколько тестовых вариантов. Каждый тестовый запуск может включать несколько тестовых вариантов.
• Результат теста: результат выполнения теста. Каждый тестовый случай в тестовом прогоне имеет собственный результат теста, указывающий, прошел он или не прошел.

Примечание.

С помощью Azure DevOps Server 2020 и более поздних версий можно выполнять автоматические тесты, добавляя тестовые задачи в конвейеры. Определение планов тестирования, тестовых вариантов и наборов тестов не требуется при использовании тестовых задач.

Определение планов тестирования и наборов тестов

Вы создаете и управляете планами тестирования и наборами тестов из центра планов тестирования. Добавьте один или несколько наборов тестов ( статические, на основе требований или запросы) в планы тестирования. Экспортируйте и делитесь планами тестирования и наборами тестов с вашими командами. Чтобы узнать как, см. создавать тестовые планы и наборы тестов, копировать или клонировать тестовые планы, наборы тестов и тест-кейсы.

Автор проводит тестирование с помощью тестовых случаев

Вы определяете тестовые случаи вручную, определяя этапы тестирования и при необходимости тестовые данные для ссылки. Наборы тестов состоят из одного или нескольких тестовых вариантов. Вы можете делиться тестовыми случаями внутри наборов тестов. Представление в виде сетки для определения тестовых сценариев поддерживает операции копирования, вставки, добавления и удаления. Быстрое назначение одного или нескольких тестировщиков для выполнения тестов. Просмотрите результаты теста и ссылки на тестовый случай в наборах тестов. Сведения о том, как это сделать, см. в статье "Создание тестовых вариантов".

В каждом тестовом случае можно указать набор шагов тестирования с ожидаемыми результатами. При необходимости можно добавить общие шаги или общие параметры. Для трассировки можно связать тестовые случаи с пользовательскими историями, функциями или ошибками, которые они тестируют.

Управление общими параметрами

Используйте концентратор параметров для определения параметров, совместно используемых в тестовых случаях и управления ими. Общие параметры обеспечивают поддержку повторения ручных тестов несколько раз с различными данными теста. Например, если пользователи могут добавлять в корзину разные объемы продукта, необходимо проверить, работает ли количество 200 и количество 1.

Управление конфигурациями тестов и переменными

С помощью центра конфигураций команды могут определять, проверять и управлять конфигурациями тестов и переменными, на которые ссылаются планы тестирования. Конфигурации тестов обеспечивают поддержку тестирования приложений в различных операционных системах, веб-браузерах и версиях. Как и в случае с общими параметрами, конфигурации тестов можно совместно использовать в нескольких планах тестирования.

Выполнение тестов и инструменты тестирования

С помощью следующих средств разработчики, тестировщики и заинтересованные лица могут инициировать тесты и записывать богатые данные при выполнении тестов и автоматически регистрировать дефекты кода, связанные с тестами. Протестируйте приложение, выполнив тесты в классических приложениях или веб-приложениях.

• Тестирующее средство: инструмент на основе браузера для тестирования веб-приложений и настольная версия клиента для тестирования настольных приложений, запускаемых из Центра планов тестирования для выполнения ручных тестов. Средство выполнения тестов поддерживает широкие возможности сбора данных при проведении тестов, такие как журнал действий, видеозапись, покрытие кода и т. д. Оно также позволяет пользователям создавать баги и отмечать состояние тестов.
• Расширение тестирования и отзывов: бесплатное расширение для поддержки поисковых тестов, к которым вы обращаетесь из браузеров Chrome, Microsoft Edge или Firefox. Расширение фиксирует взаимодействие с приложением, которое изучается с помощью изображений или видео, а также ввод словесных или печатных комментариев. Информация фиксируется в типе рабочего элемента "Ответ на обратную связь" для отслеживания данных ответа.

Возможность выполнения тестов

Следующие задачи можно выполнить с помощью указанных средств.

Задача	Центр планов тестирования	Запуск тестов	Расширение Test & Feedback
Массовые тесты пометок	✔️
Выполнение тестов или этапов тестирования с результатами успешно или неуспешно		✔️	✔️
Встроенные изменения тестов во время выполнения		✔️	✔️
Приостановка и возобновление тестов		✔️	✔️
Ошибки файлов во время выполнения теста		✔️	✔️
Снимки экрана, журнал действий с изображениями и запись экрана в ходе выполнения теста.		✔️	✔️
Обновление существующих ошибок во время выполнения теста		✔️	✔️
Проверка ошибок		✔️	✔️
Назначьте сборку для тестового запуска	✔️
Назначение параметров теста	✔️
Просмотр тестовых запусков	✔️

Выполнение тестов

На вкладке "Тестовые планы" участники команды могут инициировать выполнение теста для одного или нескольких тестовых случаев, определенных для набора тестов. Варианты включают запуск Test Runner для веб-приложения или настольного приложения. При необходимости члены команды могут выбрать "Выполнить" с параметрами , чтобы выбрать другие поддерживаемые клиенты для ручного тестирования или выбрать сборку для автоматического тестирования. Дополнительные сведения см. в разделе "Запуск ручных тестов".

Запуск тестов

Тестирующая утилита выполняет тесты для ваших веб- и настольных приложений. Пометьте тестовые шаги и результаты теста как успешные или неудачные, а также соберите диагностические данные, такие как системная информация, журналы действий с изображениями, записи экрана и снимки экрана при тестировании. Ошибки, поданные во время тестов, автоматически включают все захваченные диагностические данные, чтобы помочь разработчикам воспроизвести проблемы. Дополнительные сведения см. в разделе "Запуск тестов для веб-приложений " и "Запуск тестов для классических приложений".

Приемочное тестирование пользователями

Пользовательское приемочное тестирование (UAT) помогает командам обеспечивать выполнение запросов клиентов. Вы можете создать планы и наборы тестов UAT, пригласить нескольких тестировщиков для выполнения этих тестов, а также отслеживать ход тестирования и результаты с помощью упрощенных диаграмм. Сведения о том, как можно узнать, см. в разделе "Проверка принятия пользователем".

Использование расширения Test и Feedback для исследовательского тестирования

Расширение Test & Feedback — это простое расширение на основе браузера, с помощью который можно тестировать веб-приложения в любое время и в любом месте, и достаточно просто для всех пользователей в команде. Это помогает повысить производительность, позволяя тратить больше времени на поиск проблем и меньше времени их подачи.

Отзывы заинтересованных лиц

Вы должны обратиться за отзывом заинтересованных лиц за пределами команды разработчиков, таких как маркетинг и отделы продаж, что жизненно важно для разработки хорошего качества программного обеспечения. Разработчики могут запросить отзывы о своих пользовательских историях и функциях. Заинтересованные лица могут отвечать на запросы отзывов с помощью расширения тестов и отзывов на основе браузера — не только для оценки и отправки комментариев, но и путем записи расширенных диагностических данных и отправки ошибок и задач напрямую. Дополнительные сведения см. в разделах Запрос отзывов заинтересованных лиц и Предоставление отзывов заинтересованных лиц.

Автоматическое тестирование

Автоматическое тестирование упрощается путем выполнения тестов в Azure Pipelines. Аналитика тестирования предоставляет возможность почти в реальном времени просматривать тестовые данные для сборок и выпусков. Это помогает повысить эффективность процесса, выявляя повторяющиеся проблемы с существенным влиянием на качество.

Планы тестирования Azure поддерживают автоматическое тестирование следующим образом:

• Связывание планов тестирования или тестовых вариантов с конвейерами сборки или выпуска

• Укажите задачи для тестирования в определении конвейера. Azure Pipelines предоставляет несколько задач, в том числе следующие задачи, обеспечивающие полноценные отчеты и аналитические возможности.

  • Публикация задачи "Результаты теста" — публикация результатов теста в Azure Pipelines.
  • Задача тестирования Visual Studio: используйте для выполнения модульных и функциональных тестов (Selenium, Appium, закодированного теста пользовательского интерфейса и многое другое) с помощью средства запуска тестов Visual Studio.
  • Задача CLI .NET Core: используется для сборки, тестирования, упаковки или публикации приложения dotnet.

  Дополнительные задачи см. в разделе "Публикация результатов теста"

• Предоставьте встроенные отчеты и настраиваемые мини-приложения панели мониторинга для отображения результатов тестирования конвейера.

• Соберите результаты теста и связанные данные теста в службу Аналитики.

Возможность трассировки

Планы тестирования Azure поддерживают связывание ошибок и требований к тестовых случаям и наборам тестов. Кроме того, на следующем веб-портале средства, связанные с тестированием, поддерживают трассировку:

• Просмотр элементов, связанных с тестовым случаем: просматривайте планы тестирования, наборы тестов, требования и ошибки, на которые ссылается тестовый случай..
• Добавьте и запустите тесты из доски: функция Azure Boards, которая поддерживает определение тестовых вариантов из пользовательских историй, функций или ошибок из доски. Кроме того, можно запустить средство запуска тестов или расширение "Тест и обратная связь", чтобы выполнить тесты или выполнить исследование.
• Мини-приложение качества требований: настраиваемое мини-приложение, используемое для непрерывного отслеживания качества из конвейера сборки или выпуска. Мини-приложение показывает сопоставление между требованием и последними результатами теста, выполненными в отношении этого требования. Он предоставляет понимание трассируемости требований. Например, требования не соответствуют качеству, требованиям, не протестированным и т. д.

Просмотр элементов, связанных с тестовым случаем

В узле планов тестирования можно просмотреть и открыть наборы тестов, требования и ошибки, связанные с тестовым случаем. На вкладке "Наборы тестов" также указываются тестовые планы и проекты, ссылающиеся на тестовый случай. На вкладке "Требования" перечислены рабочие элементы, связанные с тестовый случай, принадлежащий категории требований. Кроме того, можно создать запрос прямых ссылок, который перечисляет элементы, ссылающиеся на тестовые случаи через тип ссылки Tests/Tested by. Дополнительные сведения см. в статье "Создание тестовых вариантов" и использование прямых ссылок для просмотра зависимостей.

Добавление и запуск тестов с доски

На досках Azure Boards можно добавлять тесты из истории пользователя или функции, автоматически связывая тестовый случай с историей пользователя или функцией. Вы можете просматривать, запускать и взаимодействовать с тестовыми случаями непосредственно на доске и в процессе отслеживать прогресс непосредственно на карточке. Дополнительные сведения см. в разделе "Добавление, запуск и обновление встроенных тестов".

Мини-приложение "Требования качества"

Мини-приложение "Качество требований" отображает список всех требований в области, а также частоту прохождения тестов и количество неудачных тестов. При выборе количества непрошедших тестов откроется вкладка "Тесты для выбранной сборки или релиза. Мини-приложение также помогает отслеживать требования без связанных тестов. Дополнительные сведения см. в разделе Трассируемость требований.

Отчеты и анализ

Для поддержки отчетности и анализа Azure Test Plans поддерживает диаграммы отслеживания тестов, концентратор запусков тестов, несколько встроенных отчетов о тестах конвейера, виджеты панели мониторинга и тестовые данные, которые хранятся в службе аналитики.

• Настраиваемые тестовые диаграммы: вы можете получить представление о создании и выполнении плана тестирования, создав тестовые диаграммы отслеживания.
• Отчет о ходе выполнения. Отслеживание хода выполнения одного или тестового плана или наборов тестов.
• Тестовые запуски. Просмотрите результаты выполнения ручного и автоматического тестирования.
• Мини-приложения панели мониторинга: настраиваемые мини-приложения, отображающие результаты теста на основе выбранных сборок или выпусков. Виджеты включают виджет состояния развертывания и виджет "Тренд результатов тестов (расширенный)".
• Анализ тестов: вы получите подробные сведения из встроенных отчетов конвейера или создадите пользовательские отчеты путем отправки запросов к службе Аналитики.

Настраиваемые тестовые диаграммы

Быстро настройте упрощенные диаграммы для отслеживания результатов ручного теста с помощью выбранного типа диаграммы и закрепления диаграмм на панели мониторинга, чтобы легко проанализировать эти результаты. Выберите политику хранения, чтобы контролировать срок хранения результатов ручного тестирования. Дополнительные сведения см. в разделе "Отслеживание состояния теста".

Отчеты о ходе выполнения

С помощью центра отчетов "Ход выполнения" команды могут отслеживать ход выполнения нескольких тестового плана или набора тестов. Этот отчет помогает ответить на следующие вопросы:

• Сколько тестов завершено?
• Сколько тестов прошло, завершилось сбоем или заблокировано?
• Скорее всего, тестирование завершится вовремя?
• Что такое ежедневный показатель выполнения?
• Какие тестовые области требуют внимания?

Пробные запуски

Панель прогонов отображает результаты тестов, включая все прогоны тестов, выполненные вручную и автоматически.

Примечание.

Центр запусков доступен в Azure DevOps Server 2020 и более поздних версиях. Для этого требуется включить службу Аналитики, которая используется для хранения данных тестового выполнения и управления ими. Дополнительные сведения о службе см. в разделе "Что такое служба аналитики"?

Выберите любой конкретный запуск, чтобы просмотреть сводку тестового запуска.

Состояния развертывания

Настраиваемое мини-приложение «Состояние развертывания» показывает объединенное представление о состоянии развертывания и проценте прохождения тестов в нескольких средах для последней серии сборок. Вы настраиваете мини-приложение, указав конвейер сборки, ветку и связанные конвейеры релизов. Чтобы просмотреть сводку тестов для нескольких сред в релизе, виджет предоставляет матричное представление каждой среды и соответствующий уровень прохождения тестов.

Наведите указатель мыши на любую сводку сборки, и вы можете просмотреть дополнительные сведения, в частности количество пройденных и неудачных тестов.

Тенденция результатов теста (дополнительно)

Мини-приложение "Тенденция результатов теста" (Дополнительно) обеспечивает практически в реальном времени видимость тестовых данных для нескольких сборок и выпусков. Мини-приложение показывает тенденцию результатов теста для выбранных конвейеров. Его можно использовать для отслеживания ежедневного количества тестов, процента успешных тестов и длительности тестирования. Отслеживание качества теста с течением времени и улучшение тестового обеспечения является ключом к поддержанию работоспособного конвейера DevOps. Мини-приложение поддерживает отслеживание расширенных метрик для одного или нескольких конвейеров сборки или конвейеров выпуска. Мини-приложение также позволяет фильтровать результаты теста по исходам, группировать метрики и выполнять другие действия. Для получения дополнительной информации см. в разделе «Настройка мини-приложения "Тенденция результатов теста" (расширенное)».

Аналитика тестов

Встроенные тесты и поддерживаемые тестами мини-приложения получают свои данные из службы Аналитики. Служба аналитики — это платформа отчетов для Azure DevOps и поддерживает вкладку "Аналитика и тесты" и отчеты детализации, доступные в центре Pipelines. Отчет по сбоям тестов содержит сводку по успешно пройденным и провалившимся тестам. Дополнительные сведения см. в разделе "Анализ тестов".

Кроме того, можно создавать пользовательские отчеты, запрашивая службу Аналитики. Дополнительные сведения см. в разделе "Обзор примеров отчетов с помощью запросов OData".

Следующие шаги

Тестирование объектов и терминов

Связанный контент

• Навигация по планам тестирования
• Копирование или клонирование планов тестирования, наборов тестов и тестовых вариантов
• Связывание автоматических тестов с тестовыми случаями
• О запросе и предоставлении отзывов
• Общие сведения об интеграции и совместной работе между службами
• Сведения о тестах конвейера

Дополнительные ресурсы

• Модульное тестирование
• Основные сведения о модульных тестах
• Модульное тестирование устойчивых функций
• Что такое Нагрузочное тестирование Azure?