Что такое Azure Test Plans?
Azure DevOps Services | Azure DevOps Server 2022 — Azure DevOps Server 2019
Планы тестирования Azure предлагают мощные средства для обеспечения качества и совместной работы в процессе разработки. Это решение для управления тестами на основе браузера поддерживает запланированное ручное тестирование, приемочное тестирование пользователей, исследование и отзывы заинтересованных лиц.
Примечание.
Эта статья относится к Azure DevOps Services и Azure DevOps Server 2020 и более поздним версиям. Большая часть информации допустима для более ранних локальных версий, однако изображения отображают только примеры последней версии. Кроме того, пользовательский интерфейс значительно изменился с выпуском Azure DevOps Server 2020. Общие сведения о новом интерфейсе и поддерживаемых возможностях см. в разделе "Навигация по планам тестирования".
Как работают планы тестирования Azure?
С помощью сочетания средств на основе браузера— планов тестирования, отчета о ходе выполнения, параметров, конфигураций, запусков и средств тестирования, а также функций интеграции DevOps, планы тестирования Azure поддерживают следующие задачи тестирования:
Выполнение ручного и исследовательского тестирования:
- Упорядочение планового ручного тестирования: назначение тестировщиков и тестовых клиентов позволяет упорядочить тесты в планы тестирования и наборы тестов.
- Проводите тестирование принятия пользователей: назначьте тестировщиков принятия пользователей, чтобы убедиться, что доставленное значение соответствует требованиям клиента, повторное использование тестовых артефактов, созданных инженерными командами.
- Выполнение исследовательского тестирования: разработчики, тестировщики, команды UX, владельцы продуктов и другие пользователи изучают программные системы без использования планов тестирования или наборов тестов.
- Сбор отзывов заинтересованных лиц: привлечение заинтересованных лиц за пределами команды разработчиков, таких как пользователи из отдела маркетинга и продаж, для проведения тестирования.
Автоматизация тестирования. Интеграция планов тестирования Azure с Azure Pipelines для поддержки тестирования в CI/CD. Связывание планов тестирования и тестовых вариантов с конвейерами сборки или выпуска. Добавьте задачи конвейера для записи и публикации результатов теста. Просмотрите результаты теста с помощью встроенных отчетов о ходе выполнения и отчетов о тестировании конвейера.
Обеспечение трассировки: связывание тестовых вариантов и наборов тестов с пользовательскими историями, функциями или требованиями к сквозной трассировки. Автоматически свяжите тесты и дефекты с требованиями и сборками, которые тестируются. Добавьте и запустите тесты из доски или используйте центр планов тестирования для более крупных команд. Отслеживайте тестирование требований с результатами конвейера и мини-приложением "Требования".
Отслеживание отчетов и анализа: отслеживайте результаты тестирования и ход выполнения с помощью настраиваемых диаграмм отслеживания, мини-приложений для конкретных тестов для панелей мониторинга и встроенных отчетов, таких как отчеты о ходе выполнения, отчеты о результатах конвейера и служба аналитики.
Примечание.
Нагрузочное и производительное тестирование. Хотя облачная служба нагрузочного тестирования Azure DevOps не рекомендуется, доступно нагрузочное тестирование Azure. Нагрузочное тестирование Azure — это полностью управляемая служба нагрузочного тестирования, которая позволяет использовать существующие скрипты Apache JMeter для создания высокомасштабируемой нагрузки. Дополнительные сведения см. в статье Что такое Нагрузочное тестирование Azure. Дополнительные сведения об отмене нагрузочного тестирования Azure DevOps см. в статье Об изменениях функциональных возможностей нагрузочных тестов в Visual Studio и облачном нагрузочном тестировании в Azure DevOps.
Ключевые преимущества
Планы тестирования Azure предоставляют команды разработки программного обеспечения следующими преимуществами.
Тестирование на любой платформе: с помощью веб-портала "Планы тестирования" можно использовать любой поддерживаемый браузер для доступа ко всем возможностям тестирования вручную. Он позволяет создавать и запускать тесты вручную с помощью удобного интерфейса на основе браузера, к которому пользователи могут обращаться со всех основных браузеров на любой платформе.
Сбор расширенных диагностических данных. С помощью веб-клиента Runner и тестового runner можно собирать подробные диагностические данные во время ручных тестов. Эти данные включают снимки экрана, журнал действий изображения, записи экрана, покрытие кода, трассировки IntelliTrace и данные о влиянии на тестовые данные для приложений, которые тестируются. Эти данные автоматически включаются во все ошибки, создаваемые во время тестирования, что упрощает воспроизведение проблем разработчиками.
Сквозная трассировка: Azure DevOps обеспечивает сквозную трассировку требований, сборок, тестов и ошибок при связывании рабочих элементов с другими объектами. Пользователи могут отслеживать качество требований с карточек на борту. Ошибки, созданные при тестировании, автоматически связаны с требованиями и сборками, что помогает отслеживать качество требований или сборок.
Встроенная аналитика: служба аналитики предоставляет данные, которые предоставляют данные в встроенные отчеты, настраиваемые мини-приложения панели мониторинга и настраиваемые отчеты с помощью Power BI. Данные отслеживают ход выполнения плана тестирования и тенденции для ручных и автоматических тестов. Аналитика тестирования обеспечивает практически в реальном времени видимость тестовых данных для сборок и выпусков. Teams может действовать по этим данным, чтобы улучшить тестовый залог, чтобы помочь поддерживать здоровые конвейеры.
Расширяемая платформа. Вы можете объединить инструменты и технологии, которые уже известны с инструментами разработки, которые лучше всего работают для интеграции с Azure DevOps и расширения. Используйте интерфейсы REST API и модель вклада, доступную для платформы тестирования, для создания расширений, которые предоставляют необходимый интерфейс для жизненного цикла управления тестами.
Поддерживаемые сценарии и требования к доступу
Доступ к функциям веб-портала Azure DevOps управляется с помощью уровней доступа, назначенных пользователям. Тремя основными уровнями доступа являются планы "Заинтересованные лица", "Базовый" и "Базовый", как описано в разделе "О уровнях доступа". В следующей таблице указывается уровень доступа, необходимый для выполнения связанных задач с планами тестирования Azure. Помимо уровней доступа, для выбора функций требуются разрешения для выполнения. Дополнительные сведения см. в разделе "Тестовый доступ и разрешения вручную".
Сценарий и задачи
Заинтересованных сторон
Базовая
Базовые +тестовые планы
Планирование тестирования
- Создание планов тестирования и наборов тестов
- Управление параметрами запуска плана тестирования
- Управление конфигурациями
✔️
Тестирование выполнения
- Выполнение тестов на любой платформе (Windows, Linux, Mac) с помощью средства запуска тестов
✔️
✔️
Выполнение исследовательского тестирования с помощью расширения "Тест и обратная связь"
✔️
✔️
✔️
Анализ и проверка тестов
- Создание диаграмм с различными сводными данными, такими как приоритет, конфигурация и т. д., для отслеживания хода выполнения теста
- Обзор результатов теста
- Экспорт планов тестирования и наборов тестов для проверки
- Тестирование принятия пользователем— назначение тестов и приглашение по электронной почте
✔️
✔️
Произвольное и ручное тестирование
Для поддержки ручного и исследовательского тестирования планы тестирования Azure используют типы рабочих элементов для планирования и создания тестов. Кроме того, он предоставляет два средства тестирования для поддержки выполнения тестов. Центры тестов, параметров и конфигураций предоставляют средства для эффективного создания элементов тестирования, их параметров и конфигураций и управления ими. Наборы тестов могут быть динамическими — наборами на основе требований и наборами на основе запросов, чтобы помочь вам понять качество связанных требований в процессе разработки или статические, чтобы помочь вам охватывать тесты регрессии.
Типы рабочих элементов для конкретных тестов
Типы рабочих элементов — планы тестирования, наборы тестов, тестовые варианты, общие действия и общие параметры — поддерживают несколько явных ссылок на отслеживание требований и совместное использование шагов тестирования и данных во многих тестовых случаях. Тестовые случаи можно назначать вручную или автоматически. Описание каждого из этих элементов теста см. в разделе "Тестовые объекты и термины".
В Azure DevOps связь между результатом теста, выполнением теста и тестовый случай можно понять следующим образом:
- Тестовый случай: конкретный сценарий или набор шагов, предназначенных для проверки определенной функции или функциональности.
- Тестовое выполнение: экземпляр, в котором выполняются один или несколько тестовых вариантов. Каждый тестовый запуск может включать несколько тестовых вариантов.
- Результат теста: результат тестового выполнения. Каждый тестовый случай в тестовом выполнении имеет собственный результат теста, указывающий, передан ли он или завершился ошибкой.
Примечание.
С помощью Azure DevOps Server 2020 и более поздних версий можно выполнять автоматические тесты, добавляя тестовые задачи в конвейеры. Определение планов тестирования, тестовых вариантов и наборов тестов не требуется при использовании тестовых задач.
Определение планов тестирования и наборов тестов
Вы создаете и управляете планами тестирования и наборами тестов из центра планов тестирования. Добавьте один или несколько наборов тестов ( статические, на основе требований или запросы) в планы тестирования. Экспорт и предоставление общего доступа к планам тестирования и наборам тестов с помощью команд. Сведения о том, как можно узнать, как создавать тестовые планы и наборы тестов и копировать или клонировать тестовые планы, наборы тестов и тестовые случаи.
Создание тестов с помощью тестовых вариантов
Вы определяете тестовые случаи вручную, определяя этапы тестирования и при необходимости тестовые данные для ссылки. Наборы тестов состоят из одного или нескольких тестовых вариантов. Вы можете совместно использовать тестовые случаи в наборах тестов. Представление Сетки для определения тестовых вариантов поддерживает операции копирования, вставки, вставки и удаления. Быстрое назначение одного или нескольких тестировщиков для выполнения тестов. Просмотрите результаты теста и ссылки на тестовый случай в наборах тестов. Сведения о том, как это сделать, см. в статье "Создание тестовых вариантов".
В каждом тестовом случае можно указать набор шагов тестирования с ожидаемыми результатами. При необходимости можно добавить общие шаги или общие параметры. Для трассировки можно связать тестовые случаи с пользовательскими историями, функциями или ошибками, которые они тестируют.
Управление общими параметрами
Используйте концентратор параметров для определения параметров, совместно используемых в тестовых случаях и управления ими. Общие параметры обеспечивают поддержку повторения ручных тестов несколько раз с различными данными теста. Например, если пользователи могут добавлять в корзину разные объемы продукта, необходимо проверить, работает ли количество 200 и количество 1.
Управление конфигурациями тестов и переменными
С помощью центра конфигураций команды могут определять, проверять и управлять конфигурациями тестов и переменными, на которые ссылаются планы тестирования. Конфигурации тестов обеспечивают поддержку тестирования приложений в различных операционных системах, веб-браузерах и версиях. Как и в случае с общими параметрами, конфигурации тестов можно совместно использовать в нескольких планах тестирования.
Тестовые средства выполнения и тестирования
С помощью следующих средств разработчики, тестировщики и заинтересованные лица могут инициировать тесты и записывать богатые данные при выполнении тестов и автоматически регистрировать дефекты кода, связанные с тестами. Протестируйте приложение, выполнив тесты в классических приложениях или веб-приложениях.
- Средство запуска тестов: средство на основе браузера для тестирования веб-приложений и версию классического клиента для тестирования классических приложений, запускаемых из центра планов тестирования для выполнения ручных тестов. Средство выполнения тестов поддерживает широкие возможности сбора данных при выполнении тестов, таких как журнал действий изображений, запись видео, покрытие кода и т. д. Он также позволяет пользователям создавать ошибки и пометить состояние тестов.
- Расширение тестирования и отзывов: бесплатное расширение для поддержки поисковых тестов, к которым вы обращаетесь из браузеров Chrome, Microsoft Edge или Firefox. Расширение фиксирует взаимодействие с приложением, которое изучается с помощью изображений или видео, а также ввод словесных или записанных примечаний типа. Сведения записываются в тип рабочего элемента ответа обратной связи для отслеживания данных ответа.
Возможность тестирования выполнения
Следующие задачи можно выполнить с помощью указанных средств.
| Задача | Концентратор планов тестирования | Test Runner | Расширение Test & Feedback |
|---|---|---|---|
| Массовые тесты пометок | ✔️ | ||
| Передача или сбой тестов или этапов тестирования | ✔️ | ✔️ | |
| Встроенные изменения тестов во время выполнения | ✔️ | ✔️ | |
| Приостановка и возобновление тестов | ✔️ | ✔️ | |
| Ошибки файлов во время выполнения теста | ✔️ | ✔️ | |
| Снимок экрана, журнал действий изображения и запись экрана во время тестового выполнения | ✔️ | ✔️ | |
| Обновление существующих ошибок во время выполнения теста | ✔️ | ✔️ | |
| Проверка ошибок | ✔️ | ✔️ | |
| Назначение сборки для тестового запуска | ✔️ | ||
| Назначение параметров теста | ✔️ | ||
| Проверка тестового выполнения | ✔️ |
Выполнение тестов
На вкладке "Тестовые планы" участники команды могут инициировать выполнение теста для одного или нескольких тестовых случаев, определенных для набора тестов. Варианты включают запуск средства запуска тестов для веб-приложения или классического приложения. При необходимости члены команды могут выбрать "Выполнить" с параметрами , чтобы выбрать другие поддерживаемые клиенты для ручного тестирования или выбрать сборку для автоматического тестирования. Дополнительные сведения см. в разделе "Запуск ручных тестов".
Test Runner
Средство запуска тестов выполняет тесты для веб-приложений и классических приложений. Пометьте тестовые шаги и результаты теста в виде прохождения или сбоя, а также соберите диагностические данные, такие как системная информация, журналы действий изображения, записи экрана и записи экрана при тестировании. Ошибки, поданные во время тестов, автоматически включают все захваченные диагностические данные, чтобы помочь разработчикам воспроизвести проблемы. Дополнительные сведения см. в разделе "Запуск тестов для веб-приложений " и "Запуск тестов для классических приложений".
Приемочное тестирование пользователями
Тестирование принятия пользователей (UAT) помогает командам предоставлять запрошенное клиентами значение. Вы можете создать планы и наборы тестов UAT, пригласить нескольких тестировщиков для выполнения этих тестов, а также отслеживать ход тестирования и результаты с помощью упрощенных диаграмм. Сведения о том, как можно узнать, см. в разделе "Проверка принятия пользователем".
Изучение тестирования с расширением Test &Feedback
Расширение Test & Feedback — это простое расширение на основе браузера, с помощью который можно тестировать веб-приложения в любое время и в любом месте, и достаточно просто для всех пользователей в команде. Это помогает повысить производительность, позволяя тратить больше времени на поиск проблем и меньше времени их подачи.
Отзывы заинтересованных лиц
Вы должны обратиться за отзывом заинтересованных лиц за пределами команды разработчиков, таких как маркетинг и отделы продаж, что жизненно важно для разработки хорошего качества программного обеспечения. Разработчики могут запросить отзывы о своих пользовательских историях и функциях. Заинтересованные лица могут отвечать на запросы отзывов с помощью расширения тестов и отзывов на основе браузера — не только для оценки и отправки комментариев, но и путем записи расширенных диагностических данных и отправки ошибок и задач напрямую. Дополнительные сведения см. на странице отзывов заинтересованных лиц и предоставление отзывов заинтересованных лиц.
Автоматическое тестирование
Автоматическое тестирование упрощается путем выполнения тестов в Azure Pipelines. Аналитика тестирования обеспечивает почти реальное время видимость тестовых данных для сборок и выпусков. Это помогает повысить эффективность конвейера, определяя повторяющиеся проблемы с высоким качеством влияния.
Планы тестирования Azure поддерживают автоматическое тестирование следующим образом:
Связывание планов тестирования или тестовых вариантов с конвейерами сборки или выпуска
Укажите задачи для тестирования в определении конвейера. Azure Pipelines предоставляет несколько задач, в том числе следующие задачи, поддерживающие комплексные отчеты и аналитические возможности.
- Публикация задачи "Результаты теста" — публикация результатов теста в Azure Pipelines.
- Задача тестирования Visual Studio: используйте для выполнения модульных и функциональных тестов (Selenium, Appium, закодированного теста пользовательского интерфейса и многое другое) с помощью средства запуска тестов Visual Studio.
- Задача интерфейса командной строки .NET Core: используется для сборки, тестирования, пакета или публикации приложения dotnet.
Дополнительные задачи см. в разделе "Публикация результатов теста"
Предоставьте встроенные отчеты и настраиваемые мини-приложения панели мониторинга для отображения результатов тестирования конвейера.
Соберите результаты теста и связанные данные теста в службу Аналитики.
Возможность трассировки
Планы тестирования Azure поддерживают связывание ошибок и требований к тестовых случаям и наборам тестов. Кроме того, на следующем веб-портале средства, связанные с тестированием, поддерживают трассировку:
- Просмотр элементов, связанных с тестовый случай: просмотр планов тестирования, наборов тестов, требований и ошибок, с которыми ссылается тестовый случай.
- Добавьте и запустите тесты из доски: функция Azure Boards, которая поддерживает определение тестовых вариантов из пользовательских историй, функций или ошибок из доски. Кроме того, можно запустить средство запуска тестов или расширение "Тест и обратная связь", чтобы выполнить тесты или выполнить исследование.
- Мини-приложение качества требований: настраиваемое мини-приложение, используемое для непрерывного отслеживания качества из конвейера сборки или выпуска. Мини-приложение показывает сопоставление между требованием и последними результатами теста, выполненными в отношении этого требования. Он предоставляет аналитические сведения о трассировки требований. Например, требования не соответствуют качеству, требованиям, не протестированным и т. д.
Просмотр элементов, связанных с тестовый случай
В центре планов тестирования можно просмотреть и открыть наборы тестов, требования и ошибки, связанные с тестовый случай. На вкладке "Наборы тестов" также указываются тестовые планы и проекты, ссылающиеся на тестовый случай. На вкладке "Требования" перечислены рабочие элементы, связанные с тестовый случай, принадлежащий категории требований. Кроме того, можно создать запрос прямых ссылок, который содержит элементы, которые ссылаются на тестовые случаи с помощью типа ссылки test/Tested . Дополнительные сведения см. в статье "Создание тестовых вариантов" и использование прямых ссылок для просмотра зависимостей.
Добавление и запуск тестов с доски
На досках Azure Boards можно добавлять тесты из истории пользователя или функции, автоматически связывая тестовый случай с историей пользователя или функцией. Вы можете просматривать, запускать и взаимодействовать с тестовые случаи непосредственно с доски и постепенно отслеживать состояние непосредственно с карточки. Дополнительные сведения см. в разделе "Добавление, запуск и обновление встроенных тестов".
Мини-приложение "Требования качества"
Мини-приложение "Качество требований" отображает список всех требований в области, а также частоту прохождения тестов и количество неудачных тестов. При выборе счетчика неудачных тестов откроется вкладка "Тесты " для выбранной сборки или выпуска. Мини-приложение также помогает отслеживать требования без связанных тестов. Дополнительные сведения см. в разделе "Трассировка требований".
Отчеты и анализ
Для поддержки отчетов и анализа планы тестирования Azure поддерживают диаграммы отслеживания тестов, концентратор тестового запуска, несколько встроенных отчетов о тестах конвейера, мини-приложения панели мониторинга и тестовые данные, хранящиеся в службе Аналитики.
- Настраиваемые тестовые диаграммы: вы можете получить представление о создании и выполнении плана тестирования, создав тестовые диаграммы отслеживания.
- Отчет о ходе выполнения. Отслеживание хода выполнения одного или тестового плана или наборов тестов.
- Тестовые запуски. Просмотрите результаты выполнения ручного и автоматического тестирования.
- Мини-приложения панели мониторинга: настраиваемые мини-приложения, отображающие результаты теста на основе выбранных сборок или выпусков. Мини-приложения включают мини-приложение состояния развертывания и мини-приложение "Тренд результатов теста" (Дополнительно).
- Анализ тестов: получение подробных сведений из встроенных отчетов конвейера или создание пользовательских отчетов путем запроса к службе Аналитики.
Настраиваемые тестовые диаграммы
Быстро настройте упрощенные диаграммы для отслеживания результатов ручного теста с помощью выбранного типа диаграммы и закрепления диаграмм на панели мониторинга, чтобы легко проанализировать эти результаты. Выберите политику хранения, чтобы контролировать срок хранения результатов ручного тестирования. Дополнительные сведения см. в разделе "Отслеживание состояния теста".
Отчеты о ходе выполнения
С помощью центра отчетов "Ход выполнения" команды могут отслеживать ход выполнения нескольких тестового плана или набора тестов. Этот отчет помогает ответить на следующие вопросы:
- Сколько тестов завершено?
- Сколько тестов прошло, завершилось сбоем или заблокировано?
- Скорее всего, тестирование завершится вовремя?
- Что такое ежедневный показатель выполнения?
- Какие тестовые области требуют внимания?
Пробные запуски
Центр запусков отображает результаты тестов, включая все тестовые запуски, как вручную, так и автоматически.
Примечание.
Центр запусков доступен в Azure DevOps Server 2020 и более поздних версиях. Для этого требуется включить службу Аналитики, которая используется для хранения данных тестового выполнения и управления ими. Дополнительные сведения о службе см. в разделе "Что такое служба аналитики"?
Выберите любой конкретный запуск, чтобы просмотреть сводку тестового запуска.
Состояния развертывания
Мини-приложение состояния развертывания, настраиваемое мини-приложение, показывает объединенное представление состояния развертывания и скорость прохождения теста в нескольких средах для недавнего набора сборок. Мини-приложение настраивается путем указания конвейера сборки, ветви и связанных конвейеров выпуска. Чтобы просмотреть сводку теста в нескольких средах в выпуске, мини-приложение предоставляет представление матрицы для каждой среды и соответствующую скорость прохождения теста.
Наведите указатель мыши на любую сводку сборки, и вы можете просмотреть дополнительные сведения, в частности количество пройденных и неудачных тестов.
Тенденция результатов теста (дополнительно)
Мини-приложение "Тенденция результатов теста" (Дополнительно) обеспечивает практически в реальном времени видимость тестовых данных для нескольких сборок и выпусков. Мини-приложение показывает тенденцию результатов теста для выбранных конвейеров. Его можно использовать для отслеживания ежедневного количества тестов, скорости передачи и длительности тестирования. Отслеживание качества теста с течением времени и улучшение тестового обеспечения является ключом к поддержанию работоспособного конвейера DevOps. Мини-приложение поддерживает отслеживание расширенных метрик для одного или нескольких конвейеров сборки или конвейеров выпуска. Мини-приложение также позволяет фильтровать результаты теста по результатам, стеку метрик и многое другое. Дополнительные сведения см. в разделе "Настройка мини-приложения "Тенденция результатов теста" (Advanced).
Аналитика тестов
Встроенные тесты и поддерживаемые тестами мини-приложения получают свои данные из службы Аналитики. Служба аналитики — это платформа отчетов для Azure DevOps и поддерживает вкладку "Аналитика и тесты" и отчеты детализации, доступные в центре Pipelines. Отчет об детализации тестового сбоя содержит сводку по переданным и неудачным тестам. Дополнительные сведения см. в разделе "Анализ тестов".
Кроме того, можно создавать пользовательские отчеты, запрашивая службу Аналитики. Дополнительные сведения см. в разделе "Обзор примеров отчетов с помощью запросов OData".
Следующие шаги
Связанные статьи
- Навигация по планам тестирования
- Копирование или клонирование планов тестирования, наборов тестов и тестовых вариантов
- Связывание автоматических тестов с тестовыми случаями
- О запросе и предоставлении отзывов
- Общие сведения об интеграции и совместной работе между службами
- Сведения о тестах конвейера