Что такое Azure Test Plans?

Azure DevOps Services | Azure DevOps Server 2022 — Azure DevOps Server 2019

Планы тестирования Azure предоставляют широкие и мощные инструменты, которые в команде могут использовать для обеспечения качества и совместной работы в процессе разработки. Решение для управления тестами на основе браузера позволяет легко использовать все возможности, необходимые для планового тестирования вручную, проверки приемки пользователей, исследования и получения отзывов от заинтересованных лиц.

Примечание.

Эта статья относится к Azure DevOps Services и Azure DevOps Server 2020 и более поздним версиям. Большая часть информации допустима для более ранних локальных версий, однако изображения отображают только примеры последней версии. Кроме того, пользовательский интерфейс значительно изменился с выпуском Azure DevOps Server 2020. Общие сведения о новом интерфейсе и поддерживаемых возможностях см. в разделе "Навигация по планам тестирования".

Как работают планы тестирования Azure?

С помощью сочетания средств на основе браузера— планов тестирования, отчета о ходе выполнения, параметров, конфигураций, запусков и средств тестирования, а также функций интеграции DevOps, планы тестирования Azure поддерживают следующие задачи тестирования:

• Ручное и исследовательское тестирование: ручное и исследовательское тестирование, включающее следующие действия тестирования:

  • Запланированное тестирование вручную. Ручное тестирование путем организации тестов в планы тестирования и наборы тестов с помощью назначенных тестировщиков и потенциальных клиентов.
  • Тестирование принятия пользователем. Тестирование, выполняемое назначенными тестировщиками принятия пользователей для проверки того, что значение, предоставленное в соответствии с требованиями клиента, повторно использует тестовые артефакты, созданные инженерными командами.
  • Изучение тестирования. Тестирование, проведенное командами разработчиков, включая разработчиков, тестировщиков, команд UX, владельцев продуктов и многое другое, путем изучения программных систем без использования планов тестирования или наборов тестов.
  • Отзывы заинтересованных лиц. Тестирование, проведенное заинтересованными лицами за пределами группы разработчиков, таких как пользователи из отдела маркетинга и продаж.

• Автоматическое тестирование. Планы тестирования Azure полностью интегрированы с Azure Pipelines для поддержки тестирования в рамках непрерывной интеграции или непрерывного развертывания (CI/CD). Тестовые планы и тестовые варианты могут быть связаны с конвейерами сборки или выпуска. Задачи конвейера можно добавить в определения конвейера для записи и публикации результатов теста. Результаты теста можно проверить с помощью встроенных отчетов о ходе выполнения и отчетов о тестировании конвейера.

• Трассировка: тестовые варианты и наборы тестов, связанные с историями пользователей, функциями или требованиями, поддерживают сквозную трассировку. Тесты и дефекты автоматически связаны с требованиями и сборками, которые также помогают отслеживать качество требований. Пользователи могут добавлять и запускать тесты из доски Kanban или для более крупных команд, используйте центр планов тестирования для определения планов тестирования и наборов тестов. Результаты конвейера и мини-приложение "Требования" предоставляют средства для отслеживания тестирования требований.

• Отчеты и анализ. Мониторинг результатов тестирования и мониторинга хода выполнения поддерживается с помощью настраиваемых диаграмм отслеживания, мини-приложений для конкретных тестов, которые можно добавлять на панели мониторинга, а также встроенные отчеты, такие как отчет о ходе выполнения, отчеты о результатах конвейера и служба аналитики.

Примечание.

Нагрузочное и производительное тестирование. Хотя облачная служба нагрузочного тестирования Azure DevOps не рекомендуется, доступно нагрузочное тестирование Azure. Нагрузочное тестирование Azure — это полностью управляемая служба нагрузочного тестирования, которая позволяет использовать существующие скрипты Apache JMeter для создания высокомасштабируемой нагрузки. Дополнительные сведения см. в статье "Что такое нагрузочное тестирование Azure?". Дополнительные сведения об отмене нагрузочного тестирования Azure DevOps см. в статье Об изменениях функциональных возможностей нагрузочных тестов в Visual Studio и облачном нагрузочном тестировании в Azure DevOps.

Ключевые преимущества

Планы тестирования Azure предоставляют команды разработки программного обеспечения следующими преимуществами.

• Тестирование на любой платформе: с помощью веб-портала "Планы тестирования" можно использовать любой поддерживаемый браузер для доступа ко всем возможностям тестирования вручную. Он позволяет создавать и запускать тесты вручную с помощью удобного интерфейса на основе браузера, к которому пользователи могут обращаться со всех основных браузеров на любой платформе.

• Сбор расширенных диагностических данных. С помощью веб-клиента Runner и тестового runner можно собирать подробные диагностические данные во время ручных тестов. К ним относятся снимки экрана, журнал действий изображения, записи экрана, покрытие кода, трассировки IntelliTrace и тестовые данные о влиянии для приложений в ходе тестирования. Эти данные автоматически включаются во все ошибки, создаваемые во время тестирования, что упрощает воспроизведение проблем разработчиками.

• Сквозная трассировка: Azure DevOps обеспечивает сквозную трассировку требований, сборок, тестов и ошибок при связывании рабочих элементов с другими объектами. Пользователи могут отслеживать качество требований из карта на доске Kanban. Ошибки, созданные при тестировании, автоматически связаны с требованиями и сборками, что помогает отслеживать качество требований или сборок.

• Встроенная аналитика: служба аналитики предоставляет данные, которые предоставляют данные в встроенные отчеты, настраиваемые мини-приложения панели мониторинга и настраиваемые отчеты с помощью Power BI. Данные отслеживают ход выполнения плана тестирования и тенденции для ручных и автоматических тестов. Аналитика тестирования обеспечивает практически в реальном времени видимость тестовых данных для сборок и выпусков. Teams может действовать по этим данным, чтобы улучшить тестовый залог, чтобы помочь поддерживать здоровые конвейеры.

• Расширяемая платформа. Вы можете объединить инструменты и технологии, которые уже известны с инструментами разработки, которые лучше всего работают для интеграции с Azure DevOps и расширения. Используйте интерфейсы REST API и модель вклада, доступную для платформы тестирования, для создания расширений, которые предоставляют необходимый интерфейс для жизненного цикла управления тестами.

Поддерживаемые сценарии и требования к доступу

Доступ к функциям веб-портала Azure DevOps управляется с помощью уровней доступа, назначенных пользователям. Тремя основными уровнями доступа являются планы "Заинтересованные лица", "Базовый" и "Базовый", как описано в разделе "О уровнях доступа". В следующей таблице указывается уровень доступа, необходимый для выполнения связанных задач с планами тестирования Azure. Помимо уровней доступа, для выбора функций требуются разрешения для выполнения. Дополнительные сведения см. в статье "Доступ и разрешения для тестирования вручную".

Сценарий и задачи

Заинтересованных сторон

Базовая

Базовые +тестовые планы

---

Планирование тестирования

• Создание планов тестирования и наборов тестов
• Управление параметрами запуска плана тестирования
• Управление конфигурациями

✔️

Тестирование выполнения

• Выполнение тестов на любой платформе (Windows, Linux, Mac) с помощью средства запуска тестов

✔️

✔️

Выполнение исследовательского тестирования с помощью расширения "Тест и обратная связь"

✔️

✔️

✔️

Анализ и проверка тестов

• Создание диаграмм с различными сводными данными, такими как приоритет, конфигурация и т. д., для отслеживания хода выполнения теста
• Обзор результатов теста
• Экспорт планов тестирования и наборов тестов для проверки
• Тестирование принятия пользователем— назначение тестов и приглашение по электронной почте

✔️

✔️

Произвольное и ручное тестирование

Для поддержки ручного и исследовательского тестирования планы тестирования Azure используют типы рабочих элементов для планирования и создания тестов. Кроме того, он предоставляет два средства тестирования для поддержки выполнения тестов. Центры тестов, параметров и конфигураций предоставляют средства для эффективного создания элементов тестирования, их параметров и конфигураций и управления ими. Наборы тестов могут быть динамическими — наборами на основе требований и наборами на основе запросов, чтобы помочь вам понять качество связанных требований в процессе разработки или статические, чтобы помочь вам охватывать тесты регрессии.

Типы рабочих элементов для конкретных тестов

Типы рабочих элементов — планы тестирования, наборы тестов, тестовые варианты, общие действия и общие параметры — поддерживают несколько явных ссылок на отслеживание требований и совместное использование шагов тестирования и данных во многих тестовых случаях. Тестовые случаи можно назначать вручную или автоматически. Описание каждого из этих элементов теста см. в разделе "Тестовые объекты и термины".

Примечание.

С помощью Azure DevOps Server 2020 и более поздних версий можно выполнять автоматические тесты, добавляя тестовые задачи в конвейеры. Определение планов тестирования, тестовых вариантов и наборов тестов не требуется при использовании тестовых задач.

Определение планов тестирования и наборов тестов

Вы создаете и управляете планами тестирования и наборами тестов из центра планов тестирования. Добавьте один или несколько наборов тестов ( статические, на основе требований или запросы) в планы тестирования. Экспорт и предоставление общего доступа к планам тестирования и наборам тестов с помощью команд. Сведения о том, как можно узнать, как создавать тестовые планы и наборытестов и копировать или клонировать тестовые планы, наборы тестов и тестовые случаи.

Создание тестов с помощью тестовых вариантов

Вы определяете тестовые случаи вручную, определяя этапы тестирования и при необходимости тестовые данные для ссылки. Наборы тестов состоят из одного или нескольких тестовых вариантов. Вы можете совместно использовать тестовые случаи в наборах тестов. Представление Сетки для определения тестовых вариантов поддерживает операции копирования, вставки, вставки и удаления. Быстрое назначение одного или нескольких тестировщиков для выполнения тестов. Просмотрите результаты теста и ссылки на тестовый случай в наборах тестов. Сведения о том, как это сделать, см. в статье "Создание тестовых вариантов".

В каждом тестовом случае можно указать набор шагов тестирования с ожидаемыми результатами. При необходимости можно добавить общие шаги или общие параметры. Для трассировки можно связать тестовые случаи с пользовательскими историями, функциями или ошибками, которые они тестируют.

Управление общими параметрами

Teams использует центр параметров для определения параметров, совместно используемых в тестовых случаях и управления ими. Общие параметры обеспечивают поддержку повторения ручных тестов несколько раз с различными данными теста. Например, если пользователи могут добавлять различные количества продукта в корзину покупок, вы хотите проверка, что количество 200 работает так же, как и количество 1.

Управление конфигурациями тестов и переменными

С помощью центра конфигураций команды могут определять, проверять и управлять конфигурациями тестов и переменными, на которые ссылаются планы тестирования. Конфигурации тестов обеспечивают поддержку тестирования приложений в различных операционных системах, веб-браузерах и версиях. Как и в случае с общими параметрами, конфигурации тестов можно совместно использовать в нескольких планах тестирования.

Тестовые средства выполнения и тестирования

С помощью следующих средств разработчики, тестировщики и заинтересованные лица могут инициировать тесты и записывать богатые данные при выполнении тестов и автоматически регистрировать дефекты кода, связанные с тестами. Протестируйте приложение, выполнив тесты в классических приложениях или веб-приложениях.

• Средство запуска тестов: средство на основе браузера для тестирования веб-приложений и версию классического клиента для тестирования классических приложений, запускаемых из центра планов тестирования для выполнения ручных тестов. Средство выполнения тестов поддерживает широкие возможности сбора данных при выполнении тестов, таких как журнал действий изображений, запись видео, покрытие кода и т. д. Он также позволяет пользователям создавать ошибки и пометить состояние тестов.
• Расширение тестирования и обратной связи: бесплатное расширение для поддержки изучения тестирования, доступ к которому выполняется из браузеров Chrome, Edge или Firefox. Расширение фиксирует взаимодействие с приложением, которое изучается с помощью изображений или видео, а также ввод словесных или записанных примечаний типа. Сведения записываются в тип рабочего элемента ответа обратной связи для отслеживания данных ответа.

Возможность тестирования выполнения

Следующие задачи можно выполнить с помощью указанных средств.

Задача	Концентратор планов тестирования	Test Runner	Расширение Test & Feedback
Массовые тесты пометок	✔️
Передача или сбой тестов или этапов тестирования		✔️	✔️
Встроенные изменения тестов во время выполнения		✔️	✔️
Приостановка и возобновление тестов		✔️	✔️
Ошибки файлов во время выполнения теста		✔️	✔️
Снимок экрана, журнал действий изображения и запись экрана во время тестового выполнения		✔️	✔️
Обновление существующих ошибок во время выполнения теста		✔️	✔️
Проверка ошибок		✔️	✔️
Назначение сборки для тестового запуска	✔️
Назначение параметров теста	✔️
Проверка тестового выполнения	✔️

Выполнение тестов

На вкладке "Тестовые планы" участники команды могут инициировать выполнение теста для одного или нескольких тестовых случаев, определенных для набора тестов. Варианты включают запуск средства запуска тестов для веб-приложения или классического приложения. При необходимости члены команды могут выбрать "Выполнить" с параметрами , чтобы выбрать другие поддерживаемые клиенты для ручного тестирования или выбрать сборку для автоматического тестирования. Дополнительные сведения см. в разделе "Запуск ручных тестов".

Test Runner

Средство запуска тестов выполняет тесты для веб-приложений и классических приложений. Пометьте тестовые шаги и результаты теста в виде прохождения или сбоя, а также соберите диагностические данные, такие как системная информация, журналы действий изображения, записи экрана и записи экрана при тестировании. Ошибки, поданные во время тестов, автоматически включают все захваченные диагностические данные, чтобы помочь разработчикам воспроизвести проблемы. Дополнительные сведения см. в разделе "Запуск тестов для веб-приложений " и "Запуск тестов для классических приложений".

!

Приемочное тестирование пользователями

Тестирование принятия пользователей (UAT) помогает командам предоставлять запрошенное клиентами значение. Вы можете создать планы и наборы тестов UAT, пригласить нескольких тестировщиков для выполнения этих тестов, а также отслеживать ход тестирования и результаты с помощью упрощенных диаграмм. Сведения о том, как можно узнать, см. в разделе "Проверка принятия пользователем".

Изучение тестирования с расширением Test &Feedback

Расширение Test & Feedback — это простое расширение на основе браузера, с помощью который можно тестировать веб-приложения в любое время и в любом месте, и достаточно просто для всех пользователей в команде. Это помогает повысить производительность, позволяя тратить больше времени на поиск проблем и меньше времени их подачи.

Отзывы заинтересованных лиц

Поиск отзывов от заинтересованных лиц за пределами команды разработчиков, таких как маркетинг и отделы продаж, жизненно важно для разработки хорошего качества программного обеспечения. Разработчики могут запросить отзывы о своих пользовательских историях и функциях. Заинтересованные лица могут отвечать на запросы отзывов с помощью расширения тестов и отзывов на основе браузера — не только для оценки и отправки комментариев, но и путем записи расширенных диагностических данных и отправки ошибок и задач напрямую. Дополнительные сведения см. на странице отзывов заинтересованных лиц и предоставление отзывов заинтересованных лиц.

Автоматическое тестирование

Автоматическое тестирование упрощается путем выполнения тестов в Azure Pipelines. Аналитика тестирования обеспечивает почти реальное время видимость тестовых данных для сборок и выпусков. Это помогает повысить эффективность конвейера, определяя повторяющиеся проблемы с высоким качеством влияния.

Планы тестирования Azure поддерживают автоматическое тестирование следующим образом:

• Связывание планов тестирования или тестовых вариантов с конвейерами сборки или выпуска

• Укажите задачи для тестирования в определении конвейера. Azure Pipelines предоставляет несколько задач, включая перечисленные ниже, которые поддерживают комплексные тестовые отчеты и аналитические возможности.

  • Публикация задачи "Результаты теста" — публикация результатов теста в Azure Pipelines.
  • Задача тестирования Visual Studio: используйте для выполнения модульных и функциональных тестов (Selenium, Appium, закодированного теста пользовательского интерфейса и многое другое) с помощью средства запуска тестов Visual Studio.
  • Задача интерфейса командной строки .NET Core: используется для сборки, тестирования, пакета или публикации приложения dotnet.

  Дополнительные задачи см. в разделе "Публикация результатов теста"

• Предоставьте встроенные отчеты и настраиваемые мини-приложения панели мониторинга для отображения результатов тестирования конвейера.

• Соберите результаты теста и связанные данные теста в службу Аналитики.

Возможность трассировки

Планы тестирования Azure поддерживают связывание ошибок и требований к тестовых случаям и наборам тестов. Кроме того, на следующем веб-портале средства, связанные с тестированием, поддерживают трассировку:

• Просмотр элементов, связанных с тестовый случай: просмотр планов тестирования, наборов тестов, требований и ошибок, с которыми ссылается тестовый случай.
• Добавьте и запустите тесты из доски Kanban: функция Azure Boards, которая поддерживает определение тестовых вариантов из пользовательских историй, функций или ошибок на доске Kanban. Кроме того, можно запустить средство запуска тестов или расширение "Тест и обратная связь", чтобы выполнить тесты или выполнить исследование.
• Мини-приложение качества требований: настраиваемое мини-приложение, используемое для непрерывного отслеживания качества из конвейера сборки или выпуска. Мини-приложение показывает сопоставление между требованием и последними результатами теста, выполненными в отношении этого требования. Он предоставляет аналитические сведения о трассировки требований. Например, требования не соответствуют качеству, требованиям, не протестированным и т. д.

Просмотр элементов, связанных с тестовый случай

В центре планов тестирования можно просмотреть и открыть наборы тестов, требования и ошибки, связанные с тестовый случай. На вкладке "Наборы тестов" также указываются тестовые планы и проекты, ссылающиеся на тестовый случай. На вкладке "Требования" перечислены рабочие элементы, связанные с тестовый случай, принадлежащий категории требований. Кроме того, можно создать запрос прямых ссылок, который содержит элементы, которые ссылаются на тестовые случаи с помощью типа ссылки test/Tested . Дополнительные сведения см. в статье "Создание тестовых вариантов" и использование прямых ссылок для просмотра зависимостей.

Добавление тестов на канбан-доску и их выполнение

Из досок Kanban для Azure Boards можно добавить тесты из истории пользователя или функции, автоматически связав тестовый случай с историей пользователя или функцией. Вы можете просматривать, запускать и взаимодействовать с тестовые случаи непосредственно с доски Kanban и постепенно отслеживать состояние непосредственно из карта. Дополнительные сведения см. в разделе "Добавление, запуск и обновление встроенных тестов".

Мини-приложение "Требования качества"

Мини-приложение "Качество требований" отображает список всех требований в область, а также частоту прохождения тестов и количество неудачных тестов. При выборе счетчика неудачных тестов откроется вкладка "Тесты " для выбранной сборки или выпуска. Мини-приложение также помогает отслеживать требования без связанных тестов. Дополнительные сведения см. в статье о трассировки требований.

Отчеты и анализ

Для поддержки отчетов и анализа планы тестирования Azure поддерживают диаграммы отслеживания тестов, концентратор тестового запуска, несколько встроенных отчетов о тестах конвейера, мини-приложения панели мониторинга и тестовые данные, хранящиеся в службе Аналитики.

• Настраиваемые тестовые диаграммы: вы можете получить представление о создании и выполнении плана тестирования, создав тестовые диаграммы отслеживания.
• Отчет о ходе выполнения. Отслеживание хода выполнения одного или тестового плана или наборов тестов.
• Тестовые запуски. Просмотрите результаты выполнения ручного и автоматического тестирования.
• Мини-приложения панели мониторинга: настраиваемые мини-приложения, отображающие результаты теста на основе выбранных сборок или выпусков. Мини-приложения включают мини-приложение состояния развертывания и мини-приложение "Тренд результатов теста" (Дополнительно).
• Анализ тестов: получение подробных сведений из встроенных отчетов конвейера или создание пользовательских отчетов путем запроса к службе Аналитики.

Настраиваемые тестовые диаграммы

Быстро настройте упрощенные диаграммы для отслеживания результатов ручного теста с помощью выбранного типа диаграммы и закрепления диаграмм на панели мониторинга, чтобы легко проанализировать эти результаты. Выберите политику хранения, чтобы контролировать срок хранения результатов ручного тестирования. Дополнительные сведения см. в разделе "Отслеживание состояния теста".

Отчеты о ходе выполнения

С помощью центра отчетов "Ход выполнения" команды могут отслеживать ход выполнения нескольких тестового плана или набора тестов. Этот отчет помогает ответить на следующие вопросы:

• Сколько тестов завершено?
• Сколько тестов прошло, завершилось сбоем или заблокировано?
• Скорее всего, тестирование завершится вовремя?
• Что такое ежедневный показатель выполнения?
• Какие тестовые области требуют внимания?

Пробные запуски

В центре выполнения отображаются результаты тестового выполнения. Сюда входят все тестовые запуски, как вручную, так и автоматически.

Примечание.

Центр запусков доступен в Azure DevOps Server 2020 и более поздних версиях. Для этого требуется включить службу Аналитики, которая используется для хранения данных тестового выполнения и управления ими. Дополнительные сведения о службе см. в статье "Что такое служба аналитики"?

Выберите любой конкретный запуск, чтобы просмотреть сводку тестового запуска.

Состояния развертывания

Мини-приложение состояния развертывания, настраиваемое мини-приложение, показывает объединенное представление состояния развертывания и скорость прохождения теста в нескольких средах для недавнего набора сборок. Мини-приложение настраивается путем указания конвейера сборки, ветви и связанных конвейеров выпуска. Чтобы просмотреть сводку теста в нескольких средах в выпуске, мини-приложение предоставляет представление матрицы для каждой среды и соответствующую скорость прохождения теста.

Наведите указатель мыши на любую сводку сборки, и вы можете просмотреть дополнительные сведения, в частности количество пройденных и неудачных тестов.

Тенденция результатов теста (дополнительно)

Мини-приложение "Тенденция результатов теста" (Дополнительно) обеспечивает практически в реальном времени видимость тестовых данных для нескольких сборок и выпусков. Мини-приложение показывает тенденцию результатов теста для выбранных конвейеров. Его можно использовать для отслеживания ежедневного количества тестов, скорости передачи и длительности тестирования. Отслеживание качества теста с течением времени и улучшение тестового обеспечения является ключом к поддержанию работоспособного конвейера DevOps. Мини-приложение поддерживает отслеживание расширенных метрик для одного или нескольких конвейеров сборки или конвейеров выпуска. Мини-приложение также позволяет фильтровать результаты теста по результатам, стеку метрик и многое другое. Дополнительные сведения см. в разделе "Настройка мини-приложения "Тенденция результатов теста" (advanced).

Аналитика тестов

Встроенные тесты и поддерживаемые тестами мини-приложения получают свои данные из службы Аналитики. Служба Аналитики — это платформа отчетов для Azure DevOps. Данные test Analytics доступны для Azure DevOps Server 2019 и более поздних версий. Он поддерживает вкладку "Аналитика и тесты" и отчеты детализации, доступные в концентраторе Конвейеров. Отчет об детализации тестового сбоя содержит сводку переданных и неудачных тестов. Дополнительные сведения см. в статье "Аналитика тестов".

Кроме того, можно создавать пользовательские отчеты, запрашивая службу Аналитики. Дополнительные сведения см. в разделе "Обзор примеров отчетов с помощью запросов OData".

Следующие шаги

Тестирование объектов и терминов

Связанные статьи

• Навигация по планам тестирования
• Копирование или клонирование планов тестирования, наборов тестов и тестовых вариантов
• Связывание автоматических тестов с тестовыми случаями
• О запросе и предоставлении отзывов
• Общие сведения об интеграции и совместной работе между службами
• Сведения о тестах конвейера

Дополнительные ресурсы

• Модульное тестирование
• Основные сведения о модульных тестах
• модульное тестирование Устойчивые функции
• Что такое Нагрузочное тестирование Azure?