Тестирование разных конфигураций

сервисы Azure DevOps | Azure DevOps Server | Azure DevOps Server 2022

Пользователи устанавливают или запускают приложение в различных конфигурациях, таких как различные операционные системы, веб-браузеры и другие варианты. Выполните по крайней мере некоторые тесты на этапах, в которых имеются разные конфигурации.

Используйте планы тестирования, чтобы решить, какие тесты будут выполняться в каких конфигурациях. Убедитесь, что при выполнении тестов вы настроите этапы для необходимых конфигураций.

В следующей схемной матрице показаны примеры сочетаний, которые могут потребоваться протестировать:

Схема, на которую показана тестовая матрица конфигураций браузера и операционной системы.

Предварительные условия

Категория Требование
Доступ к проекту Член проекта.
Уровни доступа Чтобы добавить конфигурации тестов, разрешение уровня проекта Manage test configurations должно быть установлено на Allow. По умолчанию участники и группы администраторов Project имеют это разрешение.

Дополнительные сведения см. в руководстве по проверке доступа и разрешений вручную.

Предварительные требования для средства командной строки TCM

Категория Требования
Инструменты Visual Studio 2017 (профессиональный или корпоративный) или более ранний. Исполняемый файл TCM (tcm.exe) находится в следующих каталогах:
- %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
- %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE
- %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE
Уровни доступа По крайней мере базовый доступ и членство в проекте, к которому вы хотите получить доступ. Чтобы клонировать или импортировать тестовые планы и наборы тестов, вам потребуется доступ к базовым и тестовых планам . Дополнительные сведения см. в разделе "Доступ к тестированию и разрешения".

Чтобы выполнить команду TCM, укажите /collection и /teamproject параметры, а /login также при необходимости.

Параметр Описание
/коллекция:CollectionURL Обязательный. Указывает URI коллекции командных проектов. Формат универсального кода ресурса (URI) выглядит следующим образом:
— для служб Azure DevOps: https://dev.azure.com/OrganizationName или https://OrganizationName.visualstudio.com
— для Azure DevOps Server: http://ServerName:Port/VirtualDirectoryName/CollectionName. Если виртуальный каталог не используется, формат: http://ServerName:Port/CollectionName
/teamproject:project Обязательный. Имя проекта, содержащего тестовые объекты, в которые требуется клонировать или импортировать автоматические тесты.
/login:username,[password] Необязательно. Указывает имя и пароль допустимого пользователя Azure DevOps, у которого есть разрешения на выполнение команды. Используйте этот параметр, если у ваших Windows учетных данных нет соответствующих разрешений, вы используете обычную проверку подлинности или не подключены к домену.

Просмотр конфигураций и переменных

Просмотрите конфигурации, которые уже доступны для выполнения тестов.

Просмотрите список конфигураций тестов и переменных конфигурации на странице "Конфигурации ".

  1. В вашем проекте выберите планы тестирования>конфигурации в области навигации слева.

    Отображаются все конфигурации тестов и переменные, доступные для планов тестирования.

    Снимок экрана: страница

  2. Выберите конфигурацию или переменную, чтобы просмотреть дополнительные сведения в области справа.

Создание конфигураций и переменных

Конфигурация теста — это сочетание значений переменных конфигурации. Переменные конфигурации могут быть, например, операционной системой, браузером, типом центрального процессора, базой данных. Конфигурация может быть "Windows 8 + 32-разрядная ЦП" или "Windows 10 + 64-разрядная ЦП".

Сначала создайте переменные конфигурации, а затем объедините несколько значений переменных для создания конфигурации.

  1. Откройте страницу "Конфигурации" на веб-портале "Планы тестирования", щелкните + значок и выберите новую переменную конфигурации.

    Снимок экрана: опция

  2. Введите имя переменной, например браузер и описание. Выберите " Добавить новое значение", а затем добавьте значение. Добавьте столько значений, сколько нужно в переменную конфигурации, а затем сохраните ее.

    Снимок экрана: добавление значений в новую переменную конфигурации.

  3. Повторите действия, чтобы создать другие необходимые переменные конфигурации. Например, создайте переменную конфигурации с именем Операционной системы с именами каждой операционной системы, в которой требуется протестировать.

    Снимок экрана: установка значений для переменной конфигурации операционных систем.

  4. + Щелкните значок и выберите новую конфигурацию теста.

    Снимок экрана опции создания новой тестовой конфигурации в меню

  5. Введите имя тестовой конфигурации и добавьте созданные переменные конфигурации. Выберите значение для каждой переменной для этой конфигурации.

    Снимок экрана: добавление переменных в новую конфигурацию теста.

    Убедитесь, что выбран параметр "Назначить новым планам тестирования" , чтобы сделать эту конфигурацию стандартной для всех новых создаваемых тестов.

  6. Сохраните новую конфигурацию теста.

Назначение конфигураций для тестовых планов и наборов тестов

Конфигурации можно назначить набору тестов или отдельному тестовому случаю. Конфигурации, назначенные тестовому набору, применяются ко всем тестам или тестовым наборам в нем.

  1. Чтобы назначить конфигурацию набору тестов, на странице "Планы тестирования" выберите план. В области "Наборы тестов" выберите набор тестов и выберите "Дополнительные параметры" или щелкните правой кнопкой мыши, чтобы открыть контекстное меню, а затем выберите "Назначить конфигурацию".

    Снимок экрана: параметр меню

    Если добавить несколько конфигураций в набор тестов, тестовые случаи повторяются с каждой из назначенных конфигураций.

    Снимок экрана: несколько конфигураций, назначенных набору тестов.

  2. При необходимости переопределите конфигурацию по умолчанию, назначенную тестовой ситуации, и назначьте нужную конфигурацию. Выберите один или несколько тестовых вариантов, откройте контекстное меню и выберите " Назначить конфигурацию".

    Снимок экрана: назначение конфигурации для тестовых вариантов.

  3. Найдите и выберите конфигурации для назначения тестовых вариантов.

    Снимок экрана: выбор конфигураций для тестового случая.

Предостережение

  • Наследование конфигурации. Изменение конфигураций в дочернем наборе нарушает наследование от родительских наборов. Изменение по-прежнему распространяется на более низкие дочерние наборы, если только дочерний набор уже не переопределяет его.
  • Скрытые точки тестирования: отмена назначения конфигурации скрывает связанные точки тестирования. Чтобы восстановить эти настрои, переназначьте конфигурацию.

Выполнение тестов с каждой конфигурацией

Настройте платформу тестирования для определенной конфигурации, например тестирование приложения с помощью Google Chrome на Windows 10.

  1. Выберите и запустите тест, назначаемый этой конфигурацией.

    Снимок экрана: тест с определенной конфигурацией и выбранным параметром

    При выполнении теста в строке состояния появится напоминание о конфигурации.

    Снимок экрана: конфигурация для этого теста в строке состояния.

Отслеживание результатов теста для каждой конфигурации

  1. Откройте страницу "Диаграммы " для набора тестов, выберите "Создать" и выберите "Создать диаграмму результатов теста".

    Снимок экрана: пункт меню

  2. Выберите тип диаграммы, например круговую диаграмму или линейчатую диаграмму, а затем выберите "Группа по>конфигурации " и нажмите кнопку "ОК".

    Снимок экрана: выбор параметра конфигурации для группы в диалоговом окне настройки диаграммы.

    Создается график, который помогает вам отслеживать тесты на основе конфигураций. Эту диаграмму можно закрепить на панели мониторинга.

    Снимок экрана: линейчатая диаграмма с результатами теста для not run, Passed и Failed by configuration.

Если тестовый случай отображается в нескольких наборах тестов, можно задать разные конфигурации для каждого набора. Один и тот же тестовый случай может иметь разные параметры конфигурации в разных наборах тестов и планах тестирования.