Тестирование разных конфигураций

  • Статья

Azure DevOps Services | Azure DevOps Server 2022 — Azure DevOps Server 2019

Пользователи, вероятно, установят или запускают приложение в различных конфигурациях, таких как различные операционные системы, веб-браузеры и другие варианты. Вам потребуется выполнить по крайней мере некоторые тесты на этапах, которые имеют разные конфигурации.

Используйте планы тестирования, чтобы решить, какие тесты необходимо выполнить в каких конфигурациях. Необходимо убедиться, что при выполнении тестов, которые вы настроили для необходимых конфигураций.

Можно нарисовать схемную матрицу сочетаний, которые требуется протестировать:

Матрица тестирования конфигураций браузера и операционной системы

Затем можно:

Необходимые компоненты

  • Необходимо подключиться к проекту. Если у вас еще нет проекта, создайте его.
  • Необходимо добавить в проект. Чтобы добавить его, добавьте пользователей в проект или команду.
  • Чтобы просмотреть или добавить конфигурации тестов, необходимо иметь базовый доступ или более высокий уровень.
  • Чтобы добавить конфигурации тестов, необходимо иметь разрешение на управление конфигурациями тестов на уровне проекта в значение Allow. По умолчанию это разрешение предоставляется членам групп участников и проектов Администратор istrator.

Дополнительные сведения см. в статье "Доступ и разрешения для тестирования вручную".

Работа с средством командной строки TCM

Чтобы использовать программу командной строки TCM, необходимо иметь следующие элементы:

  • Установлен Visual Studio 2017 Professional или более ранняя версия. Доступ к TCM можно получить из командной строки и следующих каталогов:

    • %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
    • %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE
    • %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE

  • Чтобы выполнить команду TCM, укажите /collection и /teamproject параметры, а /login также при необходимости.

    Параметр Описание
    /Коллекции:CollectionURL Обязательный. Задает универсальный код ресурса (URI) коллекции проектов группы. Формат универсального кода ресурса (URI) выглядит следующим образом:
    — Для Azure DevOps Services: http://dev.azure.com/OrganizationName
    — Для Azure DevOps Server: http://ServerName:Port/VirtualDirectoryName/CollectionName. Если виртуальный каталог не используется, формат URI выглядит следующим образом:http://ServerName:Port/CollectionName
    /teamproject:project Обязательный. Имя проекта, содержащего тестовые объекты, в которые требуется клонировать или импортировать автоматические тесты.
    /login:username,[password] Необязательно. Указывает имя и пароль допустимого пользователя Azure DevOps и разрешения на выполнение команды. Используйте этот параметр, если учетные данные Windows не имеют соответствующих разрешений или вы используете обычную проверку подлинности или не подключены к домену.

  • Вы должны быть допустимым членом одного или нескольких проектов, к которым вы хотите получить доступ, и иметь необходимые разрешения на основе выполняемых команд. Дополнительные сведения см. в разделе "Тестовый доступ и разрешения вручную".

  • Для клонирования или импорта объектов тестирования необходимо иметь одинаковые уровни доступа, необходимые для добавления планов тестирования и наборов тестов.

Просмотр конфигураций и переменных

Часто требуется просмотреть конфигурации, которые уже доступны для выполнения тестов.

Список конфигураций тестов и переменных конфигурации можно просмотреть на странице "Конфигурации ".

В проекте выберите "Конфигурации планов>тестирования" в области навигации слева. Здесь вы увидите все конфигурации тестов и переменные, доступные в настоящее время для планов тестирования.

Снимок экрана: Редактор запросов, планы тестирования запросов.

Выберите конфигурацию или переменную, чтобы просмотреть дополнительные сведения о ней в окне справа.

Создание конфигураций и переменных

Конфигурация теста — это сочетание значений переменных конфигурации. Переменные конфигурации могут быть, например, операционной системой, браузером, типом ЦП, базой данных. Конфигурация может быть "Windows 8 + 32-разрядная ЦП" или "Windows 10 + 64-разрядная ЦП".

Сначала создайте переменные конфигурации. Затем объедините несколько значений переменных для создания конфигурации.

  1. Откройте страницу "Конфигурации" на веб-портале "Планы тестирования", щелкните + значок и выберите новую переменную конфигурации.

    Снимок экрана: параметр

  2. Введите имя переменной, например браузер и описание. Выберите " Добавить новое значение", а затем добавьте значение. Добавьте столько значений, сколько вы хотите, в переменную конфигурации, а затем сохраните ее.

    Снимок экрана: добавление значений в новую переменную конфигурации.

  3. Повторите действия, чтобы создать другие необходимые переменные конфигурации. Например, создайте переменную конфигурации с именем Операционной системы с именами каждой операционной системы, в которой требуется протестировать.

    Снимок экрана: установка значений для переменной конфигурации операционных систем.

  4. + Щелкните значок и выберите новую конфигурацию теста.

    Снимок экрана: параметр

  5. Введите имя тестовой конфигурации и добавьте созданные переменные конфигурации. Выберите значение для каждой переменной для этой конфигурации.

    Снимок экрана: добавление переменных в новую конфигурацию теста.

    Убедитесь, что назначение новым планам тестирования проверка, чтобы сделать эту конфигурацию стандартной для всех создаваемых новых планов тестирования.

  6. Сохраните новую конфигурацию теста.

Конфигурация теста — это сочетание значений переменных конфигурации. Переменные конфигурации могут быть, например, операционной системой, браузером, типом ЦП, базой данных. Конфигурация может быть "Windows 8 + 32-разрядная ЦП" или "Windows 10 + 64-разрядная ЦП".

Сначала необходимо создать переменные конфигурации. Затем объедините несколько значений переменных для создания конфигурации.

  1. Откройте страницу "Конфигурации" на веб-портале "Планы тестирования", выберите Создать... значок и выберите новую переменную конфигурации.

    Добавление новой переменной конфигурации

  2. Введите имя переменной, например браузер, и введите значение. Добавьте столько значений, сколько вы хотите, в переменную конфигурации, а затем сохраните ее.

    Задание значений для новой переменной конфигурации

  3. Повторите действия, чтобы создать другие необходимые переменные конфигурации. Например, создайте переменную конфигурации с именем Операционной системы с именами каждой операционной системы, в которой требуется протестировать.

    Задание значений для переменной конфигурации операционных систем

  4. Создать... Щелкните значок и выберите новую конфигурацию теста.

    Добавление новой конфигурации теста

  5. Введите имя тестовой конфигурации и добавьте созданные переменные конфигурации. Выберите значение для каждой переменной для этой конфигурации.

    Добавление переменных в новую конфигурацию теста

    Убедитесь, что назначение новым планам тестирования проверка, чтобы сделать эту конфигурацию по умолчанию для всех создаваемых новых планов тестирования.

  6. Сохраните новую конфигурацию теста.

Назначение конфигураций для тестовых планов и наборов

Конфигурации можно назначить набору тестов или отдельному тестовом варианту. Конфигурации, назначенные набору тестов, применяются ко всем тестам или наборам в нем.

  1. Чтобы назначить конфигурацию набору тестов, на странице "Планы тестирования" выберите план. В области "Наборы тестов" выберите набор тестов и выберите "Дополнительные параметры" или щелкните правой кнопкой мыши, чтобы открыть контекстное меню, а затем выберите "Назначить конфигурацию".

    Снимок экрана: пункт меню

    Если добавить несколько конфигураций в набор тестов, тесты повторяются с каждой из назначенных конфигураций.

    Снимок экрана: несколько назначений конфигурации для набора тестов.

  2. При необходимости переопределите конфигурацию по умолчанию, назначенную тестовой ситуации, и назначьте нужную конфигурацию. Выберите один или несколько тестовых вариантов, откройте контекстное меню и выберите " Назначить конфигурацию".

    Снимок экрана: назначение конфигурации, назначенной тестовой ситуации.

  3. Найдите и выберите конфигурации для назначения тестовых вариантов.

    Снимок экрана: настройка конфигураций для тестового случая.

Конфигурации можно назначить плану тестирования, набору тестов или отдельному тестовом варианту. Конфигурации, назначенные плану тестирования или набору тестов, применяются ко всем тестам или наборам в нем.

  1. Чтобы назначить конфигурацию тестовой плану, откройте контекстное меню плана и выберите "Назначить конфигурацию для тестового плана".

    Назначение конфигурации тестового плана

  2. Чтобы назначить конфигурацию набору тестов, откройте контекстное меню набора и выберите " Назначить конфигурацию для набора тестов".

    Назначение конфигурации набору тестов

    При добавлении нескольких конфигураций в тестовый план или набор тесты повторяются в плане или наборе с каждой назначенной конфигурацией.

    Несколько назначений конфигурации для набора тестов

  3. При необходимости переопределите конфигурацию по умолчанию, назначенную тестовой ситуации, и назначьте нужную конфигурацию. Выберите один или несколько тестовых вариантов, откройте контекстное меню и выберите пункт " Назначить конфигурации".

    Переопределение конфигурации по умолчанию, назначенной тестовой ситуации

  4. Найдите и выберите конфигурации, которые нужно назначить этим тестовых случаям.

    Настройка необходимых конфигураций для тестового случая

Выполнение тестов с каждой конфигурацией

Настройте платформу тестирования для определенной конфигурации, например тестирование приложения с помощью Google Chrome в Windows 10.

  1. Выберите и запустите тест, назначаемый этой конфигурацией.

    Снимок экрана: тест с определенной конфигурацией и выбранным параметром

    При выполнении теста в строке состояния появится напоминание о конфигурации.

    Снимок экрана: конфигурация для этого теста в строке состояния.

  1. Настройте платформу тестирования для определенной конфигурации, например тестирование приложения с помощью Google Chrome в Windows 10.

  2. Выберите и запустите тест, назначаемый этой конфигурацией.

    Выполнение теста с назначенной конфигурацией

    При выполнении теста напоминание о требуемой конфигурации, показанной в строке состояния окна тестового запуска.

    Требуемая конфигурация отображается в окне тестового запуска

Отслеживание результатов теста для каждой конфигурации

  1. Откройте страницу "Диаграммы " для набора тестов, выберите "Создать" и выберите "Создать диаграмму результатов теста".

    Снимок экрана: пункт меню

  2. Выберите тип диаграммы, например круговую диаграмму или линейчатую диаграмму, а затем выберите "Группировать по>конфигурации" и нажмите кнопку "ОК".

    Снимок экрана: выбор параметра конфигурации для группы в диалоговом окне настройки диаграммы.

    Создается диаграмма, которая помогает отслеживать тесты на основе конфигураций. Эту диаграмму можно закрепить на панели мониторинга.

    Снимок экрана: линейчатая диаграмма со значениями для not run, Passed и Failed.

Если у вас есть тестовый случай, который отображается в нескольких наборах тестов, можно задать разные конфигурации для каждого набора. Один и тот же тестовый случай может иметь разные параметры конфигурации в разных наборах тестов и планах тестирования.

  1. Откройте страницу "Диаграммы" для плана тестирования или набора тестов, выберите "Создать" и выберите "Создать диаграмму результатов теста".

    Создание новой тестовой диаграммы результатов

  2. Выберите нужный тип диаграммы, выберите "Конфигурация " в группе по списку и нажмите кнопку "ОК".

    Выбор нужного типа диаграммы

    Создается диаграмма, которая помогает отслеживать тесты на основе конфигураций. Эту диаграмму можно закрепить на панели мониторинга.

    Диаграмма результатов теста конфигурации

Если у вас есть тестовый случай, который отображается в нескольких планах тестирования и наборах тестов, можно задать разные конфигурации для каждого из них. Один и тот же тестовый случай может иметь разные параметры конфигурации в разных наборах тестов и планах тестирования.