Повторение теста с другими данными

Azure DevOps Services | Azure DevOps Server 2022 — Azure DevOps Server 2019 | TFS 2018

Добавьте параметры в ручной тест, чтобы повторить тест с различными данными теста. Например, можно протестировать добавление различных значений в корзину покупок из количества 1, 5, 10 или 200.

Вставьте параметры в тестовый случай вручную. Затем укажите таблицу значений параметров. Общие параметры можно добавить в тестовые случаи или преобразовать недавно вставленные параметры в общие параметры. Общие действия и общие параметры — это разные типы рабочих элементов, которые можно совместно использовать в нескольких тестовых случаях. Они связаны с тестовых случаев с помощью тестовых шагови ссылок, на которые ссылаются ссылки, как показано на следующем рисунке.

На схеме показаны общие шаги, подключенные к тестовому регистру, который также подключен к общим параметрам.

С помощью общих шагов и общих параметров можно выполнять несколько тестовых вариантов с одинаковыми данными.

Необходимые компоненты

У вас должны быть следующие разрешения и уровни доступа:

  • Базовый доступ или более высокий уровень и разрешения для просмотра рабочих элементов в соответствующем пути области. Дополнительные сведения см. в разделе "Добавление пользователей в проект или команду".
  • Уровень доступа "Базовые и тестовые планы " для добавления тестов и наборов тестов, удаления артефактов теста и определения конфигураций тестов. Кроме того, у вас есть одна из следующих подписок Visual Studio:
  • Для добавления или изменения артефактов, связанных с тестом, необходимо иметь следующие разрешения:
    • Измените рабочие элементы в этом наборе разрешений узла , чтобы разрешить в соответствующем пути области, добавить или изменить планы тестирования, наборы тестов, тестовые варианты или другие типы рабочих элементов на основе тестов.
    • Управление набором разрешений для планов тестирования для разрешения в соответствии с соответствующим путем области для изменения свойств плана тестирования, таких как параметры сборки и тестирования.
    • Управление набором разрешений наборов тестов для разрешения в соответствующем пути области для создания и удаления наборов тестов, добавления и удаления тестовых вариантов из наборов тестов, изменения конфигураций тестов, связанных с наборами тестов, и изменения иерархии наборов тестов (перемещение набора тестов).

Дополнительные сведения см. в разделе "Тестовый доступ и разрешения вручную".

Добавление параметров в тестовый случай

Выполните следующие действия, чтобы добавить параметры в тесты.

  1. Создайте параметр, введя имя, предшествующее "@" в действиях и ожидаемых результатах тестовых шагов.

    Снимок экрана: ввод имен параметров и значений.

  2. В списке шагов добавьте сочетания значений параметров. Чтобы увидеть их, может потребоваться прокрутить вниз.

  1. Создайте параметр, введя имя, предшествующее "@" в действиях и ожидаемых результатах тестовых шагов.

    Снимок экрана: создание параметра.

  2. В списке шагов добавьте сочетания значений параметров. Чтобы увидеть их, может потребоваться прокрутить вниз.

Совместное использование параметров между тестовых вариантов

Выполните следующие действия, чтобы преобразовать существующие параметры в общие параметры, чтобы их можно было использовать и связанные данные в других тестовых случаях.

  1. В открытом тестовом случае выберите "Преобразовать" в общие параметры.

    Снимок экрана: преобразование существующих параметров в общие параметры.

  2. После создания общего набора параметров откройте другой тестовый случай и добавьте общий параметр в этот тестовый случай.

    Снимок экрана: добавление общего параметра в тестовый случай.

    Вы можете найти общий параметр, заданный по имени.

    Общий набор параметров отображается в разделе "Значения параметров" после его добавления. Теперь эти параметры можно использовать в шагах тестового случая.

  3. Если тестовый случай имеет разные имена параметров для этих общих параметров, сопоставите общие параметры с локальными параметрами с использованием данных общих параметров.

    Снимок экрана: сопоставление общего параметра с локальным параметром.

    При правильном сопоставлении отображаются данные, связанные с общим параметром.

  4. Добавьте, измените и переименуйте наборы общих параметров на странице "Параметры ". Просмотрите тестовые случаи, ссылающиеся на них в области тестовых вариантов .

    Снимок экрана: параметры для добавления, редактирования, просмотра и переименования общего параметра.

  5. Каждый общий набор параметров — это рабочий элемент. Откройте страницу свойств , чтобы просмотреть или внести изменения в этот рабочий элемент. Например, можно назначить владельцев и отслеживать изменения.

В один тестовый случай нельзя добавить несколько общих параметров. Если два тестовых случая совместно используют аналогичные данные, можно создать один общий набор параметров, содержащий все параметры, даже если несколько столбцов в наборе остаются неиспользуемых в каждом тестовом случае. Например, в одном тестовом случае требуется идентификатор клиента, имя, электронная почта и телефон, а второй — идентификатор клиента, имя и адрес.

Значения параметров можно импортировать из электронной таблицы Excel в общие наборы параметров. Вставьте значения в сетку общих параметров. Вы также можете скопировать данные из сетки обратно в Excel.

  1. Преобразуйте существующие параметры в общие параметры, чтобы их можно было использовать и связанные данные в других тестовых случаях.

    Снимок экрана: преобразование существующих параметров в общие параметры.

  2. После создания общего набора параметров откройте другой тестовый случай и добавьте общий параметр в этот тестовый случай. Вы можете найти общий параметр, заданный по имени.

    Снимок экрана: добавление общего параметра в тестовый случай.

    Общий набор параметров отображается в разделе "Значения параметров" после добавления. Теперь эти параметры можно использовать в шагах тестового случая.

  3. Если тестовый случай имеет разные имена параметров для этих общих параметров, сопоставите общие параметры с локальными параметрами с использованием данных общих параметров.

    Снимок экрана: сопоставление общего параметра с локальным параметром.

    При правильном сопоставлении отображаются данные, связанные с общим параметром.

  4. Добавьте, измените и переименуйте наборы общих параметров на странице "Параметры ". Просмотрите тестовые случаи, ссылающиеся на них в области тестовых вариантов .

    Добавление, редактирование, просмотр и переименование общего параметра

  5. Каждый общий набор параметров — это рабочий элемент. Откройте страницу свойств , чтобы просмотреть или внести изменения в этот рабочий элемент. Например, можно назначить владельцев и отслеживать изменения.

В один тестовый случай нельзя добавить несколько общих параметров. Если два тестовых случая совместно используют аналогичные данные, можно создать один общий набор параметров, содержащий все параметры, даже если несколько столбцов в наборе остаются неиспользуемых в каждом тестовом случае. Например, в одном тестовом случае требуется идентификатор клиента, имя, электронная почта и телефон, а второй — идентификатор клиента, имя и адрес.

Значения параметров можно импортировать из электронной таблицы Excel в общие наборы параметров. Вставьте значения в сетку общих параметров. Вы также можете скопировать данные из сетки обратно в Excel.

Запуск тестового случая с параметрами

Выполните следующие действия, чтобы запустить тестовый случай, использующий параметры.

  1. Выберите тестовый случай с параметрами и запустите его. В средстве выполнения теста показана первая строка значений параметров.

    Снимок экрана: средство выполнения теста, отображающее первую строку значений параметров.

  2. Помечайте пройденный или неудачный тест. Перейдите к следующей итерации теста, которая использует следующую строку значений параметров.

    Снимок экрана: переход к следующей итерации теста.

  3. Используйте меню для перехода к другим итерациям.

    Снимок экрана: переход к другим итерациям.

  4. Если какие-либо из значений параметров неверны, исправьте их без отмены теста, выбрав "Изменить " из контекстного меню шага.

  1. Выберите тестовый случай с параметрами и запустите его. В средстве выполнения теста показана первая строка значений параметров.

    Снимок экрана: средство запуска тестов и первая строка значений параметров.

  2. Помечайте пройденный или неудачный тест. Затем перейдите к следующей итерации теста, которая использует следующую строку значений параметров.

    Снимок экрана: переход к следующей итерации теста.

  3. Используйте раскрывающийся список для перехода к другим итерациям.

    Снимок экрана: переход к другим итерациям.

  4. Если какие-либо из значений параметров неверны, исправьте их без отмены теста, выбрав "Изменить" в контекстном меню.

Просмотр результатов теста

Результат теста основан на иерархии приоритета всех результатов итерации. Порядок иерархии приостановлен, сбой, заблокирован, передан, неприменим и не указан (активный). Например, если вы помечаете любую итерацию как неудачную и все остальные, как пройдено, результат всего теста отображается как неудачный. Этот результат отличается от тестовых случаев, не имеющих параметров, где результат отображает состояние последнего запуска.

Чтобы просмотреть результаты теста, на вкладке "Выполнить " выберите точку тестирования. Выберите дополнительные параметры или щелкните правой кнопкой мыши, чтобы открыть контекстное меню. Выберите "Просмотреть результаты теста".

Снимок экрана: выбор параметра

Результаты можно просмотреть в диалоговом окне "Результаты тестового дела".

Снимок экрана: результаты теста для точки тестирования.

Результат теста основан на иерархии приоритета всех результатов итерации. Порядок иерархии приостановлен, сбой, заблокирован, передан, неприменим и не указан (активный). Например, если вы помечаете любую итерацию как неудачную и все остальные, как пройдено, результат всего теста отображается как неудачный. Этот результат отличается от тестовых случаев, не имеющих параметров, где результат отображает состояние последнего запуска.

  1. Проверьте результат теста, открыв область сведений.

    Снимок экрана: проверка результата теста в области сведений.

  2. Дважды щелкните результат теста, чтобы просмотреть сведения о выполнении теста и результаты теста для каждой итерации.

    Снимок экрана: просмотр сведений о тестовом выполнении.

Ускорение итерации тестов с помощью записи и воспроизведения

Это может быть подвержено ошибкам и емким для работы с длинной таблицей сочетаний параметров. Чтобы ускорить работу, создайте запись действия при выполнении теста с первым набором значений параметров, а затем воспроизводите его для других наборов.

  1. Используйте планы тестирования Azure для запуска теста.

  2. Нажмите кнопку "Создать запись действия" перед нажатием кнопки "Пуск".

  3. Выполните первую итерацию теста, а затем перейдите к следующей.

  4. Пометьте каждый шаг как переданный или неудачный при работе. Введите значения параметров в приложении точно так же, как показано в тестовом скрипте.

  5. Выберите "Воспроизвести" , чтобы запустить тест с помощью следующего набора значений параметров. Ваши действия выполняются автоматически, но вы все равно должны проверить результаты.

    Запись и воспроизведение не работают со всеми приложениями. Дополнительные сведения см. в статье "Поддерживаемые конфигурации и платформы" для закодированных тестов пользовательского интерфейса и записей действий.