Создание тестового набора для агента (предварительная версия)

[Эта статья является предварительной документацией и может быть изменена.]

Тестовый набор — это набор разговоров, которые вы используете для оценки работы вашего агента. Каждый разговор представляет собой сценарий, который ваш агент должен обработать.

Important

Необходимые условия

Агент, созданный и сохранённый с помощью упряжки GitHub Copilot. См. Создание агента (предварительная версия).

Запуск новой оценки

Чтобы начать новую оценку:

  1. Откройте агент в Copilot Studio.
  2. Перейдите на вкладку Оценка.
  3. Выберите «Новая оценка».

Выберите один из следующих вариантов:

Вариант 1. Загрузка разговоров из CSV-файла

  1. На вкладке Оценка, в разделе Источник данных, перетащите CSV-файл в область отправки или выберите ее, чтобы найти файл.

    Tip

    Выберите ссылку CSV, чтобы скачать шаблон файла в правильном формате. Максимальный размер файла — 5 МБ.

  2. Просматривайте импортированные переписки и корректируйте их по необходимости.

  3. В панели Настроить тестовый набор справа введите Имя для оценки.

  4. Выберите «Оценить » для запуска оценки или «Сохранить » для сохранения без запуска.

Вариант 2. Генерация разговоров с помощью ИИ

  1. На вкладке Оценка, в разделе Больше способов начать, выберите Краткий набор бесед.
  2. Подождите, пока система сгенерирует 10 переписок на основе описания, инструкций и тем агента.
  3. Просмотрите сгенерированные разговоры в списке Проверьте тестовые случаи.
  4. В панели Configure test set введите имя, затем выберите Evaluate или Save.

Вы также можете создавать больше разговоров с точки зрения оценки. Выберите «Добавить разговоры>» Сгенерировать 10 разговоров. После проведения первоначальной оценки выберите « Добавить разговоры>», «Сгенерировать 25 разговоров » или «Сгенерировать 50 разговоров », чтобы получить ещё больше.

Вариант 3. Написание разговоров вручную

  1. На вкладке Оценить в разделе Дополнительные способы начать выберите Или напишите вопросы самостоятельно.
  2. В списке «Просмотр тестовых случаев » выберите « Добавить разговоры>» «Написать », чтобы создать тестовый кейс.
  3. Добавьте вопрос пользователя для каждого разговора. По желанию добавьте ожидаемый ответ агента.
  4. В панели Настроить тестовый набор введите Имя и выберите Оценить или Сохранить.

Настройка тестового набора

При создании или редактировании оценки панель Configure test set включает следующие опции:

  • Имя: обязательное поле для оценки.
  • Метод тестирования: метод, который оценивает ответы. Общие проверки качества, соответствуют ли ответы стандартам качества, таким как релевантность и полнота.
  • Профиль пользователя: аутентифицированный профиль, который проводит оценку. Выберите «Управлять», чтобы настроить профиль, который запускает тесты.

Изменение разговоров в тестовом наборе

Редактировать переписки в тестовом наборе:

  1. На вкладке Оценить откройте существующий тестовый набор из раскрывающегося списка Оценка.
  2. Выберите разговор, чтобы редактировать его сообщения.
  3. Используйте раскрывающееся меню Добавить разговоры, чтобы добавить больше разговоров.
  4. Когда закончите, нажмите кнопку Сохранить.
  • Last updated on