Создание разговорного тестового набора

Note

В этой статье описываются особенности, используемые в агентах или потоках агентов, питаемых стандартным жгутом.

Оценка диалоговых взаимодействий позволяет оценить общее поведение вашего агента в ходе продолжительного общения. Она отражает, как реальные пользователи взаимодействуют с агентами, где каждый ответ зависит от предыдущего контекста в ходе текущего разговора. Вы можете использовать эти оценки, чтобы определить, способен ли агент удерживать контекст, запрашивать разъяснения и успешно выполнять задачи, состоящие из нескольких этапов.

Вы также можете проводить оценки с одним ответом, которые полезны, когда вы хотите протестировать ваш агент на то, как он отвечает на конкретные вопросы, какие функции он использует и на точные формулировки, которые он применяет в своих ответах.

Для оценки используются тестовые наборы. Тестовый набор для разговорных оценок включает группу размером до 20 тестовых случаев. Когда вы запускаете оценку агента, вы выбираете тестовый набор, и Copilot Studio запускает все тестовые случаи из этого набора для вашего агента.

Вы можете создавать тестовые случаи внутри тестового набора, импортируя их из электронной таблицы или используя ИИ для генерации сообщений на основе структуры и ресурсов вашего агента. Затем вы можете выбрать способ оценки качества ответов вашего агента для каждого тестового случая внутри тестового набора.

Узнайте больше о том, как работает оценка агентов, в разделе «О оценке агента».

Чтобы узнать, как изменить параметры тестового набора, см. Изменение параметров тестового набора.

Important

Результаты теста доступны в Copilot Studio в течение 89 дней. Чтобы сохранить результаты тестирования для длительного хранения, экспортируйте результаты в файл CSV.

Создание разговорного тестового набора

1. Перейдите на страницу оценки вашего агента.

   

2. Выберите Создать оценку, затем выберите Разговор.

   

3. Вы можете создавать многоходовые тестовые случаи, используя любой из следующих методов:

   • Набор кратких разговоров: автоматически создаются 10 коротких диалогов на основе описания, инструкций и возможностей вашего агента.

   • Полный набор разговоров: генерация разговоров с использованием знаний вашего агента или определенных тем. В этом варианте вы можете выбрать создание коротких или длинных разговоров.

   • Используйте свой тестовый чат: последний тестовый чат преобразуется в тестовый случай.

   Note

   Разговорные тестовые наборы поддерживают до 20 тестовых случаев. Каждый тестовый случай поддерживает до 12 сообщений в сумме, то есть 6 пар вопросов и ответов.

4. В поле Имя введите имя для вашего тестового набора.

5. Измените или добавьте методы тестирования, которые вы хотите использовать. Для разговорных тестовых наборов вы можете добавить методы тестирования Общее качество, Соответствие ключевых слов, Использование инструментов или Пользовательский.

   • Добавьте новый метод:
     1. Выберите "Добавить метод теста".
     2. Выберите все методы, которые вы хотите использовать для тестирования, затем выберите OK. Можно добавить нескольких методов.
     3. Для некоторых методов укажите проходной балл, затем нажмите ОК. Проходной балл определяет, какой результат считается успешным, а какой — неудачным.
     4. Некоторые методы требуют добавления ожидаемых ответов или ключевых слов для каждого тестового случая. Узнайте больше в разделе «Выбирайте методы оценки».
   • Выберите существующий метод тестирования для редактирования или удаления.

   Метод испытаний	Меры	Тип тестового набора	Очки	Configurations
   Общее качество	Насколько хорошего качества ответы тестового случая по определенным характеристикам	Единичный ответ или диалог	Оценка из 100%	None
   Безопасность содержимого	Содержит ли ответ тестового случая вредный контент, такой как ненависть, насилие, самоповреждение или сексуальный контент	Единичный ответ или диалог	Передача или сбой	Тип контента, разрешённый уровень безопасности контента
   Сравнение смысла	Насколько смысл ответа тестового случая соответствует ожидаемому ответу	Один ответ	Оценка из 100%	Проходной балл, ожидаемый ответ
   Использование инструмента	Использовал ли тестовый случай все или какие-либо ожидаемые ресурсы	Один ответ	Передача или сбой	Ожидаемые возможности
   Совпадение ключевых слов	Использовали ли тестовый случай все или какие-либо из ожидаемых ключевых слов или фраз	Единичный ответ или диалог	Передача или сбой	Ожидаемые ключевые слова или фразы
   Сходство текста	Насколько хорошо текст ответа тестового случая соответствует ожидаемому ответу	Один ответ	Оценка из 100%	Проходной балл, ожидаемый ответ
   Точное совпадение	Совпадает ли ответ тестового случая с ожидаемым ответом в точности	Один ответ	Передача или сбой	Ожидаемый ответ
   Настройка	Соответствует ли ответ тестового случая вашим установленным критериям или ожиданиям.	Единичный ответ или диалог	Прошел/не прошел (соответствует определенным критериям меток)	Имя, инструкции по оценке, метки

6. Отредактируйте сведения тестовых случаев. Все методы тестирования, кроме общего качества, требуют ожидаемых ответов или ключевых слов. Узнайте больше о редактировании тестовых случаев в разделе Modify a test set.

7. Выберите профиль пользователя, просмотрите соединения для авторизованного пользователя или продолжите без аутентификации. Оценка использует авторизованного пользователя для подключения к источникам знаний и инструментам во время тестирования. Чтобы провести оценку от другого пользователя, выйдите из системы, войдите через его аккаунт и начните оценку. Подробнее см. в разделе Управление профилями пользователей и подключениями.

   Note

   Автоматизированное тестирование использует аутентификацию уже авторизованного пользователя. Убедитесь, что пользователь может получить доступ к любым источникам знаний или соединениям, требующим аутентификации.

8. Отредактируйте или создайте дополнительные тестовые случаи. Подробнее см. в разделе Редактирование тестовых случаев внутри тестового набора.

9. Выберите Сохранить, чтобы обновить тестовый набор без запуска тестовых случаев, или Оценить, чтобы немедленно запустить тестовый набор.