Создание тестового набора с одним ответом

Note

В этой статье описываются особенности, используемые в агентах или потоках агентов, питаемых стандартным жгутом.

Оценка отдельного ответа тестирует ваш агент на одном независимом вопросе за раз, а не в рамках полноценного разговора. Например, при одиночной оценке ответа для агента службы поддержки задается вопрос Какие у вас рабочие часы?, фиксируется ответ агента на этот вопрос, затем задается новый вопрос Как узнать историю моих заказов?

Оценки с одним ответом подходят для проверки того, как агент отвечает на конкретные вопросы, какие возможности он задействует и какие именно формулировки использует в своих ответах. Вы также можете запустить оценку диалогового взаимодействия, что позволяет проанализировать поведение агента в ходе более продолжительного взаимодействия.

Для оценки используются тестовые наборы. Тестовый набор для оценки с одиночным ответом включает до 100 тестовых случаев. Когда вы запускаете оценку агента, вы выбираете тестовый набор, и Copilot Studio запускает все тестовые случаи из этого набора для вашего агента.

Тестовые случаи в тестовом наборе можно создавать вручную, импортировать с помощью таблицы или использовать ИИ для генерации сообщений на основе дизайна и ресурсов вашего агента. Затем вы можете выбрать способ оценки качества ответов вашего агента для каждого тестового случая внутри тестового набора.

Узнайте больше о том, как работает оценка агентов, в разделе «О оценке агента».

Чтобы узнать, как изменить параметры тестового набора, см. Изменение параметров тестового набора.

Important

Результаты теста доступны в Copilot Studio в течение 89 дней. Чтобы сохранить результаты тестирования для длительного хранения, экспортируйте результаты в файл CSV.

Создание нового тестового набора

1. Перейдите на страницу оценки вашего агента.

   

2. Выберите новую оценку, а затем выберите Одиночные ответы.

   

3. Выберите метод для создания тестового набора. В тестовом наборе может быть до 100 тестовых случаев.

   • Быстрый набор вопросов, чтобы Copilot Studio автоматически создавал тестовые случаи на основе описания, инструкций и возможностей вашего агента. Эта опция генерирует 10 вопросов для проведения небольших, быстрых оценок или для начала создания более крупного тестового набора.
   • Полный набор вопросов, чтобы Copilot Studio сгенерировал тестовые примеры с использованием источника знаний или тем и вы могли выбрать количество генерируемых вопросов.
   • Используйте ваш тестовый чат, чтобы автоматически заполнить тестовый набор вопросами, которые вы добавили в тестовый чат. Этот метод использует вопросы из последнего тестового чата. Вы также можете начать оценивание из тестового чата, используя значок оценки .
     
   • Импортируйте тестовые примеры из файла, перетащив его в назначенную область, нажав кнопку Обзор для загрузки файла или выбрав другой способ загрузки.
   • Или напишите вопросы вручную, чтобы создать тестовый набор. Следуйте шагам, чтобы отредактировать тестовый набор для добавления и редактирования тестовых случаев.
   • Используйте производственные данные, основанные на темах из аналитики вашего агента.

4. В поле Имя введите имя для вашего тестового набора.

5. В разделе «Выбрать методы тестирования» измените или добавьте нужные методы тестирования :

   • Добавьте новый метод:
     1. Выберите "Добавить метод теста".
     2. Выберите все методы, которые вы хотите использовать для тестирования, затем выберите OK.
     3. Некоторые методы требуют проходного балла. Проходной балл определяет, какой результат считается успешным, а какой — неудачным. Установите оценку, затем выберите ОК.
     4. Некоторые методы требуют добавления ожидаемых ответов или ключевых слов для каждого тестового случая. Узнайте больше в разделе «Выберите методы оценки»
   • Выберите существующий метод тестирования для редактирования или удаления.

   Метод испытаний	Меры	Тип тестового набора	Очки	Конфигурации
   Общее качество	Насколько хорошего качества ответы тестового случая по определенным характеристикам	Единичный ответ или диалог	Оценка из 100%	None
   Безопасность содержимого	Содержит ли ответ тестового случая вредный контент, такой как ненависть, насилие, самоповреждение или сексуальный контент	Единичный ответ или диалог	Передача или сбой	Тип контента, разрешённый уровень безопасности контента
   Сравнение смысла	Насколько смысл ответа тестового случая соответствует ожидаемому ответу	Один ответ	Оценка из 100%	Проходной балл, ожидаемый ответ
   Использование инструмента	Использовал ли тестовый случай все или какие-либо ожидаемые ресурсы	Один ответ	Передача или сбой	Ожидаемые возможности
   Совпадение ключевых слов	Использовали ли тестовый случай все или какие-либо из ожидаемых ключевых слов или фраз	Единичный ответ или диалог	Передача или сбой	Ожидаемые ключевые слова или фразы
   Сходство текста	Насколько хорошо текст ответа тестового случая соответствует ожидаемому ответу	Один ответ	Оценка из 100%	Проходной балл, ожидаемый ответ
   Точное совпадение	Совпадает ли ответ тестового случая с ожидаемым ответом в точности	Один ответ	Передача или сбой	Ожидаемый ответ
   Настройка	Соответствует ли ответ тестового случая вашим установленным критериям или ожиданиям.	Единичный ответ или диалог	Прошел/не прошел (соответствует определенным критериям меток)	Имя, инструкции по оценке, метки

6. Отредактируйте сведения тестовых случаев. Все методы тестирования, кроме общего качества, требуют ожидаемых ответов или ключевых слов. Узнайте больше о редактировании тестовых случаев в разделе Modify a test set.

7. В разделе «Дополнительная конфигурация» выберите «Управление».

   

8. В разделе «Управление профилем и соединениями» в разделе «Пользователь» выберите или добавьте аккаунт, который вы хотите использовать для этого набора данных. Оценка использует эту учетную запись для подключения к источникам знаний и инструментам во время тестирования. Подробнее см. в разделе Управление профилями пользователей и подключениями.

   Note

   Автоматизированное тестирование использует аутентификацию выбранной тестовой учетной записи. Если у вашего агента есть источники знаний или подключения, требующие определенной аутентификации, выберите соответствующую учетную запись для проведения тестирования. Когда Copilot Studio генерирует тестовые случаи, она использует учетные данные подключенной учетной записи для доступа к источникам знаний и инструментам вашего агента. Сгенерированные тестовые случаи могут содержать конфиденциальные данные, доступные подключенной учетной записи. Любой создатель, имеющий доступ к агенту, также может просматривать тестовые наборы, связанные с этим агентом.

9. Выберите Сохранить , чтобы обновить набор данных без запуска оценки, или Запустить для немедленного запуска набора данных.

Генерируйте единый набор данных с ответами на основе знаний или тем

Вы можете протестировать своего агента, генерируя вопросы из уже имеющихся у него источников информации и разговоров. Этот метод тестирования хорош для проверки, как агент использует уже имеющийся источник знаний или темы, но не подходит для проверки информационных пробелов.

Генерируйте кейсы данных с использованием следующих источников знаний:

• Text

• Майкрософт Ворд

• Microsoft Excel

• PDF-файлы

• файлы SharePoint;

Note

Используйте только отдельные файлы SharePoint в качестве источника знаний для генерации тестового набора. Папки SharePoint не поддерживаются.

Вы можете использовать файлы размером до 5 МБ для генерации тестовых вопросов.

Для генерации набора данных:

1. Перейдите на страницу оценки вашего агента.

2. Выберите «Новая оценка».

3. Выберите опцию «Генерировать » в переключательном режиме:

   

4. В разделе «Выбрать тип данных» выберите «Отдельные ответы».

   • Выберите параметры генерации шоу, чтобы настроить следующие параметры:

     

     1. В разделе «Количество вопросов для генерации» выберите и перетащите ползунок, чтобы выбрать количество вопросов для генерации в вашем тестовом наборе.
     2. В разделе «Что нам следует использовать в качестве справочника?» выберите область, на которую вы хотите, чтобы ваш агент ссылался при формировании вопросов для новой оценки. У вас есть два варианта:
        • Источники знаний: сканирует знания агента, чтобы создать релевантный набор вопросов. Знания подходят для агентов, использующих генеративную оркестрацию.
        • Темы: Проверяет темы агента и задаёт вопросы по ним. Лучше всего подходит для агентов, использующих классический режим. Темы лучше всего подходят для агентов, использующих классическую оркестрацию.

   

5. Выберите Generate data set.

6. В разделе «Обзор» введите детали тестовых случаев. Все методы тестирования, кроме общего качества, требуют ожидаемых ответов или ключевых слов. Узнайте больше о редактировании тестовых случаев в разделе Modify a test set.

   

7. В разделе «Выбрать методы тестирования» выберите или измените нужные методы тестирования :

   • Чтобы добавить новый метод:
     1. Выберите "Добавить метод теста".
     2. Выберите все методы, с которыми хотите протестировать, а затем выберите OK. Можно добавить нескольких методов.
     3. Для некоторых методов установите сдачный балл, а затем выберите OK. Проходной балл определяет, какой результат считается успешным, а какой — неудачным.
     4. Некоторые методы требуют добавления ожидаемых ответов или ключевых слов для каждого тестового случая. Узнайте больше в разделе «Выбирайте методы оценки».
   • Выберите существующий метод тестирования для редактирования или удаления.

8. В разделе «Дополнительная конфигурация» выберите «Управление».

   

9. В разделе «Управление профилем и соединениями» в разделе «Пользователь» выберите или добавьте аккаунт, который вы хотите использовать для этого набора данных. Оценка использует эту учетную запись для подключения к источникам знаний и инструментам во время тестирования. Подробнее см. в разделе Управление профилями пользователей и подключениями.

   Note

   Автоматизированное тестирование использует аутентификацию выбранной тестовой учетной записи. Если у вашего агента есть источники знаний или подключения, требующие определенной аутентификации, выберите соответствующую учетную запись для проведения тестирования. Когда Copilot Studio генерирует тестовые случаи, она использует учетные данные подключенной учетной записи для доступа к источникам знаний и инструментам вашего агента. Сгенерированные тестовые случаи могут содержать конфиденциальные данные, доступные подключенной учетной записи. Любой создатель, имеющий доступ к агенту, также может просматривать тестовые наборы, связанные с этим агентом.

10. Выберите Сохранить , чтобы обновить набор данных без запуска оценки, или Запустить для немедленного запуска набора данных.

Ограничения генерации тестовых случаев

Создание тестового случая завершается сбоем, если один или несколько вопросов нарушают настройки модерации контента вашего агента. Возможные причины:

• Инструкции или темы агента приводят модель к генерации контента, который система отмечает флагами.
• Связанный источник знаний содержит конфиденциальный или ограниченный контент.
• Настройки модерации контента агента слишком строгие.

Чтобы устранить проблему, выполните такие действия, как настройка источников знаний, обновление инструкций или изменение параметров модерации.

Тестовый набор может содержать до 100 тестовых случаев.

Создание файла тестового набора для импорта

Вместо того чтобы создавать тестовые случаи непосредственно в Copilot Studio, вы можете создать файл электронной таблицы со всеми вашими тестовыми случаями и импортировать его для создания тестового набора. Вы можете составить каждый тестовый вопрос и указать ожидаемые ответы на каждый вопрос. Когда закончите создание файла, сохраните его в формате .csv или .txt и импортируйте в Copilot Studio.

Important

• Файл может содержать до 100 вопросов.
• Каждый вопрос может содержать до 1000 символов, включая пробелы.
• Файл должен быть в формате CSV или текстовом формате.

Чтобы создать файл импорта:

1. Откройте табличное приложение (например, Microsoft Excel). Вы можете скачать шаблон CSV в разделе Или загрузить файл после выбора Импорт новой оценки>. Вы также можете скачать сессии клиентов из аналитики для редактирования в Excel.

2. Добавьте следующие заголовки в указанном порядке в первую строку:

   • Question
   • Ожидаемый ответ

3. Введите вопросы для теста в столбец Вопрос. Каждый вопрос может содержать до 1 000 символов, включая пробелы.

4. Введите ожидаемые ответы для каждого вопроса в столбец Ожидаемый ответ. Ожидаемые ответы необязательны при импорте тестового набора. Однако для проведения тестов на совпадение, сходство и сравнение смысла необходимы ожидаемые ответы.

5. Сохраните файл в формате .csv или .txt.

6. Импортируйте файл, следуя шагам в разделе Создание нового тестового набора.

Создайте единый набор данных ответа, импортируя файл множества

1. Перейдите на страницу оценки вашего агента.

2. Выберите «Новая оценка».

3. В разделе «Выбрать тип данных» выберите «Отдельные ответы».

4. Выберите опцию «Импорт » в переключательном режиме.

   

5. Импортируйте данные, выбрав Preview чат , чтобы использовать данные из одной из ваших текущих сессий предварительного просмотра, или импортируя тестовые случаи из CSV-файла , перетаскивая файл в указанную область или загрузив после выбора Перетащить файл или нажать для загрузки (CSV).

   

6. В разделе «Обзор» отредактировать детали тестовых случаев. Все методы тестирования, кроме общего качества, требуют ожидаемых ответов или ключевых слов. Узнайте больше в разделе Modify a test set.

7. В разделе «Выбрать методы тестирования» выберите или измените нужные методы тестирования :

   • Чтобы добавить новый метод:
     1. Выберите "Добавить метод теста".
     2. Выберите все методы, с которыми хотите протестировать, а затем выберите OK. Можно добавить нескольких методов.
     3. Для некоторых методов установите сдачный балл, а затем выберите OK. Проходной балл определяет, какой результат считается успешным, а какой — неудачным.
     4. Некоторые методы требуют добавления ожидаемых ответов или ключевых слов для каждого тестового случая. Узнайте больше в разделе «Выбирайте методы оценки».
   • Выберите существующий метод тестирования для редактирования или удаления.

8. В разделе «Дополнительная конфигурация» выберите «Управление».

9. В разделе «Управление профилем и соединениями » в разделе «Пользователь» выберите или добавьте аккаунт, который хотите использовать для этого набора данных. Оценка использует эту учетную запись для подключения к источникам знаний и инструментам во время тестирования. Подробнее см. в разделе Управление профилями пользователей и подключениями.

10. Выберите Сохранить , чтобы обновить набор данных без запуска оценки, или Запустить для немедленного запуска набора данных.

Создание тестового набора на основе темы

Создайте тестовый набор с вопросами из переписок с реальными пользователями. Этот метод использует темы (предварительная версия), которые находятся в аналитике вашего агента.

Тематики — это группы вопросов, взятых из пула пользовательских вопросов, которые запускают генеративные ответы. Когда вы создаете тестовый набор с использованием темы, вы генерируете тестовые случаи на основе вопросов, заданных пользователями, связанных с этой темой.

Используйте эти тестовые наборы для проведения оценок, сосредоточенных на одной области или теме вашего агента. Например, если у вас есть агент службы поддержки клиентов, вы можете отслеживать качество ответов на вопросы по оплате и выставлению счетов отдельно от других сценариев, таких как устранение неполадок.

Note

Прежде чем создавать тестовые наборы из тем, вам нужен доступ к тематикам в аналитике. Ознакомьтесь с предварительными требованиями к тематикам (предварительная версия).

1. На странице Monitor вашего агента перейдите в список тем .

2. Наведите указатель на тематику и выберите Оценить.

   

   Также можно выбрать Показать все, чтобы увидеть больше тем, а затем выбрать Оценить.

3. Нажмите кнопку "Создать" и "Открыть".

4. Отредактируйте параметры тестовых наборов и тестовых случаев. Все тестовые случаи, использующие методы, кроме общего качества, требуют ожидаемых ответов. Узнайте больше об редактировании в разделе Modify a test set.

5. Выберите Сохранить, чтобы обновить тестовый набор без запуска тестовых случаев, или Оценить, чтобы немедленно запустить тестовый набор.