Создание тестового набора с одним ответом

Note

Функции, описанные в этой статье, питаются стандартным жгутом, который использует опции выставления счетов, описанные в разделе «Лицензирование для агентов, работающих на стандартном жгуте». Узнайте, как получить доступ к стандартным функциям в стандартных агентах и потоках агентов доступа.

Оценка отдельного ответа тестирует ваш агент на одном независимом вопросе за раз, а не в рамках полноценного разговора. Например, при одиночной оценке ответа для агента службы поддержки задается вопрос Какие у вас рабочие часы?, фиксируется ответ агента на этот вопрос, затем задается новый вопрос Как узнать историю моих заказов?

Оценки с одним ответом подходят для проверки того, как агент отвечает на конкретные вопросы, какие возможности он задействует и какие именно формулировки использует в своих ответах. Вы также можете запустить оценку диалогового взаимодействия, что позволяет проанализировать поведение агента в ходе более продолжительного взаимодействия.

Для оценки используются тестовые наборы. Тестовый набор для оценки с одиночным ответом включает до 100 тестовых случаев. Когда вы запускаете оценку агента, вы выбираете тестовый набор, и Copilot Studio запускает все тестовые случаи из этого набора для вашего агента.

Тестовые случаи в тестовом наборе можно создавать вручную, импортировать с помощью таблицы или использовать ИИ для генерации сообщений на основе дизайна и ресурсов вашего агента. Затем вы можете выбрать способ оценки качества ответов вашего агента для каждого тестового случая внутри тестового набора.

Подробнее об оценке агента см. в разделе Оценка агента.

Чтобы узнать, как изменить параметры тестового набора, см. Изменение параметров тестового набора.

Important

Результаты теста доступны в Copilot Studio в течение 89 дней. Чтобы сохранить результаты тестирования для длительного хранения, экспортируйте результаты в файл CSV.

Создание нового тестового набора

1. Перейдите на страницу оценки вашего агента.

   

2. Выберите Создать оценку, затем выберите Одиночный ответ.

   

3. Выберите метод для создания тестового набора. В тестовом наборе может быть до 100 тестовых случаев.

   • Быстрый набор вопросов, чтобы Copilot Studio автоматически создавал тестовые случаи на основе описания, инструкций и возможностей вашего агента. Эта опция генерирует 10 вопросов для проведения небольших, быстрых оценок или для начала создания более крупного тестового набора.
   • Полный набор вопросов, чтобы Copilot Studio сгенерировал тестовые примеры с использованием источника знаний или тем и вы могли выбрать количество генерируемых вопросов.
   • Используйте ваш тестовый чат, чтобы автоматически заполнить тестовый набор вопросами, которые вы добавили в тестовый чат. Этот метод использует вопросы из последнего тестового чата. Вы также можете начать оценивание из тестового чата, используя значок оценки .
     
   • Импортируйте тестовые примеры из файла, перетащив его в назначенную область, нажав кнопку Обзор для загрузки файла или выбрав другой способ загрузки.
   • Или напишите вопросы вручную, чтобы создать тестовый набор. Следуйте шагам, чтобы отредактировать тестовый набор для добавления и редактирования тестовых случаев.
   • Используйте производственные данные, основанные на темах из аналитики вашего агента.

4. В поле Имя введите имя для вашего тестового набора.

5. Измените или добавьте методы тестирования, которые вы хотите использовать:

   • Добавьте новый метод:
     1. Выберите "Добавить метод теста".
     2. Выберите все методы, которые вы хотите использовать для тестирования, затем выберите OK.
     3. Некоторые методы требуют проходного балла. Проходной балл определяет, какой результат считается успешным, а какой — неудачным. Установите оценку, затем выберите ОК.
     4. Некоторые методы требуют добавления ожидаемых ответов или ключевых слов для каждого тестового случая. Для получения дополнительной информации см. Выбор методов оценки
   • Выберите существующий метод тестирования для редактирования или удаления.

   Метод испытаний	Меры	Тип тестового набора	Очки	Configurations
   Общее качество	Насколько хорошего качества ответы тестового случая по определенным характеристикам	Единичный ответ или диалог	Оценка из 100%	None
   Сравнение смысла	Насколько смысл ответа тестового случая соответствует ожидаемому ответу	Один ответ	Оценка из 100%	Проходной балл, ожидаемый ответ
   Использование инструмента	Использовал ли тестовый случай все или какие-либо ожидаемые ресурсы	Один ответ	Передача или сбой	Ожидаемые возможности
   Совпадение ключевых слов	Использовали ли тестовый случай все или какие-либо из ожидаемых ключевых слов или фраз	Единичный ответ или диалог	Передача или сбой	Ожидаемые ключевые слова или фразы
   Сходство текста	Насколько хорошо текст ответа тестового случая соответствует ожидаемому ответу	Один ответ	Оценка из 100%	Проходной балл, ожидаемый ответ
   Точное совпадение	Совпадает ли ответ тестового случая с ожидаемым ответом в точности	Один ответ	Передача или сбой	Ожидаемый ответ
   Настройка	Соответствует ли ответ тестового случая вашим установленным критериям или ожиданиям.	Единичный ответ или диалог	Прошел/не прошел (соответствует определенным критериям меток)	Имя, инструкции по оценке, метки

6. Отредактируйте сведения тестовых случаев. Все методы тестирования, кроме общего качества, требуют ожидаемых ответов или ключевых слов. Для получения дополнительной информации о редактировании тестовых случаев см. раздел Изменить тестовый набор.

7. Выберите Профиль пользователя, затем выберите или добавьте учетную запись, которую хотите использовать для этого тестового набора, или продолжите без аутентификации. Оценка использует эту учетную запись для подключения к источникам знаний и инструментам во время тестирования. Использование аккаунта, отличного от аккаунта, с аутентификацией через connector находится в публичном предпросмотре. Узнайте больше в разделе Управление профилями пользователей и соединениями.

   Note

   Автоматизированное тестирование использует аутентификацию выбранной тестовой учетной записи. Если у вашего агента есть источники знаний или подключения, требующие определенной аутентификации, выберите соответствующую учетную запись для проведения тестирования. Когда Copilot Studio генерирует тестовые случаи, она использует учетные данные подключенной учетной записи для доступа к источникам знаний и инструментам вашего агента. Сгенерированные тестовые случаи могут содержать конфиденциальные данные, доступные подключенной учетной записи. Любой создатель, имеющий доступ к агенту, также может просматривать тестовые наборы, связанные с этим агентом.

8. Выберите Сохранить, чтобы обновить тестовый набор без запуска тестовых случаев, или Оценить, чтобы немедленно запустить тестовый набор.

Ограничения генерации тестовых случаев

Создание тестового случая завершается сбоем, если один или несколько вопросов нарушают настройки модерации контента вашего агента. Возможные причины:

• Инструкции или темы агента приводят модель к генерации контента, который система отмечает флагами.
• Связанный источник знаний содержит конфиденциальный или ограниченный контент.
• Настройки модерации контента агента слишком строгие.

Чтобы устранить проблему, выполните такие действия, как настройка источников знаний, обновление инструкций или изменение параметров модерации.

Тестовый набор может содержать до 100 тестовых случаев.

Генерация тестового набора на основе источников знаний или тем

Вы можете протестировать свой агент, генерируя вопросы на основе информации и разговорных источников, которыми он уже располагает. Этот метод тестирования хорош для проверки того, как ваш агент использует источники знаний или темы, которыми он располагает, но не подходит для выявления информационных пробелов.

Вы можете генерировать тест-кейсы с помощью следующих источников знаний:

• Текст

• Майкрософт Ворд

• Microsoft Excel

• PDF-файлы

• Контент на SharePoint

Вы можете использовать файлы размером до 5 МБ для генерации тестовых вопросов.

Для создания тестового набора:

1. В разделе Создать оценку выберите Полный набор вопросов.

2. Выберите Знания или Темы.

   • Знания подходят для агентов, использующих генеративную оркестрацию. Этот метод создает вопросы, используя один из источников знаний вашего агента.
   • Темы лучше всего подходят для агентов, использующих классическую оркестрацию. Этот метод создает вопросы, используя темы вашего агента.

3. Для пункта Знания выберите источник знаний, который вы хотите использовать для генерации вопросов.

   

4. Для раздела Знания и раздела Темы выберите и перетащите ползунок, чтобы определить количество создаваемых вопросов.

   

5. Выберите Генерировать.

6. В поле Имя введите имя для вашего тестового набора.

7. Измените или добавьте методы тестирования, которые вы хотите использовать:

   • Добавьте новый метод:
     1. Выберите "Добавить метод теста".
     2. Выберите все методы, которые вы хотите использовать для тестирования, затем выберите OK. Можно добавить нескольких методов.
     3. Для некоторых методов укажите проходной балл, затем нажмите ОК. Проходной балл определяет, какой результат считается успешным, а какой — неудачным.
     4. Некоторые методы требуют добавления ожидаемых ответов или ключевых слов для каждого тестового случая. Для получения дополнительной информации см. Выбор методов оценки
   • Выберите существующий метод тестирования для редактирования или удаления.

8. Отредактируйте сведения тестовых случаев. Все тестовые случаи, использующие методы, кроме общего качества, требуют ожидаемых ответов. Для получения дополнительной информации о редактировании см. раздел Изменение тестового набора.

9. Выберите Сохранить, чтобы обновить тестовый набор без запуска тестовых случаев, или Оценить, чтобы немедленно запустить тестовый набор.

Создание файла тестового набора для импорта

Вместо того чтобы строить тест-кейсы напрямую в Copilot Studio, вы можете создать файл таблицы со всеми тест-кейсами и импортировать её, чтобы создать тестовый набор. Вы можете составить каждый тестовый вопрос и указать ожидаемые ответы на каждую тему. Когда закончите создание файла, сохраните его в формате .csv или .txt и импортируйте в Copilot Studio.

Important

• Файл может содержать до 100 вопросов.
• Каждый вопрос может содержать до 1000 символов, включая пробелы.
• Файл должен быть в формате CSV или текстовом формате.

Чтобы создать файл импорта:

1. Откройте табличное приложение (например, Microsoft Excel). Вы можете скачать шаблон CSV в разделе Источник данных после выбора Создать оценку.

2. Добавьте следующие заголовки в указанном порядке в первую строку:

   • Вопрос
   • Ожидаемый ответ

3. Введите вопросы для теста в столбец Вопрос. Каждый вопрос может содержать до 1 000 символов, включая пробелы.

4. Введите ожидаемые ответы для каждого вопроса в столбец Ожидаемый ответ. Ожидаемые ответы необязательны при импорте тестового набора. Однако для проведения тестов на совпадение, сходство и сравнение смысла необходимы ожидаемые ответы.

5. Сохраните файл в формате .csv или .txt.

6. Импортируйте файл, следуя шагам в разделе Создание нового тестового набора.

Создание тестового набора на основе темы

Создайте тестовый набор с вопросами из переписок с реальными пользователями. Этот метод использует темы (предварительная версия), которые находятся в аналитике вашего агента.

Тематики — это группы вопросов, взятых из пула пользовательских вопросов, которые запускают генеративные ответы. Когда вы создаете тестовый набор с использованием темы, вы генерируете тестовые случаи на основе вопросов, заданных пользователями, связанных с этой темой.

Используйте эти тестовые наборы для проведения оценок, сосредоточенных на одной области или теме вашего агента. Например, если у вас есть агент службы поддержки клиентов, вы можете отслеживать качество ответов на вопросы по оплате и выставлению счетов отдельно от других сценариев, таких как устранение неполадок.

Note

Прежде чем создавать тестовые наборы из тем, вам нужен доступ к тематикам в аналитике. Ознакомьтесь с предварительными требованиями к тематикам (предварительная версия).

1. На странице Аналитика вашего агента перейдите в список Тематики.

2. Наведите указатель на тематику и выберите Оценить.

   

   Также можно выбрать Показать все, чтобы увидеть больше тем, а затем выбрать Оценить.

3. Нажмите кнопку "Создать" и "Открыть".

4. Отредактируйте параметры тестовых наборов и тестовых случаев. Все тестовые случаи, использующие методы, кроме общего качества, требуют ожидаемых ответов. Для получения дополнительной информации о редактировании см. раздел Изменение тестового набора.

5. Выберите Сохранить, чтобы обновить тестовый набор без запуска тестовых случаев, или Оценить, чтобы немедленно запустить тестовый набор.