Изменение сведений о тестовом наборе

Note

В этой статье описываются особенности, используемые в агентах или потоках агентов, питаемых стандартным жгутом.

Используйте тестовые наборы для оценки и совершенствования обработки реальных сценариев ответа вашим агентом. В этой статье объясняется, как изменить название и настройки тестового набора, управлять профилем пользователя и соединениями для аутентификации, редактировать или удалять отдельные тестовые случаи, а также удалять целые тестовые наборы или результаты. С помощью этих действий вы сможете убедиться, что оценки отражают соответствующий пользовательский контекст и обеспечивают безопасный доступ к источникам знаний и инструментам.

Для оценки ответов агента вы можете выбрать один из трех методов тестирования, также называемых средствами оценки: качество, сходство и совпадение текста. Дополнительные сведения о различных методах тестирования см. в статье Методы тестирования.

Изменение параметров тестового набора

Вы можете изменить параметры тестового набора, например, учетную запись, используемую для аутентификации, и применяемые методы тестирования.

1. Перейдите на страницу оценки вашего агента.

   

2. Выберите тестовый набор.

3. В тестовом наборе выберите тестовый случай, который хотите изменить.

4. При необходимости измените название тестового набора.

5. Добавьте или измените методы тестирования. Каждый метод тестирования измеряет разные значения и требует различных конфигураций. Чтобы узнать, как настроить каждый метод тестирования, см. статью Выбор методов тестирования.

   Метод испытаний	Меры	Тип тестового набора	Очки	Configurations
   Общее качество	Насколько хорошего качества ответы тестового случая по определенным характеристикам	Единичный ответ или диалог	Оценка из 100%	None
   Безопасность содержимого	Содержит ли ответ тестового случая вредный контент, такой как ненависть, насилие, самоповреждение или сексуальный контент	Единичный ответ или диалог	Передача или сбой	Тип контента, разрешённый уровень безопасности контента
   Сравнение смысла	Насколько смысл ответа тестового случая соответствует ожидаемому ответу	Один ответ	Оценка из 100%	Проходной балл, ожидаемый ответ
   Использование инструмента	Использовал ли тестовый случай все или какие-либо ожидаемые ресурсы	Один ответ	Передача или сбой	Ожидаемые возможности
   Совпадение ключевых слов	Использовали ли тестовый случай все или какие-либо из ожидаемых ключевых слов или фраз	Единичный ответ или диалог	Передача или сбой	Ожидаемые ключевые слова или фразы
   Сходство текста	Насколько хорошо текст ответа тестового случая соответствует ожидаемому ответу	Один ответ	Оценка из 100%	Проходной балл, ожидаемый ответ
   Точное совпадение	Совпадает ли ответ тестового случая с ожидаемым ответом в точности	Один ответ	Передача или сбой	Ожидаемый ответ
   Настройка	Соответствует ли ответ тестового случая вашим установленным критериям или ожиданиям.	Единичный ответ или диалог	Прошел/не прошел (соответствует определенным критериям меток)	Имя, инструкции по оценке, метки

6. Выберите текущий профиль, чтобы управлять его соединениями. Автоматизированное тестирование использует аутентификацию уже авторизованного пользователя. Подробнее см. в разделе Управление профилями пользователей и подключениями.

Note

Когда Copilot Studio создает тестовые случаи или проводит оценку, используются учетные данные аутентификации подключенной учетной записи для доступа к источникам знаний и инструментам вашего агента. Сгенерированные тестовые случаи могут содержать конфиденциальные данные, доступные подключенной учетной записи. Любой создатель, имеющий доступ к агенту, также может просматривать тестовые наборы, связанные с этим агентом.

Управление профилями пользователей и подключениями

Инструменты выполняют оценки и подключения, используя профиль пользователя, который уже входит в систему. Вы не можете выбрать или подключиться, используя другого пользователя, пока входите в систему. Чтобы провести оценку от другого пользователя, выйдите из Copilot Studio, войдите через аккаунт этого пользователя и проведите оценку.

Important

Вы можете просматривать и аутентифицировать коннекторы, которые использует ваш агент для авторизованного пользователя. Настройте, проверьте и сохраните эти соединения перед проведением оценки.

Результаты тестирования показывают, какой профиль пользователя был использован.

Note

Когда Copilot Studio создает тестовые случаи или проводит оценку, используются учетные данные аутентификации подключенной учетной записи для доступа к источникам знаний и инструментам вашего агента. Сгенерированные тестовые случаи могут содержать конфиденциальные данные, доступные подключенной учетной записи. Любой создатель, имеющий доступ к агенту, также может просматривать тестовые наборы, связанные с этим агентом.

Оценки агентов, использующие аутентификацию пользователей, требуют доступа через соединитель Microsoft Copilot Studio. Если администратор отключит этот соединитель, вы не сможете запускать тесты с помощью инструмента оценки. Для получения дополнительной информации см. раздел Соединители и группы данных Copilot Studio.

Для управления соединениями для авторизованного пользователя:

1. Откройте тестовый набор и выберите текущий профиль.

   

2. Для подключений с предупреждением выберите соединение. Измените существующее подключение на рабочее, выберите Подключиться повторно, чтобы попытаться восстановить существующее подключение, или выберите Создать новое подключение, чтобы создать новое подключение. Рабочие подключения отмечены зеленой галочкой.

3. Для новых подключений введите запрошенные данные, затем выберите Подключиться.

4. Если все подключения активны, нажмите Сохранить.

5. Когда всплывающее окно «Управление» и соединения исчезают, выберите «Сохранить », чтобы обновить тестовый набор с текущим профилем пользователя и соединениями.

Удаление тестового набора или результата теста

Вы можете удалить тестовый случай или тестовый набор, который вам больше не нужен.

1. Перейдите на страницу оценки вашего агента.
2. В разделе Тестовые наборы удалите тестовый набор, выполнив одно из следующих действий:
   • Нажмите три точки (…) на карточке тестового набора, затем выберите Удалить.
   • Выберите тестовый набор, чтобы открыть его, затем нажмите три точки (…) на панели Настройка тестового набора и Удалить.
3. В разделе Последние результаты удалите результат теста, выполнив одно из следующих действий:
   • Наведите курсор на результат теста, который хотите удалить, нажмите три точки (…), затем выберите Удалить тест.
   • Выберите результат теста, чтобы открыть его, затем нажмите три точки (…) на панели Сводка оценки, а затем выберите Удалить.