Изменение сведений о тестовом наборе

Note

Функции, описанные в этой статье, питаются стандартным жгутом, который использует опции выставления счетов, описанные в разделе «Лицензирование для агентов, работающих на стандартном жгуте». Узнайте, как получить доступ к стандартным функциям в стандартных агентах и потоках агентов доступа.

Используйте тестовые наборы для оценки и совершенствования обработки реальных сценариев ответа вашим агентом. В этой статье объясняется, как изменить название и настройки тестового набора, управлять профилем пользователя и соединениями для аутентификации, редактировать или удалять отдельные тестовые случаи, а также удалять целые тестовые наборы или результаты. С помощью этих действий вы сможете убедиться, что оценки отражают соответствующий пользовательский контекст и обеспечивают безопасный доступ к источникам знаний и инструментам.

Для оценки ответов агента вы можете выбрать один из трех методов тестирования, также называемых средствами оценки: качество, сходство и совпадение текста. Дополнительные сведения о различных методах тестирования см. в статье Методы тестирования.

Изменение параметров тестового набора

Вы можете изменить параметры тестового набора, например, учетную запись, используемую для аутентификации, и применяемые методы тестирования.

1. Перейдите на страницу оценки вашего агента.

   

2. Выберите тестовый набор.

3. В тестовом наборе выберите тестовый случай, который хотите изменить.

4. При необходимости измените название тестового набора.

5. Добавьте или измените методы тестирования. Каждый метод тестирования измеряет разные значения и требует различных конфигураций. Чтобы узнать, как настроить каждый метод тестирования, см. статью Выбор методов тестирования.

   Метод испытаний	Меры	Тип тестового набора	Очки	Configurations
   Общее качество	Насколько хорошего качества ответы тестового случая по определенным характеристикам	Единичный ответ или диалог	Оценка из 100%	None
   Сравнение смысла	Насколько смысл ответа тестового случая соответствует ожидаемому ответу	Один ответ	Оценка из 100%	Проходной балл, ожидаемый ответ
   Использование инструмента	Использовал ли тестовый случай все или какие-либо ожидаемые ресурсы	Один ответ	Передача или сбой	Ожидаемые возможности
   Совпадение ключевых слов	Использовали ли тестовый случай все или какие-либо из ожидаемых ключевых слов или фраз	Единичный ответ или диалог	Передача или сбой	Ожидаемые ключевые слова или фразы
   Сходство текста	Насколько хорошо текст ответа тестового случая соответствует ожидаемому ответу	Один ответ	Оценка из 100%	Проходной балл, ожидаемый ответ
   Точное совпадение	Совпадает ли ответ тестового случая с ожидаемым ответом в точности	Один ответ	Передача или сбой	Ожидаемый ответ
   Настройка	Соответствует ли ответ тестового случая вашим установленным критериям или ожиданиям.	Единичный ответ или диалог	Прошел/не прошел (соответствует определенным критериям меток)	Имя, инструкции по оценке, метки

6. Выберите Управление профилем, чтобы добавить учетную запись, или выберите текущий профиль для управления подключениями либо выбора другого профиля. Автоматизированное тестирование использует аутентификацию выбранной тестовой учетной записи. Узнайте больше в разделе Управление профилями пользователей и соединениями.

Note

Когда Copilot Studio создает тестовые случаи или проводит оценку, используются учетные данные аутентификации подключенной учетной записи для доступа к источникам знаний и инструментам вашего агента. Сгенерированные тестовые случаи могут содержать конфиденциальные данные, доступные подключенной учетной записи. Любой создатель, имеющий доступ к агенту, также может просматривать тестовые наборы, связанные с этим агентом.

Управление профилями пользователей и соединениями (предварительный просмотр)

[Этот раздел содержит предварительную версию документации и может быть изменен.]

Вы можете запускать тестовые наборы, используя аутентификацию другого аккаунта. Этот метод аутентификации позволяет вашему агенту получить доступ к источникам знаний и инструментам, необходимым для достижения своих целей.

Вы можете использовать профили для моделирования конкретного пользовательского опыта. Например, профиль пользователя директора может иметь доступ к другим источникам знаний, чем профиль стажера, и агент выдает различные результаты.

Important

Эта статья содержит документацию по предварительной версии Microsoft Copilot Studio и может быть изменена.

Предварительные версии функций не предназначены для использования в рабочей среде и могут иметь ограниченные функциональные возможности. Они доступны перед официальным выпуском, чтобы вы могли досрочно получить доступ и предоставить отзывы.

Если вы создаете агент, готовый для рабочей среды, см. Обзор Microsoft Copilot Studio.

Important

При выборе профиля пользователя вы можете просматривать и аутентифицировать любые коннекторы, которые использует ваш агент. Если вы выбираете аккаунт, кроме той, с которой входите в Copilot Studio, например, тестовый, Copilot Studio аутентифицирует этот профиль пользователя и загружает существующие соединения пользователя. Вы можете настроить, проверить и сохранить эти связи перед проведением оценки.

Результаты тестирования показывают, какой профиль пользователя был использован.

Note

Когда Copilot Studio создает тестовые случаи или проводит оценку, используются учетные данные аутентификации подключенной учетной записи для доступа к источникам знаний и инструментам вашего агента. Сгенерированные тестовые случаи могут содержать конфиденциальные данные, доступные подключенной учетной записи. Любой создатель, имеющий доступ к агенту, также может просматривать тестовые наборы, связанные с этим агентом.

Оценки агентов, использующие аутентификацию пользователей, требуют доступа через соединитель Microsoft Copilot Studio. Если администратор отключит этот соединитель, вы не сможете запускать тесты с помощью инструмента оценки. Для получения дополнительной информации см. раздел Соединители и группы данных Copilot Studio.

Чтобы добавить или изменить профиль пользователя в тестовом наборе:

1. Откройте тестовый набор, затем выберите Управление профилем.

   

2. Выберите список пользователя, затем:

   • Выберите учетную запись пользователя, которую хотите использовать, или
   • Выберите Добавить учетную запись, затем выполните вход в учетную запись.

   

3. Для подключений с предупреждением выберите соединение. Измените существующее соединение на рабочее, выберите Подключиться повторно, чтобы попытаться восстановить существующее соединение, или выберите Создать новое подключение, чтобы создать новое соединение. Рабочие соединения отмечены зелёной галочкой.

4. Для новых подключений введите запрошенные данные, затем выберите Подключиться.

5. Если все подключения активны, нажмите Сохранить.

6. Когда профиль Управление и соединения исчезают, выберите Сохранить , чтобы обновить тестовый набор с выбранным профилем пользователя и соединениями.

Удаление тестового набора или результата теста

Вы можете удалить тестовый случай или тестовый набор, который вам больше не нужен.

1. Перейдите на страницу оценки вашего агента.
2. В разделе Тестовые наборы удалите тестовый набор, выполнив одно из следующих действий:
   • Нажмите три точки (…) на карточке тестового набора, затем выберите Удалить.
   • Выберите тестовый набор, чтобы открыть его, затем нажмите три точки (…) на панели Настройка тестового набора и Удалить.
3. В разделе Последние результаты удалите результат теста, выполнив одно из следующих действий:
   • Наведите курсор на результат теста, который хотите удалить, нажмите три точки (…), затем выберите Удалить тест.
   • Выберите результат теста, чтобы открыть его, затем нажмите три точки (…) на панели Сводка оценки, а затем выберите Удалить.