Оценка агента (предварительная версия)

[Эта статья является предварительной документацией и может быть изменена.]

Вкладка Оценить в новом интерфейсе агента обеспечивает структурированное, повторяемое тестирование вашего агента. Используйте оценки для оценки качества агентов в разных тестовых случаях, отслеживания улучшений со временем и проверки поведения вашего агента перед публикацией.

Important

Что такое оценка агента?

Оценка агента позволяет систематически тестировать его ответы на соответствие стандартам качества. Вместо того чтобы вручную тестировать каждый сценарий во вкладке «Предварительный просмотр », создайте оценки с помощью тестовых разговоров, определите, как измерять ответы, и запускайте оценки для получения количественных результатов.

Оценка помогает ответить на такие вопросы:

  • Агент отвечает корректно в различных ожидаемых сценариях?
  • Улучшило ли изменение конфигурации качество ответов или ухудшило?
  • Агент вызывает инструменты тогда, когда должен?

Ключевые понятия

Следующие понятия являются ключевыми при проведении оценки в Copilot Studio:

Беседы

Беседа — это тестовый случай, который представляет собой сценарий, с которым должен справиться ваш агент. Каждая беседа содержит сообщения пользователя и при желании ожидаемые ответы агента. Организуйте разговоры в оценки. Создавайте разговоры вручную, генерируйте их с помощью ИИ или загружайте из CSV-файла.

Evaluations

Оценка — это именованный тестовый набор, объединяющий разговоры с методом тестирования. Вы создаете оценки на вкладке Оценить, добавляете к ним разговоры, а затем запускаете их для получения оценочных результатов.

Метод тестирования

Методы тестирования определяют, как оцениваются ответы агента. В настоящее время единственным доступным методом тестирования является «Общее качество», основанная на ИИ, оценка того, соответствуют ли ответы стандартам качества, таким как релевантность и полнота.

Note

Метод тестирования Общее качество не сравнивает ответы с ожидаемыми.

Профиль пользователя

Оценки выполняются под профилем пользователя. Управляйте, какой аутентифицированный профиль запускает оценку, чтобы инструменты и соединения агента были полностью тестируемыми.

Рабочий процесс оценки

Следуйте следующим шагам для оценки агента:

  1. Создание оценки: на вкладке Оценить начните новую оценку. Узнайте больше в разделе «Создать тестовый набор для агента».
  2. Добавление тестовых диалогов: добавьте тестовые диалоги вручную, сгенерируйте их с помощью ИИ или отправьте файл CSV.
  3. Настройка: задайте имя оценки, выберите метод тестирования, выберите версию агента и установите профиль пользователя.
  4. Запустите оценку: выберите «Оценить » для запуска теста и ждите результатов. Узнайте больше в разделе Проведите оценку для агента.
  5. Просмотрите результаты: проанализируйте баллы и определите области для улучшения. Узнайте больше в разделе «Просмотр результатов оценки агента».
  6. Итеративно: Скорректируйте инструкции, знания или инструменты вашего агента, а затем проведите оценку снова, чтобы измерить влияние.
  • Last updated on