Выполнение оценок и просмотр результатов

Note

В этой статье описываются особенности, используемые в агентах или потоках агентов, питаемых стандартным жгутом.

Проводите оценки и анализируйте результаты, чтобы оптимизировать поведение вашего агента и убедиться, что он соответствует вашим бизнес-требованиям и требованиям к качеству. Вы также можете запускать тестовый набор несколько раз, чтобы увидеть изменения со временем по мере улучшения вашего агента.

В этой статье объясняется, как начать оценки и просматривать результаты с помощью интерфейса Copilot Studio. Вы также можете запускать оценки с помощью API Power Platform или соединителей, добавленных как инструменты или как часть потоков автоматизации в Copilot Studio или Power Automate.

Результаты теста доступны в Copilot Studio в течение 89 дней. Чтобы сохранить результаты тестирования для длительного хранения, экспортируйте результаты в файл CSV.

Выполнение теста с тестовым набором

После создания тестового набора запустите тест, используя этот набор. Или повторно запускайте тесты, используя тот же набор, чтобы сравнивать результаты в разные периоды и итерации. Тест может занять несколько минут. Одновременно может выполняться только один тест.

Important

Оценки агентов, использующие аутентификацию пользователей, требуют доступа через соединитель Microsoft Copilot Studio. Если администратор отключит этот соединитель, вы не сможете запускать тесты с помощью инструмента оценки. Для получения дополнительной информации см. раздел Соединители и группы данных Copilot Studio.

1. Перейдите на страницу оценки вашего агента.

   

2. Запустите тест, выполнив одно из следующих действий:

   • После завершения создания или редактирования тестового набора выберите Оценить.
   • В разделе Последние результаты повторно запустите тест, выполнив один из следующих шагов:
     • Наведите указатель на результат теста, который вы хотите оценить, и затем выберите ▶ Оценить (Оценить тестовый набор снова) рядом с Оценить агент.
     • Выберите результат теста, чтобы открыть его, затем выберите значок Выполнить ▶ на панели Сводка оценки.

   Если в профиле пользователя для тестового набора есть разорванные подключения или у тестового набора нет профиля пользователя, появляется диалоговое окно Управление профилем и соединениями. Для тестирования необязательно использовать профиль пользователя. Однако, если вы используете профиль, все подключения должны работать. Подробнее см. в разделе Управление профилями пользователей и подключениями.

   Important

   При выборе профиля пользователя вы можете просматривать и аутентифицировать любые соединители, которые использует ваш агент. Если вы выберете учетную запись помимо той, с которым входите в Copilot Studio, например, тестовую учетную запись, Copilot Studio аутентифицирует этот профиль пользователя и получает уже существующие подключения пользователя. Вы можете настроить, проверить и сохранить эти подключения перед выполнением оценки. Подробнее см. в разделе Управление профилями пользователей и подключениями.

Оценка занимает несколько минут. Результаты тестовых случаев обрабатываются в реальном времени, по одному за раз. Вы видите, как результаты каждого тестового случая появляются последовательно по мере их генерации. Обработка тестовых случаев в реальном времени дает вам мгновенный обзор тенденций качества и возможных сбоев во время проведения оценки. Вы можете остановить выполнение в любой момент, если возникнут проблемы. В Copilot Studio появляется уведомление, когда полная оценка завершена и сводные результаты готовы к просмотру.

Note

Можно запускать только один тестовый набор для оценки одновременно. Дождитесь завершения текущей оценки, прежде чем запускать следующую.

Изучение результатов тестирования

Каждый раз, когда вы запускаете оценку с тестовым набором, Copilot Studio:

1. Использует подключенную учетную запись пользователя для моделирования разговоров с агентом, отправляя каждый вопрос из тестового случая агенту.

2. Собирает ответы агента.

3. Измеряет и анализирует результативность каждого ответа. Каждому тестовому случаю присваивается статус Пройден, Не пройден, Недействительный или Ошибка в зависимости от критериев тестового случая.

4. Присваивает показатель Коэффициент прохождения на основе процентного соотношения случаев Пройден/Не пройден в тестовом наборе.

Вы можете увидеть процент прохождения каждого запуска тестового набора на странице Оценка вашего агента, в разделе Последние результаты. Чтобы увидеть больше выполнений тестового набора, выберите Показать все.

Просмотр и оценка подробного анализа для тестового случая

Когда вы открываете результат теста, вы видите детали выполнения теста, список запросов, используемых в тесте, реакцию агента и оценку Пройден или Не пройден.

Выберите тестовый случай в списке, чтобы увидеть подробную оценку каждого ответа. Выберите Все, Пройден или Не пройден для фильтрации случаев по результату.

Оценка включает ожидаемые и фактические ответы, обоснование результата теста, а также знания, темы и инструменты, которые использовал агент для ответа.

1. Результаты оценки. В этом примере показаны детали результатов оценки качества.

2. Выберите Показать карту действий, чтобы увидеть последовательность входов, решений и выходов вашего агента в тестовом случае. Подробнее см. в разделе Просмотр действий сеанса.

3. Расшифровка тестового вопроса и ответа агента.

4. Ресурсы, которые агент использовал в тесте. Выберите один из них, чтобы открыть.

Вы можете отправить отзыв Microsoft о том, насколько эффективно была проведена оценка для каждого тестового случая. Этот отзыв предназначен для оценки того, насколько эффективно выбранный метод оценивания проверил ответ, а не того, был ли сам ответ правильным. Ваша обратная связь со временем помогает повысить качество и точность оценок.

Чтобы оценить результат проверки, выберите значок с поднятым вверх большим пальцем или значок с опущенным вниз большим пальцем на панели сведений о тестовом случае. Когда откроется форма обратной связи, предоставьте дополнительные сведения о своей оценке и затем выберите Отправить.

Тестовый набор для оценки может быть запущен несколько раз разными создателями одного и того же агента. Создатели могут запускать тестовые оценки, используя тестовые наборы, созданные другими создателями. Создатели могут видеть статус запуска и метрики результатов любого тестового запуска, но только создатель, инициировавший тест, может просматривать ответы агента и объяснения результатов.

Время отклика на рецензирование

Copilot Studio автоматически измеряет время отклика на каждое взаимодействие во время оценки. Взаимодействие — это один запрос пользователя и соответствующий ответ агента. Время отклика — это время от конца до конца, в секундах, с момента получения запроса агентом до его возврата. Он включает все рассуждения, вызовы инструментов, вызовы коннектора, запросы или шаги рабочего процесса, которые агент выполняет перед ответом.

Чтобы увидеть время ответа, выберите вопрос по тестовому кейсу в окне Results . Значение времени отклика отображается в секундах в панели ответа агента после ответа.

Для теста с одним ответом вопрос и ответ агента образуют одно взаимодействие. Тестовый случай разговора может включать несколько взаимодействий, и Copilot Studio измеряет каждое отдельно.

Используйте время отклика, чтобы выявлять медленные взаимодействия и сравнивать результаты после смены агента. Время отклика — это только измерение. Он не присваивает результат Pass или Fail и не влияет на процент сдачи теста.

Сравнение результатов тестов

Вы хотите протестировать одну версию вашего агента и оценить изменения в производительности до и после внесения изменений. Вы можете сравнить два запуска одного и того же тестового набора с помощью инструмента Сравнение с.

Для просмотра сравнения необходимо запустить один и тот же тестовый набор не менее двух раз.

1. На странице Оценка вашего агента, в разделе Недавние результаты теста, откройте тестовый запуск, который вы хотите использовать в качестве основы для сравнения.

2. Выберите раскрывающееся меню Сравнить с, затем выберите время и дату тестового запуска, которые хотите сравнить с текущими открытыми результатами теста.

В списке Тестовые случаи стрелки показывают, какие результаты тестовых случаев улучшились (перешли из состояния "не прошел" в состояние "прошел") или ухудшились (перешли из состояния "прошел" в "не прошел") .

Выберите тестовый случай, чтобы посмотреть сведения. На панели Сводка оценки вы можете увидеть прямое сравнение результатов тестов, при этом результат текущего тестового запуска отображается в верхней части.

Экспорт результатов тестирования

Вы можете экспортировать результаты тестов в CSV-файл. В файле перечислены вопрос, ожидаемый ответ (если применимо), метод теста, проходной балл (если применимо), ответ агента, результат теста и анализ каждого тестового случая.

1. Перейдите на страницу оценки вашего агента.
2. В разделе Последние результаты экспортируйте результат теста, выполнив один из следующих шагов:
   • Наведите указатель на нужный тестовый случай, нажмите на три точки (…), затем выберите Экспортировать результаты теста.
   • Выберите нужный тестовый случай, чтобы открыть его, нажмите на три точки (…) в панели Сводка оценки, затем выберите Экспорт результатов теста.

Результаты тестирования скачиваются как файл имя вашего тестового набора.csv.

Делитесь оценками с помощью роли агента-просмотрщика

Если вы владелец агента и хотите предоставить доступ только к странице оценки вашего агента, поделитесь агентом и включите роль просмотрщика агентов . Пользователи с этой ролью могут управлять оценками для конкретного агента без доступа к самому агенту.

Note

Роль агента-зрителя не даёт привилегий на уровне окружающей среды или арендатора.

Пользователи, которым была назначена роль просмотрщика агентов для оценок:

• Просматривайте и запускайте тестовые наборы от других производителей.
• Переименовать, отменить и удалять оценки.
• Не могу создать или обновить тестовые наборы оценки, которые им делятся.

Note

Пользователи, которым назначена роль просмотрщика агентов, не могут создавать, обновлять или удалять агента или контент вне тех оценок, где они являются просмотрщиком агентов. Пользователи не могут публиковать агент или управлять его обменом и настройками доступа.

Чтобы назначить роль, выполните следующие действия.

1. Откройте агент и выберите три точки (...) >Поделись.
2. В разделе « Новые пользователи и идентификаторы приложения» добавьте пользователя или группу. Или выберите существующего пользователя из списка.
3. В разделе «Имеет права для этого агента» выберите «Просмотрщик агента » из списка ролей.
4. Выберите «Поделиться», чтобы поделиться агентом.

Затем пользователь может открыть агент и просмотреть вкладки «Оценки » и «Мониторинг ». Затем они могут управлять оценками на вкладке «Оценка ».

Узнайте больше о передаче отзывов агента другим пользователям.