Мониторинг эффективности агента в Copilot Studio

Note

В этой статье описываются особенности, используемые в агентах или потоках агентов, питаемых стандартным жгутом.

Используйте аналитику, чтобы понять, насколько хорошо работает ваш агент, и определить области, требующие улучшения.

Страница Monitor в Copilot Studio суммирует ключевые метрики и предоставляет аналитику использования компонентов вашего агента. Откройте индивидуальные метрики, чтобы изучить базовые данные.

Опыт работы с Монитором адаптирован как для разговорных агентов , так и для автономных агентов.

Мониторинг доступен во всех регионах. Данные мониторинга доступны в течение до 360 дней. Сведения о сеансах и данные расшифровок доступны за последние 28 дней. Метки даты и времени в аналитике указаны в формате UTC. Метки времени включают время начала и окончания дня, время сеанса и любые другие временные метки в данных вашего агента.

Note

Страница Monitor не показывает аналитику действий, которые вы выполняете при тестировании агента в Copilot Studio с помощью тестовой панели.

Предоставление ограниченного (только на просмотр) доступа к аналитике

Если вы владелец агента, поделитесь этим агентом с функцией совместного использования Аналитического просмотра , чтобы предоставить доступ только к его странице Монитора . Чтобы получить доступ к информации о расшифровке разговоров, человек также должен иметь роль безопасности просмотрщика транскриптов ботов .

Узнайте больше в разделе «Поделиться аналитикой агента».

Important

Как владелец агента, вы можете предоставлять роль "Просмотр аналитики" только отдельным пользователям, но не группам пользователей.

Чтобы получить доступ к странице Monitor вашего агента:

1. Откройте агент в Copilot Studio.
2. Выберите «Монитор » в верхней строке меню.

Summary

В разделе Сводка приведена сгенерированная Copilot сводка ИИ по ключевой аналитике о вашем агенте. Выберите Показать еще, чтобы увидеть полный сводный список аналитических выводов.

Это позволяет быстро понять общие тематики и показатели и определить возможности для улучшения вашего агента, представленные в виде маркированного списка за выбранный отчетный период. Этот список может включать метрики вовлечённости, настроения и отзывы клиентов, а также тенденции с последнего отчетного периода.

Краткое описание комментариев клиентов (предварительный просмотр)

[Этот раздел содержит предварительную версию документации и может быть изменен.]

Краткое содержание комментариев клиентов помогает понять общее отношение клиентов к агенту на основе обратной связи и комментариев. Выводы ранжируются на основе как объема связанных комментариев, так и их общей значимости. Резюме отсеивает комментарии с низкой ценностью или нерелевантные комментарии и группирует связанные отзывы вместе.

Important

Эта статья содержит документацию по предварительной версии Microsoft Copilot Studio и может быть изменена.

Предварительные версии функций не предназначены для использования в рабочей среде и могут иметь ограниченные функциональные возможности. Они доступны перед официальным выпуском, чтобы вы могли досрочно получить доступ и предоставить отзывы.

Если вы создаете агент, готовый для рабочей среды, см. Обзор Microsoft Copilot Studio.

Чтобы дать обратную связь Microsoft по этому разделу, выберите «Большой палец вверх» или «Палец вниз». Используйте панель «Отправить отзыв в Microsoft», чтобы добавить комментарий и выбрать, делиться ли связанными файлами.

1. В панели Отправить отзыв в Майкрософт опишите на естественном языке, что вам нравится или что не нравится, в зависимости от того, какой значок вы выбрали для открытия панели.
2. Выбирайте, делиться ли подсказкой, сгенерированным ответом, релевантными образцами контента и дополнительными лог-файлами.
3. Нажмите кнопку "Отправить".

Обзор

Ознакомьтесь с общим сводкой по результативности в разделе Обзор , а затем подробнее изучите отдельные метрики.

Активные пользователи

Метрики активного пользователя показывают принятие разговорного агента и то, как он меняется со временем. Активный пользователь — это уникальный пользователь, который взаимодействовал с разговорным агентом хотя бы один раз за период отчета. Страница Монитора отображает ежедневных активных пользователей (DAU) и ежемесячных активных пользователей (MAU). Ежедневный подсчёт охватывает полный круглосуточный день в UTC. Ежемесячный подсчёт следует календарному месяцу в UTC.

Important

Функция Метрики активных пользователей поддерживается только если для вашего агента включена обязательная аутентификация в разделе Настройки>Безопасность>Аутентификация.

Среднее значение DAU за выбранный период и его процентное изменение по сравнению с предыдущим периодом отображаются в качестве ключевого показателя эффективности (КПЭ) в разделе Обзор.

Note

Формула для среднего значения DAU выглядит следующим образом: (sum of all full-day active user counts in the period) / (count of full days in the period).

Чтобы увидеть более подробную информацию о количестве активных пользователей за день и месяц по мере изменения этих показателей во времени, выберите кнопку Просмотреть активных пользователей в правом верхнем углу панели обзора.

Только разговорные сеансы

Аналитика для разговорных агентов в Copilot Studio отслеживает вовлеченность пользователей, чтобы дать вам возможность понять, насколько хорошо ваш агент справляется с задачами пользователей.

Разговорная аналитика использует следующие понятия и термины:

• Разговоры (или беседы) — это непрерывное взаимодействие между конкретным пользователем или группой пользователей на канале и вашим агентом.

• Разговоры могут быть приостановлены и возобновлены позже или переданы представителю службы поддержки. Разговор может быть односторонним — либо от клиента к агенту, либо от агента к клиенту, но чаще всего это диалог между клиентом и агентом.

• Разговор автоматически прерывается после 30 минут бездействия.

• Для агентов, опубликованных в канале Телефонии, разговор автоматически прерывается через 3 минуты после события Завершить разговор.

• Один разговор может содержать один или несколько сеансов аналитики.

• Аналитическая сессия, работающая на Standard Harness, связана с последней пользовательской темой, запущенной пользователем. Если в сеансе нет пользовательских тем, это последняя системная тема, непосредственно активированная пользователем.

Только сеансы с триггером-событием

Автономный агент — это агент с триггером-событием. Эти агенты поддерживают только аналитику для агентов с триггерами.

Сеансы аналитики для агентов с триггерами отслеживается начиная с момента, когда агент получает полезные данные от триггера, и включая все действия, которые агент выполняет в ответ. Эти сеансы аналитики отслеживают, на что отвечает ваш агент, а также насколько он результативен.

Note

Если триггер не срабатывает и агент не получает данные триггера, сеанс аналитики не может начаться. Аналитика отслеживает только успешно инициированные триггером запуски.

Гибридное представление — и разговорные, и инициированные событиями сеансы

Когда данные вашего агента включают сессии хотя бы одного разговора и хотя бы одного запуска на основе триггеров за период отчёта, страница Monitor отображает гибридный вид релевантных метрик как для разговорных, так и для автономных сессий. В этом представлении разделы Обзор и Эффективность показывают метрики параллельно как для разговорных, так и для инициированный событиями сеансов. Раздел Использование позволяет выбрать между представлением Разговоры или Запуски, где отображаются только релевантные данные. При выборе варианта Все отображаются все данные, связанные с использованием. Раздел Удовлетворенность отображает метрики удовлетворенности для разговорных сеансов.

Подробнее см. в:

• Отслеживайте эффективность разговорных агентов для метрик сессии разговорных сессий

• Мониторинг состояния автономного агента для метрик сессии, вызванных событиями

Загрузка расшифровок разговоров

Вы можете скачать расшифровки сессий в Copilot Studio за периоды в течение последних 28 дней. Может пройти до часа после завершения аналитической сессии, прежде чем соответствующие данные появляются на панели аналитики. Узнайте больше о доступности, правах и шагах загрузки в разделе Скачать расшифровки беседы в Copilot Studio.

Сохранение транскриптов в Dataverse осуществляется отдельно от 28-дневного окна сессионных данных в Copilot Studio. Узнайте больше в разделе Скачать расшифровки беседы в Power Apps.

Анализ использования тем

В Copilot Studio тема определяет, как развивается разговор между агентом и пользователем, и представляет собой часть этого разговора. Панель темы Монитор показывает, как конкретная тема работает, включая частоту её активации, как разрешаются сессии с её участием и насколько довольны пользователи этими сессиями. Используйте эти инсайты, чтобы выявлять темы, которые часто обостряются или забыты, а затем расставляйте их для улучшения. Дополнительные сведения см. в разделе Создание и изменение тем.

Note

Topic Monitor доступен только для агентов, работающих на стандартном жгуте, и для тем, связанных с сессией. Если ваш агент использует генеративную оркестрацию, используйте результаты и темыразговоров на странице Монитора.

Чтобы просмотреть тему Панель мониторинга:

1. Перейдите на страницу Темы вашего агента в Copilot Studio.

2. Выберите тему, которую вы хотите проанализировать. Если нет доступных тем, см. раздел Создание и редактирование тем.

3. В правом верхнем углу страницы «Темы » выберите «Подробнее » (...) >Монитор.

Тема панели Monitor показывает:

• Результаты темы: диаграмма результатов сеансов, Escalated, Resolved и Abandoned, для сеансов, где сработала тема. Используйте эту диаграмму, чтобы быстро оценить состояние темы. Высокая доля результатов Escalated или Abandoned может означать, что тема требует улучшения.
• Общее использование темы: график динамики результатов темы со временем. Используйте это для выявления регрессий, например скачка числа прерванных сеансов после редактирования темы, или для подтверждения того, что недавние изменения улучшили процент разрешения.
• Показатель удовлетворенности клиентов: балл, рассчитанный на основе ответов пользователей на опросы из сеансов, связанных с этой темой.
• Динамика изменения оценки удовлетворенности: диаграмма, отражающая, как показатель удовлетворенности меняется со временем. Используйте эту динамику, чтобы определить периоды, когда удовлетворенность пользователей ухудшалась или улучшалась.

Чтобы изменить временной диапазон, выберите выпадающее меню временного диапазона в верхней части панели темы Monitor.

Связанная информация

Измеряйте рентабельность инвестиций (ROI) и бизнес-ценность агентов ИИ