Обзор аналитики

Используйте аналитику, чтобы понять, насколько хорошо работает ваш агент, и определить области, требующие улучшения.

Страница Analytics в Copilot Studio показывает вам полные данные по вашему агенту — от обзора ключевых метрик до глубокой аналитики использования компонентов вашего агента. Вы можете детализировать каждый фрагмент данных, чтобы получить дополнительные сведения.

Аналитический опыт адаптирован как для разговорных агентов , так и для автономных агентов.

Аналитика доступна во всех географических регионах. Аналитические данные доступны до 180 дней. Информация о сессиях и расшифровке доступны за последние 28 дней. Метки времени и даты в аналитике представлены в координированном универсальном времени (UTC). Отметки времени и даты включают время начала и окончания дня, время сессии и любые другие временные маркеры в данных вашего агента.

Note

Страница Analytics не показывает аналитику по активности, которую вы выполняете при тестировании агента в Copilot Studio с помощью панели test panel.

Предоставление ограниченного доступа к аналитике только через просмотр

Если вы владелец агента и хотите предоставить доступ только к странице аналитики вашего агента, вы можете сделать это, поделившись агентом с включённой ролью совместного использования в Analytics Viewer . Если вы хотите, чтобы человек, с которым вы делитесь с агентом, имел доступ к информации из расшифровки разговора, у него также должна быть роль безопасности просмотрщика транскриптов ботов .

Узнайте больше о том, как делиться аналитикой агента.

Important

Как владелец агента, вы можете делить роль просмотрщика аналитики только с отдельными лицами, а не с группами пользователей.

Чтобы получить доступ к странице аналитики вашего агента:

1. Откройте агент в Copilot Studio.
2. Выберите Аналитику в верхней панели меню.

Сводка

Область Summary использует Copilot для создания AI-сводки ключевых аналитических инсайтов о вашем агенте. Выберите «Посмотреть больше », чтобы увидеть полный сводный список инсайтов.

Это помогает быстро понять общие темы и метрики, а также выявить области для улучшения для вашего агента, суммируя их в марковом списке для выбранного отчетного периода. Это может включать показатели вовлечённости, настроения и отзывы клиентов, а также тенденции с последнего отчетного периода.

Краткое описание комментариев клиентов (предварительный просмотр) помогает понять общее отношение клиентов к агенту, такое как отзывы и комментарии. Инсайты расставляются в приоритете как по объёму связанных комментариев, так и по их общей значимости. Комментарии с низкой ценностью или нерелевантные фильтруются, а связанные отзывы группируются вместе.

Вы можете оставить обратную связь Microsoft по этому разделу с иконками Большой палец вверх и Палец вниз . Используйте панель Отправьте отзывы в Microsoft, чтобы добавить комментарий и поделиться соответствующими файлами. Предоставляя такой описательной обратной связи, мы можем вместе постоянно совершенствовать наш продукт.

1. В панели Отправьте отзыв Microsoft опишите на естественном языке свои предпочтения или антипатии в зависимости от выбранного значка для открытия панели.
2. Выбирайте, делиться ли подсказкой, сгенерированным ответом, релевантными образцами контента и дополнительными лог-файлами.
3. Нажмите кнопку "Отправить".

Вы также можете посмотреть общий обзор производительности в разделе Обзор , а затем подробнее изучить его результаты.

Активные пользователи

Метрики активного пользователя дают представление о степени принятия разговорного агента и о том, как это меняется со временем. Активный пользователь — это уникальный пользователь, который взаимодействовал с разговорным агентом хотя бы один раз за период отчёта. Copilot Studio Analytics отображает количество активных пользователей за два заранее определённых периода времени: ежедневные активные пользователи (DAU) и ежемесячные активные пользователи (MAU). Ежедневный подсчёт начинается и заканчивается по полному 24-часовому рабочему дню в часовом поясе UTC. Ежемесячный подсчёт следует календарному месяцу, также начинается и заканчивается в первые и последние дни в зависимости от часового пояса UTC.

Important

Функция активных пользовательских метрик поддерживается только если вы настроите агента на требование аутентификации в настройках>Security>Authentication.

Средний DAU за выбранный период плюс его процентное изменение по сравнению с предыдущим периодом отображается как ключевой показатель эффективности (KPI) в разделе Обзор .

Note

Формула для средней рассчитанной по DAU метрики выглядит так: (sum of all full-day active user counts in the period) / (count of full days in the period).

Чтобы увидеть больше информации о ежедневном и ежемесячном количестве активных пользователей по мере их тенденций со временем, выберите кнопку «Увидеть активных пользователей » в правом верхнем углу панели обзора.

Только разговорные сессии

Аналитика для разговорных агентов в Copilot Studio отслеживает взаимодействие пользователей с вашим агентом и пытаются зафиксировать, насколько хорошо ваш агент справляется с пользовательскими задачами.

В разговорной аналитике используются следующие понятия и термины:

• Разговоры — это постоянное взаимодействие между конкретным пользователем или группой пользователей на канале и вашим агентом.

• Разговоры могут быть приостановлены и возобновлены позже или переданы оператору отдела обслуживания клиентов. Разговор может быть односторонним — либо от клиента к агенту, либо от агента к клиенту, но чаще это обмен мнениями между клиентом и агентом.

• Разговор заканчивается после 30 минут бездействия.

• Для агентов, опубликованных на канале Telephoney, разговоры заканчиваются через 3 минуты после события End Conversation .

• Один разговор может содержать один или несколько сеансов аналитики.

• Аналитический сеанс в классическом режиме связан с последней пользовательской темой, инициированной пользователем. Если в сессии нет пользовательских тем, это последняя системная тема, которую пользователь запускает напрямую.

Только сессии триггера событий

Автономный агент — это агент с триггером события. Эти агенты поддерживают только аналитику для агентов с триггерами.

Аналитика сеансов для агентов с триггерами отслеживает, начиная с момента, когда агент получает полезные данные от триггера, и заканчивая любыми действиями, которые агент выполняет в ответ. Эти сеансы аналитики фиксируют, на что реагирует ваш агент и насколько хорошо он работает.

Note

Если триггер не срабатывает и агент не получает полезные данные триггера, аналитика сеанс не может начаться. Аналитика отслеживает только успешные запуски.

Гибридный вид — как разговорные, так и триггерные по событиям сессии

Когда данные вашего агента включают сессии хотя бы одного разговора и хотя бы одного запуска на основе триггеров за период отчёта, страница аналитики показывает гибридный вид релевантных метрик как для разговорных, так и для автономных сессий. В этом виде разделы Обзор и Эффективность показывают метрики рядом как для разговорных, так и для событийных сессий. Раздел «Использовать» позволяет выбрать между «Разговорами» или «Запусками», где отображаются только релевантные данные. Выбор «Все » показывает все данные, связанные с использованием. Раздел «Удовлетворенность» показывает показатели удовлетворённости разговорными сессиями.

Ознакомьтесь также с информацией по смежным темам:

• Отображаемые метрики, относящиеся к сессиям разговоров, см. Анализ эффективности разговорного агента.

• Отображённые метрики, релевантные для событийных сессий, см. Анализ состояния автономных агентов.

Загрузка расшифровок разговоров

Вы можете скачать расшифровку разговоров через несколько минут после окончания тайм-аут. Вы можете скачать любой период в течение последних 29 дней. Вы можете скачать их в Dataverse через портал Power Apps а также в виде расшифровок чатов сессии через приложение Copilot Studio. Это может занять до часа после того как аналитический сеанс заканчивается, до того как соответствующие данные появятся на аналитической панели.

Note

Вы не можете скачать расшифровки разговоров в Dataverse через приложение Copilot Studio в Teams. Чтобы просмотреть и экспортировать расшифровки в Dataverse, необходимо подписаться на веб-приложение Copilot Studio. Вы можете скачать расшифровки чата сессий с помощью приложения Copilot Studio. Дополнительную информацию см. в разделе Загрузка расшифровок сеансов агента.

Аналитика использования тем

В Copilot Studio тема определяет, как проходит разговор с агентом, и представляет собой часть разговора между пользователем и агентом. Панель аналитики темы показывает, как работает конкретная тема, включая частоту её запуска, как разрешаются сессии с её участием и насколько довольны пользователи этими сессиями. Вы можете использовать эти инсайты, чтобы выявлять темы, которые часто обостряются или игнорируются, а затем расставлять их для улучшения. Чтобы узнать больше о темах и о том, как их создавать, смотрите раздел «Создать и редактировать темы».

Note

Тематическая аналитика доступна только для агентов в классическом режиме и для тем, связанных с аналитической сессией. Если ваш агент использует генеративную оркестрацию, используйте результаты и темыразговоров на странице аналитики.

Чтобы ознакомиться с панелью аналитики по теме:

1. Перейдите на страницу тема вашего агента в Copilot Studio.

2. Выберите тему, которую хотите проанализировать. Если нет доступных тем, смотрите раздел «Создать и редактировать темы».

3. В правом верхнем углу страницы «Темы» выберите «Подробнее » (...) >Аналитика.

Панель по аналитике темы показывает:

• Результаты темы: Таблица результатов сессий, Escalated, Resolved, и Abandoned, для сессий, на которых эта тема была задействована. Используйте эту таблицу, чтобы быстро оценить состояние темы. Высокая доля Escalated или Abandoned результатов может означать, что тема нуждается в доразвитии.
• Общее использование тем: график тенденции исходов темы со временем. Используйте это для обнаружения регрессий, например, скачка заброшенных сессий после редактирования темы или для подтверждения того, что недавние изменения улучшили скорость разрешения.
• Оценка удовлетворённости клиентов: Оценка, основанная на ответах пользователей опросов за сессии, связанные с этой темой.
• Тренд оценки удовлетворённости: диаграмма, показывающая, как меняется показатель удовлетворенности со временем. Используйте эту тенденцию для выявления периодов, когда настроение пользователей снижалось или улучшалось.

Чтобы изменить временной диапазон, выберите выпадающее меню временного диапазона в верхней части панели аналитики темы.

Статьи по теме

• Измеряйте рентабельность инвестиций (ROI) и бизнес-ценность агентов ИИ