Обзор монитора

Note

В этой статье описываются особенности, используемые в агентах или потоках агентов, питаемых стандартным жгутом.

Используйте аналитику, чтобы понять, насколько хорошо работает ваш агент, и определить области, требующие улучшения.

Страница Monitor в Copilot Studio показывает вам подробные данные о вашем агенте — от обзора ключевых метрик до глубокой аналитики использования компонентов вашего агента. Вы можете детализировать каждую часть данных, чтобы получить подробную информацию.

Опыт работы с Монитором адаптирован как для разговорных агентов , так и для автономных агентов.

Мониторинг доступен во всех регионах. Данные мониторинга доступны в течение до 360 дней. Сведения о сеансах и данные расшифровок доступны за последние 28 дней. Метки даты и времени в аналитике указаны в формате UTC. Метки времени включают время начала и окончания дня, время сеанса и любые другие временные метки в данных вашего агента.

Note

Страница Monitor не показывает аналитику действий, которые вы выполняете при тестировании агента в Copilot Studio с помощью тестовой панели.

Предоставление ограниченного (только на просмотр) доступа к аналитике

Если вы владелец агента и хотите предоставить доступ только к странице Monitor , вы можете сделать это, поделившись агентом с включённой ролью совместного использования в Analytics Viewer . Если вы хотите, чтобы человек, с которым вы делитесь агентом, имел доступ к информации из расшифровки бесед, ему также необходимо назначить роль безопасности Просмотр расшифровки ботов.

Узнайте больше о предоставлении доступа к аналитике агента.

Important

Как владелец агента, вы можете предоставлять роль "Просмотр аналитики" только отдельным пользователям, но не группам пользователей.

Чтобы получить доступ к странице Monitor вашего агента:

1. Откройте агент в Copilot Studio.
2. Выберите «Монитор » в верхней строке меню.

Сводка

В разделе Сводка приведена сгенерированная Copilot сводка ИИ по ключевой аналитике о вашем агенте. Выберите Показать еще, чтобы увидеть полный сводный список аналитических выводов.

Это позволяет быстро понять общие тематики и показатели и определить возможности для улучшения вашего агента, представленные в виде маркированного списка за выбранный отчетный период. Это может включать показатели вовлеченности, тональность клиентов и отзывы клиентов, а также тенденции с момента последнего отчетного периода.

Сводка комментариев клиентов (предварительная версия) помогает получить представление о высокоуровневой тональности клиентов в отношении агента, например их отзывы и комментарии. Выводы ранжируются на основе как объема связанных комментариев, так и их общей значимости. Комментарии с низкой ценностью или нерелевантные фильтруются, а связанные отзывы группируются вместе.

Вы можете отправить отзыв в Майкрософт относительно этого раздела с помощью значков Палец вверх и Палец вниз. Используйте панель Отправить отзыв в Майкрософт, чтобы добавить комментарий и соответствующие файлы. Получая такие информативные отзывы, мы можем вместе постоянно совершенствовать ваш продукт.

1. В панели Отправить отзыв в Майкрософт опишите на естественном языке, что вам нравится или что не нравится, в зависимости от того, какой значок вы выбрали для открытия панели.
2. Выберите, что вы хотите отправить: запрос, сгенерированный ответ, соответствующие образцы содержимого и дополнительные файлы журнала.
3. Нажмите кнопку "Отправить".

Вы также можете ознакомиться с высокоуровневой сводкой эффективности в разделе Обзор, а затем детально изучить ее показатели.

Активные пользователи

Метрики активности пользователей дают представление о степени использования разговорного агента и ее динамике со временем. Активный пользователь — это уникальный пользователь, который взаимодействовал с разговорным агентом хотя бы один раз за период отчета. Вкладка «Монитор» отображает количество активных пользователей за два заранее определённых периода времени: ежедневные активные пользователи (DAU) и ежемесячные активные пользователи (MAU). Ежедневный подсчет начинается и заканчивается согласно полному 24-часовому дню в часовом поясе UTC. Месячный подсчет соответствует календарному месяцу, также начинаясь и заканчиваясь в первый и последний день месяца по времени UTC.

Important

Функция Метрики активных пользователей поддерживается только если для вашего агента включена обязательная аутентификация в разделе Настройки>Безопасность>Аутентификация.

Среднее значение DAU за выбранный период и его процентное изменение по сравнению с предыдущим периодом отображаются в качестве ключевого показателя эффективности (КПЭ) в разделе Обзор.

Note

Формула для среднего значения DAU выглядит следующим образом: (sum of all full-day active user counts in the period) / (count of full days in the period).

Чтобы увидеть более подробную информацию о количестве активных пользователей за день и месяц по мере изменения этих показателей во времени, выберите кнопку Просмотреть активных пользователей в правом верхнем углу панели обзора.

Только разговорные сеансы

Аналитика для разговорных агентов в Copilot Studio отслеживает вовлеченность пользователей, чтобы дать вам возможность понять, насколько хорошо ваш агент справляется с задачами пользователей.

Разговорная аналитика использует следующие понятия и термины:

• Разговоры (или беседы) — это непрерывное взаимодействие между конкретным пользователем или группой пользователей на канале и вашим агентом.

• Разговоры могут быть приостановлены и возобновлены позже или переданы представителю службы поддержки. Разговор может быть односторонним — либо от клиента к агенту, либо от агента к клиенту, но чаще всего это диалог между клиентом и агентом.

• Разговор автоматически прерывается после 30 минут бездействия.

• Для агентов, опубликованных в канале Телефонии, разговор автоматически прерывается через 3 минуты после события Завершить разговор.

• Один разговор может содержать один или несколько сеансов аналитики.

• Сеанс аналитики в классическом режиме связан с последней пользовательской темой, инициированной пользователем. Если в сеансе нет пользовательских тем, это последняя системная тема, непосредственно активированная пользователем.

Только сеансы с триггером-событием

Автономный агент — это агент с триггером-событием. Эти агенты поддерживают только аналитику для агентов с триггерами.

Сеансы аналитики для агентов с триггерами отслеживается начиная с момента, когда агент получает полезные данные от триггера, и включая все действия, которые агент выполняет в ответ. Эти сеансы аналитики отслеживают, на что отвечает ваш агент, а также насколько он результативен.

Note

Если триггер не срабатывает и агент не получает данные триггера, сеанс аналитики не может начаться. Аналитика отслеживает только успешно инициированные триггером запуски.

Гибридное представление — и разговорные, и инициированные событиями сеансы

Когда данные вашего агента включают сессии хотя бы одного разговора и хотя бы одного запуска на основе триггеров за период отчёта, страница Monitor отображает гибридный вид релевантных метрик как для разговорных, так и для автономных сессий. В этом представлении разделы Обзор и Эффективность показывают метрики параллельно как для разговорных, так и для инициированный событиями сеансов. Раздел Использование позволяет выбрать между представлением Разговоры или Запуски, где отображаются только релевантные данные. При выборе варианта Все отображаются все данные, связанные с использованием. Раздел Удовлетворенность отображает метрики удовлетворенности для разговорных сеансов.

Ознакомьтесь также с информацией по смежным темам:

• Отображаемые метрики, относящиеся к сессиям разговоров, см. Мониторинг эффективности разговорного агента.

• Отображённые метрики, релевантные для событийных сессий, см. Мониторинг автономного состояния агента.

Загрузка расшифровок разговоров

Вы можете скачать расшифровки разговоров через несколько минут после завершения разговора. Можно скачать расшифровки за любой период в пределах последних 29 дней. Вы можете скачать их в Dataverse с помощью портала Power Apps и как расшифровки сеансов чата с помощью приложения Copilot Studio. Это может занять до часа после того как аналитический сеанс заканчивается, до того как соответствующие данные появятся на аналитической панели.

Note

Скачать расшифровки разговоров в Dataverse через приложение Copilot Studio в Teams нельзя. Для просмотра и экспорта расшифровок в Dataverse необходимо зарегистрироваться в веб-приложении Copilot Studio. Вы можете загрузить расшифровки сеансов чата с помощью приложения Copilot Studio. Дополнительную информацию см. в разделе Загрузка расшифровок сеансов агента.

Анализ использования тем

В Copilot Studio тема определяет, как развивается разговор между агентом и пользователем, и представляет собой часть этого разговора. Панель темы Монитор показывает, как конкретная тема работает, включая частоту её активации, как разрешаются сессии с её участием и насколько довольны пользователи этими сессиями. Вы можете использовать эти аналитические данные, чтобы выявлять темы, которые часто эскалируются или прерываются, а затем приоритизировать их для улучшения. Чтобы узнать больше о темах и их создании, см. Создание и редактирование тем.

Note

Topic Monitor доступен только для агентов в классическом режиме и для тем, связанных с сессией. Если ваш агент использует генеративную оркестрацию, используйте результаты и темыразговоров на странице Монитора.

Чтобы просмотреть тему Панель мониторинга:

1. Перейдите на страницу Темы своего агента в Copilot Studio.

2. Выберите тему, которую вы хотите проанализировать. Если нет доступных тем, см. раздел Создание и редактирование тем.

3. В правом верхнем углу страницы «Темы » выберите «Подробнее » (...) >Монитор.

Тема панели Monitor показывает:

• Результаты темы: диаграмма результатов сеансов, Escalated, Resolved и Abandoned, для сеансов, где сработала тема. Используйте эту диаграмму, чтобы быстро оценить состояние темы. Высокая доля результатов Escalated или Abandoned может означать, что тема требует улучшения.
• Общее использование темы: график динамики результатов темы со временем. Используйте это для выявления регрессий, например скачка числа прерванных сеансов после редактирования темы, или для подтверждения того, что недавние изменения улучшили процент разрешения.
• Показатель удовлетворенности клиентов: балл, рассчитанный на основе ответов пользователей на опросы из сеансов, связанных с этой темой.
• Динамика изменения оценки удовлетворенности: диаграмма, отражающая, как показатель удовлетворенности меняется со временем. Используйте эту динамику, чтобы определить периоды, когда удовлетворенность пользователей ухудшалась или улучшалась.

Чтобы изменить временной диапазон, выберите выпадающее меню временного диапазона в верхней части панели темы Monitor.

Связанная информация

• Измеряйте рентабельность инвестиций (ROI) и бизнес-ценность агентов ИИ