Анализ разговорных агентов

Note

Функции, описанные в этой статье, питаются стандартным жгутом, который использует опции выставления счетов, описанные в разделе «Лицензирование для агентов, работающих на стандартном жгуте». Узнайте, как получить доступ к стандартным функциям в стандартных агентах и потоках агентов доступа.

Страница Аналитика в Copilot Studio предоставляет агрегированное представление об общей эффективности вашего агента по сеансам аналитики. Страница разделена на основные области, сосредоточенные на различных контекстах производительности. На странице также отображается область Обзор, где представлены высокоуровневые метрики ключевых показателей эффективности (КПЭ) для вашего агента, область Экономия, анализирующая экономию времени и средств, обусловленную вашим агентом или инструментами вашего агента, и область Сводка, предоставляющая ключевые аналитические сведения о работе вашего агента.

При анализе и оптимизации эффективности разговорного агента важно сосредоточиться на четырех основных разделах.

• Разделы «Сводка», «Обзор» и «Экономия» предоставляют ключевые аналитические сведения о ваших агентах, а также статистику по счетам и экономии; см. «Сводка», Обзор и «Экономия», чтобы узнать подробнее о каждом подразделе.
• Раздел Настраиваемые метрики позволяет вам определять метрики, специфичные для бизнес-сценариев использования ваших агентов.
• Раздел Эффективность помогает оценить качество пользовательского опыта, показывая, где диалоги успешны, где они прерываются, и как пользователи воспринимают результаты.
• Раздел «Использование» помогает улучшить операционную эффективность, показывая, насколько хорошо ваш агент отвечает на вопросы, насколько надежно инструменты и источники знаний поддерживают эти ответы, и где целевые обновления могут увеличить охват и последовательность.

Вы можете просмотреть аналитику событий, произошедших за последние 360 дней.

Пользовательские метрики

Раздел «Пользовательские метрики» позволяет определить до трех бизнес-метрик на естественном языке и отслеживать, как часто каждый результат появляется в выборочных сессиях. Используйте эти метрики, чтобы дополнить стандартные аналитические данные индикаторами, отражающими цели вашего агента и бизнес-задачи.

Для пользователей с привилегией просмотра транскриптов бота можно перейти к списку сессий с клиентами, отфильтрованным по выбранному сегменту графика пончика. В списке сессий вы можете увидеть мотивы метрики и получить доступ к её расшифровке, выбрав отдельные сессии.

Узнайте, как создавать, тестировать и уточнять пользовательские метрики, см. раздел «Анализ вашего агента с пользовательскими метриками».

Эффективность

Раздел «Эффективность» показывает обратную связь пользователей, собранную из реакций, ответов агента, результатов опросов и оценки тональности за сеанс. Эффективность разделена на подразделы:

• Исходы беседы: Знание конечного результата беседы позволяет определить, где ваш агент успешен, а где ему требуется улучшение.
• Реакции: ответы пользователей, включая оценки «палец вверх»/«палец вниз» и комментарии к отдельным ответам агента.
• Удовлетворенность клиентов: отображение показателя удовлетворенности клиентов (CSAT).
• Анализ тональности (предварительная версия): анализ тональности на основе искусственного интеллекта для всего сеанса.
• Агенты: смотрите метрики объема звонков, показатели успеха и текущее состояние дочерних элементов и связанных агентов.

Данные обратной связи хранятся в таблице расшифровок разговоров в Dataverse. Список каналов, поддерживающих эту функцию, смотрите в разделе «Сведения о функции».

Результаты разговора

Раздел «Результаты разговора» показывает диаграмму, которая отслеживает тип результата для каждой сессии между вашим агентом и пользователями.

Диаграмма, независимо от того, отображается ли она в виде гистограммы с накоплением или диаграммы с областями с накоплением, визуализирует относительные объемы результатов, кодированных цветом и сгруппированных по типу. Для каждой точки данных категории «Разрешено», «Эскалировано», «Прервано» и «Без взаимодействия» обозначены соответствующими цветами. Ось Y отображает число сеансов.

Чтобы увидеть метрики по отдельным результатам для конкретной точки данных (например, определенного дня), наведите курсор на участок графика, окрашенный в цвет интересующего результата (например, сине-зеленый для «Прервано») в этот день.

Чтобы загрузить данные о результатах беседы (данные, отображаемые на графике), выберите значок меню , затем выберите Загрузить CSV.

Note

Если при скачивании какие-либо результаты удаляются из графика, их данные не включаются в CSV.

Чтобы открыть боковую панель с подробной информацией о результатах беседы, выберите Подробнее на диаграмме. Боковая панель Результаты разговора включает:

• Круговая диаграмма с распределением по результатам сессий: «Разрешено», «Эскалировано» и «Прервано». Доля каждой категории указана в процентах.
• Линейчатая диаграмма с накоплением, показывающая относительные доли (в процентах) причин результата Решение подтверждено и Решение подразумевается для всех сеансов с результатом «Разрешено».
• Линейчатая диаграмма с накоплением, показывающая относительные доли (в процентах) причин эскалации: Предусмотрено системой, Не предусмотрено системой и Запрошено пользователем для всех сеансов с результатом «Эскалировано».
• Основные темы, которые привели к каждому результату.

Note

Чтобы увидеть подсказку с информацией о количестве, наведите курсор на любой сегмент круговой диаграммы или линейчатой диаграммы с накоплением.

Сеанс попадает в одно из следующих двух состояний:

• Без взаимодействия: сеанс начинается, когда пользователь взаимодействует с вашим агентом или когда агент отправляет пользователю проактивное сообщение. Сеанс начинается в состоянии без взаимодействия.

• С взаимодействием: пользователь активно взаимодействует с агентом. Поведение различается в зависимости от режима оркестрации агента.

  • Классическая оркестрация: сеанс считается сеансом с взаимодействием, если срабатывает одна из следующих тем:

    • Пользовательская тема, напрямую активированная пользователем
    • Тема эскалации
    • Резервная тема
    • Тема оптимизации разговора

  • Оркестрация с помощью генеративного ИИ: сеанс считается сеансом с взаимодействием, если пользователь напрямую запускает план, содержащий один из следующих элементов:

    • Несистемная тема
    • Тема эскалации
    • Резервная тема
    • Источник знаний
    • Инструмент

Сеанс с взаимодействием приводит к одному из следующих результатов:

Категория исходов	Результат	Description
Устранено		Сеанс завершается успешно. Существует два типа разрешенных сеансов: Решение подтверждено и Решение подразумевается.
	Решение подтверждено	Сеансу присваивается результат Решение подтверждено, если срабатывает тема «Конец разговора» и пользователь подтверждает, что взаимодействие прошло успешно.
	Решение подразумевается	Сеансу присваивается результат Решение подразумевается, если он завершается без подтверждения пользователя, на основании логики агента. Состояние Решение предполагается зависит от того, использует ли ваш агент классическую или генеративную оркестрацию ИИ: - Классическая оркестрация: сеансу присваивается результат Решение подразумевается, если срабатывает тема Конец разговора, а пользователь не подтверждает результат до истечения времени ожидания сеанса. - Оркестрация с помощью генеративного ИИ: сеансу присваивается результат Решение подразумевается , если время ожидания сеанса истекает и активных планов не остается. Активный план — это план, который ожидает ввода от пользователя.
Эскалировано		Сеанс завершается с результатом «Эскалировано», если срабатывает тема Эскалация или выполняется узел Передать агенту (текущий аналитический сеанс завершается независимо от того, передается ли беседа агенту). Существует три типа эскалированных сеансов: Предусмотрено системой, Не предусмотрено системой и Запрошено пользователем.
	Предусмотрено системой	Сеанс автоматически переводится в режим эскалации в результате автоматического бизнес-правила, созданного разработчиком. Эскалация является ожидаемым результатом разговора и не требует расследования или изменений. Пример: пользователь хочет перевести сумму свыше 25 000 долларов США третьему лицу. Эта сумма превышает порог, установленный в бизнес-правиле, и сеанс автоматически эскалируется в результате этого.
	Не предусмотрено системой	Эскалация происходит автоматически, если сеанс превышает одно или несколько пороговых значений, заданных разработчиком. Обычно такой результат означает, что пользователь не может продолжить беседу без помощи. Пример: сеанс эскалируется после трех неудачных попыток выполнить определенную задачу.
	Запрошено пользователем	Сеанс переводится в режим эскалации по явному запросу пользователя во время беседы. Пример: пользователь вводит Transfer me to an agent.
Прервано		Сеанс завершается и считается Прерван, если сеанс с взаимодействием завершился по таймауту через 30 минут и не достиг решенного или эскалированного состояния.

Вы также можете установить результат для инструментов с помощью параметра conversationOutcome в редакторе кода инструмента. Например, conversationOutcome: ResolvedConfirmed для подтвержденного успеха или conversationOutcome: ResolvedImplied для неявно предполагаемого успеха.

Ознакомьтесь с руководством по измерению вовлеченности , чтобы получить рекомендации и лучшие методики по измерению и улучшению вовлеченности.

Реакции

В разделе «Реакции» отображаются отзывы пользователей, собранные на основе реакций на ответы агента. Диаграмма показывает, сколько раз пользователи выбирали кнопки «палец вверх» (положительная) или «палец вниз» (отрицательная), доступные для каждого ответа, полученного от вашего агента.

Note

• Агенты, опубликованные в канале Microsoft 365 Copilot, не поддерживают реакции.
• Чтобы просматривать комментарии, у вас должна быть роль безопасности Просмотр расшифровки бота.

Функция «Реакции» включена по умолчанию. Вы можете отключить эту функцию при необходимости. Вы также можете добавить или изменить заявление об отказе от ответственности для пользователей в отношении того, как используются их отзывы:

1. Откройте агент, затем перейдите в раздел Параметры и найдите раздел Отзывы пользователей.

2. Для параметра Собирать реакции пользователей на сообщения агента выберите Вкл. или Выкл.

3. Добавьте или измените заявление об отказе от ответственности, чтобы пользователи знали, как используются их отзывы. Вы также можете предоставить информацию о конфиденциальности и рекомендации.

Пользователи с привилегией Просмотр расшифровки бота могут детализировать ответы агентов на индивидуальные реакции и фильтровать данные по комментариям пользователей.

Отслеживайте динамику реакций

Выберите Подробнее на плитке «Реакции», чтобы открыть боковую панель «Реакции». На панели показана динамика положительных и отрицательных реакций (кнопки «Палец вверх» и «Палец вниз»).

Удовлетворенность клиентов

Раздел «Удовлетворенность клиентов» показывает информацию об удовлетворенности пользователей на основе результатов опроса:

• Оценка удовлетворенности: оценка по 5-балльной шкале, рассчитанная на основе средних показателей удовлетворенности клиентов (CSAT) для сеансов, в которых пользователи ответили на предложение пройти опрос в конце сеанса.

  Note

  Оценки 1 и 2 соответствую категории Неудовлетворен, оценка 3 считается Нейтральной, а оценки 4 и 5 соответствуют категории Удовлетворен.

• Удовлетворенность по сеансам: линейчатая диаграмма с накоплением, показывающая относительные доли категорий оценок опроса — Dissatisfied, Neutral и Satisfied. Наведите курсор на каждый сегмент диаграммы, чтобы увидеть размер выборки и числовое значение веса каждой категории оценок. Если у вас есть привилегия Просмотр расшифровки бота, вы можете детализировать до списка сеансов клиентов, отфильтрованного по выбранной части сегмента диаграммы.

Выберите Подробнее, чтобы просмотреть динамику оценки удовлетворенности за выбранный период.

Анализ тональности (предварительная версия)

[Этот раздел содержит предварительную версию документации и может быть изменен.]

Анализ тональности использует ИИ для анализа сообщений пользователей из выборки сеансов и оценки общего отношения пользователей к агенту. Числовое значение показывает процент сеансов с отрицательной тональностью сообщений пользователей.

Important

Эта статья содержит документацию по предварительной версии Microsoft Copilot Studio и может быть изменена.

Предварительные версии функций не предназначены для использования в рабочей среде и могут иметь ограниченные функциональные возможности. Они доступны перед официальным выпуском, чтобы вы могли досрочно получить доступ и предоставить отзывы.

Если вы создаете агент, готовый для рабочей среды, см. Обзор Microsoft Copilot Studio.

Выберите Подробнее, чтобы просмотреть данные о тональности и относительных долях каждой из ее категорий: Positive, Neutral и Negative.

Вы можете включить или отключить анализ тональности для вашего агента в разделе «Параметры». Когда анализ тональности отключен, тональность сообщений пользователей во время сеансов не анализируется.

1. Перейдите в раздел «Параметры» и выберите «Расширенные параметры».

2. Включите или выключите Анализ тональности.

   

Агенты

В списке Агенты отображаются общие показатели объема, производительности и состояния подключенных и дочерних агентов вашего основного агента. В столбце Тип указан тип связи каждого агента из списка с основным агентом. Если агент является дочерним агентом, его тип — Child. Тип подключенных агентов в списке соответствует среде, в которой они были созданы (например, Copilot Studio, Azure AI Foundry). Показатель Вызовы для каждого агента в списке показывает количество вызовов от основного агента к подключенному или дочернему агенту. Коэффициент успешных выполнений отражает долю вызовов (в процентах от общего числа вызовов), которые были успешно завершены. Состояние указывает административное состояние каждого подключенного и дочернего агента.

По умолчанию в списке Агенты отображаются 5 (пять) подключенных и дочерних агентов основного агента с наибольшим общим количеством вопросов в порядке убывания. Если агентов более пяти, выберите Показать все, чтобы отобразить их полный список.

Note

Кнопка Показать все доступна только при наличии более пяти подключенных или дочерних агентов у основного агента.

Использование

Раздел Использование помогает понять, как пользователи взаимодействуют с вашим агентом и где можно повысить надежность ответов. Раздел «Использование» состоит из нескольких подразделов:

• Тематики: темы помогают получать аналитические сведения, группируя вопросы пользователей по категориям, предложенным ИИ.
• Частота и качество генерируемых ответов: понимание того, когда агент испытывает трудности с предоставлением ответов на вопросы пользователей и как он использует источники знаний, поможет вам найти способы улучшить частоту и качество ответов вашего агента.
• Использование инструментов: сведения о том, как часто используются инструменты и насколько успешно они работают, помогают понять, полезны ли они пользователям и достигают ли нужного результата.
• Использование источников знаний: сведения о том, как часто используются отдельные источники знаний и как часто они возвращают ошибки, помогают повысить качество и полноту ответов вашего агента.

Процент и качество сгенерированных ответов

Благодаря генеративным ответам агент может использовать ИИ для формирования ответов на запросы пользователей на основе источников знаний и предоставленных вами инструкций. Однако ваш агент может не отвечать на все запросы пользователей. Раздел «Доля и качество сгенерированных ответов» отслеживает, организует и анализирует неотвеченные запросы и качество ответов, чтобы дать вам рекомендации по улучшению эффективности ответов вашего агента.

Раздел Показатель ответов показывает количество отвеченных и неотвеченных вопросов за выбранный период времени и процентное изменение этого показателя со временем.

Качество ответов оценивает качество ответов с помощью ИИ. Copilot Studio рассматривает выборку вопросов, на которые были даны ответы, и анализирует различные показатели качества, включая полноту, релевантность и уровень обоснованности ответа. Если ответ соответствует установленному стандарту, Copilot Studio присваивает ему оценку качества Хорошее. Ответам, которые не соответствуют этому стандарту, Copilot Studio присваивает оценку качества Низкое. Для ответов с оценкой качества Низкое, Copilot Studio указывает причину оценки качества и показывает процент ответов, отнесенных к каждой категории.

Наведите курсор на любой сегмент столбца на диаграмме, чтобы увидеть относительный вес отдельной причины для метки качества Хорошее или Плохое. В подсказке также указывается количество ответов, использованных для вычисления процентного значения.

В легенде под диаграммой наведите курсор на любую причину оценки качества, чтобы выделить ее на диаграмме.

Выберите сегмент линейчатой диаграммы, чтобы открыть страницу с вопросами пользователей, отфильтрованными по качеству ответа. Выберите Просмотреть вопросы, чтобы увидеть неотфильтрованный список всех вопросов за выбранный период.

Использование инструмента

Раздел Использование инструментов отображает диаграмму и показатели, которые отслеживают, как часто ваши инструменты запускались в течение выбранного периода, а также как часто ваш агент успешно использовал эти инструменты. Также отображаются индикаторы тенденций по частоте использования каждого инструмента вашим агентом и доля инструментов, успешно примененных после вызова.

Диаграмма показывает пять основных инструментов, используемых за период дат, определенный в верхней части страницы Аналитика.

В легенде под графиком наведите указатель мыши на любой из инструментов, чтобы выделить этот инструмент на графике.

Чтобы открыть боковую панель со списком всех инструментов, использованных в указанный период, а также с индикаторами тренда, выберите Подробнее на графике. На панели Использование инструментов можно отображать расчеты процента вопросов, используемых для каждого инструмента. Если у вашего агента есть дочерние агенты, вы можете выбрать отображение расчетов для главного и дочерних агентов (Все), только для главного агента или только для дочерних агентов.

Использование источника знаний

Раздел «Использование источников знаний» содержит сведения о том, как агент использует источники знаний и как часто они возвращают ошибки. Для получения полной информации о доступных метриках, фильтрации и возможностях детализации см. Использование источников знаний.