Анализ разговорных агентов

Страница Analytics в Copilot Studio даёт агрегированное представление об общей эффективности вашего агента на сессиях analytics. Страница разделена на основные области, сосредоточенные на различных контекстах исполнения. На странице также отображается область Обзор , где представлены показатели ключевых показателей эффективности (KPI) на уровне для вашего агента, раздел Экономия , анализирующий экономию времени и средств, обусловленные инструментами вашего агента или агента, и область Сводка , предоставляющая ключевые аналитические сведения о работе вашего агента.

Есть четыре основных раздела, на которые стоит сосредоточиться при обзоре и улучшении эффективности разговорных агентов.

• Разделы «Резюме», «Обзор» и «Сбережения» показывают ключевые аналитические данные о ваших агентах, а также статистику по выставлению счетов и экономии; см. разделы «Сводка», «Обзор» и «Сбережения», чтобы узнать больше о каждом подразделе.
• Раздел «Пользовательские метрики» позволяет определить бизнес-специфические метрики для кейсов использования ваших агентов.
• Раздел «Эффективность» помогает оценить качество пользовательского опыта, показывая, где диалоги успешны, где они разбиваются и как пользователи относятся к результатам.
• Раздел «Использовать» помогает повысить операционную эффективность, показывая, насколько хорошо ваш агент отвечает на вопросы, насколько надёжно инструменты и источники знаний поддерживают эти ответы, а также где целевые обновления могут повысить охват и последовательность.

Вы можете посмотреть аналитику событий, произошедших за последние 90 дней.

Пользовательские метрики

Раздел «Пользовательские метрики» позволяет определить до трёх бизнес-метрик на естественном языке и отслеживать, как часто каждый результат появляется в выборочных сессиях. Используйте эти метрики, чтобы дополнить стандартные аналитические инсайты индикаторами, отражающими цели вашего агента и его бизнес-назначение. Чтобы научиться создавать, тестировать и уточнять пользовательские метрики, смотрите раздел «Анализируйте вашего агента с пользовательскими метриками».

Эффективность

Раздел «Эффективность» показывает отзывы пользователей, собранные на основе реакций, ответов агентов, результатов опроса и оценки настроений за сессию. Эффективность разделена на многие подразделы:

• Результаты беседы: Знание конечного результата разговора помогает вам начать определять, где ваш агент добивается успеха и где он нуждается в улучшении.
• Реакции: Пользовательские ответы, включая обратную связь с одобрениями и комментариями по конкретным реакциям агентов.
• Удовлетворённость клиентов: Показатель удовлетворенности клиентов (CSAT).
• Настроение (превью): Анализ настроений на основе искусственного интеллекта на протяжении всей сессии.
• Агенты: Смотрите метрики объёма звонков, показатели успеха и текущее состояние детских и связанных агентов.

Данные обратной связи хранятся в таблице расшифровок разговоров в Dataverse. Список каналов, поддерживающих эту функцию, см. сведения о функции.

Результаты разговора

Раздел «Результаты разговора» показывает диаграмму, которая отслеживает тип результата для каждой сессии между вашим агентом и пользователями.

Диаграмма, независимо от того, отображается ли она в виде стекированной гистограммы или диаграммы стекированных областей, визуализирует относительные объёмы результатов, цветно кодированных и сложенных по типу. Каждый из Resolved, Escalated, Abandoned и Unengaged представлен соответствующими цветами для каждой точки данных. Ось y указывает количество сессий.

Чтобы увидеть метрики отдельных результатов, специфичных для одной точки данных (конкретного дня), наведите курсор на область, отражающую цвет интересующего результата (например, бирюзовый цвет для Abandoned) в тот день, который вас интересует.

Чтобы скачать данные результатов разговора (данные, визуализированные на графике), выберите иконку меню и выберите Скачать CSV.

Note

Если при скачивании какие-либо результаты удаляются из графика, их данные не отображаются в CSV.

Чтобы открыть боковую панель с подробной информацией о результатах беседы, выберите «Смотреть детали на диаграмме». В боковую панель «Результаты разговора » входят:

• Разбивка результатов сессий по круговой диаграмме, показывающая относительное весовое распределение (выраженное в процентах) результатов Решенных, Эскалированных и Заброшенных .
• Столбчатая столбчатая диаграмма, показывающая относительное весовое значение (выраженное в процентах) причин подтверждённого и подразумеваемого исхода, описывающих все решённые результаты сессии.
• Столбчатая столбчатая диаграмма, показывающая относительный вес (выраженный в процентах) причин исхода Системных замыслов, Непреднамеренных и Пользователем запрошенных результатов, описывающих все эскалированные результаты сессий.
• Главные темы, которые привели к каждому результату.

Note

Чтобы увидеть подсказку с исходной информацией о счёте, наведите курсор на любой из сегментов круговой диаграммы или столбчатых диаграмм.

Сеанс попадает в одно из следующих двух состояний:

• Без взаимодействия: сеанс начинается, когда пользователь взаимодействует с вашим агентом или когда агент отправляет пользователю упреждающее сообщение. Сеанс начинается в состоянии без взаимодействия.

• Вовлечён: пользователь активно взаимодействует с агентом. Поведение зависит от режима оркестрации агента.

  • Классическая оркестровка: Сессия начинается, когда запускается одна из следующих тем:

    • Пользовательская тема, запускаемая напрямую пользователем
    • Тема эскалации
    • Запасная тема
    • Тема для усилия разговора

  • Генеративная оркестрация ИИ: Сессия активируется, когда пользователь напрямую запускает план и включает один из следующих элементов:

    • Несистемная тема
    • Тема эскалации
    • Запасная тема
    • Источник знаний
    • Инструмент

Сеанс с взаимодействием приводит к одному из следующих результатов:

Категория результатов	Результат	Description
Решено		Сессия успешно заканчивается. Существует два типа разрешённых сессий: подтверждённые и подразумеваемые разрешённые сессии.
	Решено подтверждено	Сессия считается подтверждённой , когда срабатывает тема окончания разговора и пользователь подтверждает, что взаимодействие прошло успешно.
	Разрешено подразумеваемо	Сессия разрешается подразумевается , когда сессия завершается без подтверждения пользователем, а основывается на логике агента. Имплицитное состояние Resolved зависит от того, использует ли ваш агент классическую или генеративную оркестрацию ИИ: - Классическая оркестрация: Сессия считается разрешённой, подразумеваемой , когда срабатывает тема окончания разговора , и пользователь позволяет сессии заканчиваться, не предоставляя подтверждения. - Генеративная оркестрация ИИ: сессия считается разрешённой, подразумеваемой , когда тайм-тайминг сессии и активных планов не осталось. Активный план — это план, который ждёт мнения пользователя.
Эскалировано		Сессия заканчивается, но считается эскалированной, когда запускается тема эскалации или запускается узел передачи агенту (текущая аналитическая сессия заканчивается, независимо от того, переходит ли разговор к живому агенту или нет). Существует три типа эскалированных сессий: Системная предназначение, Система непреднамеренная и Пользовательская запрос.
	Система предназначена	Сессия автоматически эскалируется в результате автоматического бизнес-правила, установленного создателем. Эскалация — это ожидаемый результат разговора и не требует расследования или изменений. Пример: пользователь хочет перевести более $25,000 третьей стороне. Эта сумма превышает порог, установленный в бизнес-правиле, и сессия автоматически эскалируется.
	Система непреднамеренна	Эскалация происходит автоматически в результате превышения сессии одного или нескольких порогов, установленных создателем. Обычно такой результат означает, что пользователь застрял в разговоре и нуждается в помощи. Пример: сессия эскалируется после трёх неудач выполнить определённую задачу.
	Запрос пользователя	Сессия эскалируется из-за явного запроса пользователя во время разговора. Пример: пользователь вводит Transfer me to an agent.
Прерванная		Сессия заканчивается и считается заброшенной , если активная сессия заканчивается через 30 минут и не достигает разрешённого или эскалированного состояния.

Вы также можете задать результат для инструментов с этим conversationOutcome параметром с помощью редактора кода инструмента. Например, conversationOutcome: ResolvedConfirmed для подтвержденного успеха или conversationOutcome: ResolvedImplied для неявно предполагаемого успеха.

Ознакомьтесь с руководством по измерению вовлечённости , чтобы получить рекомендации и лучшие практики по измерению и улучшению вовлечённости.

Реакции

Раздел «Реакции» показывает отзывы пользователей, собранные из реакций на реакции агентов. Таблица подсчитывает количество раз, когда пользователи выбирали кнопки «палец вверх» (положительный) или «палец вниз» (отрицательный) при каждом ответе, полученном от вашего агента.

Note

• Агенты, опубликованные на канале Microsoft 365 Copilot, не поддерживают реакции.
• Чтобы просматривать комментарии, у вас должна быть роль безопасности просмотрщика транскриптов ботов .

Функция Reactions по умолчанию включена . При желании эту функцию можно отключить. Вы также можете добавить или изменить заявление об отказе от ответственности для пользователей в отношении того, как используются их отзывы:

1. Откройте агент, затем перейдите в раздел Параметры и найдите раздел Отзывы пользователей.

2. Включите реакцию пользователей на сообщения агентовCollect или Off.

3. Добавьте или измените заявление об отказе от ответственности, чтобы пользователи знали, как используются их отзывы. Вы также можете предоставить информацию о конфиденциальности и советы.

Пользователи с привилегией Bot Transcript Viewer могут подробно изучать ответы агентов на индивидуальные реакции и фильтровать по комментариям пользователей.

Смотрите тенденции реакции со временем

Выберите «Смотреть детали на плитке Реакции », чтобы открыть боковую панель Реакции . Панель показывает, как со временем меняются положительные и отрицательные реакции (от «Палец вверх» и «Палец вниз»).

Удовлетворенность клиентов

Раздел «Удовлетворенность клиентов» показывает информацию об удовлетворённости пользователей на основе результатов опроса:

• Балл удовлетворённости: Балл из 5, рассчитанный на основе средних показателей удовлетворенности клиентов (CSAT) за сессии, в которых пользователи отвечали на запросы на опрос в конце сессии.

  Note

  Очки 1 и 2 отображаются в Недовольные, оценка считается 3нейтральной, 4 а оценки и 5 отображаются в Удовлетворены.

• Удовлетворённость по сессиям: Столбчатая диаграмма, которая визуализирует относительный вес для каждой из категорий баллов опроса: , DissatisfiedNeutral, и Satisfied. Наведите курсор на каждый сегмент диаграммы, чтобы увидеть размер выборки и числовое значение взвешивания каждой категории оценок. Для пользователей с привилегией Bot Transcript Viewer можно найти список сессий с клиентами, отфильтрованный по выбранной части сегмента баров.

Выберите «Смотреть детали », чтобы увидеть тенденцию по оценке удовлетворенности за выбранный период.

Sentiment (превью)

[Этот раздел содержит предварительную версию документации и может быть изменен.]

Анализ настроений использует ИИ для анализа пользовательских сообщений из выборки сессий с целью оценки общего настроения пользователя к агенту. Числовое значение отражает процент сессий с негативным настроением пользователей.

Important

Эта статья содержит документацию для предварительного просмотра Microsoft Copilot Studio и может быть изменена.

Предварительные версии функций не предназначены для использования в рабочей среде и могут иметь ограниченные функциональные возможности. Эти функции доступны до официального релиза, чтобы вы могли получить ранний доступ и дать обратную связь.

Если вы создаёте агента, готового к производству, смотрите Microsoft Copilot Studio Обзор.

Выберите Смотреть детали , чтобы просмотреть данные настроений относительно веса каждой из категорий настроений (быть Positive, Neutral, и Negative).

Вы можете включить и отключить анализ настроений для вашего агента в разделе Настройки. Когда анализ настроений отключён, настроения пользователей не анализируются во время сессий.

1. Перейдите в настройки и выберите Расширенный режим.

2. Включите или выключите Анализ настроений.

   

Агенты

Список агентов отображает показатели объёма, производительности и статуса для связанных и дочерних агентов вашего основного агента. Список определяет тип отношений агента с вашим основным агентом в столбце Type . Если агент является дочерним агентом, его тип — Child. Связанные агенты имеют указанный тип, который отражает место их создания (например, Copilot Studio, Azure AI Foundry). Метрика Вызовов для каждого перечисленного агента описывает объём вызовов от основного агента к подключённому или дочернему агенту. Процент успешности отражает долю звонков (% всех звонков), которые успешно завершились. Статус указывает на индивидуальный административный статус для каждого связанного и дочернего агента.

По умолчанию список агентов показывает пять (5) связанных и дочерних агентов вашего основного агента, ранжированных от самого высокого к наименьшему общему числу вопросов. Если агентов более пяти, выберите «Видеть всех », чтобы показать всех агентов.

Note

Кнопка «Увидеть всё» видна только если к вашему основному агенту подключено более пяти или дочерних агентов.

Использование

Раздел «Использовать» помогает понять, как пользователи взаимодействуют с вашим агентом и где повысить надёжность ответов. Использование разделено на многие подразделы:

• Темы: Темы помогают получать аналитические инсайты, кластеризируя вопросы пользователей по категориям, предложенным ИИ.
• Частота и качество генерируемых ответов: Понимание того, когда агент испытывает трудности с предоставлением ответов на вопросы пользователей и как он использует источники знаний, поможет вам найти способы повысить уровень и качество ответов вашего агента.
• Использование инструментов: Изучение того, как часто используются инструменты и как часто они успешны, поможет понять, являются ли эти инструменты полезными и успешными для пользователей.
• Использование источников знаний: изучение того, как часто используются отдельные источники знаний и как часто они возвращают ошибки, помогает улучшить качество и покрытие ответов вашего агента.

Генерируемая скорость и качество ответов

С помощью генеративных ответов ваш агент может использовать ИИ для генерации ответов на пользовательские запросы с использованием источников знаний и ваших инструкций. Однако ваш агент может не отвечать на все запросы пользователей. Раздел «Генерированный уровень ответов» и качество отслеживает, организует и анализирует неотвеченные запросы и качество ответов, чтобы дать вам рекомендации по улучшению эффективности вашего агента.

Процент ответов показывает количество отвеченных и неотвеченных вопросов в выбранный период времени и процентное изменение со временем.

Качество ответов измеряет их с помощью ИИ. Copilot Studio рассматривает выборку ответов на вопросы и анализирует разное качество, включая полноту, релевантность и уровень обоснованности ответа. Если ответ соответствует установленному стандарту, Copilot Studio отмечает его как качество Good. Copilot Studio отмечает ответы, не соответствующие этому стандарту, как качество плохое. Для ответов Плохо Copilot Studio указывает причину оценки качества и показывает процент ответов, присвоенных каждой категории.

Наведите курсор на любой сегмент планки в графике, чтобы увидеть относительную весовую оценку отдельной причины метки «Хорошее » или «плохое качество». Подсказка также показывает количество выбранных ответов для получения рассчитанного процентного значения.

В надписи под диаграммой наведите курсор на любые из причин качества лейбла, чтобы выделить эту причину в чарте.

Выберите сегмент столбчатой диаграммы, чтобы открыть страницу с вопросами пользователя , отфильтрованной по качеству ответа. Выберите «Смотреть вопросы», чтобы увидеть неотфильтрованный список всех вопросов в установленном периоде времени.

Использование инструмента

Раздел «Использование инструментов» показывает диаграмму и метрики, которые отслеживают, как часто ваши инструменты запускаются со временем и как часто ваш агент успешно их использовал. Также отображаются индикаторы тренда, показывающие, как часто ваш агент использует каждый инструмент и процент успешно используемых инструментов.

Диаграмма показывает пять основных инструментов, используемых за период даты, определённый в верхней части страницы аналитики .

В легенде под диаграммой наведите курсор на любой из инструментов, чтобы выделить этот инструмент на диаграмме.

Чтобы открыть боковую панель со списком всех инструментов, использованных в указанный период, а также индикаторами тренда, выберите «Смотреть детали на графике». В панели использования инструментов можно отобразить расчёты процента вопросов, используемых для каждого инструмента. Если у вашего агента есть дочерние агенты, вы можете выбрать отображение расчётов как для основного, так и для дочерних агентов (всех), только для главного агента или только для дочернего агента .

Использование источников знаний

Раздел «Использование источников знаний» даёт представление о том, как ваш агент использует свои источники знаний и как часто эти источники возвращают ошибки. Для полной информации о доступных метриках, фильтрации и возможностях детализации см. раздел «Использование источников знаний».