Анализ вопросов пользователей по тематикам (предварительная версия)

Note

Функции, описанные в этой статье, питаются стандартным жгутом, который использует опции выставления счетов, описанные в разделе «Лицензирование для агентов, работающих на стандартном жгуте». Узнайте, как получить доступ к стандартным функциям в стандартных агентах и потоках агентов доступа.

[Эта статья является предварительной документацией и может быть изменена.]

Тематики группируют связанные вопросы пользователей, которые активируют генеративные ответы. Группируя связанные вопросы, темы помогают систематизировать сведения о намерениях клиентов, выявлять популярные темы и сосредотачиваться на областях, требующих улучшения. Вы можете исследовать отдельные вопросы внутри тематики и отслеживать производительность, чтобы понять метрики на уровне темы.

Функция «Тематики» автоматически анализирует все неклассифицированные вопросы, которые вызвали ответ генеративного ИИ за последнюю неделю, и предлагает тематики на основе этого анализа. Этот процесс осуществляется еженедельно. Между еженедельными процедурами предложения тематик функция ежедневно классифицирует любые новые вопросы, которые вызывают ответы генеративного ИИ, и добавляет эти данные в метрики темы. Список рекомендуемых тем регулярно обновляется, чтобы ваши тематики оставались актуальными и отражали последние данные пользователей. Благодаря этому автоматическому обновлению вы можете сэкономить время:

• Постоянная оценка релевантности тематики с учетом новых данных.
• Автоматическая классификация отдельных вопросов в темы.
• Автоматическое получение исходных метрических данных для каждой темы.
• Расчет агрегированных метрических данных для каждой темы.

Important

Эта статья содержит документацию по предварительной версии Microsoft Copilot Studio и может быть изменена.

Предварительные версии функций не предназначены для использования в рабочей среде и могут иметь ограниченные функциональные возможности. Они доступны перед официальным выпуском, чтобы вы могли досрочно получить доступ и предоставить отзывы.

Если вы создаете агент, готовый для рабочей среды, см. Обзор Microsoft Copilot Studio.

Необходимые условия

Чтобы максимально эффективно использовать функцию «Тематики», включая возможность просматривать вопросы и ответы внутри каждой темы:

• Для просмотра списка и его метрик требуется роль безопасности Просмотр расшифровки бота. Только администраторы могут назначить эту роль, предоставив роль безопасности Просмотр расшифровок ботов при предоставлении общего доступа к агенту.

• Настройки на уровне среды для хранения расшифровок разговоров в Dataverse включены.

Предлагаемые тематики и классифицированные вопросы

Copilot Studio предлагает тематики на основе записей вопросов, заданных в последнее время. Настроив каждую предложенную тематику в соответствии со структурой вашей организации и стратегией взаимодействия с клиентами, вы сможете получить более глубокое понимание благодаря тематическим ключевым показателям эффективности (KPI). Такая более глубокая степень детализации облегчает выявление областей, где агенты работают недостаточно эффективно.

Тематики помогают разработчикам понять, какие вопросы пользователи задают агенту и насколько эффективно агент отвечает на них. При первом запуске тематической аналитики Copilot Studio рассматривает все вопросы за прошедшую неделю и предлагает до 10 тем, объединяющих вопросы пользователей по их сходству. Каждая тематика включает метрики, такие как общее количество вопросов, коэффициент ответов и реакция пользователей. Выбранный аналитический период изменяет отображаемые данные в списке тем.

После первого запуска Copilot Studio на постоянной основе ежедневно относит новые вопросы к существующим тематикам и раз в неделю формирует обновленный список рекомендуемых тем.

Note

• Copilot Studio сможет предложить тематики только после того, как за последние семь дней будет зарегистрировано не менее 50 вопросов с генеративными ответами.
• Вопрос, который вызывает ответ генеративного ИИ, может быть отнесен к нескольким темам. Этот сценарий может все чаще использоваться в режиме генеративной оркестрации, где ответ агента может поступать из нескольких разных источников.
• Вопросы, которые не были классифицированы, помещаются в неклассифицированную тему.
• На выполнение еженедельных предложений может потребоваться несколько минут. В это время раздел Тематики недоступен.

Список тем

По умолчанию в списке тем отображены пять самых популярных тем, отсортированных по общему количеству вопросов, классифицированных по каждой теме. Выберите Показать все, чтобы расширить список и отобразить все темы.

С автоматическим еженедельным набором предложений тем и ежедневной классификацией вопросов функция «Тематики» развивается автоматически и адаптируется к изменениям в поведении пользователя.

В списке тем представлены метрики для каждой указанной темы.

колонна	Description
Name	Название темы.
Всего вопросов	Общее количество вопросов, классифицированных в эту тематику за настроенный период времени.
Вопросов с ответом	Доля всех вопросов, на которые был дан ответ пользователю.
Качество ответа	Доля всех ответов (на основе выборки вопросов), имеющих качественный ответ Good.
Реакции	Чистое количество положительных (палец вверх) и отрицательных (палец вниз) реакций по вопросам, классифицированным по каждой теме.

Наведите курсор на тему, чтобы увидеть кнопку Оценить. Узнайте больше об оценке агентов.

Note

Почему в моей теме есть «Неотвеченные вопросы», если все классифицированные вопросы вызвали ответы генеративного ИИ?

По определению, только вопросы, которые инициируют генеративный ответ ИИ, могут быть классифицированы в тему. Однако инициирование генеративных ответов не означает, что на запрос пользователя был получен ответ.

Например, часто встречается тема для оптимизации разговора, подключенная к источнику знаний. В этом случае, если намерение не распознано, может быть запущена тема, которая обращается к источнику знаний, даже если в нем нет ответа на вопрос.

Детализация темы

Important

Для доступа к функции детализации должны быть выполнены оба следующих условия:

• Включены следующие настройки среды:

  • Разрешить владельцам и редакторам агентов просматривать расшифровки разговоров из своих агентов.
  • Разрешить сохранение расшифровок разговоров и связанных с ними метаданных в Dataverse.

  Для получения дополнительной информации см. статью Настройка параметров расшифровки для отдельной среды.

• Пользователю назначается роль безопасности Просмотр расшифровки бота. Дополнительные сведения см. в статье Добавление пользователей в роль безопасности.

Чтобы детализировать вопросы, сгруппированные по определенной теме, выберите тематику в списке Тематики. При детализации открывается панель, посвященная выбранной теме и показывающая метрики как на уровне темы, так и на уровне отдельных вопросов.

Note

Список тем включает следующее:

• Последние 100 вопросов, классифицированных по каждой теме.
• Вопросы за последние 30 дней, независимо от настроенного периода. Если установленный период полностью выходит за пределы последних 30 дней, Copilot Studio показывает уведомление о недоступности списка.

На панели детализации тематики сначала отображаются метрики на уровне темы.

Метрика на уровне темы	Description
Всего вопросов	Общее количество вопросов, отнесенных к этой теме, которые запускали ответы генеративного ИИ за настроенный период времени.
Вопросов с ответом	Доля всех вопросов этой темы, на которые был дан ответ пользователю.
Вопросы без ответов	Доля всех вопросов этой темы, на которые не был дан ответ пользователю.
Реакции	Общее количество положительных (палец вверх) и отрицательных (палец вниз) реакций по вопросам, отнесенных к этой теме, зафиксированных в механизме отзывов для обучения Learn Feedback.

Чтобы просмотреть разбивку качества ответов для выборки вопросов с ответом и всех использованных источников знаний по этой теме, выберите Подробнее.

На панели метрик темы, чтобы просмотреть дополнительные сведения о любом значении качества ответа на уровне темы, наведите курсор на отдельный сегмент диаграммы в разделе Качество ответа. В подсказке отображается значение относительного веса этого сегмента и количество вопросов, использованных для расчета этого значения.

Чтобы посмотреть больше информации по каждому из перечисленных источников знаний в теме, в разделе Использование источников знаний выберите конкретный источник знаний. Подсказка включает:

• Общее количество вопросов, которые ссылаются на этот источник знаний, а также количество реакций «палец вверх» и «палец вниз».
• Диаграмма с накоплением, показывающая разбивку относительных весов качества ответа для вопросов, ссылающихся на этот источник знаний. Наведите курсор на любой сегмент диаграммы с накоплением, чтобы увидеть значение относительного веса этого сегмента и количество проанализированных вопросов, использованных для получения этого значения.

Список вопросов по теме отражает все вопросы, которые вызвали генеративные ответы ИИ и были классифицированы в эту тему, и отображает метрики на по каждому вопросу.

Метрики на уровне вопросов включают:

Измерение или метрика на уровне вопроса	Description
Вопрос (измерение)	Вопрос, который вызвал генеративный ИИ ответ и был отнесен к данной теме.
Отвечено?	Ответ на вопрос о том, был ли дан ответ на пользовательский запрос. Возможные значения: Answered и Unanswered.
Качество ответа1	Ответ на вопрос о качестве ответа на запрос пользователя. Возможные значения: Poor и Good.
Реакция	Два параметра: логический параметр Палец вверх / палец вниз и текстовый параметр Комментарий.
Date	Дата, когда был задан вопрос.
Источник знаний	Список источников знаний, разделенных запятой, на которые ссылается этот вопрос в этой теме.

¹ Качество ответа не всегда доступно и отображается только в случае, если вопрос был выбран для анализа качества.

Если хотите, вы можете выполнить следующие действия на странице тематического списка вопросов:

• Примените дополнительные фильтры, чтобы еще больше сузить список вопросов с помощью многомерных фильтров списка.
• Оценивайте представленные вопросы в соответствии с критериями, которые вы определяете в методе оценки.
• Скачать список вопросов в виде CSV-файла.
• См. подробную информацию, относящуюся к ответу отдельного агента.

Выберите любой вопрос из списка, чтобы отобразить дополнительную информацию о вопросе в панели Сведения о вопросе. Эта панель включает следующее:

Детальный параметр вопроса	Description
Отметка времени	Метка времени самого последнего случая, когда был получен ответ на вопрос.
Запрос пользователя	Заданный вопрос.
Ответ	Ответ генеративного ИИ.
Значение реакции «палец вверх / палец вниз»	Ценность для последнего случая этого вопроса для параметра реакции Палец вверх / палец вниз.
Comment	Необязательный дополнительный текстовый комментарий, предоставленный пользователем, в дополнение к реакции Палец вверх / палец вниз.
Качество ответа1	Ответ на вопрос о качестве ответа на запрос пользователя. Возможные значения: Poor и Good.
Причина2	Если для качества ответа выбрано значение Poor, этот параметр объясняет причину.

¹ Качество ответа не всегда доступно и отображается только в случае, если вопрос был выбран для анализа качества.

² Если для качества ответа выбрано значение Good или если вопрос не был выбран для анализа качества, параметр «Причина» остается пустым.

Оценивайте ответы вашего агента в разрезе темы

Note

Когда вы выбираете Оценить для темы, указанной на странице Тематики, создается новый тестовый набор на уровне темы. Тестовый набор включает все вопросы, классифицированные по этой теме, не более 100 вопросов. Чтобы применить дополнительную фильтрацию к списку вопросов, перед созданием тестового набора для оценки сначала детализируйте тему. Затем примените фильтрацию к списку. После применения всех необходимых фильтров нажмите Оценить на странице со списком вопросов.

Вы можете проверить ответы своего агента на связанные с тематикой вопросы с помощью инструмента оценки агента (предварительная версия).

В рамках оценки на основе тематики проверяются определенные области действий вашего агента. Например, если у вас есть агент службы поддержки клиентов, вы можете отслеживать качество ответов на вопросы по оплате и выставлению счетов отдельно от других сценариев, таких как устранение неполадок.

Узнайте больше о создании тестовых наборов по теме.