Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
[Данная статья посвящена предварительному выпуску и может быть изменена.]
Темы объединяют вопросы, связанные с пользователями, которые запускают генеративные ответы. Кластеризируя связанные вопросы, темы помогают организовать инсайты о намерениях клиента, выявлять частые темы и фокусироваться на областях, требующих улучшения. Вы можете исследовать отдельные вопросы внутри темы и отслеживать производительность, чтобы понять метрики на уровне темы.
Это важно
Эта статья содержит документацию для предварительного просмотра Microsoft Copilot Studio и может быть изменена.
Предварительные версии функций не предназначены для использования в рабочей среде и могут иметь ограниченные функциональные возможности. Эти функции доступны до официального релиза, чтобы вы могли получить ранний доступ и дать обратную связь.
Если вы создаёте агента, готового к производству, смотрите Microsoft Copilot Studio Обзор.
Ключевое ценностное предложение
Функция «Темы» автоматически анализирует все неклассифицированные вопросы, которые вызвали генеративные ответы ИИ на прошлой неделе, и предлагает темы на основе этого анализа. Этот процесс проходит каждую неделю. Между еженедельными забегами с предложениями тем функция ежедневно классифицирует любые новые вопросы, вызывающие генеративные ответы ИИ, и добавляет эти данные в метрики темы. Список рекомендуемых тем регулярно обновляется, чтобы ваши темы оставались актуальными и отражали последние данные пользователей. Это автоматическое обновление экономит ваше время:
- Постоянно оценивая релевантность темы по новым данным.
- Автоматическая классификация отдельных вопросов по темам.
- Автоматизация извлечения необработанных метрических данных для каждой темы.
- Расчёт агрегированных метрических данных для каждой темы.
Предпосылки
Чтобы получить максимальную пользу от функции Темы, включая возможность просматривать вопросы и ответы на компоненты каждой темы:
Для просмотра списка и его метрик нужна роль безопасности просмотра транскриптов бота . Только администраторы могут предоставить эту роль, назначив безопасность просмотрщика транскриптов ботов во время обмена агентами.
Настройки на уровне среды для хранения стенограмм разговоров в Dataverse включены.
Предлагаемые темы и засекреченные вопросы
Copilot Studio предлагает темы, основанные на записях вопросов, заданных в недавнем прошлом. Адаптируя каждую предложенную тему под структуру вашей организации и стратегию клиентского опыта, вы получите лучшее понимание по ключевым показателям эффективности (KPI) по конкретной теме. Такая более глубокая детализация облегчает поиск тех мест, где агенты работают неэффективно.
Темы помогают создателям понять, какие вопросы пользователи задают агенту и как он себя ведёт. В первом выпуске тематической аналитики Copilot Studio рассматривает все вопросы за прошедшую неделю и предлагает до 10 тем, которые группируют вопросы пользователей по сходству. Каждая тема включает метрики, такие как общее количество вопросов, процент ответов и реакция пользователей. Выбранный аналитический период корректирует отображаемые данные в списке тем .
После первого запуска Copilot Studio ежедневно классифицирует новые вопросы по существующим темам и еженедельно формирует новый список предлагаемых тем.
Замечание
- За последние семь дней должно быть зафиксировано не менее 50 вопросов с генеративными ответами, прежде чем Copilot Studio сгенерирует предложенные темы.
- Вопрос, вызывающий реакцию генеративного ИИ, можно классифицировать по нескольким темам. Этот сценарий может стать более распространённым в режиме генеративной оркестрации , где ответ агента может поступать из нескольких разных источников.
- Любые вопросы, которые остаются неклассифицированными, помещаются в тему Unclassified .
- Еженедельный забег с предложениями может занять несколько минут. В это время раздел Темы недоступен для использования.
Список тем
По умолчанию список тем показывает пять основных тем, ранжированных по общему числу вопросов, классифицированных по каждой теме. Выберите «Увидеть всё », чтобы расширить список и отобразить все темы.
С автоматическим еженедельным набором предложений тем и ежедневной классификацией вопросов функция Темы развивается автоматически и адаптируется к изменениям в поведении пользователя.
Список тем показывает метрики для каждой указанной темы.
| Столбец | Description |
|---|---|
| Name | Название темы. |
| Общее количество вопросов | Общее количество вопросов, классифицированных по этой теме, за заданный период. |
| Ответы на вопросы | Доля всех вопросов , которые приводят к ответу на вопрос пользователя. |
| Качество отклика | Доля суммы всех ответов (на основе выборки вопросов), имеющих Good качественный ответ. |
| Реакции | Чистое количество положительных (палец вверх) и отрицательных (палец вниз) реакций по вопросам, классифицированным по каждой теме. |
Наведите курсор на тему, чтобы увидеть кнопку «Оценить ». Узнайте больше об оценке.
Замечание
Почему в моей теме есть «Неотвеченные вопросы», если все засекреченные вопросы запускали генеративные ответы ИИ?
По определению, только вопросы, которые запускают генеративный ответ ИИ, могут быть классифицированы по теме. Но запускать вызов генеративных ответов — это не то же самое, что получить ответ на пользовательский запрос.
Например, часто встречается тема для усиления разговора, связанная с источником знаний. В этом случае, если намерение не распознается, тема может быть активирована, вызывая источник знаний, хотя в этом источнике знаний нет ответа на этот вопрос.
Подробнее ознакомьтесь с темой
Это важно
Чтобы получить доступ к функциональности углубления, должны быть верны оба следующих требования:
Включены следующие настройки среды:
- Позвольте владельцам и редакторам агентов видеть расшифровки сессий из взаимодействий в своих агентах.
- Позволите сохранять стенограммы разговоров и связанные с ними метаданные в Dataverse.
Для получения дополнительной информации см. Настройки транскриптов для одной среды.
Роль безопасности просмотрщика транскриптов ботов назначается пользователю. Для получения дополнительной информации см. Добавить пользователей в роль безопасности.
Чтобы углубиться в вопросы, сгруппированные по одной теме, выберите тему в списке тем . При углублении открывается панель, посвящённая выбранной теме, показывающая метрики на уровнях как темы, так и отдельных вопросов.
Замечание
Список тем включает:
- Самые свежие 100 вопросов, классифицированных по каждой теме.
- Вопросы за последние 30 дней, независимо от установленного времени. Если настроенный период полностью выходит за пределы последних 30 дней, Copilot Studio показывает уведомление о недоступности списка.
В панели сближения темы сначала отображаются метрики на уровне темы.
| Метрика на уровне темы | Description |
|---|---|
| Общее количество вопросов | Общее количество вопросов, отнесённых к этой теме, которые запускали генеративные ответы ИИ за заданный период времени. |
| Ответы на вопросы | Пропорция вопросов в этой теме : Общее количество вопросов, которые приводят к ответу на вопрос пользователя. |
| Вопросы без ответов | Доля вопросов в этой теме , которая не дала ответа на вопрос пользователя. |
| Реакции | Чистый счёт положительных (палец вверх) и отрицательных (палец вниз) реакций по вопросам, классифицированным по этой теме, как зафиксировано в механизме Learn Feedback. |
Чтобы показать разбивку качества ответов на выборку ответных вопросов и всех источников знаний по этой теме, выберите раздел «См. подробности».
В панели метрик темы , чтобы увидеть больше информации о любом значении качества ответа на уровне темы, в разделе «Качество ответа» наведите курсор на отдельный сегмент тактики. Подсказка включает значение относительного веса этого сегмента и количество вопросов, взятых для получения этого значения.
Чтобы увидеть больше информации на уровне любого из перечисленных источников знаний в теме, в разделе «Использование источников знаний» выберите отдельный источник знаний. Подсказка включает:
- Общее количество вопросов, ссылающихся на этот источник знаний, а также количествоположительных и отрицательных реакций.
- Столбчатая диаграмма, показывающая распределение относительных весов качества ответов для вопросов, ссылающихся на этот источник знаний. Наведите курсор на любой сегмент столбчатой диаграммы, чтобы увидеть значение относительного веса этого сегмента и количество выбранных вопросов для получения этого значения.
Тематический список вопросов отражает все вопросы, которые вызвали генеративные ответы ИИ и были классифицированы по этой теме, и отображает метрики на основе каждого вопроса .
Метрики на уровне вопросов включают:
| Размерность на уровне вопроса или метрика | Description |
|---|---|
| Вопрос (измерение) | Вопрос, который вызвал реакцию генеративного ИИ, классифицированный по этой теме. |
| Ответили? | Ответ на вопрос о том, был ли ответ на пользовательский запрос. Возможные значения: Answered и Unanswered. |
| Качествоотклика 1 | Ответ на вопрос о качестве ответа на пользовательский запрос. Возможные значения: Poor и Good. |
| Реакция | Два параметра: метрика булевого пальца вверх / вниз и текстовый параметр комментариев . |
| Дата | Дата, когда был задан вопрос. |
| Источник знаний | Список источников знаний, разделённых запятой, на которые ссылается этот вопрос в этой теме. |
1 Качество ответа не всегда доступно и отображается только если вопрос был выбран для анализа качества.
Если хотите, вы можете выполнить следующие действия на странице тематического списка вопросов:
- Применяйте больше фильтров , чтобы сузить список вопросов, используя размерные фильтры списка.
- Оценивайте перечисленные вопросы в соответствии с критериями, которые вы определили в методе теста оценки.
- Скачайте перечисленные вопросы в виде .csv файла.
- См. подробную информацию , специфичную для ответа конкретного агента.
Выберите любой вопрос из списка, чтобы отобразить больше информации о нём в панели с деталями вопроса . В состав этой панели входят:
| Подробный параметр на уровне вопроса | Description |
|---|---|
| Отметка времени | Временная метка самого последнего случая, когда был получен ответ на вопрос. |
| Запрос пользователя | Вопрос был задан. |
| Ответ | Генеративная реакция ИИ. |
| Значение «Большой палец вверх» / «Большой палец вниз» | Ценность для последнего случая этого вопроса для параметра Thumbs Up / Thumbs Down . |
| Comment | Опциональный дополнительный текстовый комментарий, предоставленный пользователем, а также реакция «Большой палец вверх» / «Палец вниз ». |
| Качествоотклика 1 | Ответ на вопрос о качестве ответа на пользовательский запрос. Возможные значения: Poor и Good. |
| Причина 2 | В случае, когда качество отклика равно Poor, этот параметр объясняет почему. |
1 Качество ответа не всегда доступно и отображается только если вопрос был выбран для анализа качества.
2 Если качество Ответа такое Good или если вопрос не был выбран, параметр Reason не имеет значения.
Оценивайте ответы вашего агента по теме
Замечание
Когда вы выбираете «Оценить » для темы, указанной на странице «Темы », вы создаёте новый тестовый набор на уровне темы. Тестовый набор включает все вопросы, классифицированные по этой теме, до 100 вопросов. Чтобы добавить больше фильтрации в список вопросов, прежде чем создавать тестовый набор, сначала подробно изучите тему. Затем примените фильтрацию к списку. После того как вы примените все необходимые фильтры, выберите «Оценить » на странице списка вопросов.
Вы можете проверить ответы вашего агента на вопросы, связанные с темой, используя оценку агента (предварительный просмотр).
Тематические оценки проверяют определённые части сферы деятельности вашего агента. Например, если у вас есть агент службы поддержки, вы можете отслеживать качество ответов на вопросы по выставлению счетов и платежам отдельно от других случаев, таких как устранение неполадок.
Узнайте больше о создании тестовых наборов по теме.
