Получение сигналов качества для оценки агента Copilot

Сигналы качества предоставляют структурированный способ понимания причин успешного или неудачного ответа агента. Они помогают командам группировать результаты оценки по значимым категориям, определять приоритеты улучшений и отслеживать прогресс с течением времени.

В этой статье объясняется, как получать сигналы качества на основе результатов оценки для диагностики проблем, выявления закономерностей и повышения производительности агентов Copilot.

С помощью сигналов качества команды могут выполнять следующие действия.

  • Выявляйте шаблоны повторяющихся сбоев
  • Приоритизация улучшений в зависимости от воздействия
  • Отслеживание эффективности на разных итерациях
  • Четкое информирование заинтересованных лиц о результатах

Что такое сигналы качества?

Сигналы качества — это категории, которые представляют закономерности в результатах оценки. Они возникают из-за наблюдаемого поведения, а не из заранее определенных правил.

Утверждения и сигналы качества работают вместе в рабочем процессе оценки:

  • Утверждения определяют, пройдет ли отклик или нет.
  • Сигналы качества группируют результаты утверждения в более высокоуровневые шаблоны.
Различие Утверждения Сигналы качества
Уровень Конкретное и конкретное Абстрактный и категориальный
Цель Определение того, задан или не пройден Диагностика шаблонов
Quantity Множество на тестовый случай Мало на одного оператора
Происхождение Определено до тестирования На основе результатов
Пример Содержит "15 дней" Точность политики

Определив утверждения, извлеките сигналы качества из результатов утверждения и используйте эти сигналы для отслеживания эффективности в различных сценариях.

Общие сигналы качества

При оценке агентов Copilot используйте следующие общие сигналы качества:

  • Точность политики — измеряет соответствие ответов авторитетным источникам знаний
  • Атрибуция источника — измеряет, четко ли ответы идентифицируют источники информации.
  • Персонализация — измеряет, используют ли ответы релевантный пользовательский контекст.
  • Точность инструмента — измеряет правильность вызова инструмента
  • Обработка отклика инструмента — измеряет, правильно ли агент интерпретирует выходные данные инструмента
  • Целесообразность эскалации — указывает, направляются ли запросы в службу поддержки людей, когда это необходимо.
  • Защита конфиденциальности — измеряет степень защиты конфиденциальной информации
  • Action enablement — измеряет, обеспечивают ли ответы четкие дальнейшие шаги

Оценка сигнала и распространенные причины

В следующей таблице перечислены индикаторы для каждого сигнала качества.

Сигнал качества Индикаторы прохождения Индикаторы отказа Распространенные причины
Точность политики Правильные значения и даты

Точные сведения о политике

Согласованность с текущей документацией
Устаревшие или неверные значения

Конфликтующие или сфабрикованные детали
Устаревшие или дублирующиеся документы

Неправильные результаты извлечения

Моделирование галлюцинаций
Атрибуция источников Ссылки на определенные документы или разделы

Четкие заявления об атрибуции
Источник не указан

Расплывчатые или общие ссылки
Отсутствуют исходные метаданные

В инструкциях не делайте акцент на атрибуции
Персонализация Ответы, зависящие от региона или роли

Контекстно-зависимые рекомендации
Общие ответы, игнорирующие контекст пользователя

Неверные региональные или ролевые сведения
Контекст пользователя недоступен для агента

Источники знаний, не сегментированные по аудитории
Точность инструмента Правильный выбор инструмента

Допустимые параметры и идентификаторы

Заполнены все обязательные поля
Отсутствующие или неверные параметры

Недопустимые вводы инструмента
Неоднозначные спецификации API

Неправильное сопоставление параметров
Обработка отклика инструмента Точная передача результатов инструмента

Правильная обработка состояний успеха и ошибки
Неверные заявления об успешном выполнении

Игнорируемые или неправильно интерпретируемые ошибки инструмента
Отсутствует руководство по обработке ошибок

Неправильная интерпретация откликов инструмента
Целесообразность эскалации Правильная маршрутизация конфиденциальных или сложных вопросов

Соблюдение правил эскалации
Агент пытается обработать неподдерживаемые сценарии

Отказ от эскалации запросов с высоким риском
Неопределенные критерии эскалации

Чрезмерно разрешающие инструкции
Защита конфиденциальности Отказ от разглашения сведений об ограничении доступа

Ответы ограничены разрешенной информацией
Раскрытие или вывод на основе конфиденциальных данных

Ответы, раскрывающие защищенную информацию
Слабые элементы управления доступом

Недостаточное руководство по вопросам конфиденциальности
Активация действий Конкретные инструкции

Ссылки, идентификаторы или контактные данные
Расплывчатые или неполные инструкции

Отсутствуют действия, требующие выполнения
Отсутствующие процедурные сведения в источниках знаний

Чрезмерно суммированные ответы

Получение сигналов качества

Сигналы качества выводятся из закономерностей в результатах оценки, а не из заранее определенных контрольных списков. Чтобы получить сигналы качества:

  • Запуск начального набора тестовых сценариев оценки.
  • Просмотр неудачных ответов в нескольких тестовых примерах.
  • Выявляйте повторяющиеся закономерности в сбоях.
  • Определите каждый шаблон как сигнал качества.
  • Пометьте связанные утверждения соответствующим сигналом.
  • Отслеживание скорости прохождения по сигналу.

Сигналы качества на практике

В следующем примере показаны сигналы качества, определенные для агента по подключению сотрудников.

Наблюдение Выявлен шаблон Сигнал качества
Возвращаемые правильные значения PTO Точное извлечение знаний Точность политики
Источник, цитируемый в ответ Указание авторства включено Атрибуция источников
Возвращены неверные региональные сведения Контекст не используется Персонализация
Инструмент, вызванный с неверными параметрами Ошибка выполнения Точность инструмента
Запрос направлен в отдел кадров надлежащим образом Правильная передача на обработку Целесообразность эскалации
Конфиденциальные данные почти раскрыты Риск границы конфиденциальности Защита конфиденциальности
Ответ: дальнейшие действия Действенный ответ Активация действий

Ниже приведены конкретные меры для сигналов качества.

Точность политики Атрибуция источников Точность инструмента
Содержит правильную длительность использования МОМ Ссылки на авторитетные документы Вызывает правильное средство
Включает правильный срок регистрации Ссылки на определенные разделы Использует допустимые параметры
Не ссылается на устаревшую политику Возвращает правильный результат.

Подача и передача сигналов качества

Используйте сигналы качества для управления рабочими процессами оценки и передачи аналитических сведений. Чтобы применить сигналы качества:

  • Утверждения тегов — добавьте сигнальные теги к каждому утверждению в тестовых примерах.

    Тестовый пример: МОМ-001
    Запрос: «Сколько дней отпуска получают новые сотрудники?»

    Утверждения:

    • В ответе указано "15 дней".
      Сигнал: точность политики

    • В ответе цитируется Руководство для сотрудников.
      Сигнал: Атрибуция источника

    • В ответе <упоминается 2-летний срок пребывания в должности.
      Сигнал: персонализация

  • Расчет метрик — агрегирование результатов по сигналам.

    Сигнал качества Тестовые сценарии Зачет Сбой Проходной балл
    Точность политики 25 23 2 92%
    Атрибуция источника 25 20 5 80%
    Персонализация 15 11 4 73%
    Точность инструмента 12 10 2 83%
    Целесообразность эскалации 8 8 0 100 %
    Защита конфиденциальности 10 10 0 100 %
  • Расставьте приоритеты для вопросов — сосредоточьтесь на сигналах с низким процентом прохождения или высокой результативностью.

    1. Персонализация (73%) - Самый большой пробел, сначала исследуйте.
    2. Атрибуция источника (80%) - Второй приоритет.
    3. Точность инструмента (83%) - третий приоритет.
    4. Точность политики (92 %) — незначительные проблемы, мониторинг.
  • Отслеживание хода выполнения — мониторинг скорости прохождения сигнала в разных версиях агента.

    • Версия 1.0 > , 1.1 > , 1.2 > , 1.3
    • Персонализация: 73% > 78% > 85% > 91% (улучшение)
    • Атрибуция источника: 80% > 82% > 88% > 90% (улучшается)
    • Точность инструмента: 83% > 85% > 84% > 92% (улучшено после регрессии версии 1.2)

Сигналы качества преобразуют общение заинтересованных лиц. Такая специфичность позволяет вносить целевые исправления, количественно отслеживать прогресс и более четко общаться с заинтересованными лицами.

Без сигналов: Агент работает не лучшим образом. Пользователи жалуются.

С помощью сигналов: Точность политики составляет 92% — мы достигаем нашей цели. Но персонализация упала до 73% после последнего обновления. В частности, сотрудники из Великобритании получают информацию об отпусках в США. Мы определили первопричину: при извлечении контекста данные о местоположении не передаются. Работа над исправлением для следующего выпуска.

Сигналы качества по типу агента

Сигналы качества и приоритеты различаются в зависимости от типа агента, который вы оцениваете.

Тип агента Сигнал Priority (Приоритет)
Основаны на знаниях Точность политики Высокий
Атрибуция источников Высокий
Полнота Средний
Персонализация Средний
Вызов инструментов Точность инструмента Высокий
Обработка отклика инструмента Высокий
Активация действий Высокий
Восстановление после ошибок Средний
Гибридное развертывание Точность маршрутизации Высокий
Сигналы знаний Средний
Сигналы прибора Средний
Целесообразность эскалации Средний
Ориентированность на клиентов Защита конфиденциальности Высокий
Тон и профессионализм Высокий
Целесообразность эскалации Высокий
Полнота разрешения Средний

Избегайте распространенных ошибок

Избегайте следующих проблем, чтобы ваши сигналы качества оставались полезными, последовательными и действенными.

Использование конкретных сигналов вместо универсальных категорий

Слишком широкие сигналы, такие как "Точность", "Полезность" или "Релевантность", не дают полезных сведений. Общие сигналы затрудняют выявление первопричин или назначение приоритетных улучшений.

Вместо этого определяйте сигналы на основе конкретных, наблюдаемых закономерностей в результатах оценки.

  • Избегание: Точность
  • Предпочтительно: точность политики, атрибуция источника

Избегайте излишне детализированных сигналов

Создание слишком большого количества узконаправленных сигналов увеличивает сложность без улучшения анализа. Чрезмерная детализация фрагментирует анализ и затрудняет отслеживание значимых тенденций.

Вместо этого сгруппируйте связанное поведение в более широкие, многократно используемые категории сигналов.

  • Избегать: точности МОМ, точности льгот, точности праздников
  • Предпочтительно: точность политики

Избегайте расплывчатых критериев "зачет" и "не пройден"

Расплывчатые определения сигналов, такие как «Правильность», не имеют измеримых стандартов. Без четких критериев результаты непротиворечивы и их трудно интерпретировать.

Вместо этого определите сигналы, используя явное, наблюдаемое поведение, связанное с результатами оценки.

  • Избегать: "Ответ правильный"
  • Предпочтительно: "Ответ содержит правильное значение и ссылается на авторитетный источник"

Следующий этап