Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Настоящие пользователи не взаимодействуют с агентами через изолированный обмен вопросами. Вместо этого они участвуют в беседах, которые включают в себя дополнительные вопросы, поэтапный обмен информацией и многоступенчатое выполнение задач.
Многосторонняя оценка помогает убедиться, что ваш оператор может сохранить контекст, выполнить задачи на нескольких этапах и адекватно реагировать на протяжении реалистичного хода разговора.
Когда следует использовать многооборотную оценку
Используйте многостороннее вычисление при тестировании сценариев, требующих сохранения контекста или нескольких шагов для выполнения задачи.
| Сценарий | Зачем нужна многооборотность |
|---|---|
| Заполнение слотов | Агент должен собрать несколько фрагментов информации. |
| Потоки пояснения | Агент должен разрешать неоднозначные вводимые пользователем данные. |
| Многоэтапные задачи | Для выполнения этой задачи требуется несколько обменов. |
| Контекстно-зависимые последующие действия | Дальнейшие вопросы зависят от более ранних ответов. |
| Постепенное раскрытие информации | Информация предоставляется постепенно. |
Одновитковая и многовитковая оценка
Начните с оценки одного поворота для покрытия, а затем добавьте оценку нескольких поворотов для проверки реалистичных взаимодействий.
| Различие | Однооборотный | Несколько оборотов |
|---|---|---|
| Тесты | Индивидуальные пары "вопрос-ответ" | Завершенные беседы |
| Контекст | Каждый запрос независим | Повороты строятся друг на друге |
| Сложность | Упрощение проектирования и оценки | Более реалистичный, но сложный |
| Диагностика отказов | Более простая изоляция проблем | Требуется пошаговый анализ |
| Пример использования | Тестирование определенных ответов | Тестирование потока беседы |
Ключевые показатели для многооборотной оценки
Многооборотная оценка требует дополнительных показателей, помимо точности одного витка. Эти показатели определяют, насколько хорошо агент работает на протяжении всей беседы.
Полнота беседы
Полнота беседы измеряет, достигнет ли агент цели пользователя к концу взаимодействия.
Пример успешного выполнения
Поворот 1
- Пользователь: "Мне нужно заказать ноутбук"
- Агент: «Я могу помочь с этим. Какой тип ноутбука вам нужен?»
Поворот 2
- Пользователь: "MacBook Pro"
- Агент: «Какой размер экрана — 14 дюймов или 16 дюймов?»
Поворот 3
- Пользователь: "16 дюймов"
- Агент: «Я отправил ваш заказ на 16-дюймовый MacBook Pro. Номер заказа: ORD-456. Ожидаемая доставка: 5–7 рабочих дней".
✅ Цель пользователя (заказ ноутбука) достигнута.
Пример сбоя
Поворот 1
- Пользователь: "Мне нужно заказать ноутбук"
- Агент: «Я могу помочь с этим. Какой тип ноутбука вам нужен?»
Поворот 2
- Пользователь: "MacBook Pro"
- Агент: "MacBook Pro - отличный выбор! Есть ли что-нибудь еще?»
❌ Заказ не был отправлен, и цель пользователя не достигнута.
Сохранение знаний
Удержание знаний измеряет, запоминает ли агент и использует ли он информацию, предоставленную ранее.
Пример успешного выполнения
Поворот 1
- Пользователь: "Идентификатор моего сотрудника: EMP-12345"
- Агент: «Спасибо! Чем я могу помочь вам сегодня?»
Поворот 2
- Пользователь: «Я хочу проверку баланса ВОМ»
- Агент: «Текущий баланс PTO составляет 12 дней».
✅ Агент использовал ранее предоставленный идентификатор сотрудника, не обращаясь к нему повторно.
Пример сбоя
Поворот 1
- Пользователь: "Идентификатор моего сотрудника: EMP-12345"
- Агент: «Спасибо! Чем я могу помочь вам сегодня?»
Поворот 2
- Пользователь: «Я хочу проверку баланса ВОМ»
- Агент: «Я был бы рад помочь. Какой у вас идентификатор сотрудника?»
❌ Агент забыл идентификатор сотрудника с предыдущего хода.
Соблюдение ролей
Приверженность роли измеряет, поддерживает ли агент определенную область и обязанности на протяжении всего разговора.
Пример успешного выполнения
Поворот 1
- Пользователь: "Что такое политика PTO?"
- Агент: Предоставляет правильную информацию о политике PTO
Поворот 2
- Пользователь: «Ты можешь написать стихотворение об отпуске?»
- Агент: "Я здесь, чтобы помочь с вопросами по персоналу и адаптации. Есть ли что-то еще о PTO, с чем я могу помочь?»
✅ Агент остался в рамках своей роли и перенаправлял соответствующим образом.
Пример сбоя
Поворот 1
- Пользователь: "Что такое политика PTO?"
- Агент: Предоставляет правильную информацию о политике PTO
Поворот 2
- Пользователь: «Ты можешь написать стихотворение об отпуске?»
- Агент: «Конечно! Вот стихотворение про солнечные пляжи...»
❌Агент отошел от своей роли помощника отдела кадров.
Актуальность беседы
Релевантность беседы измеряет, имеет ли каждый ответ непосредственное отношение к запросу пользователя в текущем контексте беседы.
Пример сбоя
Поворот 1
- Пользователь: "Какие планы медицинского страхования доступны?"
- Агент: список вариантов HMO и PPO
Поворот 2
- Пользователь: «В чем разница в стоимости?»
- Агент: «PPO предлагает большую гибкость в выборе врачей».
❌ Ответ не отвечает на вопрос пользователя о стоимости.
Согласованность контекста
Согласованность контекста измеряет, поддерживает ли агент согласованные факты и информацию на всех этапах разговора.
Пример сбоя
Поворот 1
- Пользователь: «Сколько дней отпуска я получаю?»
- Агент: «Как новый сотрудник, вы получаете 15 дней PTO ежегодно».
Поворот 2
- Пользователь: «А сколько больничных?»
- Агент: «У вас есть 10 больничных дней плюс 10 дней отпуска».
❌ Агент противоречит более ранней информации, изменив количество дней отпуска.
Проектирование многооборотных тестовых сценариев
Разработка эффективных многооборотных оценок требует определения как потока разговора, так и ожидаемого поведения. Многооборотный тестовый случай обычно включает в себя:
- Идентификатор и описание тестового случая
- Данные граундинга
- Последовательность бесед
- Ожидаемое поведение
- Утверждения
Пример: заказ на оборудование
- Идентификатор тестового случая: CONV-001
- Описание: Поток заказа оборудования
Данные граундинга
- Сотрудник: Катрин Полд
- ID сотрудника: EMP-54321
- Отдел: Дизайн продукции
- Бюджет: $3,500
Беседа
Поворот 1
- Пользователь: "Мне нужно настроить мой ноутбук".
- Ожидаемое поведение: спросите о предпочтениях.
Поворот 2
- Пользователь: "MacBook Pro"
- Ожидаемое поведение: Запросите спецификации.
Поворот 3
- Пользователь: "16 дюймов с 32 ГБ ОЗУ"
- Ожидаемое поведение: подтвердите и отправьте заказ.
Поворот 4
- Пользователь: «Вообще-то, измените на 64 ГБ».
- Ожидаемое поведение: обновите порядок.
Утверждения на уровне беседы
- Разговор завершается подтвержденным заказом на оборудование.
- Окончательный заказ отражает исправленную спецификацию (64 ГБ).
- Агент никогда не запрашивает идентификатор сотрудника (следует делать вывод из контекста).
- Общее количество ходов до завершения - ≤6.
Утверждения на уровне поворота
-
Ход 3:
- Агент вызывает средство OrderEquipment.
- Вызов инструмента включает модель: "MacBook Pro 16 дюймов".
- Вызов инструмента включает спецификации, содержащие значение "32 ГБ".
-
Поворот 4:
- Агент вызывает UpdateOrder или изменяет предыдущий порядок.
- В окончательном подтверждении отображается значение "64 ГБ".
Пример. Беседа о заполнении слотов
Сценарий: регистрация на льготы (заполнение слотов)
Цель: собрать всю необходимую информацию и завершить регистрацию
Необходимые входы (слоты):
- Выбор плана (HMO или PPO)
- Уровень покрытия (индивидуальный или семейный)
- Зависимые сведения (если применимо)
- Дата вступления в силу
Беседа
Поворот 1
Пользователь: «Я хочу оформить медицинскую страховку».
Агент:
- Подтверждение запроса
- Запрашивает предпочтения плана (HMO или PPO)
Поворот 2
Пользователь: "В чем разница?"
Агент:
- Объясняются ключевые различия между HMO и PPO
- Повторный запрос на выбор плана
Поворот 3
Пользователь: «Я выберу PPO».
Агент:
- Подтверждает выбор
- Запрашивает уровень покрытия (индивидуальный или семейный)
Поворот 4
Пользователь: «Семейное покрытие. У меня есть супруг и двое детей».
Агент:
- Подтверждает зависимый сценарий
- Сведения о запросах, зависящие от (имена, возраст и т. д.)
Исполняется 5 лет
Пользователь: [Предоставляет зависимые сведения]
Агент:
- Подтверждает всю собранную информацию
- Отправка заявки
- Предоставляет сводку подтверждения
Утверждения:
- Все необходимые слоты собираются перед отправкой.
- Агент не пропускает обязательные входные данные.
- Агент объясняет варианты при появлении соответствующего запроса.
- Окончательное подтверждение включает в себя все захваченные детали.
- Задание успешно выполняется без лишних поворотов.
Пример: беседа с разъяснениями
Сценарий: Неоднозначный запрос (уточнение)
Цель: устранить неоднозначность, собрав достаточный контекст перед ответом
Беседа
Поворот 1
Пользователь: "Мне нужно немного отдохнуть."
Агент:
- Подтверждение запроса
- Спрашивает, какой тип отгула (отпуск по болезни, отпуск по болезни, личный отпуск)
Поворот 2
Пользователь: «Это для медицинской процедуры».
Агент:
- Определяет вероятную категорию
- Спрашивает, кому адресован запрос: пользователю или члену семьи
Поворот 3
Пользователь: «Это для меня. Это небольшая операция».
Агент:
- Определяет, что это, скорее всего, больничный лист
- Предоставляет соответствующую информацию о политике
- Спрашивает об ожидаемой длительности
Поворот 4
Пользователь: «Около недели».
Агент:
- Подтверждает право на доступ и процесс
- Предоставляет дальнейшие действия (например, как запросить отпуск)
- Предлагает инициировать запрос, если применимо
Утверждения:
- Агент не предполагает намерения из первоначального неоднозначного запроса.
- Уточняющие вопросы актуальны и постепенно сужают область вопросов.
- Окончательный ответ отражает фактическую ситуацию пользователя.
- Агент эффективно переходит от уточнения к разрешению.
Пример: беседа о восстановлении после ошибки
Сценарий: сбой и восстановление заказа
Цель: прозрачно обрабатывать неудачи и направлять пользователя к успешному результату
Беседа:
Поворот 1
Пользователь: "Закажи мне MacBook Pro 16 дюймов".
Агент:
- Попытка отправить заказ
Отклик системы/средства:
- Ошибка: товара нет в наличии
Агент:
- Четко сообщает о проблеме
- Не заслоняет и не игнорирует неудачу
- Предлагает альтернативные варианты (например, другую модель или размер)
Поворот 2
Пользователь: «Когда он снова появится на складе?»
Агент:
- Проверяет наличие или предоставляет оценку пополнения запасов, если есть
- Если параметр недоступен, ясно сообщает об этом
- Предлагает уведомить пользователя или предложить альтернативные варианты
Поворот 3
Пользователь: «Можно мне вместо этого получить 14-дюймовый?»
Агент:
- Подтверждает наличие альтернативы
- Отправка нового заказа
- Предоставляет подтверждение (сведения о заказе, ожидаемая доставка)
Утверждения:
- Агент четко сообщает о сбоях и их причинах.
- Агент предлагает действенные альтернативы или дальнейшие действия.
- Разговор движется к выздоровлению, а не к тупикам.
- Пользователь успешно завершает задачу после сбоя.
- Агент сохраняет контекст на всех этапах сбоя и восстановления.
Утверждения из нескольких этапов
Многосторонняя оценка требует проверки как на уровне беседы, так и на уровне поворота.
Утверждения на уровне беседы
- Разговор достигает цели пользователя.
- Количество поворотов находится в пределах ожидаемого диапазона.
- Агент сохраняет согласованную информацию.
- Агент сохраняет свою роль.
- Агент не запрашивает повторяющуюся информацию.
Утверждения на уровне поворота
- Ответ признает предыдущий контекст.
- В ответе задаются соответствующие последующие вопросы.
- Агент выполняет ожидаемые действия.
- Ответ подтверждает предпринятые действия.
Условные утверждения
- Когда пользователь исправляет информацию, агент обновляет последующие ответы.
- При сбое действия агент сообщает о проблеме и предлагает альтернативные варианты.
- Когда пользователь задает вопрос, не относящийся к области, агент перенаправляет его соответствующим образом.
Пример: сквозная многооборотная оценка
Тестовый случай: настройка для новых сотрудников
Описание
Новый сотрудник заказывает оборудование и задает вопрос о льготах во время того же разговора.
Данные граундинга
- Сотрудник: Маркус Джонсон
- ID сотрудника: EMP-99887
- Кафедра: Инжиниринг
- Расположение: Сиэтл
- Бюджет на оборудование: $4,000
Беседа
Поворот 1
- Пользователь: "Я начинаю на следующей неделе, и мне нужно настроить мое рабочее место".
- Ожидаемое поведение: добро пожаловать и спросите о потребностях в оборудовании.
Поворот 2
- Пользователь: «Мне нужен MacBook Pro 16 дюймов с 64 ГБ оперативной памяти и 27-дюймовым монитором».
- Ожидаемое поведение: отправьте заказ и подтвердите.
Поворот 3
- Пользователь: «Когда крайний срок для оформления медицинской страховки?»
- Ожидаемое поведение: предоставляйте сведения о преимуществах без потери контекста.
Поворот 4
- Пользователь: "Можете ли вы подтвердить, что я заказал?"
- Ожидаемое поведение: отзыв и резюмирование заказа.
Ожидаемые результаты
- Заказ оборудования выполнен.
- На вопрос о льготах дан точный ответ.
- Контекст сохраняется на протяжении нескольких поворотов.
- Информация не запрашивается повторно.
Распространенные ошибки
При разработке и оценке многостороннего диалога учитывайте следующие распространенные проблемы:
- Оценка очередей в отдельности, а не в полном контексте беседы, что может скрыть сбои, связанные с памятью, непрерывностью и выполнением задач.
- Тестирование только идеальных сценариев (счастливого пути), которые не отражают реальное поведение пользователя, такое как неоднозначность, исправления и прерывания.
- Игнорирование различий между короткими и длинными беседами, когда короткие потоки часто не завершаются, а длинные потоки вносят смещение контекста.
- Не учитывается враждебное или непредвиденное поведение пользователей, например конфликты вводимых данных, переключение тем или неопределенные запросы.
- Определение неясных или неявных целей пользователей, затрудняющее определение успешности беседы.
- Чрезмерное указание ожидаемых ответов, что снижает гибкость и неверно наказывает допустимые варианты.
- Неспособность протестировать пути обработки ошибок и восстановления, что оставляет пробелы в том, как агент реагирует на сбои, или отсутствие сведений.
Рекомендации
Используйте эти методы для разработки эффективных и масштабируемых многоэтапных оценок:
- Начните с небольшого набора важных сценариев, которые представляют наиболее распространенные или важные потоки разговоров.
- Определите четкую цель пользователя для каждого тестового примера и используйте выполнение цели в качестве основного показателя успеха.
- Протестируйте как прямые (пользователь предоставляет все входные данные заранее), так и управляемые (агент собирает входные данные в течение нескольких ходов) пути к завершению.
- Сначала используйте утверждения на уровне беседы, а затем добавьте утверждения на уровне поворота для более глубокой проверки.
- Разрабатывайте сценарии, отражающие реалистичное поведение пользователей, включая пояснения, исправления и переключение тем.
- Явным образом проверьте сохранение контекста, убедившись, что агент использует ранее предоставленные сведения без повторного запроса.
- Включите сценарии обработки ошибок и восстановления, гарантируя, что агент сообщает о сбоях и предоставляет дальнейшие действия.
- Используйте гибкие утверждения, основанные на поведении, вместо точного совпадения ответов.
- Обеспечьте воспроизводимость тестов, сохраняя при этом реализм, определяя ожидаемое поведение, а не точную формулировку.
- Постоянно повторяйте и уточняйте тестовые случаи на основе наблюдаемых сбоев и меняющихся шаблонов использования.