Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Качество оценки зависит от качества ваших запросов. Хорошо продуманные запросы проверяют в точности ваши намерения — не больше и не меньше.
В этой статье объясняется, как создавать запросы для оценки, которые дают четкие и действенные результаты.
Анатомия эффективного запроса на оценку
Эффективные запросы на оценку имеют четыре общие характеристики:
- С одним намерением
- Реалистичные формулировки
- Основано на данных
- Автономность
С одним намерением
Каждый запрос должен тестировать одну цель или вопрос пользователя. Многоцелевые запросы затрудняют определение причины сбоя.
| Многоцелевые (избегание) | Одно намерение (предпочтительно) |
|---|---|
| Каков мой баланс PTO и можете ли вы заказать мне ноутбук? | Каков мой баланс PTO? |
| Расскажите мне о пользе для здоровья, а также о матче 401k. | Какие планы медицинского страхования доступны? |
Чтобы протестировать несколько возможностей одновременно, используйте оценку нескольких бесед вместо объединения намерений в один запрос.
Реалистичные формулировки
Запросы должны отражать то, как пользователи общаются на самом деле, включая неформальный язык, неполные предложения и различные уровни детализации.
| Излишне формальный | Реалистичный |
|---|---|
| Просьба представить информацию о распределении ежегодных оплачиваемых отгулов для сотрудников в первый год работы. | Сколько дней отпуска получают новые сотрудники? |
| Я хотел бы инициировать запрос на закупку вычислительного оборудования. | Мне нужно заказать ноутбук. |
Вы можете получить реалистичные подсказки из следующих источников:
- Журналы рабочих запросов
- Сеансы исследования пользователей
- Запросы в службу поддержки
- Повседневные беседы на рабочем месте
Основано на данных
Запросы должны основываться на данных. Если данные граундинга доступны, используйте определенные сущности, значения и идентификаторы. Такой подход делает оценки измеримыми и проверяемыми.
Обоснованные запросы позволяют делать точные утверждения, например "Ответ содержит 15 дней", вместо расплывчатых проверок, таких как "Ответ содержит правильное число".
Без граундинга данных
Запрос: «Какова политика PTO для инженеров?»
С данными граундинга
Данные граундинга:
- Сотрудник: Маркус Джонсон
- Кафедра: Инжиниринг
- Срок полномочий: 8 месяцев
- Менеджер: Лиза Парк
- Расположение: офис в Остине
Запрос: «Я в команде инженеров, сколько дней отпуска я получаю?»
Автономный (однооборотный)
Для оценок одного поворота каждый запрос должен включать весь необходимый контекст. Оператор не может полагаться на предыдущие ходы разговора. В следующей таблице показаны примеры автономных запросов.
| Автономность | Зависит от контекста (избегать) |
|---|---|
| Что покрывает план медицинского страхования PPO? | А как насчет другого плана медицинского страхования? |
| Какова стоимость сотрудника для плана медицинского страхования PPO? | И сколько это стоит? |
| Можно ли заказать 16-дюймовый MacBook Pro? | Можете ли вы заказать его вместо этого? |
Для сценариев, охватывающих несколько этапов, используйте многоэтапные беседы.
Варианты запросов
Не все пользователи задают один и тот же вопрос одинаково. Чтобы проверить обобщение, создайте три варианта каждого запроса.
Канонические подсказки
Канонические подсказки являются явными, полными и однозначными. Они служат отправной линией.
- Укажите все необходимые параметры.
- Используйте точную терминологию.
- Избегайте двусмысленности.
- Представляют идеальный запрос.
Пример
«Сколько оплачиваемых выходных дней ежегодно получают сотрудники с менее чем двухлетним стажем работы в соответствии с текущей политикой PTO?»
Вариант на естественном языке
Вариант естественного языка отражает повседневные разговорные фразы. Варианты естественного языка:
- Используйте непринужденный, разговорный язык.
- Может включать синонимы или неформальные термины.
- Избегайте технических идентификаторов.
- Оставайтесь достаточно полными, чтобы ответить.
Пример
«Эй, сколько отпусков я получу как новый сотрудник?»
В следующей таблице сравниваются канонические запросы и варианты на естественном языке.
| Техника | Канонический | Натуральный вариант |
|---|---|---|
| Синонимы | "оплачиваемый отгул" | "Отпускные дни", "Отгул", "ВОМ" |
| Неформальные формулировки | "Сколько дней мне получать" | "сколько я получаю" |
| Неявный контекст | "Сотрудники с <2-летним стажем" | "в качестве нового сотрудника" |
| Повседневный корпус | Правильно пишите прописными буквами | строчные буквы, минимум знаков препинания |
Зонд надежности
Зонд надежности оценивает, насколько хорошо агент обрабатывает несовершенные входные данные. Пробники надежности:
- Добавьте реалистичные опечатки.
- Содержат грамматические ошибки.
- Используйте сокращения.
- Протестируйте распознавание намерений в шуме.
Пример: "Каковы мои права на дни Вакатон"
В следующей таблице приведены примеры шаблонов для тестирования.
| Шаблон | Пример |
|---|---|
| Опечатки | "vacaton" вместо "vacation" |
| Пропущенные знаки препинания | "whats" вместо "what's" |
| Пропущенные слова | "сколько дней получает" |
| Сокращения | — ПТО бал? |
| Выполняемые запросы | "Нужен ноутбук MacBook Pro 16 дюймов" |
Примеры полных вариантов запросов
В следующих примерах показаны все три типа запросов для одного сценария.
Сценарий: заказ оборудования
Этот сценарий включает следующие данные граундинга:
- Сотрудник: Катрин Полд
- Отдел: Дизайн продукции
- Дата начала: 15.01.2024
- Бюджет оборудования: $3,500
- Одобренные товары: MacBook Pro (14 или 16 дюймов), внешний монитор, клавиатура, мышь
Варианты запросов
Канонический
"Я новый сотрудник отдела дизайна продуктов с 15 января 2024 года. Мне нужно заказать 16-дюймовый ноутбук MacBook Pro. Отправьте запрос на оборудование через систему заказов ИТ".
Естественный язык
"Здравствуйте, я только что присоединился к команде разработчиков и мне нужно настроить ноутбук. Можно ли приобрести MacBook Pro? Предпочтительно 16-дюймовый».
Зонд надежности
"Нужно заказать MacBook Pro 16 дюймов для новой работы в области дизайна продуктов"
Утверждения (применяются ко всем вариантам):
- Ответ подтверждает, что заказ на оборудование был инициирован.
- Агент вызвал средство OrderEquipment .
- Вызов инструмента включает в себя "MacBook Pro 16 дюймов" (или эквивалентный).
- Ответ включает подтверждение заказа или ссылочный номер.
Сценарий: вопрос политики с персонализацией
Этот сценарий включает следующие данные граундинга:
- Сотрудник: Джеймс Райт
- Расположение: офис в Лондоне, Великобритания
- Срок полномочий: 6 месяцев
- Тип занятости: Полная занятость
Варианты запросов
Канонический
«Как штатный сотрудник, работающий в офисе в Лондоне, Великобритания, с 6-месячным стажем, на какие государственные праздники я имею право в этом году?»
Естественный язык
«Я работаю в лондонском офисе — какие банковские каникулы я использую?»
Зонд надежности
«В этом году в офисе в Великобритании каникулы?»
Утверждения (применяются ко всем вариантам):
- В ответе перечислены банковские праздники в Великобритании (не в США).
- Ответ включает в себя, по крайней мере: Новый год, Пасху, Рождество.
- В ответе содержится ссылка на политику или график Соединенного Королевства.
- Ответ не упоминание праздники в США, такие как 4 июля или День благодарения.
Шаблоны, которых следует избегать
Избегайте следующих шаблонов запросов.
Многоцелевые запросы
Избегайте запросов с несколькими намерениями. Если ваш запрос охватывает несколько намерений, вы не можете определить, какое намерение вызвало сбой.
- Избегайте: Каков мой баланс PTO, и можете ли вы рассказать мне о вариантах медицинского страхования, и мне также может понадобиться ноутбук?
- Используйте вместо этого: Можно разделить на отдельные запросы или использовать многопоточное вычисление.
Запросы с поддержкой схемы
Избегайте запросов с поддержкой схемы. Запросы с поддержкой схемы не работают хорошо, потому что пользователи не знают внутренних API или названий инструментов.
- Избегайте: "Вызвать API GetPTOBalance для идентификатора сотрудника 12345"
- Используйте вместо этого: "Каков мой текущий отпуск?"
Неясные запросы
Избегайте расплывчатых подсказок. Если ваш запрос расплывчат, вы не сможете определить измеримые утверждения.
- Избегайте: "Помоги мне с отделом кадров"
- Используйте вместо этого: «Разделы справки зарегистрироваться в плане стоматологического страхования?»
Ведущие запросы
Запросы, которые намекают на ожидаемый ответ, не проверяют реальную эффективность рассуждений агента.
- Избегайте: «Политика PTO говорит 15 дней, верно?»
- Используйте вместо этого: «Сколько дней отпуска получают новые сотрудники?»
Не автономный (однооборотный)
Избегайте запросов, зависящих от предыдущего контекста.
- Избегайте: — А как насчет другого варианта?
- Используйте вместо этого: «В чем разница между планами медицинского страхования HMO и PPO?»
Создавайте запросы на основе пользовательских сценариев
Начните с реальных намерений пользователя, а не со списков функций.
- Соберите типичные вопросы пользователей.
- Группировка по сценарию (например, поиск политики, действия, эскалация).
- Напишите канонический запрос для каждого сценария.
- Добавьте варианты естественного языка и робастности.
- Заземляйте запросы конкретными данными.
Такой подход гарантирует, что оценки отражают реальное использование.
Расширение запроса с помощью ИИ (необязательно)
После того, как вы установите четкую базовую линию, используйте ИИ для расширения охвата. Попросите ИИ предложить больше вариантов. Просмотрите каждое предложение на предмет реалистичности и релевантности. Отклоняйте неестественные запросы, запросы с поддержкой схемы или вне области. Добавляйте запросы только там, где они улучшают охват.
Контрольный список для охвата запроса
Используйте этот контрольный список, чтобы убедиться в том, что ваш запрос охвачен полным запросом.
Охват возможностей
- У каждого инструмента или действия есть по крайней мере один тестовый случай
- Представлена каждая область знаний
- Тестируется поведение эскалации
- Тестируются сценарии, выходящие за пределы областей
Охват вариантов
- Канонический запрос
- Вариант на естественном языке
- Зонд надежности
Пограничные случаи
- Очень короткие запросы
- Очень длинные запросы
- Неоднозначные запросы
- Отсутствуют сведения
- Недействительные или неподдерживаемые запросы
Персонализация (если применимо)
- Разные расположения пользователей
- Разные уровни владения
- Разные роли или отделы