Запросы на оценку проекта

Качество оценки зависит от качества ваших запросов. Хорошо продуманные запросы проверяют в точности ваши намерения — не больше и не меньше.

В этой статье объясняется, как создавать запросы для оценки, которые дают четкие и действенные результаты.

Анатомия эффективного запроса на оценку

Эффективные запросы на оценку имеют четыре общие характеристики:

  • С одним намерением
  • Реалистичные формулировки
  • Основано на данных
  • Автономность

С одним намерением

Каждый запрос должен тестировать одну цель или вопрос пользователя. Многоцелевые запросы затрудняют определение причины сбоя.

Многоцелевые (избегание) Одно намерение (предпочтительно)
Каков мой баланс PTO и можете ли вы заказать мне ноутбук? Каков мой баланс PTO?
Расскажите мне о пользе для здоровья, а также о матче 401k. Какие планы медицинского страхования доступны?

Чтобы протестировать несколько возможностей одновременно, используйте оценку нескольких бесед вместо объединения намерений в один запрос.

Реалистичные формулировки

Запросы должны отражать то, как пользователи общаются на самом деле, включая неформальный язык, неполные предложения и различные уровни детализации.

Излишне формальный Реалистичный
Просьба представить информацию о распределении ежегодных оплачиваемых отгулов для сотрудников в первый год работы. Сколько дней отпуска получают новые сотрудники?
Я хотел бы инициировать запрос на закупку вычислительного оборудования. Мне нужно заказать ноутбук.

Вы можете получить реалистичные подсказки из следующих источников:

  • Журналы рабочих запросов
  • Сеансы исследования пользователей
  • Запросы в службу поддержки
  • Повседневные беседы на рабочем месте

Основано на данных

Запросы должны основываться на данных. Если данные граундинга доступны, используйте определенные сущности, значения и идентификаторы. Такой подход делает оценки измеримыми и проверяемыми.

Обоснованные запросы позволяют делать точные утверждения, например "Ответ содержит 15 дней", вместо расплывчатых проверок, таких как "Ответ содержит правильное число".

Без граундинга данных

Запрос: «Какова политика PTO для инженеров?»

С данными граундинга

Данные граундинга:

  • Сотрудник: Маркус Джонсон
  • Кафедра: Инжиниринг
  • Срок полномочий: 8 месяцев
  • Менеджер: Лиза Парк
  • Расположение: офис в Остине

Запрос: «Я в команде инженеров, сколько дней отпуска я получаю?»

Автономный (однооборотный)

Для оценок одного поворота каждый запрос должен включать весь необходимый контекст. Оператор не может полагаться на предыдущие ходы разговора. В следующей таблице показаны примеры автономных запросов.

Автономность Зависит от контекста (избегать)
Что покрывает план медицинского страхования PPO? А как насчет другого плана медицинского страхования?
Какова стоимость сотрудника для плана медицинского страхования PPO? И сколько это стоит?
Можно ли заказать 16-дюймовый MacBook Pro? Можете ли вы заказать его вместо этого?

Для сценариев, охватывающих несколько этапов, используйте многоэтапные беседы.

Варианты запросов

Не все пользователи задают один и тот же вопрос одинаково. Чтобы проверить обобщение, создайте три варианта каждого запроса.

Канонические подсказки

Канонические подсказки являются явными, полными и однозначными. Они служат отправной линией.

  • Укажите все необходимые параметры.
  • Используйте точную терминологию.
  • Избегайте двусмысленности.
  • Представляют идеальный запрос.

Пример

«Сколько оплачиваемых выходных дней ежегодно получают сотрудники с менее чем двухлетним стажем работы в соответствии с текущей политикой PTO?»

Вариант на естественном языке

Вариант естественного языка отражает повседневные разговорные фразы. Варианты естественного языка:

  • Используйте непринужденный, разговорный язык.
  • Может включать синонимы или неформальные термины.
  • Избегайте технических идентификаторов.
  • Оставайтесь достаточно полными, чтобы ответить.

Пример

«Эй, сколько отпусков я получу как новый сотрудник?»

В следующей таблице сравниваются канонические запросы и варианты на естественном языке.

Техника Канонический Натуральный вариант
Синонимы "оплачиваемый отгул" "Отпускные дни", "Отгул", "ВОМ"
Неформальные формулировки "Сколько дней мне получать" "сколько я получаю"
Неявный контекст "Сотрудники с <2-летним стажем" "в качестве нового сотрудника"
Повседневный корпус Правильно пишите прописными буквами строчные буквы, минимум знаков препинания

Зонд надежности

Зонд надежности оценивает, насколько хорошо агент обрабатывает несовершенные входные данные. Пробники надежности:

  • Добавьте реалистичные опечатки.
  • Содержат грамматические ошибки.
  • Используйте сокращения.
  • Протестируйте распознавание намерений в шуме.

Пример: "Каковы мои права на дни Вакатон"

В следующей таблице приведены примеры шаблонов для тестирования.

Шаблон Пример
Опечатки "vacaton" вместо "vacation"
Пропущенные знаки препинания "whats" вместо "what's"
Пропущенные слова "сколько дней получает"
Сокращения — ПТО бал?
Выполняемые запросы "Нужен ноутбук MacBook Pro 16 дюймов"

Примеры полных вариантов запросов

В следующих примерах показаны все три типа запросов для одного сценария.

Сценарий: заказ оборудования

Этот сценарий включает следующие данные граундинга:

  • Сотрудник: Катрин Полд
  • Отдел: Дизайн продукции
  • Дата начала: 15.01.2024
  • Бюджет оборудования: $3,500
  • Одобренные товары: MacBook Pro (14 или 16 дюймов), внешний монитор, клавиатура, мышь

Варианты запросов

Канонический

"Я новый сотрудник отдела дизайна продуктов с 15 января 2024 года. Мне нужно заказать 16-дюймовый ноутбук MacBook Pro. Отправьте запрос на оборудование через систему заказов ИТ".

Естественный язык

"Здравствуйте, я только что присоединился к команде разработчиков и мне нужно настроить ноутбук. Можно ли приобрести MacBook Pro? Предпочтительно 16-дюймовый».

Зонд надежности

"Нужно заказать MacBook Pro 16 дюймов для новой работы в области дизайна продуктов"

Утверждения (применяются ко всем вариантам):

  • Ответ подтверждает, что заказ на оборудование был инициирован.
  • Агент вызвал средство OrderEquipment .
  • Вызов инструмента включает в себя "MacBook Pro 16 дюймов" (или эквивалентный).
  • Ответ включает подтверждение заказа или ссылочный номер.

Сценарий: вопрос политики с персонализацией

Этот сценарий включает следующие данные граундинга:

  • Сотрудник: Джеймс Райт
  • Расположение: офис в Лондоне, Великобритания
  • Срок полномочий: 6 месяцев
  • Тип занятости: Полная занятость

Варианты запросов

Канонический

«Как штатный сотрудник, работающий в офисе в Лондоне, Великобритания, с 6-месячным стажем, на какие государственные праздники я имею право в этом году?»

Естественный язык

«Я работаю в лондонском офисе — какие банковские каникулы я использую?»

Зонд надежности

«В этом году в офисе в Великобритании каникулы?»

Утверждения (применяются ко всем вариантам):

  • В ответе перечислены банковские праздники в Великобритании (не в США).
  • Ответ включает в себя, по крайней мере: Новый год, Пасху, Рождество.
  • В ответе содержится ссылка на политику или график Соединенного Королевства.
  • Ответ не упоминание праздники в США, такие как 4 июля или День благодарения.

Шаблоны, которых следует избегать

Избегайте следующих шаблонов запросов.

Многоцелевые запросы

Избегайте запросов с несколькими намерениями. Если ваш запрос охватывает несколько намерений, вы не можете определить, какое намерение вызвало сбой.

  • Избегайте: Каков мой баланс PTO, и можете ли вы рассказать мне о вариантах медицинского страхования, и мне также может понадобиться ноутбук?
  • Используйте вместо этого: Можно разделить на отдельные запросы или использовать многопоточное вычисление.

Запросы с поддержкой схемы

Избегайте запросов с поддержкой схемы. Запросы с поддержкой схемы не работают хорошо, потому что пользователи не знают внутренних API или названий инструментов.

  • Избегайте: "Вызвать API GetPTOBalance для идентификатора сотрудника 12345"
  • Используйте вместо этого: "Каков мой текущий отпуск?"

Неясные запросы

Избегайте расплывчатых подсказок. Если ваш запрос расплывчат, вы не сможете определить измеримые утверждения.

  • Избегайте: "Помоги мне с отделом кадров"
  • Используйте вместо этого: «Разделы справки зарегистрироваться в плане стоматологического страхования?»

Ведущие запросы

Запросы, которые намекают на ожидаемый ответ, не проверяют реальную эффективность рассуждений агента.

  • Избегайте: «Политика PTO говорит 15 дней, верно?»
  • Используйте вместо этого: «Сколько дней отпуска получают новые сотрудники?»

Не автономный (однооборотный)

Избегайте запросов, зависящих от предыдущего контекста.

  • Избегайте: — А как насчет другого варианта?
  • Используйте вместо этого: «В чем разница между планами медицинского страхования HMO и PPO?»

Создавайте запросы на основе пользовательских сценариев

Начните с реальных намерений пользователя, а не со списков функций.

  • Соберите типичные вопросы пользователей.
  • Группировка по сценарию (например, поиск политики, действия, эскалация).
  • Напишите канонический запрос для каждого сценария.
  • Добавьте варианты естественного языка и робастности.
  • Заземляйте запросы конкретными данными.

Такой подход гарантирует, что оценки отражают реальное использование.

Расширение запроса с помощью ИИ (необязательно)

После того, как вы установите четкую базовую линию, используйте ИИ для расширения охвата. Попросите ИИ предложить больше вариантов. Просмотрите каждое предложение на предмет реалистичности и релевантности. Отклоняйте неестественные запросы, запросы с поддержкой схемы или вне области. Добавляйте запросы только там, где они улучшают охват.

Контрольный список для охвата запроса

Используйте этот контрольный список, чтобы убедиться в том, что ваш запрос охвачен полным запросом.

Охват возможностей

  • У каждого инструмента или действия есть по крайней мере один тестовый случай
  • Представлена каждая область знаний
  • Тестируется поведение эскалации
  • Тестируются сценарии, выходящие за пределы областей

Охват вариантов

  • Канонический запрос
  • Вариант на естественном языке
  • Зонд надежности

Пограничные случаи

  • Очень короткие запросы
  • Очень длинные запросы
  • Неоднозначные запросы
  • Отсутствуют сведения
  • Недействительные или неподдерживаемые запросы

Персонализация (если применимо)

  • Разные расположения пользователей
  • Разные уровни владения
  • Разные роли или отделы

Следующий этап