Написание утверждений

Утверждения определяют, что коррективно для каждого тестового случая оценки. Хорошо составленные утверждения позволяют принимать последовательные решения о проверках и не годиться и помогают точно определить, что не сработало при возникновении проблемы.

Что делает хорошее утверждение

Каждое утверждение должно быть атомарным, двоичным, ориентированным на результат и поддающимся проверке.

Условие Описание Пример
Атомарный Проверяет только одно условие; Позволяет избежать "и" и "или" В ответе содержится фраза "15 дней"
Двоичный формат Имеет четкий результат сдачи или неудачи; Частичный кредит отсутствует Не "в основном правильно"
Ориентированность на результат Проверяет, что произошло, а не субъективное качество Not «отвечает полезно»
Проверяемый Результаты всех рецензентов согласованы Определенные значения или поведение

Тест с участием двух человек

Тест с участием двух человек выявляет расплывчатые утверждения, которые не поддаются действию. Если два эксперта в предметной области не могут независимо друг от друга получить одинаковый результат, пересмотрите утверждение.

Проходит тест Не удается выполнить тест
Ответ включает действия по завершению регистрации. Отвечает услужливо
В ответе говорится, что пособие PTO составляет 15 дней. Предоставляет точную информацию
Пути ответа в отдел кадров по вопросам FMLA. Обрабатывает запрос надлежащим образом
В ответе перечислены как минимум три варианта плана медицинского страхования. Показывает релевантные результаты

Формула утверждения

Используйте согласованную структуру для ясности и надежности оценки. Начинайте каждое утверждение со слов «Ответ...»:

  • Ответ содержит...
  • В ответе цитируется...
  • Ответ указывает...
  • Ответ не...
  • Ответные маршруты к...

Такая структура гарантирует, что утверждения будут сосредоточены на наблюдаемых результатах.

Типы утверждений

Для различных сценариев требуются различные типы утверждений. Начните с типов утверждений, наиболее подходящих для ваших сценариев, и при необходимости расширяйте охват.

Утверждения о фактической точности

Убедитесь, что сведения в ответе содержат точные сведения.

Выкройка: Ответ содержит <specific value or text>. Сценарий: Вопрос о политике PTO.
Запрос: «Сколько дней отпуска получают новые сотрудники?»

Утверждения:

  • Ответ содержит «15 дней» или «15 дней PTO».
  • Ответ содержит слова "ежегодно" или "в год".
  • В ответе упоминаются сотрудники с опытом работы менее двух лет.

Округление данных:

  • Дата вступления политики в силу: 1 января 2024 г.
  • PTO менее двух лет: 15 дней
  • PTO на срок от двух до пяти лет: 20 дней
  • PTO более пяти лет: 25 дней

Утверждения:

  • В ответе содержится «15 дней» для запрашиваемой категории срока пребывания в должности.
  • Ответ не включает фразу "10 дней".

Утверждения об атрибуции источников

Убедитесь, что в ответе есть ссылки на источники.

Выкройка: В ответе есть ссылки на <source name>. Сценарий: Вопрос о преимуществах.
Запрос: "Какие планы медицинского страхования доступны?"

Утверждения:

  • В ответе цитируется Руководство по льготам для сотрудников.
  • В ответе указано, где найти дополнительные сведения.
  • Ответ не представляет информацию без указания авторства.

Утверждения вызова средства

Убедитесь, что используется правильное средство.

Выкройка: Агент вызывает <tool name>. Сценарий: Заказ оборудования.
Запрос: "Мне нужно заказать 16-дюймовый MacBook Pro"

Утверждения:

  • Агент вызывает средство OrderEquipment.
  • Вызов средства включает в себя itemType: "laptop".
  • Вызов инструмента включает значение модели, содержащее "MacBook Pro".
  • Вызов инструмента включает в себя "размер: 16" или "16 дюймов".

Утверждения параметров инструментов

Убедитесь, что вызовы инструментов содержат полные и правильные параметры.

Данные граундинга:

  • ID сотрудника: EMP-12345
  • Кафедра: Инжиниринг
  • Центр затрат: CC-ENG-001

Запрос: "Заказай мне MacBook Pro 16 дюймов с 32 ГБ ОЗУ"

Выкройка: Звонок <tool> включает в себя <parameter name and expected value>.

Утверждения:

  • Вызов OrderEquipment включает в себя employeeId: "EMP-12345".
  • Вызов OrderEquipment включает в себя itemType: "laptop".
  • Вызов OrderEquipment включает в себя model: "MacBook Pro 16-inch".
  • Вызов OrderEquipment содержит спецификации, содержащие "32 ГБ".
  • Вызов OrderEquipment включает в себя costCenter: "CC-ENG-001".

Утверждения обработки ответов средства

Убедитесь, что ответ правильно сообщает о результатах работы средства.

Данные граундинга:

  • Сценарий: подтверждение заказа на оборудование
  • Средство возвращает: { orderId: "ORD-789", estimatedDelivery: "5-7 рабочих дней" }

Выкройка: Ответ включает .<tool result>

Утверждения:

  • Ответ включает идентификатор заказа.
  • Ответ сообщает о сроках доставки.
  • Ответ подтверждает успешную отправку.

Обработка ошибок

Сценарий: Не удается заказать оборудование (нет в наличии)
Средство возвращает: { error: "ITEM_UNAVAILABLE", сообщение: "MacBook Pro 16 дюймов нет в наличии" }

Утверждения:

  • Отклик подтверждает состояние сбоя.
  • Ответ предлагает дальнейшие действия.
  • Ответ не указывает на успех, если операция завершилась сбоем.

Утверждения эскалации

Убедитесь, что конфиденциальные или сложные сценарии маршрутизированы надлежащим образом.

Выкройка: Путь ответа в <specialist or team>.

Сценарий: Вопрос FMLA (должен быть эскалирован)

Запрос: "Мне нужно взять длительный отпуск по семейным обстоятельствам"

Утверждения:

  • В ответе указано, что для этого запроса требуется помощь специалиста по персоналу.
  • В ответе не предпринимается попытка объяснить правила соответствия требованиям FMLA.
  • В ответе содержатся сведения о том, как связаться с отделом кадров.
  • В ответе признается деликатность ситуации.

Утверждения об отказе

Убедитесь, что система отклоняет неуместные или ограниченные запросы.

Выкройка: Ответ снижается на <prohibited action>.

Сценарий: Запрос данных другого сотрудника

Запрос: «Какая зарплата у Катрин Полд?»

Утверждения:

  • В ответе отказывается предоставить информацию ограниченного доступа.
  • Ответ объясняет ограничение.
  • Ответ не раскрывает конфиденциальные данные.

Утверждения персонализации

Убедитесь, что ответ отражает контекст пользователя.

Выкройка: Ответ отражает <contextual attribute>.

Сценарий: Вопрос об отпуске для сотрудника из Великобритании

Данные граундинга:

  • Сотрудник: Пурия Заргар
  • Расположение: Лондон, Великобритания

Утверждения:

  • Ответ включает информацию о конкретном месте.
  • Из ответа не включается нерелевантный региональный контент.
  • В ответе перечислены банковские праздники Великобритании.
  • Ответ включает в себя День подарков (только для Великобритании).
  • Ответ не упоминание праздники в США (4 июля, День благодарения).
  • В ответе упоминается расписание праздников в Великобритании.

Утверждения о полноте

Убедитесь, что в ответе содержатся все необходимые сведения.

Выкройка: Ответ включает .<required element>

Сценарий: Руководство по регистрации в Benefits

Запрос: «Разделы справки зарегистрироваться для получения медицинской страховки?»

Утверждения:

  • Ответ включает крайние сроки.
  • Отклик включает точки доступа (например, порталы).
  • Ответ включает обязательные действия или предварительные требования.
  • Ответ включает крайний срок регистрации.
  • Ответ содержит информацию о том, где можно получить доступ к порталу регистрации.
  • В ответе перечислены доступные варианты планов.
  • В отклике упоминаются необходимые документы или сведения.

Отрицательные утверждения

Убедитесь, что в ответе не используется неверное или устаревшее содержимое.

Выкройка: Ответ не включает <prohibited content>.

Сценарий: Вопрос общей политики

Запрос: "Какова политика удаленной работы?"

Утверждения:

  • Ответ не включает в себя устаревшую политику.
  • Ответ не содержит неподтвержденную информацию.
  • Ответ не ссылается на версию политики 2022 года.
  • Ответ не придумывает детали политики не в источнике.

Утверждения для вызовов инструментов

Сценарии на основе инструментов требуют проверки вызовов, параметров и обработки ответов. Для агентов, использующих подключаемые модули OpenAPI, действия API или серверы MCP, особое внимание требуют утверждения вызовов средств.

Сценарий: Заказ комплексного оборудования

Данные граундинга: Сотрудник: Бернадетт Сильвен (Bernadette Sylvain) Идентификатор сотрудника: EMP-54321 Отдел: Data Science Менеджер: Катрин Полд (Katrin Pold) Бюджет: $4,000

Запрос: «Мне нужно заказать 16-дюймовый MacBook Pro с чипом M3 Max и 64 ГБ оперативной памяти. Также нужен 27-дюймовый внешний монитор».

Утверждения вызова средства

  • Агент вызывался OrderEquipment по крайней мере один раз.
  • Агент выполнил отдельные вызовы для ноутбука и монитора (или вызов пакетной службы Azure).

Утверждения параметров

Утверждения параметров заказа ноутбука:

  1. Звонок включает в себя itemType: "laptop".
  2. Вызов содержит model "MacBook Pro".
  3. Вызов включает size: "16" или "16-inch".
  4. Вызов содержит specs "M3 Max".
  5. Вызов содержит specs "64 ГБ".
  6. Звонок включает в себя employeeId: "EMP-54321".
  7. Звонок включает approver или managerId ссылается на Катрин Полд.

Мониторинг утверждений параметров ордера:

  1. Звонок включает в себя itemType: "monitor".
  2. Вызов включает size: "27" или "27-inch".

Утверждения ответов

  • Ответ подтверждает, что оба предмета были заказаны.
  • Ответ включает справочные номера заказов.
  • Отклик предоставляет сведения о предполагаемой доставке.

Распространенные шаблоны утверждений, которых следует избегать

Избегайте утверждений, которые включают расплывчатые суждения о качестве или сложные запросы, которые зависят от конкретных реализаций, не имеют данных для обоснования или являются слишком конкретными.

Тип утверждения Избегайте Использование
Расплывчатые суждения о качестве Ответ полезен
Ответ точен
Ответ включает крайний срок регистрации.
В ответе говорится, что пособие PTO составляет 15 дней.
Составные утверждения Ответ содержит правильное значение и ссылается на источник Отклик содержит правильное значение.
В ответе цитируется источник.
Утверждения, зависящие от реализации Агент использует функцию GetPTOBalance Ответ включает текущий баланс PTO сотрудника.
Утверждения без обоснования Ответ содержит правильное значение В ответе указано "Осталось 12 дней".
Слишком специфические утверждения о форматировании Ответ включает ровно три пункта В ответе перечислены как минимум три варианта.
Ответ начинается со слов "Здравствуйте! Я был бы рад помочь».
Ответ включает приветствие.

Шаблоны утверждений

Следующие шаблоны утверждений содержат отправные точки для утверждений для распространенных сценариев.

Получение знаний

Сценарий: вопрос [тема]

Запрос: "[Вопрос пользователя по теме]"

Утверждения:

  • Ответ содержит [конкретный факт из источника знаний].
  • В отклике содержится ссылка на [исходный документ или раздел].
  • Ответ не содержит [устаревшие или неверные сведения].
  • Ответ касается конкретного вопроса пользователя.

Вызов инструмента

Сценарий: запрос [действие]

Запрос: "[запрос пользователя на выполнение действия]"

Утверждения:

  • Агент вызывает инструмент [имя инструмента].
  • Вызов инструмента включает [обязательный параметр]: [ожидаемое значение].
  • Ответ подтверждает [ожидаемый результат].
  • Ответ включает [номер ссылки/подтверждение].

Передача на обработку

Сценарий. Вопрос [деликатная тема]

Запрос: "[Вопрос пользователя, требующий человеческого суждения]"

Утверждения:

  • В ответе указано, что для этого требуется помощь [специалиста/человека].
  • В ответе содержатся контактные данные или дальнейшие действия.
  • Ответ не пытается [дать совет/принять решение].
  • В ответе признается [чувствительность/сложность].

Отказ

Сценарий: запрос [неуместный/вне области]

Запрос: "[запрос пользователя, который следует отклонить]"

Утверждения:

  • Ответ отклоняется на [запрещенное действие].
  • Ответ объясняет, [почему это не может быть сделано].
  • Реакция не [раскрывает или не пытается что-то запрещенное].
  • В ответе предлагается [надлежащая альтернатива, если применимо].

Сопоставление утверждений с оценщиками

Разные утверждения требуют разных механизмов оценки. В следующей таблице перечислены средства оценивания, используемые для различных типов утверждений.

Тип утверждения Рекомендуемый грейдер Заметки
Содержит определенный текст Соответствие ключевому слову Детерминированный
Семантическое совпадение Сходство текста Обрабатывает перефразирование
Вызов инструмента Соответствие возможностям Оценивает выполнение
Проверка параметров Пользовательский код Синтаксический анализ входных данных
Оценка качества LLM-as-judge Выборочное использование
Точные значения Точное совпадение Для идентификаторов и номеров
Проверки отсутствия Исключение ключевых слов Проверяет пропуски

Следующий этап