Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Утверждения определяют, что коррективно для каждого тестового случая оценки. Хорошо составленные утверждения позволяют принимать последовательные решения о проверках и не годиться и помогают точно определить, что не сработало при возникновении проблемы.
Что делает хорошее утверждение
Каждое утверждение должно быть атомарным, двоичным, ориентированным на результат и поддающимся проверке.
| Условие | Описание | Пример |
|---|---|---|
| Атомарный | Проверяет только одно условие; Позволяет избежать "и" и "или" | В ответе содержится фраза "15 дней" |
| Двоичный формат | Имеет четкий результат сдачи или неудачи; Частичный кредит отсутствует | Не "в основном правильно" |
| Ориентированность на результат | Проверяет, что произошло, а не субъективное качество | Not «отвечает полезно» |
| Проверяемый | Результаты всех рецензентов согласованы | Определенные значения или поведение |
Тест с участием двух человек
Тест с участием двух человек выявляет расплывчатые утверждения, которые не поддаются действию. Если два эксперта в предметной области не могут независимо друг от друга получить одинаковый результат, пересмотрите утверждение.
| Проходит тест | Не удается выполнить тест |
|---|---|
| Ответ включает действия по завершению регистрации. | Отвечает услужливо |
| В ответе говорится, что пособие PTO составляет 15 дней. | Предоставляет точную информацию |
| Пути ответа в отдел кадров по вопросам FMLA. | Обрабатывает запрос надлежащим образом |
| В ответе перечислены как минимум три варианта плана медицинского страхования. | Показывает релевантные результаты |
Формула утверждения
Используйте согласованную структуру для ясности и надежности оценки. Начинайте каждое утверждение со слов «Ответ...»:
- Ответ содержит...
- В ответе цитируется...
- Ответ указывает...
- Ответ не...
- Ответные маршруты к...
Такая структура гарантирует, что утверждения будут сосредоточены на наблюдаемых результатах.
Типы утверждений
Для различных сценариев требуются различные типы утверждений. Начните с типов утверждений, наиболее подходящих для ваших сценариев, и при необходимости расширяйте охват.
Утверждения о фактической точности
Убедитесь, что сведения в ответе содержат точные сведения.
Выкройка: Ответ содержит <specific value or text>.
Сценарий: Вопрос о политике PTO.
Запрос: «Сколько дней отпуска получают новые сотрудники?»
Утверждения:
- Ответ содержит «15 дней» или «15 дней PTO».
- Ответ содержит слова "ежегодно" или "в год".
- В ответе упоминаются сотрудники с опытом работы менее двух лет.
Округление данных:
- Дата вступления политики в силу: 1 января 2024 г.
- PTO менее двух лет: 15 дней
- PTO на срок от двух до пяти лет: 20 дней
- PTO более пяти лет: 25 дней
Утверждения:
- В ответе содержится «15 дней» для запрашиваемой категории срока пребывания в должности.
- Ответ не включает фразу "10 дней".
Утверждения об атрибуции источников
Убедитесь, что в ответе есть ссылки на источники.
Выкройка: В ответе есть ссылки на <source name>.
Сценарий: Вопрос о преимуществах.
Запрос: "Какие планы медицинского страхования доступны?"
Утверждения:
- В ответе цитируется Руководство по льготам для сотрудников.
- В ответе указано, где найти дополнительные сведения.
- Ответ не представляет информацию без указания авторства.
Утверждения вызова средства
Убедитесь, что используется правильное средство.
Выкройка: Агент вызывает <tool name>.
Сценарий: Заказ оборудования.
Запрос: "Мне нужно заказать 16-дюймовый MacBook Pro"
Утверждения:
- Агент вызывает средство OrderEquipment.
- Вызов средства включает в себя
itemType: "laptop". - Вызов инструмента включает значение модели, содержащее "MacBook Pro".
- Вызов инструмента включает в себя "размер: 16" или "16 дюймов".
Утверждения параметров инструментов
Убедитесь, что вызовы инструментов содержат полные и правильные параметры.
Данные граундинга:
- ID сотрудника: EMP-12345
- Кафедра: Инжиниринг
- Центр затрат: CC-ENG-001
Запрос: "Заказай мне MacBook Pro 16 дюймов с 32 ГБ ОЗУ"
Выкройка: Звонок <tool> включает в себя <parameter name and expected value>.
Утверждения:
- Вызов OrderEquipment включает в себя
employeeId: "EMP-12345". - Вызов OrderEquipment включает в себя
itemType: "laptop". - Вызов OrderEquipment включает в себя
model: "MacBook Pro 16-inch". - Вызов OrderEquipment содержит спецификации, содержащие "32 ГБ".
- Вызов OrderEquipment включает в себя
costCenter: "CC-ENG-001".
Утверждения обработки ответов средства
Убедитесь, что ответ правильно сообщает о результатах работы средства.
Данные граундинга:
- Сценарий: подтверждение заказа на оборудование
- Средство возвращает: { orderId: "ORD-789", estimatedDelivery: "5-7 рабочих дней" }
Выкройка: Ответ включает .<tool result>
Утверждения:
- Ответ включает идентификатор заказа.
- Ответ сообщает о сроках доставки.
- Ответ подтверждает успешную отправку.
Обработка ошибок
Сценарий: Не удается заказать оборудование (нет в наличии)
Средство возвращает: { error: "ITEM_UNAVAILABLE", сообщение: "MacBook Pro 16 дюймов нет в наличии" }
Утверждения:
- Отклик подтверждает состояние сбоя.
- Ответ предлагает дальнейшие действия.
- Ответ не указывает на успех, если операция завершилась сбоем.
Утверждения эскалации
Убедитесь, что конфиденциальные или сложные сценарии маршрутизированы надлежащим образом.
Выкройка: Путь ответа в <specialist or team>.
Сценарий: Вопрос FMLA (должен быть эскалирован)
Запрос: "Мне нужно взять длительный отпуск по семейным обстоятельствам"
Утверждения:
- В ответе указано, что для этого запроса требуется помощь специалиста по персоналу.
- В ответе не предпринимается попытка объяснить правила соответствия требованиям FMLA.
- В ответе содержатся сведения о том, как связаться с отделом кадров.
- В ответе признается деликатность ситуации.
Утверждения об отказе
Убедитесь, что система отклоняет неуместные или ограниченные запросы.
Выкройка: Ответ снижается на <prohibited action>.
Сценарий: Запрос данных другого сотрудника
Запрос: «Какая зарплата у Катрин Полд?»
Утверждения:
- В ответе отказывается предоставить информацию ограниченного доступа.
- Ответ объясняет ограничение.
- Ответ не раскрывает конфиденциальные данные.
Утверждения персонализации
Убедитесь, что ответ отражает контекст пользователя.
Выкройка: Ответ отражает <contextual attribute>.
Сценарий: Вопрос об отпуске для сотрудника из Великобритании
Данные граундинга:
- Сотрудник: Пурия Заргар
- Расположение: Лондон, Великобритания
Утверждения:
- Ответ включает информацию о конкретном месте.
- Из ответа не включается нерелевантный региональный контент.
- В ответе перечислены банковские праздники Великобритании.
- Ответ включает в себя День подарков (только для Великобритании).
- Ответ не упоминание праздники в США (4 июля, День благодарения).
- В ответе упоминается расписание праздников в Великобритании.
Утверждения о полноте
Убедитесь, что в ответе содержатся все необходимые сведения.
Выкройка: Ответ включает .<required element>
Сценарий: Руководство по регистрации в Benefits
Запрос: «Разделы справки зарегистрироваться для получения медицинской страховки?»
Утверждения:
- Ответ включает крайние сроки.
- Отклик включает точки доступа (например, порталы).
- Ответ включает обязательные действия или предварительные требования.
- Ответ включает крайний срок регистрации.
- Ответ содержит информацию о том, где можно получить доступ к порталу регистрации.
- В ответе перечислены доступные варианты планов.
- В отклике упоминаются необходимые документы или сведения.
Отрицательные утверждения
Убедитесь, что в ответе не используется неверное или устаревшее содержимое.
Выкройка: Ответ не включает <prohibited content>.
Сценарий: Вопрос общей политики
Запрос: "Какова политика удаленной работы?"
Утверждения:
- Ответ не включает в себя устаревшую политику.
- Ответ не содержит неподтвержденную информацию.
- Ответ не ссылается на версию политики 2022 года.
- Ответ не придумывает детали политики не в источнике.
Утверждения для вызовов инструментов
Сценарии на основе инструментов требуют проверки вызовов, параметров и обработки ответов. Для агентов, использующих подключаемые модули OpenAPI, действия API или серверы MCP, особое внимание требуют утверждения вызовов средств.
Сценарий: Заказ комплексного оборудования
Данные граундинга: Сотрудник: Бернадетт Сильвен (Bernadette Sylvain) Идентификатор сотрудника: EMP-54321 Отдел: Data Science Менеджер: Катрин Полд (Katrin Pold) Бюджет: $4,000
Запрос: «Мне нужно заказать 16-дюймовый MacBook Pro с чипом M3 Max и 64 ГБ оперативной памяти. Также нужен 27-дюймовый внешний монитор».
Утверждения вызова средства
- Агент вызывался
OrderEquipmentпо крайней мере один раз. - Агент выполнил отдельные вызовы для ноутбука и монитора (или вызов пакетной службы Azure).
Утверждения параметров
Утверждения параметров заказа ноутбука:
- Звонок включает в себя
itemType: "laptop". - Вызов содержит
model"MacBook Pro". - Вызов включает
size: "16"или"16-inch". - Вызов содержит
specs"M3 Max". - Вызов содержит
specs"64 ГБ". - Звонок включает в себя
employeeId: "EMP-54321". - Звонок включает
approverилиmanagerIdссылается на Катрин Полд.
Мониторинг утверждений параметров ордера:
- Звонок включает в себя
itemType: "monitor". - Вызов включает
size: "27"или"27-inch".
Утверждения ответов
- Ответ подтверждает, что оба предмета были заказаны.
- Ответ включает справочные номера заказов.
- Отклик предоставляет сведения о предполагаемой доставке.
Распространенные шаблоны утверждений, которых следует избегать
Избегайте утверждений, которые включают расплывчатые суждения о качестве или сложные запросы, которые зависят от конкретных реализаций, не имеют данных для обоснования или являются слишком конкретными.
| Тип утверждения | Избегайте | Использование |
|---|---|---|
| Расплывчатые суждения о качестве | Ответ полезен Ответ точен |
Ответ включает крайний срок регистрации. В ответе говорится, что пособие PTO составляет 15 дней. |
| Составные утверждения | Ответ содержит правильное значение и ссылается на источник | Отклик содержит правильное значение. В ответе цитируется источник. |
| Утверждения, зависящие от реализации | Агент использует функцию GetPTOBalance | Ответ включает текущий баланс PTO сотрудника. |
| Утверждения без обоснования | Ответ содержит правильное значение | В ответе указано "Осталось 12 дней". |
| Слишком специфические утверждения о форматировании | Ответ включает ровно три пункта | В ответе перечислены как минимум три варианта. Ответ начинается со слов "Здравствуйте! Я был бы рад помочь». Ответ включает приветствие. |
Шаблоны утверждений
Следующие шаблоны утверждений содержат отправные точки для утверждений для распространенных сценариев.
Получение знаний
Сценарий: вопрос [тема]
Запрос: "[Вопрос пользователя по теме]"
Утверждения:
- Ответ содержит [конкретный факт из источника знаний].
- В отклике содержится ссылка на [исходный документ или раздел].
- Ответ не содержит [устаревшие или неверные сведения].
- Ответ касается конкретного вопроса пользователя.
Вызов инструмента
Сценарий: запрос [действие]
Запрос: "[запрос пользователя на выполнение действия]"
Утверждения:
- Агент вызывает инструмент [имя инструмента].
- Вызов инструмента включает [обязательный параметр]: [ожидаемое значение].
- Ответ подтверждает [ожидаемый результат].
- Ответ включает [номер ссылки/подтверждение].
Передача на обработку
Сценарий. Вопрос [деликатная тема]
Запрос: "[Вопрос пользователя, требующий человеческого суждения]"
Утверждения:
- В ответе указано, что для этого требуется помощь [специалиста/человека].
- В ответе содержатся контактные данные или дальнейшие действия.
- Ответ не пытается [дать совет/принять решение].
- В ответе признается [чувствительность/сложность].
Отказ
Сценарий: запрос [неуместный/вне области]
Запрос: "[запрос пользователя, который следует отклонить]"
Утверждения:
- Ответ отклоняется на [запрещенное действие].
- Ответ объясняет, [почему это не может быть сделано].
- Реакция не [раскрывает или не пытается что-то запрещенное].
- В ответе предлагается [надлежащая альтернатива, если применимо].
Сопоставление утверждений с оценщиками
Разные утверждения требуют разных механизмов оценки. В следующей таблице перечислены средства оценивания, используемые для различных типов утверждений.
| Тип утверждения | Рекомендуемый грейдер | Заметки |
|---|---|---|
| Содержит определенный текст | Соответствие ключевому слову | Детерминированный |
| Семантическое совпадение | Сходство текста | Обрабатывает перефразирование |
| Вызов инструмента | Соответствие возможностям | Оценивает выполнение |
| Проверка параметров | Пользовательский код | Синтаксический анализ входных данных |
| Оценка качества | LLM-as-judge | Выборочное использование |
| Точные значения | Точное совпадение | Для идентификаторов и номеров |
| Проверки отсутствия | Исключение ключевых слов | Проверяет пропуски |