Выбор методов оценки

Note

Функции, описанные в этой статье, питаются стандартным жгутом, который использует опции выставления счетов, описанные в разделе «Лицензирование для агентов, работающих на стандартном жгуте». Узнайте, как получить доступ к стандартным функциям в стандартных агентах и потоках агентов доступа.

При создании тестовых наборов выбирайте различные методы тестирования для оценки ответов вашего агента. Каждый метод тестирования имеет свои сильные стороны и подходит для разных типов оценок.

Метод испытаний	Меры	Тип тестового набора	Очки	Configurations
Общее качество	Насколько хорошего качества ответы тестового случая по определенным характеристикам	Единичный ответ или диалог	Оценка из 100%	None
Сравнение смысла	Насколько смысл ответа тестового случая соответствует ожидаемому ответу	Один ответ	Оценка из 100%	Проходной балл, ожидаемый ответ
Использование инструмента	Использовал ли тестовый случай все или какие-либо ожидаемые ресурсы	Один ответ	Передача или сбой	Ожидаемые возможности
Совпадение ключевых слов	Использовали ли тестовый случай все или какие-либо из ожидаемых ключевых слов или фраз	Единичный ответ или диалог	Передача или сбой	Ожидаемые ключевые слова или фразы
Сходство текста	Насколько хорошо текст ответа тестового случая соответствует ожидаемому ответу	Один ответ	Оценка из 100%	Проходной балл, ожидаемый ответ
Точное совпадение	Совпадает ли ответ тестового случая с ожидаемым ответом в точности	Один ответ	Передача или сбой	Ожидаемый ответ
Настройка	Соответствует ли ответ тестового случая вашим установленным критериям или ожиданиям.	Единичный ответ или диалог	Прошел/не прошел (соответствует определенным критериям меток)	Имя, инструкции по оценке, метки

Добавление метода тестирования

1. При создании или редактировании тестового набора выберите Добавить метод тестирования.

2. Выберите все методы, которые вы хотите использовать для тестирования, затем выберите OK. Можно добавить нескольких методов.

   1. Некоторые методы требуют проходного балла. Проходной балл определяет, какой результат считается успешным, а какой — неудачным. Установите оценку, затем выберите ОК.

   2. Некоторые методы тестирования требуют дополнительных критериев.

3. Выберите Сохранить, чтобы сохранить изменения в тестовом наборе.

Выберите существующий тестовый метод для редактирования критериев этого метода или удалите его.

Общее качество

Этот метод доступен для тестовых наборов с одним ответом и диалоговых наборов. Общее качество позволяет оценить, соответствуют ли ответы вашего агента вашим требованиям. Этот метод тестирования предполагает использование большой языковой модели (LLM) для оценки того, насколько эффективно агент отвечает на вопросы пользователей.

Метод "Общее качество" особенно удобно использовать, когда точного ответа не ожидается. Он предлагает гибкий и масштабируемый способ оценки ответов на основе полученных документов и хода разговора.

Он использует следующие ключевые критерии и применяет единый запрос для оценки:

• Релевантность: в какой степени ответ агента отвечает на вопрос. Например, остается ли ответ агента в рамках темы и отвечает ли напрямую на вопрос?

• Обоснованность: в какой степени ответ агента основан на предоставленном контексте. Например, опирается ли ответ агента на информацию, предоставленную в контексте, вместо того чтобы привносить нерелевантную или неподкрепленную информацию?

• Полнота: в какой степени ответ агента содержит всю необходимую информацию. Охватывает ли ответ агента все аспекты вопроса и содержит ли достаточно подробностей?

• Воздержание: пытался ли агент ответить на вопрос.

Чтобы ответ считался качественным, он должен соответствовать всем этим ключевым критериям. Если один из критериев не соблюден, ответ помечается для доработки. Этот метод оценки гарантирует, что только ответы, которые являются полными и подкреплены доказательствами, получают высшие баллы. В свою очередь, неполные ответы или ответы без подтверждающих доказательств получают более низкие баллы.

При добавлении или редактировании методов тестирования выберите Общее качество. Все тестовые наборы по умолчанию используют этот метод.

Вам не нужно добавлять ожидаемые ответы в тестовые случаи для проведения общей оценки качества.

Note

Сокращение числа источников знаний агента не гарантирует улучшения общей оценки качества. Это ограничение существует потому, что извлеченные знания (знания, которые модель считает соответствующими для конкретного тестового случая) могут быть слишком объемными.

Сравнение значений

Этот метод доступен для тестовых наборов с одним ответом. Сравнение смысла оценивает, насколько хорошо ответ агента отражает ожидаемый смысл ответа. Вместо того чтобы сосредотачиваться на точной формулировке, применяется анализ сходства намерений, то есть сравниваются идеи и смысл, чтобы оценить, насколько ответ соответствует вашим ожиданиям.

Как и оценка общего качества, сравнение смысла особенно полезно в случаях, когда точного ответа не ожидается. Он предлагает гибкий и масштабируемый способ оценки ответов на основе полученных документов и хода разговора.

Вы можете установить порог оценки, чтобы определить, какой балл считается проходным для ответа. Проходной балл по умолчанию — 50. Метод тестирования "Сравнение смысла" удобно использовать, когда ответ может быть сформулирован разными правильными способами, но общий смысл или намерение должны сохраняться.

1. При добавлении или редактировании методов тестирования выберите Сравнить значение.

2. Установите проходной балл для этого метода.

3. Добавьте ожидаемые ответы. Любой тестовый случай без ожидаемых ответов дает результат Недопустимо для этого метода.

   1. Выберите тестовый случай.

   2. Добавьте ожидаемый ответ.

   3. Выберите Применить, чтобы сохранить ожидаемый ответ.

   4. Повторите процедуру для всех тестовых случаев, которые вы хотите проверить этим методом.

Использование инструмента

Этот метод доступен для тестовых наборов с одним ответом. Использование инструментов проверяет, использовал ли агент конкретные инструменты или темы для генерации ответа. Если да, он считается проходным. Если нет, тест пройден не будет.

1. При добавлении или редактировании методов тестирования выберите Использование инструментов.

2. Добавьте ожидаемые инструменты или темы. Любой тестовый случай без ожидаемых ответов дает результат Недопустимо для этого метода.

   1. Выберите тестовый случай. Чтобы добавить одни и те же ожидаемые инструменты и темы для всех тестовых случаев, выберите значок Редактировать в заголовке столбца Инструменты.

   2. В панели Выбор инструментов выберите темы или инструменты, которые, по вашему мнению, агент должен использовать для этого тестового случая.

   3. Нажмите кнопку "ОК".

   4. Нажмите кнопку "Сохранить", чтобы сохранить изменения.

   5. Повторите процедуру для всех тестовых случаев, которые вы хотите проверить на использование инструментов.

Совпадение ключевых слов

Этот метод доступен для тестовых наборов с одним ответом и диалоговых наборов. Совпадение ключевых слов проверяет, содержит ли ответ агента некоторые или все определенные вами слова или фразы из ожидаемого ответа. Если да, ответ считается проходным. Если нет, тест пройден не будет.

Вы можете выбрать, требуется ли совпадение любого или всех из ключевых слов. Любого означает, что если совпадает хотя бы одно слово или фраза, тестовый случай считается пройденным. Все означает, что все ожидаемые слова или фразы должны совпасть, чтобы тестовый случай считался пройденным.

1. При добавлении или редактировании методов тестирования выберите Совпадение ключевых слов.

2. Выберите, требует ли тестовый случай совпадения любого или всех ключевых слов.

3. Добавьте ожидаемые ключевые слова. Любой тестовый случай без ожидаемых ключевых слов дает результат Недопустимо для этого метода.

   1. Выберите тестовый случай.

   2. В панели Редактирование тестового случая добавьте ключевое слово или фразу, которую вы ожидаете увидеть в ответе в этом случае.

   3. Выберите + Добавить, чтобы добавить дополнительные ключевые слова или фразы. Чтобы удалить ключевое слово или фразу, выберите значок Удалить.

   4. Выберите Применить, чтобы сохранить ожидаемые ключевые слова.

   5. Повторите процедуру для всех тестовых случаев, которые вы хотите проверить на соответствие ключевым словам.

Сходство текста

Метод тестирования Сходство текста сравнивает сходство ответов агента с ожидаемыми ответами, определенными в вашем наборе тестов. Используйте этот метод тестирования, когда правильный ответ должен точно или почти точно совпадать с ожидаемым ответом как по формулировке, так и по структуре предложений. Например, при создании юридического документа часто требуется точная формулировка. Этот тест обычно используется вместе с методом Сравнение смысла, который гарантирует сходство смысла, но не обеспечивает сходство формулировок. Он также отличается от метода тестирования Совпадение ключевых слов, который гарантирует наличие определенных терминов, но не гарантирует сходство формулировки. Если весь ответ должен точно совпадать со всем ожидаемым ответом, используйте вместо него метод тестирования Точное совпадение.

Метрика косинусного сходства оценивает, в какой степени ответ агента похож на формулировку ожидаемого ответа, и присваивает балл. Балл может находиться в диапазоне от 0 до 1, где 1 означает, что ответ максимально совпадает, а 0 — что не совпадает вовсе. Вы можете установить порог оценки, чтобы определить, какой балл считается проходным для ответа.

1. При добавлении или редактировании методов тестирования выберите Сходство текста.

2. Установите проходной балл для этого метода.

3. Добавьте ожидаемые ответы. Любой тестовый случай без ожидаемых ответов дает результат Недопустимо для этого метода.

   1. Выберите тестовый случай.

   2. Добавьте ожидаемый ответ.

   3. Выберите Применить, чтобы сохранить ожидаемый ответ.

   4. Повторите процедуру для всех тестовых случаев, которые вы хотите проверить этим методом.

Точное совпадение

Этот метод доступен для тестовых наборов с одним ответом. Точное совпадение проверяет, полностью ли совпадает ответ агента с ожидаемым ответом в тесте: буква в букву, слово в слово. Если они одинаковы, ответ считается проходным. Если что-либо отличается, тест пройден не будет. Точное совпадение удобно использовать для коротких, точных ответов, таких как числа, коды или фиксированные фразы. Этот метод не подходит для ответов, которые люди могут формулировать несколькими правильными способами.

1. При добавлении или редактировании методов тестирования выберите Точное совпадение.

2. Добавьте ожидаемые ответы. Любой тестовый случай без ожидаемых ответов дает результат Недопустимо для этого метода.

   1. Выберите тестовый случай.

   2. Добавьте ожидаемый ответ.

   3. Выберите Применить, чтобы сохранить ожидаемый ответ.

   4. Повторите процедуру для всех тестовых случаев, которые вы хотите проверить этим методом.

Произвольный

Пользовательский — это настраиваемый метод тестирования. Он позволяет проверять и помечать ответы агента по собственным критериям. Например, вы можете создать тест на соответствие для HR-агента, чтобы отмечать ответы на тесты как соответствующие или несоответствующие вашему определению HR-соответствия.

Пользовательский тест состоит из двух компонентов, которые вы можете настроить:

Инструкции по оценке: описывает цель, которой вы хотите достичь с помощью этого теста. Что вы хотите, чтобы тест выяснил об ответах вашего агента?

Хорошие инструкции по оценке должны:

• Быть ориентированы на цель.

• Содержать только разрешенные символы.

• Использовать маркированные списки и заголовки для структурирования.

Рассмотрим пример.

Evaluate the agent's response for HR policy compliance.

What to check:
- Determine whether the answer protects privacy and avoids revealing or requesting sensitive data.
- Avoids discrimination, bias, or inappropriate judgments.
- Provides safe, neutral, HR-aligned guidance.
- Does not give legal advice or make definitive claims.

Метки: описывает результат, присваиваемый каждому ответу на основе пользовательского теста. Метки также имеют назначения "прошел/не прошел", которые учитываются при расчете уровня прохождения тестового набора для этого метода.

Метки имеют имя и описание. Хорошее описание:

• Является кратким.

• Содержит признаки, которые вы ищете в подходящих ответах.

Одна из стратегий для меток — использовать две: одна предназначена для ответов, которые успешно соответствуют критериям, которые вы ищете, а другая — для ответов, которые им не соответствуют. Например, пользовательский тест на соответствие HR-политике может иметь метки Соответствует и Не соответствует.

1. При добавлении или редактировании методов тестирования выберите Пользовательский.

2. Введите имя для этого пользовательского теста.

3. Добавьте инструкции по оценке.

4. Добавьте две или более меток. У каждой метки есть имя и описание.

   Чтобы добавить еще метки, выберите Добавить метку.

   Названия меток могут содержать только буквы, цифры, пробел, дефис -, подчеркивание _, косую черту /, амперсанд &, знак плюс + и точку ..

5. Задайте проходной или непроходной результат для каждой метки.

6. Нажмите кнопку "ОК".