Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Интерфейс командной строки оценки Microsoft 365 Copilot включает оценщиков, которые оценивают ответы и проверяют поведение среды выполнения. Каждый оценщик измеряет различные аспекты качества, от семантической релевантности до выполнения вызова инструмента. В этой статье описывается поведение при оценке, параметры конфигурации и использование в тестовых наборах данных.
Дополнительные сведения о настройке оценщиков в наборах данных см. в разделе Настройка оценщиков.
Схему набора данных для оценки можно найти в формате JSON Schema на сайте GitHub.
Примечание
Для оценщиков вызова инструмента требуется интерфейс командной строки версии 2 (preview) и схема версии 2. Они недоступны в интерфейсе командной строки версии 1 (latest). В других примерах в этой статье используется схема версии 1.
Сводка по инструменту оценивания
В следующей таблице перечислены все доступные средства оценивания.
| Оценщик | Type (Тип) | Масштаб | Пороговое значение по умолчанию | Включено по умолчанию | Обязательные для заполнения поля |
|---|---|---|---|---|---|
| Релевантность | На основе LLM | 1-5 | 3 | Да | prompt |
| Согласованность | На основе LLM | 1-5 | 3 | Да | prompt |
| Заземленность | На основе LLM | 1-5 | 3 | Нет | prompt |
| Сходство | На основе LLM | 1-5 | 3 | Нет |
prompt, expected_response |
| RetrievalQuery | Не магистр права | "Пройдено/не пройдено" | Н/Д | Нет |
prompt, конфигурация оценщика |
| RetrievalResult | Не магистр права | Пропорциональный | 1,0 | Нет |
prompt, конфигурация оценщика |
| ToolCallSelection (ознакомительная версия 2) | Не магистр права | Прошел/не пройден/ошибся | 1.0, исправлено | Нет |
prompt, calls[].tool, телеметрия выбранных функций |
| ToolCallExecution (предварительная версия 2) | Не магистр права | Прошел/не пройден/ошибся | 1.0, исправлено | Нет |
prompt, calls[].tool, выполнение телеметрии с результатами HTTP |
| Ссылки | На основе количества | >= 0 | 1 | Нет | prompt |
| Частичный матч | Соответствие строки | 0.0-1.0 | 0,5 | Нет |
prompt, expected_response |
| ExactMatch | Соответствие строки | логический | Н/Д | Нет |
prompt, expected_response |
Средства оценивания на основе LLM
Оценщики на основе LLM используют модель OpenAI Azure в проекте Microsoft Foundry (настроенную с помощью переменных среды) для оценки качества отклика агента. Эти средства оценивания работают на платформе пакета SDK для оценки ИИ Azure. Оценки варьируются от 1 до 5 баллов по шкале Ликерта, где более высокие значения указывают на лучшее качество. По умолчанию для сдачи требуется оценка 3 или выше. Вы можете изменить требуемый балл в конфигурации теста.
Релевантность
Оценщик релевантности оценивает, насколько хорошо ответ агента соответствует запросу пользователя. Он оценивает, является ли ответ прямым и полным ответом на заданный вопрос.
- По умолчанию включено: Нет
- Шкала: 1-5 (Ликерт)
- Пороговое значение по умолчанию: 3
-
Обязательные для заполнения поля:
prompt - Требуется наземная достоверность: Нет
Оценщику релевантности не требуется — expected_response он оценивает связь между запросом и ответом.
Пример набора данных Relevance
{
"schemaVersion": "1.6.0",
"default_evaluators": {
"Relevance": {}
},
"items": [
{
"prompt": "What are the key features of our enterprise plan?",
"expected_response": "The enterprise plan includes advanced security, unlimited storage, 24/7 support, and custom integrations."
}
]
}
Согласованность
Оценщик когерентности измеряет логическое и упорядоченное представление идей в ответе агента. Он оценивает, есть ли в ответе четкие связи между предложениями, соответствующие переходы и логическая последовательность идей, которую легко проследить.
- По умолчанию включено: Нет
- Шкала: 1-5 (Ликерт)
- Пороговое значение по умолчанию: 3
-
Обязательные для заполнения поля:
prompt - Требуется наземная достоверность: Нет
Пример набора данных Coherence
{
"schemaVersion": "1.6.0",
"default_evaluators": {
"Coherence": {}
},
"items": [
{
"prompt": "Explain the process for submitting an expense report.",
"expected_response": "To submit an expense report, first collect your receipts. Then open the expense portal, create a new report, attach your receipts, and submit for manager approval."
}
]
}
Заземленность
Оценщик заземления проверяет, согласуется ли ответ агента с предоставленным контекстом заземления и поддерживается ли он. Он фокусируется на точности, проверяя, что ответ не содержит утверждений или сведений, выходящих за рамки того, что подтверждают полученные документы.
- По умолчанию включено: Нет
- Шкала: 1-5 (Ликерт)
- Пороговое значение по умолчанию: 3
-
Обязательные для заполнения поля:
prompt,expected_response - Требуется наземная достоверность: Нет
Используйте инструмент оценки заземленности для обнаружения галлюцинаций или необоснованных утверждений в ответах вашего агента.
Пример набора данных Groundedness
{
"schemaVersion": "1.6.0",
"default_evaluators": {
"Relevance": {},
"Groundedness": {}
},
"items": [
{
"prompt": "What is our company's remote work policy?",
"expected_response": "Employees can work remotely up to 3 days per week with manager approval."
}
]
}
Сходство
Оценщик сходства измеряет степень семантического сходства между ответом агента и предоставленной expected_response (базовой истиной). В отличие от метрик с перекрытием маркеров, таких как F1 или Bilingual Evaluation Understudy (BLEU), он фокусируется на значении и более широком контексте, а не на поверхностных совпадениях слов.
- По умолчанию включено: Нет
- Шкала: 1-5 (Ликерт)
- Пороговое значение по умолчанию: 3
-
Обязательные для заполнения поля:
prompt,expected_response - Требуется наземная достоверность: Нет
Вам необходимо настроить expected_response элементы набора данных для оценщика сходства.
Пример набора данных о сходстве
{
"schemaVersion": "1.6.0",
"default_evaluators": {
"Similarity": {}
},
"items": [
{
"prompt": "What is Microsoft Graph?",
"expected_response": "Microsoft Graph is a unified API endpoint that provides access to data and intelligence in Microsoft 365 services."
}
]
}
Анализаторы извлечения
Оценщики извлечения проверяют конвейер сквозного извлечения агента Microsoft 365 Copilot. Они проверяют, как агент преобразует запросы пользователя в операции извлечения и отображаются ли в результатах ожидаемые ресурсы. Эти оценщики не используют судью LLM — они выполняют детерминированные проверки данных выполнения извлечения.
RetrievalQuery
Оценщик RetrievalQuery проверяет, правильно ли Copilot преобразовал намерение пользователя в запросы на извлечение. Он проверяет queryString значения внутри нормализованного retrieval_executions[] и проверяет их соответствие ожидаемым шаблонам.
- По умолчанию включено: Нет
- Масштаб: "Пройдено/не пройдено"
- Пороговое значение по умолчанию: Н/Д
-
Обязательные поля:
prompt, конфигурация оценщика - Требуется наземная достоверность: Нет
Параметры конфигурации RetrievalQuery
| Параметр | Type (Тип) | Обязательный | Описание |
|---|---|---|---|
capability |
строка | Да | Возможность извлечения для определения областей проверяемых выполнений (например, "OneDriveAndSharePoint", "Email""GraphConnectors", ). |
selector |
строка | Да | Подстрока без учета регистра, используемая для идентификации целевого запроса при выполнениях извлечения. |
includes |
строка | Да | Подстроки, которые ДОЛЖНЫ присутствовать в сопоставленном запросе. |
excludes |
строка | Да | Подстроки, которые НЕ ДОЛЖНЫ присутствовать в сопоставленном запросе. |
Пример набора данных RetrievalQuery
{
"schemaVersion": "1.6.0",
"items": [
{
"prompt": "Find the Q4 sales report in SharePoint",
"expected_response": "Here is the Q4 sales report.",
"evaluators": {
"RetrievalQuery": {
"capability": "OneDriveAndSharePoint",
"selector": "Q4 sales report",
"includes": ["projections", "profit"],
"excludes": ["FileType:OneNote"]
}
}
}
]
}
RetrievalResult
Оценщик RetrievalResult проверяет, действительно ли ожидаемые ресурсы отображаются в документах, сообщениях и элементах, возвращаемых при получении. Он проверяет, присутствуют ли определенные текстовые фрагменты в извлеченных извлечениях в пределах настраиваемого порога ранга.
- По умолчанию включено: Нет
- Масштаб: Пропорциональный (0,0-1,0)
- Пороговое значение по умолчанию: 1.0 (все проверки должны быть пройдены)
-
Обязательные поля:
prompt, конфигурация оценщика - Требуется наземная достоверность: Нет
Оценка пропорциональна количеству найденных ожидаемых элементов. Например, если найдено 2 из 3 ожидаемых элементов, оценка будет равна 0,67. Однако для успешного прохождения всех проверок требуется (порог всегда равен 1,0). Необходимо настроить хотя бы одно из этих сочетаний expected_items или min_expected_count.
Параметры конфигурации RetrievalResult
| Параметр | Type (Тип) | Обязательный | Описание |
|---|---|---|---|
expected_items |
массив | Условное условие | Массив объектов, обозначающий ожидаемые результаты. Каждый объект может включать retrievalExtract_contains (текстовый фрагмент для сопоставления при извлечении результатов). Необходимо настроить хотя бы одно из этих сочетаний expected_items или min_expected_count. |
expected_items[].retrievalExtract_contains |
строка | Нет | Фрагмент текста, который должен отображаться в извлеченном фрагменте обращения. |
min_expected_count |
целое число | Условное условие | Минимальное количество результатов, которые необходимо извлечь. Необходимо настроить хотя бы одно из этих сочетаний expected_items или min_expected_count. |
max_rank |
целое число | Нет | Максимальная позиция ранга, которую следует учитывать при сопоставлении ожидаемых элементов. Значение по умолчанию — 10. |
Пример набора данных RetrievalResult
{
"schemaVersion": "1.6.0",
"items": [
{
"prompt": "Find recent emails about the Contoso project",
"expected_response": "Here are the recent emails about the Contoso project.",
"evaluators": {
"RetrievalResult": {
"expected_items": [
{ "retrievalExtract_contains": "update" },
{ "retrievalExtract_contains": "budget" }
],
"max_rank": 5,
"min_expected_count": 2
}
}
}
]
}
Обработчики вызовов инструментов
Оценщики вызова инструмента используют диагностику среды выполнения (сведения для разработчиков) для проверки выбора средства и результатов выполнения HTTP. Они детерминированы, не используют судью LLM и не требуют expected_response.
- ToolCallSelection проверяет, были ли выбраны ожидаемые идентификаторы инструментов, игнорируя порядок и дубликаты. Вы можете отклонить другие выборки.
- ToolCallExecution проверяет наличие отдельного успешного выполнения HTTP (состояния 200–299) для каждого ожидаемого вызова. Повторите удостоверение, чтобы запросить несколько успешных выполнений.
Ни один из оценщиков не устанавливает качество ответа или бизнес-правильность. Используйте средства оценки ответов наряду с проверками вызова инструментов, если вам нужно и то, и другое. Сведения о настройке, согласии, примерах и интерпретации результатов см. в статье "Оценщики вызова инструмента".
Строковые и количественные вычислители
Эти вычислители используют детерминированное сопоставление строк или логику подсчета. Они не требуют LLM и запускаются локально.
Ссылки
Обработчик ссылок подсчитывает количество ссылок на цитаты в ответе агента, таких как [1], [2], или цитаты в стиле гиперссылок. Он проверяет, правильно ли агент приписывает свои утверждения источникам. Установите пороговое значение на ожидаемое количество цитат.
- По умолчанию включено: Нет
- Масштаб:>= 0 (счет)
- Пороговое значение по умолчанию: 1
-
Обязательные для заполнения поля:
prompt - Требуется наземная достоверность: Нет
Оценка равна количеству цитирований, и по умолчанию требуется минимум 1 цитата.
Параметры конфигурации цитат
| Параметр | Type (Тип) | Обязательный | Описание |
|---|---|---|---|
citation_format |
строка | Нет | Указывает ожидаемый формат цитирования, например "mixed". |
Пример набора данных "Цитаты"
{
"schemaVersion": "1.6.0",
"items": [
{
"prompt": "What is our return policy?",
"expected_response": "Our return policy allows returns within 30 days [1].",
"evaluators": {
"Citations": {
"threshold": 2,
"citation_format": "mixed"
}
}
}
]
}
Частичный матч
Оценщик PartialMatch измеряет степень текстового перекрытия между ответом агента и expected_response сходством на уровне маркеров (аналогично подходу с оценкой F1). Этот анализатор полезен, если ожидается, что ответ будет содержать ключевые фразы или сведения из ожидаемого ответа, но не нужно дословное совпадение.
- По умолчанию включено: Нет
- Масштаб: 0.0-1.0
- Пороговое значение по умолчанию: 0,5
-
Обязательные для заполнения поля:
prompt,expected_response - Требуется наземная достоверность: Нет
Оценка варьируется от 0,0 (без перекрытия) до 1,0 (полное совпадение).
Пример набора данных PartialMatch
{
"schemaVersion": "1.6.0",
"items": [
{
"prompt": "Who is the CEO of Contoso?",
"expected_response": "The CEO of Contoso is Jane Smith.",
"evaluators": {
"PartialMatch": {}
}
}
]
}
ExactMatch
Средство оценивания ExactMatch выполняет прямое сравнение строк между ответом агента и настроенным expected_response. Он возвращает логический проход или ошибку: либо ответ точно совпадает, либо нет. Этот инструмент оценивания полезен для подсказок с детерминированными или шаблонными ожидаемыми ответами.
- По умолчанию включено: Нет
- Масштаб: Логическое значение (пройдено или не пройдено)
- Пороговое значение по умолчанию: Н/Д
-
Обязательные для заполнения поля:
prompt,expected_response - Требуется наземная достоверность: Нет
Параметры конфигурации ExactMatch
| Параметр | Type (Тип) | Обязательный | Описание |
|---|---|---|---|
case_sensitive |
логическое значение | Нет | Управляет регистром при сравнении. Значение по умолчанию — true. |
Пример набора данных ExactMatch
{
"schemaVersion": "1.6.0",
"items": [
{
"prompt": "What is 2 + 2?",
"expected_response": "4",
"evaluators": {
"ExactMatch": { "case_sensitive": false }
}
}
]
}