Справочник по оценкам Microsoft 365 Copilot Интерфейс интерфейса командной строки

Интерфейс командной строки оценки Microsoft 365 Copilot включает оценщиков, которые оценивают ответы и проверяют поведение среды выполнения. Каждый оценщик измеряет различные аспекты качества, от семантической релевантности до выполнения вызова инструмента. В этой статье описывается поведение при оценке, параметры конфигурации и использование в тестовых наборах данных.

Дополнительные сведения о настройке оценщиков в наборах данных см. в разделе Настройка оценщиков.

Схему набора данных для оценки можно найти в формате JSON Schema на сайте GitHub.

Примечание

Для оценщиков вызова инструмента требуется интерфейс командной строки версии 2 (preview) и схема версии 2. Они недоступны в интерфейсе командной строки версии 1 (latest). В других примерах в этой статье используется схема версии 1.

Сводка по инструменту оценивания

В следующей таблице перечислены все доступные средства оценивания.

Оценщик Type (Тип) Масштаб Пороговое значение по умолчанию Включено по умолчанию Обязательные для заполнения поля
Релевантность На основе LLM 1-5 3 Да prompt
Согласованность На основе LLM 1-5 3 Да prompt
Заземленность На основе LLM 1-5 3 Нет prompt
Сходство На основе LLM 1-5 3 Нет prompt, expected_response
RetrievalQuery Не магистр права "Пройдено/не пройдено" Н/Д Нет prompt, конфигурация оценщика
RetrievalResult Не магистр права Пропорциональный 1,0 Нет prompt, конфигурация оценщика
ToolCallSelection (ознакомительная версия 2) Не магистр права Прошел/не пройден/ошибся 1.0, исправлено Нет prompt, calls[].tool, телеметрия выбранных функций
ToolCallExecution (предварительная версия 2) Не магистр права Прошел/не пройден/ошибся 1.0, исправлено Нет prompt, calls[].tool, выполнение телеметрии с результатами HTTP
Ссылки На основе количества >= 0 1 Нет prompt
Частичный матч Соответствие строки 0.0-1.0 0,5 Нет prompt, expected_response
ExactMatch Соответствие строки логический Н/Д Нет prompt, expected_response

Средства оценивания на основе LLM

Оценщики на основе LLM используют модель OpenAI Azure в проекте Microsoft Foundry (настроенную с помощью переменных среды) для оценки качества отклика агента. Эти средства оценивания работают на платформе пакета SDK для оценки ИИ Azure. Оценки варьируются от 1 до 5 баллов по шкале Ликерта, где более высокие значения указывают на лучшее качество. По умолчанию для сдачи требуется оценка 3 или выше. Вы можете изменить требуемый балл в конфигурации теста.

Релевантность

Оценщик релевантности оценивает, насколько хорошо ответ агента соответствует запросу пользователя. Он оценивает, является ли ответ прямым и полным ответом на заданный вопрос.

  • По умолчанию включено: Нет
  • Шкала: 1-5 (Ликерт)
  • Пороговое значение по умолчанию: 3
  • Обязательные для заполнения поля:prompt
  • Требуется наземная достоверность: Нет

Оценщику релевантности не требуется — expected_response он оценивает связь между запросом и ответом.

Пример набора данных Relevance

{
  "schemaVersion": "1.6.0",
  "default_evaluators": {
    "Relevance": {}
  },
  "items": [
    {
      "prompt": "What are the key features of our enterprise plan?",
      "expected_response": "The enterprise plan includes advanced security, unlimited storage, 24/7 support, and custom integrations."
    }
  ]
}

Согласованность

Оценщик когерентности измеряет логическое и упорядоченное представление идей в ответе агента. Он оценивает, есть ли в ответе четкие связи между предложениями, соответствующие переходы и логическая последовательность идей, которую легко проследить.

  • По умолчанию включено: Нет
  • Шкала: 1-5 (Ликерт)
  • Пороговое значение по умолчанию: 3
  • Обязательные для заполнения поля:prompt
  • Требуется наземная достоверность: Нет

Пример набора данных Coherence

{
  "schemaVersion": "1.6.0",
  "default_evaluators": {
    "Coherence": {}
  },
  "items": [
    {
      "prompt": "Explain the process for submitting an expense report.",
      "expected_response": "To submit an expense report, first collect your receipts. Then open the expense portal, create a new report, attach your receipts, and submit for manager approval."
    }
  ]
}

Заземленность

Оценщик заземления проверяет, согласуется ли ответ агента с предоставленным контекстом заземления и поддерживается ли он. Он фокусируется на точности, проверяя, что ответ не содержит утверждений или сведений, выходящих за рамки того, что подтверждают полученные документы.

  • По умолчанию включено: Нет
  • Шкала: 1-5 (Ликерт)
  • Пороговое значение по умолчанию: 3
  • Обязательные для заполнения поля:prompt, expected_response
  • Требуется наземная достоверность: Нет

Используйте инструмент оценки заземленности для обнаружения галлюцинаций или необоснованных утверждений в ответах вашего агента.

Пример набора данных Groundedness

{
  "schemaVersion": "1.6.0",
  "default_evaluators": {
    "Relevance": {},
    "Groundedness": {}
  },
  "items": [
    {
      "prompt": "What is our company's remote work policy?",
      "expected_response": "Employees can work remotely up to 3 days per week with manager approval."
    }
  ]
}

Сходство

Оценщик сходства измеряет степень семантического сходства между ответом агента и предоставленной expected_response (базовой истиной). В отличие от метрик с перекрытием маркеров, таких как F1 или Bilingual Evaluation Understudy (BLEU), он фокусируется на значении и более широком контексте, а не на поверхностных совпадениях слов.

  • По умолчанию включено: Нет
  • Шкала: 1-5 (Ликерт)
  • Пороговое значение по умолчанию: 3
  • Обязательные для заполнения поля:prompt, expected_response
  • Требуется наземная достоверность: Нет

Вам необходимо настроить expected_response элементы набора данных для оценщика сходства.

Пример набора данных о сходстве

{
  "schemaVersion": "1.6.0",
  "default_evaluators": {
    "Similarity": {}
  },
  "items": [
    {
      "prompt": "What is Microsoft Graph?",
      "expected_response": "Microsoft Graph is a unified API endpoint that provides access to data and intelligence in Microsoft 365 services."
    }
  ]
}

Анализаторы извлечения

Оценщики извлечения проверяют конвейер сквозного извлечения агента Microsoft 365 Copilot. Они проверяют, как агент преобразует запросы пользователя в операции извлечения и отображаются ли в результатах ожидаемые ресурсы. Эти оценщики не используют судью LLM — они выполняют детерминированные проверки данных выполнения извлечения.

RetrievalQuery

Оценщик RetrievalQuery проверяет, правильно ли Copilot преобразовал намерение пользователя в запросы на извлечение. Он проверяет queryString значения внутри нормализованного retrieval_executions[] и проверяет их соответствие ожидаемым шаблонам.

  • По умолчанию включено: Нет
  • Масштаб: "Пройдено/не пройдено"
  • Пороговое значение по умолчанию: Н/Д
  • Обязательные поля:prompt, конфигурация оценщика
  • Требуется наземная достоверность: Нет

Параметры конфигурации RetrievalQuery

Параметр Type (Тип) Обязательный Описание
capability строка Да Возможность извлечения для определения областей проверяемых выполнений (например, "OneDriveAndSharePoint", "Email""GraphConnectors", ).
selector строка Да Подстрока без учета регистра, используемая для идентификации целевого запроса при выполнениях извлечения.
includes строка Да Подстроки, которые ДОЛЖНЫ присутствовать в сопоставленном запросе.
excludes строка Да Подстроки, которые НЕ ДОЛЖНЫ присутствовать в сопоставленном запросе.

Пример набора данных RetrievalQuery

{
  "schemaVersion": "1.6.0",
  "items": [
    {
      "prompt": "Find the Q4 sales report in SharePoint",
      "expected_response": "Here is the Q4 sales report.",
      "evaluators": {
        "RetrievalQuery": {
          "capability": "OneDriveAndSharePoint",
          "selector": "Q4 sales report",
          "includes": ["projections", "profit"],
          "excludes": ["FileType:OneNote"]
        }
      }
    }
  ]
}

RetrievalResult

Оценщик RetrievalResult проверяет, действительно ли ожидаемые ресурсы отображаются в документах, сообщениях и элементах, возвращаемых при получении. Он проверяет, присутствуют ли определенные текстовые фрагменты в извлеченных извлечениях в пределах настраиваемого порога ранга.

  • По умолчанию включено: Нет
  • Масштаб: Пропорциональный (0,0-1,0)
  • Пороговое значение по умолчанию: 1.0 (все проверки должны быть пройдены)
  • Обязательные поля:prompt, конфигурация оценщика
  • Требуется наземная достоверность: Нет

Оценка пропорциональна количеству найденных ожидаемых элементов. Например, если найдено 2 из 3 ожидаемых элементов, оценка будет равна 0,67. Однако для успешного прохождения всех проверок требуется (порог всегда равен 1,0). Необходимо настроить хотя бы одно из этих сочетаний expected_items или min_expected_count.

Параметры конфигурации RetrievalResult

Параметр Type (Тип) Обязательный Описание
expected_items массив Условное условие Массив объектов, обозначающий ожидаемые результаты. Каждый объект может включать retrievalExtract_contains (текстовый фрагмент для сопоставления при извлечении результатов). Необходимо настроить хотя бы одно из этих сочетаний expected_items или min_expected_count.
expected_items[].retrievalExtract_contains строка Нет Фрагмент текста, который должен отображаться в извлеченном фрагменте обращения.
min_expected_count целое число Условное условие Минимальное количество результатов, которые необходимо извлечь. Необходимо настроить хотя бы одно из этих сочетаний expected_items или min_expected_count.
max_rank целое число Нет Максимальная позиция ранга, которую следует учитывать при сопоставлении ожидаемых элементов. Значение по умолчанию — 10.

Пример набора данных RetrievalResult

{
  "schemaVersion": "1.6.0",
  "items": [
    {
      "prompt": "Find recent emails about the Contoso project",
      "expected_response": "Here are the recent emails about the Contoso project.",
      "evaluators": {
        "RetrievalResult": {
          "expected_items": [
            { "retrievalExtract_contains": "update" },
            { "retrievalExtract_contains": "budget" }
          ],
          "max_rank": 5,
          "min_expected_count": 2
        }
      }
    }
  ]
}

Обработчики вызовов инструментов

Оценщики вызова инструмента используют диагностику среды выполнения (сведения для разработчиков) для проверки выбора средства и результатов выполнения HTTP. Они детерминированы, не используют судью LLM и не требуют expected_response.

  • ToolCallSelection проверяет, были ли выбраны ожидаемые идентификаторы инструментов, игнорируя порядок и дубликаты. Вы можете отклонить другие выборки.
  • ToolCallExecution проверяет наличие отдельного успешного выполнения HTTP (состояния 200–299) для каждого ожидаемого вызова. Повторите удостоверение, чтобы запросить несколько успешных выполнений.

Ни один из оценщиков не устанавливает качество ответа или бизнес-правильность. Используйте средства оценки ответов наряду с проверками вызова инструментов, если вам нужно и то, и другое. Сведения о настройке, согласии, примерах и интерпретации результатов см. в статье "Оценщики вызова инструмента".

Строковые и количественные вычислители

Эти вычислители используют детерминированное сопоставление строк или логику подсчета. Они не требуют LLM и запускаются локально.

Ссылки

Обработчик ссылок подсчитывает количество ссылок на цитаты в ответе агента, таких как [1], [2], или цитаты в стиле гиперссылок. Он проверяет, правильно ли агент приписывает свои утверждения источникам. Установите пороговое значение на ожидаемое количество цитат.

  • По умолчанию включено: Нет
  • Масштаб:>= 0 (счет)
  • Пороговое значение по умолчанию: 1
  • Обязательные для заполнения поля:prompt
  • Требуется наземная достоверность: Нет

Оценка равна количеству цитирований, и по умолчанию требуется минимум 1 цитата.

Параметры конфигурации цитат

Параметр Type (Тип) Обязательный Описание
citation_format строка Нет Указывает ожидаемый формат цитирования, например "mixed".

Пример набора данных "Цитаты"

{
  "schemaVersion": "1.6.0",
  "items": [
    {
      "prompt": "What is our return policy?",
      "expected_response": "Our return policy allows returns within 30 days [1].",
      "evaluators": {
        "Citations": {
          "threshold": 2,
          "citation_format": "mixed"
        }
      }
    }
  ]
}

Частичный матч

Оценщик PartialMatch измеряет степень текстового перекрытия между ответом агента и expected_response сходством на уровне маркеров (аналогично подходу с оценкой F1). Этот анализатор полезен, если ожидается, что ответ будет содержать ключевые фразы или сведения из ожидаемого ответа, но не нужно дословное совпадение.

  • По умолчанию включено: Нет
  • Масштаб: 0.0-1.0
  • Пороговое значение по умолчанию: 0,5
  • Обязательные для заполнения поля:prompt, expected_response
  • Требуется наземная достоверность: Нет

Оценка варьируется от 0,0 (без перекрытия) до 1,0 (полное совпадение).

Пример набора данных PartialMatch

{
  "schemaVersion": "1.6.0",
  "items": [
    {
      "prompt": "Who is the CEO of Contoso?",
      "expected_response": "The CEO of Contoso is Jane Smith.",
      "evaluators": {
        "PartialMatch": {}
      }
    }
  ]
}

ExactMatch

Средство оценивания ExactMatch выполняет прямое сравнение строк между ответом агента и настроенным expected_response. Он возвращает логический проход или ошибку: либо ответ точно совпадает, либо нет. Этот инструмент оценивания полезен для подсказок с детерминированными или шаблонными ожидаемыми ответами.

  • По умолчанию включено: Нет
  • Масштаб: Логическое значение (пройдено или не пройдено)
  • Пороговое значение по умолчанию: Н/Д
  • Обязательные для заполнения поля:prompt, expected_response
  • Требуется наземная достоверность: Нет

Параметры конфигурации ExactMatch

Параметр Type (Тип) Обязательный Описание
case_sensitive логическое значение Нет Управляет регистром при сравнении. Значение по умолчанию — true.

Пример набора данных ExactMatch

{
  "schemaVersion": "1.6.0",
  "items": [
    {
      "prompt": "What is 2 + 2?",
      "expected_response": "4",
      "evaluators": {
        "ExactMatch": { "case_sensitive": false }
      }
    }
  ]
}