Оценщики вызовов инструментов для Microsoft 365 Copilot Evaluations CLI

Оценщики вызова инструмента проверяют диагностику времени выполнения (сведения для разработчиков), чтобы проверить выбор средства и результаты выполнения HTTP. Они детерминированы, не используют судью LLM, не оценивают текст ответа и не требуют expected_response.

Примечание

Оценщикам вызовов инструментов требуется интерфейс командной строки Microsoft 365 Copilot версии 2 (preview) и схема версии 2. Они недоступны в интерфейсе командной строки версии 1 (latest).

Оценщик Чеки Масштаб Пороговое значение Включено по умолчанию
ToolCallSelection Выбраны ли ожидаемые идентификаторы инструментов Прошел/не пройден/ошибся 1.0, исправлено Нет
ToolCallExecution Указывает, имеет ли каждый ожидаемый вызов отдельное успешное выполнение HTTP Прошел/не пройден/ошибся 1.0, исправлено Нет

Общую настройку набора данных см. в статье Настройка оценщиков.

Настройка интерфейса командной строки предварительного просмотра

Следуйте предварительным требованиям к клиенту и среде выполнения в кратком руководстве. Конфигурация оценки Microsoft Foundry не требуется, если вы запускаете только детерминированные средства оценивания.

Установите ознакомительную версию выпуска и примите условия лицензии:

npm install -g @microsoft/m365-copilot-eval@preview
runevals accept-eula

Установите TENANT_ID для клиента Microsoft 365 в среде оценки. Для развернутого декларативного агента передается при --m365-agent-id "<your-agent-id>" запуске набора данных.

Для оценки автономного подключаемого модуля сначала подготовьте и включите подключаемый модуль в Microsoft 365 Copilot, а затем выполните все необходимые входы соединителя в Copilot. Если не настроен идентификатор агента, предварительная версия 2 оценивает чат Copilot. Храните и храните M365_AGENT_ID устаревшие файлы AGENT_ID вне оболочки и загружаете файлы среды для этих запусков. Таким образом оцениваются ответы Copilot, использующие доступный плагин, а не конечная точка плагина в отдельности.

Установка любого из тегов выпуска npm заменяет глобальную runevals команду. Чтобы вернуться к версии 1, переустановите @microsoft/m365-copilot-eval@latest.

Разрешить вызовы инструментов

Если инструмент требует подтверждения, настройте ожидания как для утверждения, так и для оценщика. default_allowed_tools на уровне документа и allowed_tools для каждого запроса или очереди позвольте CLI утверждать запросы инструментального подтверждения. Необходимо разрешить каждый идентификатор запрошенного согласия. В противном случае запрос остановится с ошибкой toolCallNotAllowed .

Важно

Разрешение звонка дает согласие. Проверьте операции, которые вы утверждаете, и начните со сценариев только для чтения. Ожидание не дает согласия; Утверждение не требует выбора или подтверждения выполнения. Средства, не запрашивающие подтверждение, не контролируются этим списком, поэтому он не является границей безопасности.

Идентификаторы согласия отличаются от calls[].tool удостоверений. Не разделяйте идентификаторы согласия для заполнения полей идентификаторов оценщика.

Поиск имен вызовов инструментов

Для декларативных агентов используйте для runevals --list-tools перечисления идентификаторов согласия и готовых к копированию идентификаторов оценщика. Набор средств агентов Microsoft 365 также может проверять сведения о запуске полученного агента. Для автономных подключаемых модулей не поддерживается; --list-tools вместо этого создайте идентификаторы согласия из манифеста приложения.

Декларативные агенты

# List consent identifiers and evaluator identities for declarative agent actions.
npx -y --package @microsoft/m365-copilot-eval@preview runevals --list-tools "<your-agent-id>"

# Alternatively, inspect launch information with Agents Toolkit.
# Use the package Title ID without the .declarativeAgent suffix.
atk launchinfo --title-id "<your-title-id>"

Динамически обнаруживаемые средства могут не отображаться в списке. После оценки вызова инструмента подтвердите их личности в отчете diagnostics.tool_callsJSON .

Для использования набора средств агентов требуется доступ к приложению и отдельный вход в Microsoft 365 (atk auth login m365). Его учетная запись может отличаться от учетной записи, используемой для оценки.

Автономные подключаемые модули

Создайте каждый идентификатор согласия из манифеста приложения вашего плагина (agentConnectors[]) следующим образом:

<connector display name with only A-Z, a-z, and 0-9 retained>_<function name>

Консервировать оболочку. Удалите пробелы, дефисы, символы подчеркивания, знаки препинания и символы, отличные от ASCII, только из отображаемого имени соединителя. Имя функции оставьте без изменений.

Отображаемое имя соединителя Функция allowed_tools запись
Contoso Catalog get_product ContosoCatalog_get_product
Contoso Catalog-Tools_1! get_product ContosoCatalogTools1_get_product

Кроме того, можно запустить вычисление один раз: если инструмент требует согласия и не разрешен, сообщение о результате включает его имя.

Удостоверение вызова средства

Все три поля идентификаторов обязательны для заполнения внутри calls[].tool:

Поле Тип Описание
plugin_id строка Скопируйте M365_TITLE_ID файл среды развернутого агента или плагина, например env\.env.local. Это идентификатор продукта (plugin.titleIdв разделе сведений для разработчиков), а неplugin.id Требуется даже в том случае, если интерфейс командной строки уже нацелен на этот декларативный агент.
toolset_id строка Для действия декларативного агента используйте его actions[].id в манифесте декларативного агента. Для автономного подключаемого модуля используйте его agentConnectors[].id в манифесте приложения.
function_name строка Имя функции, определенное вашим плагином, например get_product. Консервировать оболочку; об этом сообщается в functionDisplayName разделе "Сведения для разработчиков".

Кортеж (plugin_id, toolset_id, function_name) однозначно идентифицирует инструмент. При сопоставлении учитывается регистр. Используйте идентификаторы действий или соединителей, а не отображаемые имена. Например:

{
  "plugin_id": "T_1234",
  "toolset_id": "catalog",
  "function_name": "get_product"
}

Конфигурация оценщика

Настройте следующие параметры в ToolCallSelection разделе или ToolCallExecution в default_evaluators, или в объекте evaluators элемента или хода:

Параметр Type (Тип) Обязательный Описание
calls массив Да Непустой список ожидаемых выборок или выполнений.
calls[].id строка Нет Непустая, локальная диагностическая метка оценщика; не идентификатор вызова среды выполнения. Используйте уникальные метки для каждого утверждения.
calls[].tool объект Да Все три поля из идентификатора вызова инструмента.
allow_additional_calls логическое значение Нет Только ToolCallSelection. Значение по умолчанию — true. Настроено на отклонение false любых дополнительных выбранных удостоверений, включая неидентифицированные выбранные элементы.

ToolCallSelection

ToolCallSelection проверяет набор ожидаемых идентификаторов инструмента, игнорируя порядок и дубликаты. Она не проверяет успешность выполнения или количество вызовов.

Пример набора данных ToolCallSelection

Сохраните этот набор данных как evals\tool-selection.json. Замените образцы удостоверений и идентификатора согласия своими собственными:

{
  "schemaVersion": "2.0.0",
  "default_allowed_tools": ["ContosoCatalog_get_product"],
  "default_evaluators": {
    "ToolCallSelection": {
      "calls": [
        {
          "tool": {
            "plugin_id": "T_1234",
            "toolset_id": "catalog",
            "function_name": "get_product"
          }
        }
      ],
      "allow_additional_calls": false
    }
  },
  "items": [
    {
      "prompt": "Find product SKU-123 in the Contoso Catalog."
    }
  ]
}

Запуск против развернутого декларативного агента:

runevals --m365-agent-id "<your-agent-id>" --prompts-file evals\tool-selection.json --output results\tool-selection.json

Для автономного подключаемого модуля пропустите --m365-agent-id и убедитесь, что идентификатор агента не настроен, как описано в разделе "Настройка интерфейса командной строки предварительного просмотра".

Следующие результаты предполагают plugin_id и toolset_id соответствуют примеру.

Наблюдаемые выборки Результат в этом примере
get_product, включая повторяющиеся записи Зачет
get_product и еще одна функция Ошибка: дополнительный выбор
Нет выбранных функций ([]) Ошибка: отсутствует необходимый выбор
Недоступная телеметрия (null) Ошибка

ToolCallExecution

ToolCallExecution требует отдельного выполнения соответствия с целочисленным состоянием HTTP 200-299 для каждой записи в calls. Повторите удостоверение, чтобы запросить несколько успешных выполнений.

Допускаются дополнительные попытки, включая неудачные попытки. Успех HTTP сам по себе не устанавливает бизнес-правильность или качество ответов.

Пример набора данных ToolCallExecution

Сохраните этот набор данных и evals\tool-execution.json замените образцы удостоверений и идентификатора согласия своими собственными:

{
  "schemaVersion": "2.0.0",
  "default_evaluators": {
    "ToolCallExecution": {
      "calls": [
        {
          "id": "first-lookup",
          "tool": {
            "plugin_id": "T_1234",
            "toolset_id": "catalog",
            "function_name": "get_product"
          }
        },
        {
          "id": "second-lookup",
          "tool": {
            "plugin_id": "T_1234",
            "toolset_id": "catalog",
            "function_name": "get_product"
          }
        }
      ]
    }
  },
  "items": [
    {
      "prompt": "Look up products SKU-123 and SKU-456 individually in the Contoso Catalog.",
      "allowed_tools": ["ContosoCatalog_get_product"]
    }
  ]
}

Запустите набор данных с той же целевой конфигурацией, что и в примере выбора:

runevals --m365-agent-id "<your-agent-id>" --prompts-file evals\tool-execution.json --output results\tool-execution.json
Наблюдаемые совпадающие результаты HTTP Результат в этом примере
200, 200 Зачет
500, 200, 200 Пас: два успеха, несмотря на неудачную попытку
200 Неудача: только один успех
200, неизвестен Ошибка: неизвестный результат может удовлетворить второй вызов

В этом примере проверяются два успешных вызова, а не используемые идентификаторы продуктов. Каждое ожидание требует отдельного исполнения; Одно выполнение не может удовлетворить и то, и другое.

Интерпретация результатов

Используйте эти правила, чтобы отличить сбои от ошибок оценщика:

Наблюдение Result (Результат)
Все ожидаемые исходы присутствуют, и выполняются правила для дополнительных выборов Отбор проходов
Обязательный выбор отсутствует в авторитетном списке Сбой выбора
Достаточно разных выполнений HTTP 2xx соответствуют всем ожидаемым идентификаторам Проходы выполнения
Отсутствует ожидаемое удостоверение выполнения или подтвержденные результаты делают невозможным требуемый подсчет успешных результатов Сбой выполнения
Наблюдаемый вызов имеет неполную идентичность Не зачислено ни на один ожидаемый звонок
Недоступна обязательная телеметрия, несколько артефактов Developer Info блокируют авторитетную snapshot, или неанализируемые результаты HTTP могут изменить вердикт Ошибка обработчика: toolCallEvidenceIndeterminate

Определенная неудача имеет приоритет, если неизвестные доказательства не могут оправдать все ожидания. Нечитаемые дополнительные попытки не обесценивают достаточное количество подтвержденных успехов.

Pass = 1.0; fail = 0.0. Ошибки опускаются score и threshold; они не являются проходами или обязательно агентными дефектами. Ключи оценки JSON и toolCallSelectiontoolCallExecution:

{
  "scores": {
    "toolCallSelection": {
      "score": 1.0,
      "result": "pass",
      "threshold": 1.0,
      "reason": "All expected tool functions were selected."
    },
    "toolCallExecution": {
      "result": "error",
      "error": "Developer Info execution telemetry is unavailable.",
      "code": "toolCallEvidenceIndeterminate"
    }
  }
}

Диагностика и оценка с сохраненными ответами

Вывод Свидетельство вызова средства
JSON diagnostics.tool_calls
CSV-файл Полный сериализованный объект диагностики
HTML / консоль Диагностика вызовов с помощью инструмента "Выборки" и результатов HTTP

Отображение выделения дедуплицирует идентификаторы; Диагностика выполнения сохраняет все попытки. null означает недоступные доказательства; [] означает авторитетное наблюдение за отсутствием криков.

Переоценивайте сохраненные выбранные фрагменты и результаты выполнения без выполнения запросов. Каждый сохраненный элемент или ход должен включать в responseсебя:

npx -y --package @microsoft/m365-copilot-eval@preview runevals --evaluate-only results\captured-tool-calls.json --output results\rescored.html

Предупреждение

Результаты диагностики могут содержать конфиденциальные сведения об инструменте и его выполнении. EVALS_SUPPRESS_DIAGNOSTICS=trueПропуск сохраненной диагностики.

Он не редактирует запросы, ответы, параметры оценщика или встроенные сообщения проверки. Просмотрите артефакты, прежде чем предоставить общий доступ. Скрытые доказательства недоступны для воспроизведения.