Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Оценщики вызова инструмента проверяют диагностику времени выполнения (сведения для разработчиков), чтобы проверить выбор средства и результаты выполнения HTTP. Они детерминированы, не используют судью LLM, не оценивают текст ответа и не требуют expected_response.
Примечание
Оценщикам вызовов инструментов требуется интерфейс командной строки Microsoft 365 Copilot версии 2 (preview) и схема версии 2. Они недоступны в интерфейсе командной строки версии 1 (latest).
| Оценщик | Чеки | Масштаб | Пороговое значение | Включено по умолчанию |
|---|---|---|---|---|
| ToolCallSelection | Выбраны ли ожидаемые идентификаторы инструментов | Прошел/не пройден/ошибся | 1.0, исправлено | Нет |
| ToolCallExecution | Указывает, имеет ли каждый ожидаемый вызов отдельное успешное выполнение HTTP | Прошел/не пройден/ошибся | 1.0, исправлено | Нет |
Общую настройку набора данных см. в статье Настройка оценщиков.
Настройка интерфейса командной строки предварительного просмотра
Следуйте предварительным требованиям к клиенту и среде выполнения в кратком руководстве. Конфигурация оценки Microsoft Foundry не требуется, если вы запускаете только детерминированные средства оценивания.
Установите ознакомительную версию выпуска и примите условия лицензии:
npm install -g @microsoft/m365-copilot-eval@preview
runevals accept-eula
Установите TENANT_ID для клиента Microsoft 365 в среде оценки. Для развернутого декларативного агента передается при --m365-agent-id "<your-agent-id>" запуске набора данных.
Для оценки автономного подключаемого модуля сначала подготовьте и включите подключаемый модуль в Microsoft 365 Copilot, а затем выполните все необходимые входы соединителя в Copilot. Если не настроен идентификатор агента, предварительная версия 2 оценивает чат Copilot. Храните и храните M365_AGENT_ID устаревшие файлы AGENT_ID вне оболочки и загружаете файлы среды для этих запусков. Таким образом оцениваются ответы Copilot, использующие доступный плагин, а не конечная точка плагина в отдельности.
Установка любого из тегов выпуска npm заменяет глобальную runevals команду. Чтобы вернуться к версии 1, переустановите @microsoft/m365-copilot-eval@latest.
Разрешить вызовы инструментов
Если инструмент требует подтверждения, настройте ожидания как для утверждения, так и для оценщика.
default_allowed_tools на уровне документа и allowed_tools для каждого запроса или очереди позвольте CLI утверждать запросы инструментального подтверждения. Необходимо разрешить каждый идентификатор запрошенного согласия. В противном случае запрос остановится с ошибкой toolCallNotAllowed .
Важно
Разрешение звонка дает согласие. Проверьте операции, которые вы утверждаете, и начните со сценариев только для чтения. Ожидание не дает согласия; Утверждение не требует выбора или подтверждения выполнения. Средства, не запрашивающие подтверждение, не контролируются этим списком, поэтому он не является границей безопасности.
Идентификаторы согласия отличаются от calls[].tool удостоверений. Не разделяйте идентификаторы согласия для заполнения полей идентификаторов оценщика.
Поиск имен вызовов инструментов
Для декларативных агентов используйте для runevals --list-tools перечисления идентификаторов согласия и готовых к копированию идентификаторов оценщика. Набор средств агентов Microsoft 365 также может проверять сведения о запуске полученного агента. Для автономных подключаемых модулей не поддерживается; --list-tools вместо этого создайте идентификаторы согласия из манифеста приложения.
Декларативные агенты
# List consent identifiers and evaluator identities for declarative agent actions.
npx -y --package @microsoft/m365-copilot-eval@preview runevals --list-tools "<your-agent-id>"
# Alternatively, inspect launch information with Agents Toolkit.
# Use the package Title ID without the .declarativeAgent suffix.
atk launchinfo --title-id "<your-title-id>"
Динамически обнаруживаемые средства могут не отображаться в списке. После оценки вызова инструмента подтвердите их личности в отчете diagnostics.tool_callsJSON .
Для использования набора средств агентов требуется доступ к приложению и отдельный вход в Microsoft 365 (atk auth login m365). Его учетная запись может отличаться от учетной записи, используемой для оценки.
Автономные подключаемые модули
Создайте каждый идентификатор согласия из манифеста приложения вашего плагина (agentConnectors[]) следующим образом:
<connector display name with only A-Z, a-z, and 0-9 retained>_<function name>
Консервировать оболочку. Удалите пробелы, дефисы, символы подчеркивания, знаки препинания и символы, отличные от ASCII, только из отображаемого имени соединителя. Имя функции оставьте без изменений.
| Отображаемое имя соединителя | Функция |
allowed_tools запись |
|---|---|---|
Contoso Catalog |
get_product |
ContosoCatalog_get_product |
Contoso Catalog-Tools_1! |
get_product |
ContosoCatalogTools1_get_product |
Кроме того, можно запустить вычисление один раз: если инструмент требует согласия и не разрешен, сообщение о результате включает его имя.
Удостоверение вызова средства
Все три поля идентификаторов обязательны для заполнения внутри calls[].tool:
| Поле | Тип | Описание |
|---|---|---|
plugin_id |
строка | Скопируйте M365_TITLE_ID файл среды развернутого агента или плагина, например env\.env.local. Это идентификатор продукта (plugin.titleIdв разделе сведений для разработчиков), а неplugin.id Требуется даже в том случае, если интерфейс командной строки уже нацелен на этот декларативный агент. |
toolset_id |
строка | Для действия декларативного агента используйте его actions[].id в манифесте декларативного агента. Для автономного подключаемого модуля используйте его agentConnectors[].id в манифесте приложения. |
function_name |
строка | Имя функции, определенное вашим плагином, например get_product. Консервировать оболочку; об этом сообщается в functionDisplayName разделе "Сведения для разработчиков". |
Кортеж (plugin_id, toolset_id, function_name) однозначно идентифицирует инструмент. При сопоставлении учитывается регистр. Используйте идентификаторы действий или соединителей, а не отображаемые имена. Например:
{
"plugin_id": "T_1234",
"toolset_id": "catalog",
"function_name": "get_product"
}
Конфигурация оценщика
Настройте следующие параметры в ToolCallSelection разделе или ToolCallExecution в default_evaluators, или в объекте evaluators элемента или хода:
| Параметр | Type (Тип) | Обязательный | Описание |
|---|---|---|---|
calls |
массив | Да | Непустой список ожидаемых выборок или выполнений. |
calls[].id |
строка | Нет | Непустая, локальная диагностическая метка оценщика; не идентификатор вызова среды выполнения. Используйте уникальные метки для каждого утверждения. |
calls[].tool |
объект | Да | Все три поля из идентификатора вызова инструмента. |
allow_additional_calls |
логическое значение | Нет | Только ToolCallSelection. Значение по умолчанию — true. Настроено на отклонение false любых дополнительных выбранных удостоверений, включая неидентифицированные выбранные элементы. |
ToolCallSelection
ToolCallSelection проверяет набор ожидаемых идентификаторов инструмента, игнорируя порядок и дубликаты. Она не проверяет успешность выполнения или количество вызовов.
Пример набора данных ToolCallSelection
Сохраните этот набор данных как evals\tool-selection.json. Замените образцы удостоверений и идентификатора согласия своими собственными:
{
"schemaVersion": "2.0.0",
"default_allowed_tools": ["ContosoCatalog_get_product"],
"default_evaluators": {
"ToolCallSelection": {
"calls": [
{
"tool": {
"plugin_id": "T_1234",
"toolset_id": "catalog",
"function_name": "get_product"
}
}
],
"allow_additional_calls": false
}
},
"items": [
{
"prompt": "Find product SKU-123 in the Contoso Catalog."
}
]
}
Запуск против развернутого декларативного агента:
runevals --m365-agent-id "<your-agent-id>" --prompts-file evals\tool-selection.json --output results\tool-selection.json
Для автономного подключаемого модуля пропустите --m365-agent-id и убедитесь, что идентификатор агента не настроен, как описано в разделе "Настройка интерфейса командной строки предварительного просмотра".
Следующие результаты предполагают plugin_id и toolset_id соответствуют примеру.
| Наблюдаемые выборки | Результат в этом примере |
|---|---|
get_product, включая повторяющиеся записи |
Зачет |
get_product и еще одна функция |
Ошибка: дополнительный выбор |
Нет выбранных функций ([]) |
Ошибка: отсутствует необходимый выбор |
Недоступная телеметрия (null) |
Ошибка |
ToolCallExecution
ToolCallExecution требует отдельного выполнения соответствия с целочисленным состоянием HTTP 200-299 для каждой записи в calls. Повторите удостоверение, чтобы запросить несколько успешных выполнений.
Допускаются дополнительные попытки, включая неудачные попытки. Успех HTTP сам по себе не устанавливает бизнес-правильность или качество ответов.
Пример набора данных ToolCallExecution
Сохраните этот набор данных и evals\tool-execution.json замените образцы удостоверений и идентификатора согласия своими собственными:
{
"schemaVersion": "2.0.0",
"default_evaluators": {
"ToolCallExecution": {
"calls": [
{
"id": "first-lookup",
"tool": {
"plugin_id": "T_1234",
"toolset_id": "catalog",
"function_name": "get_product"
}
},
{
"id": "second-lookup",
"tool": {
"plugin_id": "T_1234",
"toolset_id": "catalog",
"function_name": "get_product"
}
}
]
}
},
"items": [
{
"prompt": "Look up products SKU-123 and SKU-456 individually in the Contoso Catalog.",
"allowed_tools": ["ContosoCatalog_get_product"]
}
]
}
Запустите набор данных с той же целевой конфигурацией, что и в примере выбора:
runevals --m365-agent-id "<your-agent-id>" --prompts-file evals\tool-execution.json --output results\tool-execution.json
| Наблюдаемые совпадающие результаты HTTP | Результат в этом примере |
|---|---|
200, 200 |
Зачет |
500, 200, 200 |
Пас: два успеха, несмотря на неудачную попытку |
200 |
Неудача: только один успех |
200, неизвестен |
Ошибка: неизвестный результат может удовлетворить второй вызов |
В этом примере проверяются два успешных вызова, а не используемые идентификаторы продуктов. Каждое ожидание требует отдельного исполнения; Одно выполнение не может удовлетворить и то, и другое.
Интерпретация результатов
Используйте эти правила, чтобы отличить сбои от ошибок оценщика:
| Наблюдение | Result (Результат) |
|---|---|
| Все ожидаемые исходы присутствуют, и выполняются правила для дополнительных выборов | Отбор проходов |
| Обязательный выбор отсутствует в авторитетном списке | Сбой выбора |
| Достаточно разных выполнений HTTP 2xx соответствуют всем ожидаемым идентификаторам | Проходы выполнения |
| Отсутствует ожидаемое удостоверение выполнения или подтвержденные результаты делают невозможным требуемый подсчет успешных результатов | Сбой выполнения |
| Наблюдаемый вызов имеет неполную идентичность | Не зачислено ни на один ожидаемый звонок |
| Недоступна обязательная телеметрия, несколько артефактов Developer Info блокируют авторитетную snapshot, или неанализируемые результаты HTTP могут изменить вердикт | Ошибка обработчика: toolCallEvidenceIndeterminate |
Определенная неудача имеет приоритет, если неизвестные доказательства не могут оправдать все ожидания. Нечитаемые дополнительные попытки не обесценивают достаточное количество подтвержденных успехов.
Pass = 1.0; fail = 0.0. Ошибки опускаются score и threshold; они не являются проходами или обязательно агентными дефектами. Ключи оценки JSON и toolCallSelectiontoolCallExecution:
{
"scores": {
"toolCallSelection": {
"score": 1.0,
"result": "pass",
"threshold": 1.0,
"reason": "All expected tool functions were selected."
},
"toolCallExecution": {
"result": "error",
"error": "Developer Info execution telemetry is unavailable.",
"code": "toolCallEvidenceIndeterminate"
}
}
}
Диагностика и оценка с сохраненными ответами
| Вывод | Свидетельство вызова средства |
|---|---|
| JSON | diagnostics.tool_calls |
| CSV-файл | Полный сериализованный объект диагностики |
| HTML / консоль | Диагностика вызовов с помощью инструмента "Выборки" и результатов HTTP |
Отображение выделения дедуплицирует идентификаторы; Диагностика выполнения сохраняет все попытки.
null означает недоступные доказательства; [] означает авторитетное наблюдение за отсутствием криков.
Переоценивайте сохраненные выбранные фрагменты и результаты выполнения без выполнения запросов. Каждый сохраненный элемент или ход должен включать в responseсебя:
npx -y --package @microsoft/m365-copilot-eval@preview runevals --evaluate-only results\captured-tool-calls.json --output results\rescored.html
Предупреждение
Результаты диагностики могут содержать конфиденциальные сведения об инструменте и его выполнении.
EVALS_SUPPRESS_DIAGNOSTICS=trueПропуск сохраненной диагностики.
Он не редактирует запросы, ответы, параметры оценщика или встроенные сообщения проверки. Просмотрите артефакты, прежде чем предоставить общий доступ. Скрытые доказательства недоступны для воспроизведения.