도구 호출 평가자는 런타임 진단(개발자 정보)을 검사하여 도구 선택 및 HTTP 실행 결과를 확인합니다. 결정론적이며 LLM 심사자를 사용하지 않으며 응답 텍스트를 판단하거나 expected_response요구하지 않습니다.
참고
도구 호출 평가기에는 Microsoft 365 Copilot 평가 CLI v2(preview) 및 스키마 v2가 필요합니다. CLI v1에서는 사용할 수 없습니다(latest).
| 평가자 | 검사 | Scale | 임계값 | 기본적으로 사용 |
|---|---|---|---|---|
| ToolCallSelection | 예상한 도구 ID가 선택되었는지 여부 | 통과/실패/오류 | 1.0, 고정됨 | 아니요 |
| ToolCallExecution | 예상되는 각 호출에 고유한 성공적인 HTTP 실행이 있는지 여부 | 통과/실패/오류 | 1.0, 고정됨 | 아니요 |
일반적인 데이터 세트 설정은 계산기 구성을 참조하세요.
미리 보기 CLI 설정
빠른 시작의 테넌트 액세스 및 런타임 필수 구성 요소를 따릅니다. 결정적 계산기만 실행하는 경우 Microsoft Foundry 점수 매기기 구성이 필요하지 않습니다.
미리 보기 릴리스를 설치하고 사용 조건에 동의합니다.
npm install -g @microsoft/m365-copilot-eval@preview
runevals accept-eula
평가 환경에서 Microsoft 365 테넌트에 대해 설정합니다 TENANT_ID . 배포된 선언적 에이전트의 경우 데이터 세트를 실행할 때 통과 --m365-agent-id "<your-agent-id>" 합니다.
독립 실행형 플러그 인 평가의 경우 먼저 Microsoft 365 Copilot에서 플러그 인을 프로비전 및 사용하도록 설정하고, Copilot에서 필요한 커넥터 로그인을 완료합니다. 구성된 에이전트 ID가 없는 경우 v2 미리 보기는 Copilot 채팅을 평가합니다.
M365_AGENT_ID 이러한 실행을 위해 셸 및 로드된 환경 파일을 레거시 AGENT_ID 에서 유지합니다. 이는 플러그 인 엔드포인트가 아니라 사용 가능한 플러그 인을 사용하는 Copilot 응답을 평가합니다.
npm 릴리스 태그를 설치하면 전역 runevals 명령이 대체됩니다. v1로 돌아가려면 를 다시 설치 @microsoft/m365-copilot-eval@latest합니다.
도구 호출 허용
도구에 확인이 필요한 경우 승인 및 평가자 기대치를 모두 구성합니다.
default_allowed_tools 문서 수준에서 프롬프트 또는 턴당 CLI allowed_tools 가 도구 확인 프롬프트를 승인하도록 합니다. 요청된 모든 동의 식별자가 허용되어야 합니다. 그렇지 않으면 프롬프트가 오류와 함께 toolCallNotAllowed 중지됩니다.
중요
통화를 허용하면 동의가 부여됩니다. 승인하는 작업을 검토하고 읽기 전용 시나리오로 시작합니다. 기대는 동의를 주지 않습니다. 승인은 선택을 강제하거나 실행을 증명하지 않습니다. 확인을 요청하지 않는 도구는 이 목록에 의해 제어되지 않으므로 보안 경계가 아닙니다.
동의 식별자는 ID와 calls[].tool 다릅니다. 동의 식별자를 분할하여 평가자 ID 필드를 채우지 마세요.
도구 호출 이름 찾기
선언적 에이전트의 경우 동의 식별자 및 복사 준비 평가자 ID를 나열하는 데 사용합니다 runevals --list-tools . Microsoft 365 에이전트 도구 키트는 획득한 에이전트의 시작 정보도 검사할 수 있습니다. 독립 실행형 플러그 인 --list-tools 의 경우 지원되지 않습니다. 대신 앱 매니페스트에서 동의 식별자를 구성하세요.
선언적 에이전트
# List consent identifiers and evaluator identities for declarative agent actions.
npx -y --package @microsoft/m365-copilot-eval@preview runevals --list-tools "<your-agent-id>"
# Alternatively, inspect launch information with Agents Toolkit.
# Use the package Title ID without the .declarativeAgent suffix.
atk launchinfo --title-id "<your-title-id>"
동적으로 검색된 도구는 나열되지 않을 수 있습니다. 도구 호출 평가 후 JSON 보고서의 에서 해당 ID를 확인합니다.diagnostics.tool_calls
에이전트 도구 키트에는 앱에 대한 액세스와 별도의 Microsoft 365 로그인이 필요합니다(atk auth login m365). 해당 계정은 평가에 사용되는 계정과 다를 수 있습니다.
독립 실행형 플러그 인
다음과 같이 플러그인의 앱 매니페스트(agentConnectors[])에서 각 동의 식별자를 구성합니다.
<connector display name with only A-Z, a-z, and 0-9 retained>_<function name>
대/소문자를 유지합니다. 연결선 표시 이름에서만 공백, 하이픈, 밑줄, 문장 부호 및 ASCII가 아닌 문자를 제거합니다. 함수 이름은 변경하지 않습니다.
| 커넥터 표시 이름 | 함수 이름 |
allowed_tools 엔트리 |
|---|---|---|
Contoso Catalog |
get_product |
ContosoCatalog_get_product |
Contoso Catalog-Tools_1! |
get_product |
ContosoCatalogTools1_get_product |
또는 평가를 한 번 실행합니다. 도구에 동의가 필요하고 허용되지 않는 경우 결과 메시지에 도구 이름이 포함됩니다.
도구 호출 ID
ID 필드 세 개는 모두 내부에 필요합니다.calls[].tool
| 필드 | 종류 | 설명 |
|---|---|---|
plugin_id |
String | 배포된 에이전트 또는 플러그 인 프로젝트의 환경 파일에서 복사 M365_TITLE_ID 합니다. 예를 들면 env\.env.local다음과 같습니다. 이 항목은 패키지 타이틀 ID(plugin.titleId 개발자 정보)가 아니라plugin.id 아닙니다. CLI가 이미 해당 선언적 에이전트를 대상으로 하는 경우에도 필요합니다. |
toolset_id |
문자열 | 선언적 에이전트 작업의 경우 선언적 에이전트 매니페스트에서 해당 작업을 actions[].id 사용합니다. 독립 실행형 플러그 인의 경우 앱 매니페스트에서 해당 플러그 인을 agentConnectors[].id 사용합니다. |
function_name |
문자열 | 플러그인에서 정의한 함수 이름입니다. 예를 들면 get_product다음과 같습니다. 케이스 보존; 이는 개발자 정보에서 보고됩니다 functionDisplayName . |
튜플 (plugin_id, toolset_id, function_name) 은 도구를 고유하게 식별합니다. 일치는 대/소문자를 구분합니다. 표시 이름이 아닌 작업 또는 커넥터 ID를 사용합니다. 예를 들면 다음과 같습니다.
{
"plugin_id": "T_1234",
"toolset_id": "catalog",
"function_name": "get_product"
}
계산기 구성
아래 또는 default_evaluatorsToolCallExecution 안에 있거나 항목이나 턴의 evaluators 개체에서 다음 옵션을 ToolCallSelection 구성합니다.
| 옵션 | Type(종류) | 필수 | 설명 |
|---|---|---|---|
calls |
array | 예 | 예상되는 선택 또는 실행의 비어 있지 않은 목록입니다. |
calls[].id |
문자열 | 아니요 | 비어 있지 않은 평가자-로컬 진단 레이블; 런타임 호출 ID가 아닙니다. 각 기대치에 고유한 레이블을 사용합니다. |
calls[].tool |
개체 | 예 | 도구 호출 ID의 세 필드 모두입니다. |
allow_additional_calls |
부울 | 아니요 | ToolCallSelection만 해당됩니다. 기본값은 true. 확인되지 않은 선택 항목을 포함하여 선택한 모든 추가 ID를 거부하려면 로 false 설정합니다. |
ToolCallSelection
ToolCallSelection 은 순서 및 중복을 무시하고 예상되는 도구 ID 집합을 확인합니다. 실행 성공 또는 호출 수를 확인하지 않습니다.
ToolCallSelection 샘플 데이터 세트
이 데이터 세트를 다른 이름으로 evals\tool-selection.json저장 샘플 ID 및 동의 식별자를 고유의 ID로 바꿉니다.
{
"schemaVersion": "2.0.0",
"default_allowed_tools": ["ContosoCatalog_get_product"],
"default_evaluators": {
"ToolCallSelection": {
"calls": [
{
"tool": {
"plugin_id": "T_1234",
"toolset_id": "catalog",
"function_name": "get_product"
}
}
],
"allow_additional_calls": false
}
},
"items": [
{
"prompt": "Find product SKU-123 in the Contoso Catalog."
}
]
}
배포된 선언적 에이전트에 대해 실행:
runevals --m365-agent-id "<your-agent-id>" --prompts-file evals\tool-selection.json --output results\tool-selection.json
독립 실행형 플러그인 시나리오의 경우 미리 보기 CLI 설정에 설명된 대로 에이전트 ID가 구성되지 않았는지 생략 --m365-agent-id 하고 확인합니다.
다음 결과는 예제를 가정 plugin_id 하고 toolset_id 일치합니다.
| 관찰된 선택 항목 | 이 샘플의 결과 |
|---|---|
get_product, 중복 항목 포함 |
통과 |
get_product 및 다른 함수 |
실패: 추가 선택 |
선택한 함수 없음 ([]) |
실패: 필수 선택 항목 누락 |
사용할 수 없는 원격 분석 (null) |
오류 |
ToolCallExecution
ToolCallExecution은 의 각 calls항목에 대해 정수 HTTP 상태 200-299를 갖는 고유한 일치 실행이 필요합니다. ID를 반복하여 여러 번의 성공적인 실행을 요구합니다.
실패한 재시도를 포함한 추가 시도가 허용됩니다. HTTP의 성공만으로는 비즈니스 정확성이나 답변의 품질을 입증할 수 없습니다.
ToolCallExecution 샘플 데이터 세트
이 데이터 세트를 다른 이름으로 evals\tool-execution.json 저장하고 샘플 ID 및 동의 식별자를 자신의 것으로 바꿉니다.
{
"schemaVersion": "2.0.0",
"default_evaluators": {
"ToolCallExecution": {
"calls": [
{
"id": "first-lookup",
"tool": {
"plugin_id": "T_1234",
"toolset_id": "catalog",
"function_name": "get_product"
}
},
{
"id": "second-lookup",
"tool": {
"plugin_id": "T_1234",
"toolset_id": "catalog",
"function_name": "get_product"
}
}
]
}
},
"items": [
{
"prompt": "Look up products SKU-123 and SKU-456 individually in the Contoso Catalog.",
"allowed_tools": ["ContosoCatalog_get_product"]
}
]
}
선택 예제와 동일한 대상 구성으로 데이터 세트를 실행합니다.
runevals --m365-agent-id "<your-agent-id>" --prompts-file evals\tool-execution.json --output results\tool-execution.json
| 관찰된 일치하는 HTTP 결과 | 이 샘플의 결과 |
|---|---|
200, 200 |
통과 |
500, 200, 200 |
통과: 실패한 시도에도 불구하고 두 번의 성공 |
200 |
실패: 한 번만 성공 |
200, 알 수 없음 |
오류: 알 수 없는 결과가 두 번째 호출을 충족할 수 있습니다. |
이 샘플에서는 사용된 제품 ID가 아닌 두 번의 성공한 호출을 확인합니다. 각각의 기대에는 뚜렷한 실행이 필요합니다. 한 번의 실행으로는 두 가지를 모두 만족할 수 없습니다.
결과 해석
다음 규칙을 사용하여 오류와 평가자 오류를 구별합니다.
| 관찰 | 결과 |
|---|---|
| 예상되는 모든 선택 영역이 있고 추가 선택 영역에 대한 규칙이 충족됩니다. | 선택 패스 |
| 신뢰할 수 있는 목록에서 필수 선택 항목이 없습니다. | 선택 실패 |
| 필요한 모든 ID와 일치하는 충분한 고유 HTTP 2xx 실행 | 실행 패스 |
| 예상된 실행 ID가 누락되었거나 확인된 결과로 인해 필요한 성공 횟수가 불가능합니다 | 실행 실패 |
| 관찰된 호출에 불완전한 ID가 있습니다. | 예상한 호출에 크레딧이 반영되지 않음 |
| 필요한 원격 분석을 사용할 수 없거나, 여러 개발자 정보 아티팩트로 인해 신뢰할 수 있는 스냅샷이 제공되지 않거나, 구문 분석할 수 없는 HTTP 결과로 인해 판정이 변경될 수 있습니다. | 계산기 오류: toolCallEvidenceIndeterminate |
알려지지 않은 증거가 모든 기대치를 충족시킬 수 없는 경우 확실한 실패가 우선합니다. 읽을 수 없는 추가 시도는 확인된 충분한 성공을 무효화하지 않습니다.
Pass = 1.0; fail = 0.0. 오류는 score 생략 및 threshold;통과하거나 반드시 에이전트 결함이 아닙니다. JSON 점수 키는 다음과 같습니다toolCallSelection.toolCallExecution
{
"scores": {
"toolCallSelection": {
"score": 1.0,
"result": "pass",
"threshold": 1.0,
"reason": "All expected tool functions were selected."
},
"toolCallExecution": {
"result": "error",
"error": "Developer Info execution telemetry is unavailable.",
"code": "toolCallEvidenceIndeterminate"
}
}
}
진단 및 저장된 응답 평가
| 출력 | 도구 호출 증명 정보 |
|---|---|
| JSON | diagnostics.tool_calls |
| CSV | 전체 직렬화된 진단 개체 |
| HTML / 콘솔 | 선택 항목 및 HTTP 결과를 사용한 도구 호출 진단 |
선택 표시는 ID의 중복을 제거합니다. 실행 진단은 모든 시도를 유지합니다.
null 사용할 수 없는 증거를 의미합니다. [] 호출이 없다는 권위 있는 관찰을 의미합니다.
프롬프트를 실행하지 않고 저장된 선택 항목 및 실행 결과의 점수를 다시 채점합니다. 저장된 각 항목 또는 턴에는 다음을 포함해야 합니다.response
npx -y --package @microsoft/m365-copilot-eval@preview runevals --evaluate-only results\captured-tool-calls.json --output results\rescored.html
경고
진단에는 중요한 도구 및 실행 세부 정보가 포함될 수 있습니다.
EVALS_SUPPRESS_DIAGNOSTICS=true유지된 진단을 생략합니다.
프롬프트, 응답, 평가자 옵션 또는 기본 유효성 검사 메시지를 수정하지 않습니다. 공유하기 전에 아티팩트를 검토합니다. 숨겨진 증거는 재생에 사용할 수 없습니다.