이전에 에이전트 평가 CLI로 명명된 Microsoft 365 Copilot 평가 CLI()@microsoft/m365-copilot-eval는 구조화된 평가 및 결과 보고서를 통해 에이전트의 품질을 테스트, 측정 및 개선하는 데 도움이 됩니다. CLI v2 미리 보기는 플러그 인을 사용하는 Microsoft 365 Copilot 응답 평가도 지원합니다.
중요
배포된 선언적 에이전트의 경우 단계별 워크플로를 위해 Work IQ Dev 도구 로 시작합니다. Work IQ Dev Tools는 호환되는 Microsoft 365 Copilot 평가 CLI 버전을 관리하고 이를 통해 wiqd agent eval노출합니다. 하위 수준의 명령 제어가 필요하거나 기존 runevals 워크플로를 유지 관리해야 하는 경우 이 섹션의 독립 실행형 CLI 지침을 사용합니다.
CLI 버전 선택
npm 패키지 이름과 runevals 명령은 변경되지 않습니다.
| 버전 | npm 태그 | Evaluation scope |
|---|---|---|
| v1 | latest |
배포된 에이전트. 빠른 시작에서는 이 버전을 다룹니다. |
| V2 미리 보기 | preview |
플러그 인을 사용하는 배포된 에이전트 및 Microsoft 365 Copilot 응답. 스키마 v2를 사용하는 도구 호출 계산기에 필요합니다. |
v2 미리 보기에서 구성된 에이전트 ID 없이 실행하면 에이전트를 선택하는 대신 Microsoft 365 Copilot 채팅을 평가합니다. 플러그 인 실행의 경우 먼저 Copilot에서 플러그 인을 프로비전 및 사용하도록 설정한 다음 셸 및 로드된 환경 파일에서 O와 레거시 AGENT_ID 를 제거합니다M365_AGENT_ID. 이 설정은 플러그 인 엔드포인트를 격리된 것이 아니라 Copilot 환경을 평가합니다.
미리 보기 설치 및 도구 호출 데이터 집합 예제는 도구 호출 계산기를 참조하세요.
실행할 수 있는 작업
평가 도구는 다음과 같은 기능을 제공합니다.
- 배치 및 대화형 평가를 실행합니다.
- Microsoft Foundry 클라우드 평가 및 기본 제공 메트릭을 사용하여 응답에 자동으로 점수를 매깁니다.
- JSON 데이터 세트, 인라인 프롬프트 또는 대화형 입력을 사용하여 테스트합니다.
- HTML, JSON 또는 CSV 형식으로 보고서를 생성합니다.
평가 메트릭
응답 평가자는 답변 품질을 점수로 채점합니다. 도구 호출 평가자는 응답 텍스트가 아닌 런타임 진단을 검사합니다.
| 평가자 | Type(종류) | Scale | 기본 임계값 | Default |
|---|---|---|---|---|
| 관련성 | LLM 기반 | 1-5 | 3 | 예 |
| 일관성 | LLM 기반 | 1-5 | 3 | 예 |
| 기초함 | LLM 기반 | 1-5 | 3 | 아니요 |
| 유사성 | LLM 기반 | 1-5 | 3 | 아니요 |
| RetrievevalQuery | 비 LLM | 통과/실패 | 해당 없음 | 아니요 |
| RetrievevalResult | 비 LLM | 비례 | 1.0 | 아니요 |
| ToolCallSelection (v2 미리 보기) | 비 LLM | 통과/실패/오류 | 1.0, 고정됨 | 아니요 |
| ToolCallExecution (v2 미리 보기) | 비 LLM | 통과/실패/오류 | 1.0, 고정됨 | 아니요 |
| 인용 | 개수 기반 | >= 0 | 1 | 아니요 |
| ExactMatch | 문자열 일치 | 부울 | 해당 없음 | 아니요 |
| PartialMatch | 문자열 일치 | 0.0-1.0 | 0.5 | 아니요 |
구성 옵션 및 샘플 데이터 세트를 포함하여 각 평가자에 대한 자세한 내용은 평가자 참조를 참조하세요.
평가 워크플로의 작동 방식
평가는 일관된 워크플로를 따릅니다.
- CLI를 설치하고 구성합니다.
- 환경 구성 및 자격 증명을 제공합니다.
- 테스트 프롬프트의 데이터 세트를 만듭니다.
- 에이전트에 대해 평가를 실행합니다.
- 결과를 검토하고 반복합니다.
필수 환경 변수
평가 도구는 환경 변수를 사용하여 테넌트 및 Microsoft Foundry 프로젝트를 인증하고 연결합니다. 다음 설정은 v1 에이전트 평가 워크플로를 설명합니다. v2 미리 보기의 도구 호출 평가자를 포함하여 결정적 평가자만 사용하는 실행에는 Microsoft Foundry 점수 매기기 구성이 필요하지 않습니다.
| 변수 | 설명 | 기본값 |
|---|---|---|
TENANT_ID |
에이전트가 배포된 Microsoft Entra 테넌트 ID입니다. | None |
AZURE_AI_PROJECT_ENDPOINT |
클라우드 평가에 사용되는 Microsoft Foundry 프로젝트 엔드포인트입니다. 결정론적 평가자가 아닌 Microsoft Foundry LLM 심사위원에게 필요합니다. | None |
AZURE_AI_MODEL_NAME |
Microsoft Foundry 프로젝트의 모델 배포 이름입니다. | gpt-5-mini |
M365_TITLE_ID (선택 사항) |
평가를 위해 Microsoft 365 에이전트 ID를 자동으로 감지하는 데 사용되는 타이틀 ID입니다. | None |
M365_AGENT_ID (선택 사항) |
평가를 위한 명시적 에이전트 ID입니다. | 다음에서 자동 감지됨 M365_TITLE_ID |
이러한 값은 인증을 활성화하고 도구가 Microsoft Foundry를 사용하여 LLM 기반 평가 점수 매기기를 실행할 수 있도록 합니다. 이러한 값을 가져오는 방법에 대한 자세한 내용은 환경 변수에 대한 값 가져오기를 참조하세요.