Microsoft 365 Copilot 평가 CLI 개요

이전에 에이전트 평가 CLI로 명명된 Microsoft 365 Copilot 평가 CLI()@microsoft/m365-copilot-eval는 구조화된 평가 및 결과 보고서를 통해 에이전트의 품질을 테스트, 측정 및 개선하는 데 도움이 됩니다. CLI v2 미리 보기는 플러그 인을 사용하는 Microsoft 365 Copilot 응답 평가도 지원합니다.

중요

배포된 선언적 에이전트의 경우 단계별 워크플로를 위해 Work IQ Dev 도구 로 시작합니다. Work IQ Dev Tools는 호환되는 Microsoft 365 Copilot 평가 CLI 버전을 관리하고 이를 통해 wiqd agent eval노출합니다. 하위 수준의 명령 제어가 필요하거나 기존 runevals 워크플로를 유지 관리해야 하는 경우 이 섹션의 독립 실행형 CLI 지침을 사용합니다.

CLI 버전 선택

npm 패키지 이름과 runevals 명령은 변경되지 않습니다.

버전 npm 태그 Evaluation scope
v1 latest 배포된 에이전트. 빠른 시작에서는 이 버전을 다룹니다.
V2 미리 보기 preview 플러그 인을 사용하는 배포된 에이전트 및 Microsoft 365 Copilot 응답. 스키마 v2를 사용하는 도구 호출 계산기에 필요합니다.

v2 미리 보기에서 구성된 에이전트 ID 없이 실행하면 에이전트를 선택하는 대신 Microsoft 365 Copilot 채팅을 평가합니다. 플러그 인 실행의 경우 먼저 Copilot에서 플러그 인을 프로비전 및 사용하도록 설정한 다음 셸 및 로드된 환경 파일에서 O와 레거시 AGENT_ID 를 제거합니다M365_AGENT_ID. 이 설정은 플러그 인 엔드포인트를 격리된 것이 아니라 Copilot 환경을 평가합니다.

미리 보기 설치 및 도구 호출 데이터 집합 예제는 도구 호출 계산기를 참조하세요.

실행할 수 있는 작업

평가 도구는 다음과 같은 기능을 제공합니다.

  • 배치 및 대화형 평가를 실행합니다.
  • Microsoft Foundry 클라우드 평가 및 기본 제공 메트릭을 사용하여 응답에 자동으로 점수를 매깁니다.
  • JSON 데이터 세트, 인라인 프롬프트 또는 대화형 입력을 사용하여 테스트합니다.
  • HTML, JSON 또는 CSV 형식으로 보고서를 생성합니다.

평가 메트릭

응답 평가자는 답변 품질을 점수로 채점합니다. 도구 호출 평가자는 응답 텍스트가 아닌 런타임 진단을 검사합니다.

평가자 Type(종류) Scale 기본 임계값 Default
관련성 LLM 기반 1-5 3 예
일관성 LLM 기반 1-5 3 예
기초함 LLM 기반 1-5 3 아니요
유사성 LLM 기반 1-5 3 아니요
RetrievevalQuery 비 LLM 통과/실패 해당 없음 아니요
RetrievevalResult 비 LLM 비례 1.0 아니요
ToolCallSelection (v2 미리 보기) 비 LLM 통과/실패/오류 1.0, 고정됨 아니요
ToolCallExecution (v2 미리 보기) 비 LLM 통과/실패/오류 1.0, 고정됨 아니요
인용 개수 기반 >= 0 1 아니요
ExactMatch 문자열 일치 부울 해당 없음 아니요
PartialMatch 문자열 일치 0.0-1.0 0.5 아니요

구성 옵션 및 샘플 데이터 세트를 포함하여 각 평가자에 대한 자세한 내용은 평가자 참조를 참조하세요.

평가 워크플로의 작동 방식

평가는 일관된 워크플로를 따릅니다.

  1. CLI를 설치하고 구성합니다.
  2. 환경 구성 및 자격 증명을 제공합니다.
  3. 테스트 프롬프트의 데이터 세트를 만듭니다.
  4. 에이전트에 대해 평가를 실행합니다.
  5. 결과를 검토하고 반복합니다.

필수 환경 변수

평가 도구는 환경 변수를 사용하여 테넌트 및 Microsoft Foundry 프로젝트를 인증하고 연결합니다. 다음 설정은 v1 에이전트 평가 워크플로를 설명합니다. v2 미리 보기의 도구 호출 평가자를 포함하여 결정적 평가자만 사용하는 실행에는 Microsoft Foundry 점수 매기기 구성이 필요하지 않습니다.

변수 설명 기본값
TENANT_ID 에이전트가 배포된 Microsoft Entra 테넌트 ID입니다. None
AZURE_AI_PROJECT_ENDPOINT 클라우드 평가에 사용되는 Microsoft Foundry 프로젝트 엔드포인트입니다. 결정론적 평가자가 아닌 Microsoft Foundry LLM 심사위원에게 필요합니다. None
AZURE_AI_MODEL_NAME Microsoft Foundry 프로젝트의 모델 배포 이름입니다. gpt-5-mini
M365_TITLE_ID (선택 사항) 평가를 위해 Microsoft 365 에이전트 ID를 자동으로 감지하는 데 사용되는 타이틀 ID입니다. None
M365_AGENT_ID (선택 사항) 평가를 위한 명시적 에이전트 ID입니다. 다음에서 자동 감지됨 M365_TITLE_ID

이러한 값은 인증을 활성화하고 도구가 Microsoft Foundry를 사용하여 LLM 기반 평가 점수 매기기를 실행할 수 있도록 합니다. 이러한 값을 가져오는 방법에 대한 자세한 내용은 환경 변수에 대한 값 가져오기를 참조하세요.