Microsoft 365 Copilot 평가 CLI에는 응답에 점수를 매기고 런타임 동작을 검사하는 평가자가 포함되어 있습니다. 각 평가자는 의미 체계 관련성에서 도구 호출 실행에 이르기까지 품질의 다양한 측면을 측정합니다. 이 문서에서는 채점 동작, 구성 옵션 및 테스트 데이터 세트에서의 사용에 대해 설명합니다.
데이터 세트에서 평가자를 구성하는 방법에 대한 자세한 내용은 평가자 구성을 참조하세요.
GitHub에서 JSON 스키마 형식의 평가 데이터 세트 스키마를 찾을 수 있습니다.
참고
도구 호출 계산기에는 CLI v2(preview) 및 스키마 v2가 필요합니다. CLI v1에서는 사용할 수 없습니다(latest). 이 문서의 다른 예제에서는 스키마 v1을 사용합니다.
계산기 요약
다음 표에는 사용 가능한 모든 평가자가 요약되어 있습니다.
| 평가자 | Type(종류) | Scale | 기본 임계값 | 기본적으로 사용 | 필수 필드 |
|---|---|---|---|---|---|
| 관련성 | LLM 기반 | 1-5 | 3 | 예 | prompt |
| 일관성 | LLM 기반 | 1-5 | 3 | 예 | prompt |
| 기초함 | LLM 기반 | 1-5 | 3 | 아니요 | prompt |
| 유사성 | LLM 기반 | 1-5 | 3 | 아니요 |
prompt, expected_response |
| RetrievevalQuery | 비 LLM | 통과/실패 | 해당 없음 | 아니요 |
prompt, 계산기 구성 |
| RetrievevalResult | 비 LLM | 비례 | 1.0 | 아니요 |
prompt, 계산기 구성 |
| ToolCallSelection (v2 미리 보기) | 비 LLM | 통과/실패/오류 | 1.0, 고정됨 | 아니요 |
prompt, calls[].tool, 선택한 기능 원격 분석 |
| ToolCallExecution (v2 미리 보기) | 비 LLM | 통과/실패/오류 | 1.0, 고정됨 | 아니요 |
prompt, , calls[].toolHTTP 결과를 사용한 실행 원격 분석 |
| 인용 | 개수 기반 | >= 0 | 1 | 아니요 | prompt |
| PartialMatch | 문자열 일치 | 0.0-1.0 | 0.5 | 아니요 |
prompt, expected_response |
| ExactMatch | 문자열 일치 | 부울 | 해당 없음 | 아니요 |
prompt, expected_response |
LLM 기반 평가자
LLM 기반 평가자는 Microsoft Foundry 프로젝트(환경 변수를 통해 구성됨)에서 Azure OpenAI 모델을 사용하여 에이전트의 응답 품질을 판단합니다. 이러한 평가자는 Azure AI 평가 SDK를 통해 제공됩니다. 점수 범위는 리커트 척도에서 1에서 5까지이며, 값이 높을수록 품질이 우수함을 나타냅니다. 기본적으로 3점 이상이 있어야 합격할 수 있습니다. 테스트 구성에서 필요한 점수를 변경할 수 있습니다.
관련성
관련성 평가자는 에이전트의 응답이 사용자의 쿼리를 얼마나 잘 해결하는지 평가합니다. 응답이 질문에 직접적이고 완전하게 대답하는지 여부를 평가합니다.
- 기본적으로 사용: 예
- 척도: 1-5(리커트)
- 기본 임계값: 3
-
필수 필드:
prompt - 그라운드 실측 필요: 아니요
관련성 평가자는 쿼리 expected_response 와 응답 간의 관계만 평가합니다.
관련성 샘플 데이터 세트
{
"schemaVersion": "1.6.0",
"default_evaluators": {
"Relevance": {}
},
"items": [
{
"prompt": "What are the key features of our enterprise plan?",
"expected_response": "The enterprise plan includes advanced security, unlimited storage, 24/7 support, and custom integrations."
}
]
}
일관성
일관성 평가자는 에이전트의 응답에서 아이디어의 논리적이고 질서 있는 표현을 측정합니다. 응답에 문장 간의 명확한 연결, 적절한 전환, 따라하기 쉬운 논리적 아이디어 순서가 있는지 평가합니다.
- 기본적으로 사용: 예
- 척도: 1-5(리커트)
- 기본 임계값: 3
-
필수 필드:
prompt - 그라운드 실측 필요: 아니요
일관성 샘플 데이터 세트
{
"schemaVersion": "1.6.0",
"default_evaluators": {
"Coherence": {}
},
"items": [
{
"prompt": "Explain the process for submitting an expense report.",
"expected_response": "To submit an expense report, first collect your receipts. Then open the expense portal, create a new report, attach your receipts, and submit for manager approval."
}
]
}
기초함
Groundedness 평가자는 에이전트의 응답이 제공된 기반 컨텍스트와 일치하고 지원되는지 확인합니다. 검색된 문서에서 지원하는 것 이상의 클레임이나 정보가 응답에 포함되어 있지 않은지 확인하여 정밀도에 중점을 둡니다.
- 기본적으로 사용: 아니요
- 척도: 1-5(리커트)
- 기본 임계값: 3
-
필수 필드:
prompt,expected_response - 그라운드 실측 필요: 아니요
근거 평가기를 사용하여 상담원의 응답에서 환각 또는 뒷받침되지 않는 주장을 감지합니다.
Groundedness 샘플 데이터 세트
{
"schemaVersion": "1.6.0",
"default_evaluators": {
"Relevance": {},
"Groundedness": {}
},
"items": [
{
"prompt": "What is our company's remote work policy?",
"expected_response": "Employees can work remotely up to 3 days per week with manager approval."
}
]
}
유사성
유사성 평가자는 에이전트의 응답과 제공된 expected_response (지상 진실) 간의 의미론적 유사성 정도를 측정합니다. F1 또는 BLEU(Bilingual Evaluation Understudy)와 같은 토큰 중첩 메트릭과 달리 표면적인 단어 일치보다는 의미와 더 넓은 맥락에 중점을 둡니다.
- 기본적으로 사용: 아니요
- 척도: 1-5(리커트)
- 기본 임계값: 3
-
필수 필드:
prompt,expected_response - 그라운드 실측 필요: 예
유사성 평가자에 대한 데이터 세트 항목에서 구성 expected_response 해야 합니다.
유사성 샘플 데이터 세트
{
"schemaVersion": "1.6.0",
"default_evaluators": {
"Similarity": {}
},
"items": [
{
"prompt": "What is Microsoft Graph?",
"expected_response": "Microsoft Graph is a unified API endpoint that provides access to data and intelligence in Microsoft 365 services."
}
]
}
검색 평가자
검색 평가자는 Microsoft 365 Copilot 에이전트의 엔드투엔드 검색 파이프라인의 유효성을 검사합니다. 에이전트가 사용자 쿼리를 검색 작업으로 변환하는 방법과 예상된 리소스가 결과에 나타나는지 여부를 검사합니다. 이러한 평가자는 LLM 심사자를 사용하지 않습니다. 검색 실행 데이터에 대한 결정론적 검사를 수행합니다.
RetrievevalQuery
RetrievalQuery 평가자는 Copilot이 사용자 의도를 검색 쿼리로 올바르게 변환했는지 확인합니다. 정규화된 retrieval_executions[] 값 내의 queryString 값을 검사하고 예상 패턴과 일치하는지 확인합니다.
- 기본적으로 사용: 아니요
- 규모: 통과/실패
- 기본 임계값: 해당 없음
-
필수 필드:
prompt, 계산자 구성 - 그라운드 실측 필요: 아니요
RetrievalQuery 구성 옵션
| 옵션 | Type(종류) | 필수 | 설명 |
|---|---|---|---|
capability |
String | 예 | 검사할 실행을 scope하는 검색 기능입니다(예: "OneDriveAndSharePoint", "Email", "GraphConnectors"). |
selector |
문자열 | 예 | 검색 실행 내에서 대상 쿼리를 식별하는 데 사용되는 대소문자를 구분하지 않는 하위 문자열입니다. |
includes |
문자열 | 예 | 일치하는 쿼리에 모두 나타나야 하는 부분 문자열입니다. |
excludes |
문자열 | 예 | 일치하는 쿼리에 나타나면 안 되는 부분 문자열입니다. |
RetrievalQuery 샘플 데이터 세트
{
"schemaVersion": "1.6.0",
"items": [
{
"prompt": "Find the Q4 sales report in SharePoint",
"expected_response": "Here is the Q4 sales report.",
"evaluators": {
"RetrievalQuery": {
"capability": "OneDriveAndSharePoint",
"selector": "Q4 sales report",
"includes": ["projections", "profit"],
"excludes": ["FileType:OneNote"]
}
}
}
]
}
RetrievevalResult
RetrievalResult 계산기는 검색 실행이 반환하는 문서, 메시지 및 항목에 예상 리소스가 실제로 표시되는지 확인합니다. 구성 가능한 순위 임계값 내의 검색 적중 추출에 특정 텍스트 조각이 있는지 확인합니다.
- 기본적으로 사용: 아니요
- 규모: 비례(0.0-1.0)
- 기본 임계값: 1.0(모든 검사를 통과해야 함)
-
필수 필드:
prompt, 계산자 구성 - 그라운드 실측 필요: 아니요
점수는 발견된 예상 항목 수에 비례합니다. 예를 들어 3개의 예상 항목 중 2개가 발견되면 점수는 0.67입니다. 그러나 통과하려면 모든 검사가 성공해야 합니다(임계값은 항상 1.0임). 하나 이상의 expected_items 또는 min_expected_count를 구성해야 합니다.
RetrievalResult 구성 옵션
| 옵션 | 종류 | 필수 | 설명 |
|---|---|---|---|
expected_items |
array | 조건부 | 예상되는 결과를 지정하는 개체의 배열입니다. 각 개체에는 (검색 적중 추출에서 일치하는 텍스트 조각)가 포함될 retrievalExtract_contains 수 있습니다. 하나 이상의 expected_items 또는 min_expected_count를 구성해야 합니다. |
expected_items[].retrievalExtract_contains |
문자열 | 아니요 | 검색 히트 추출에 나타나야 하는 텍스트 조각입니다. |
min_expected_count |
정수 | 조건부 | 검색해야 하는 최소 결과 수입니다. 하나 이상의 expected_items 또는 min_expected_count를 구성해야 합니다. |
max_rank |
정수 | 아니요 | 예상 항목을 일치시킬 때 고려해야 할 최대 순위 위치입니다. 기본값은 10. |
RetrievalResult 샘플 데이터 세트
{
"schemaVersion": "1.6.0",
"items": [
{
"prompt": "Find recent emails about the Contoso project",
"expected_response": "Here are the recent emails about the Contoso project.",
"evaluators": {
"RetrievalResult": {
"expected_items": [
{ "retrievalExtract_contains": "update" },
{ "retrievalExtract_contains": "budget" }
],
"max_rank": 5,
"min_expected_count": 2
}
}
}
]
}
도구 호출 계산기
도구 호출 평가자는 런타임 진단(개발자 정보)을 사용하여 도구 선택 및 HTTP 실행 결과를 검사합니다. 결정론적이며 LLM 판사를 사용하지 않으며 expected_response.
- ToolCallSelection 은 순서 및 중복을 무시하고 예상한 도구 ID가 선택되었는지 확인합니다. 필요에 따라 추가 선택 항목을 거부할 수 있습니다.
- ToolCallExecution은 각 예상 호출에 대해 고유한 성공적인 HTTP 실행(상태 200-299)을 확인합니다. ID를 반복하여 여러 번의 성공적인 실행을 요구합니다.
평가자 모두 답변 품질이나 비즈니스 정확성을 설정하지 않습니다. 둘 다 필요한 경우 도구 호출 검사와 함께 응답 평가자를 사용합니다. 구성, 동의, 예제 및 결과 해석은 도구 호출 계산기를 참조하세요.
문자열 및 개수 기반 계산기
이러한 평가자는 결정적 문자열 일치 또는 계산 논리를 사용합니다. LLM이 필요하지 않으며 로컬에서 실행됩니다.
인용
인용 평가자는 에이전트의 응답에서 인용 참조 수([1]예: , [2], 또는 하이퍼링크 스타일 인용)를 계산합니다. 에이전트가 클레임을 원본에 올바르게 부여하는지 확인합니다. 임계값을 예상 인용 횟수로 설정합니다.
- 기본적으로 사용: 아니요
- 규모:>= 0(개수)
- 기본 임계값: 1
-
필수 필드:
prompt - 그라운드 실측 필요: 아니요
점수는 인용 횟수와 같으며 기본적으로 최소 1개의 인용을 통과해야 합니다.
인용 구성 옵션
| 옵션 | Type(종류) | 필수 | 설명 |
|---|---|---|---|
citation_format |
String | 아니요 | 필요한 인용 형식(예: "mixed".)을 지정합니다. |
인용 샘플 데이터 세트
{
"schemaVersion": "1.6.0",
"items": [
{
"prompt": "What is our return policy?",
"expected_response": "Our return policy allows returns within 30 days [1].",
"evaluators": {
"Citations": {
"threshold": 2,
"citation_format": "mixed"
}
}
}
]
}
PartialMatch
PartialMatch 평가자는 에이전트의 응답과 토큰 수준 유사성(F1 점수 접근 방식과 유사)을 사용하여 텍스트가 겹치는 정도를 expected_response 측정합니다. 이 평가자는 응답에 예상되는 답변의 핵심 구 또는 정보가 포함되어 있을 것으로 예상되지만 축자 일치가 필요하지 않을 때 유용합니다.
- 기본적으로 사용: 아니요
- 스케일: 0.0-1.0
- 기본 임계값: 0.5
-
필수 필드:
prompt,expected_response - 그라운드 실측 필요: 예
점수 범위는 0.0(겹침 없음)에서 1.0(완전한 일치)까지입니다.
PartialMatch 샘플 데이터 세트
{
"schemaVersion": "1.6.0",
"items": [
{
"prompt": "Who is the CEO of Contoso?",
"expected_response": "The CEO of Contoso is Jane Smith.",
"evaluators": {
"PartialMatch": {}
}
}
]
}
ExactMatch
ExactMatch 평가자는 에이전트의 응답과 구성된 expected_response. 응답이 정확히 일치하거나 일치하지 않는 부울 통과 또는 실패를 반환합니다. 이 계산기는 결정적 또는 공식적 예상 답변이 있는 프롬프트에 유용합니다.
- 기본적으로 사용: 아니요
- 규모: 부울(통과 또는 실패)
- 기본 임계값: 해당 없음
-
필수 필드:
prompt,expected_response - 그라운드 실측 필요: 예
ExactMatch 구성 옵션
| 옵션 | Type(종류) | 필수 | 설명 |
|---|---|---|---|
case_sensitive |
부울 | 아니요 | 비교가 대/소문자를 구분하는지 여부를 제어합니다. 기본값은 true. |
ExactMatch 샘플 데이터 세트
{
"schemaVersion": "1.6.0",
"items": [
{
"prompt": "What is 2 + 2?",
"expected_response": "4",
"evaluators": {
"ExactMatch": { "case_sensitive": false }
}
}
]
}