어설션은 각 평가 테스트 사례에서 올바른 의미를 정의합니다. 잘 작성된 어설션을 통해 일관된 통과 또는 실패 결정을 내리고 문제가 발생할 때 실패한 항목을 정확히 식별하는 데 도움이 됩니다.
좋은 어설션을 만드는 요소
모든 어설션은 원자성, 이진, 결과 중심, 검증 가능해야 합니다.
| 조건 | 설명 | 예제 |
|---|---|---|
| 원자 | 하나의 조건만 테스트합니다. "그리고" 또는 "또는"을 피합니다. | 응답에 '15일'이 포함됩니다. |
| 이진 | 명확한 통과 또는 실패 결과가 있습니다. 부분 입금 없음 | "대부분 정확" 아님 |
| 결과 중심 | 주관적인 품질이 아닌 무슨 일이 일어났는지 확인합니다. | "유용하게 응답" 아님 |
| 확인 가능 | 검토자 간에 일관된 결과 생성 | 특정 값 또는 동작 |
2인 테스트
2인 테스트에서는 실행 불가능한 모호한 어설션을 식별합니다. 두 명의 도메인 전문가가 독립적으로 동일한 통과 또는 실패 결과에 도달할 수 없는 경우 어설션을 수정합니다.
| 테스트 통과 | 테스트 실패 |
|---|---|
| 응답에는 등록을 완료하는 단계가 포함되어 있습니다. | 유용하게 응답함 |
| 응답에는 PTO 허용량이 15일이라고 명시되어 있습니다. | 정확한 정보 제공 |
| FMLA 질문에 대한 응답은 HR로 라우팅됩니다. | 요청을 적절하게 처리합니다. |
| 응답에는 세 개 이상의 상태 플랜 옵션이 나열됩니다. | 관련 결과 표시 |
어설션 수식
명확성과 평가 신뢰성을 향상시키려면 일관된 구조를 사용합니다. 각 어설션은 "응답..."으로 시작합니다.
- 응답에는 다음이 포함됩니다.
- 응답은 다음과 같습니다.
- 응답은...
- 응답은 ...
- 응답 경로는...
이 구조는 어설션이 관찰 가능한 결과에 초점을 맞춥니다.
어설션 유형
시나리오마다 다양한 유형의 어설션이 필요합니다. 시나리오와 가장 관련성이 높은 어설션 유형으로 시작하고 필요에 따라 적용 범위를 확장합니다.
사실적 정확도 주장
응답에 정확한 정보가 포함되어 있는지 확인합니다.
패턴: 응답에 포함된 <specific value or text>.
시나리오: PTO 정책 질문입니다.
프롬프트: "신입 사원은 몇 일의 휴가를 받나요?"
어설션:
- 응답에 "15일" 또는 "15일의 PTO"가 포함되어 있습니다.
- 응답에 "연간" 또는 "연간"이 포함되어 있습니다.
- 응답에는 근속 기간이 2년 미만인 직원이 언급되어 있습니다.
반올림 데이터 포함:
- 정책 시행일: 2024년 1월 1일
- 2년 미만의 PTO: 15일
- 2년에서 5년 동안 PTO: 20일
- 5년 이상의 PTO: 25일
어설션:
- 응답에 쿼리된 재직 기간 대괄호에 대해 "15일"이 포함되어 있습니다.
- 응답에 "10일"이 포함되어 있지 않습니다.
출처 특성 어설션
응답에서 출처를 인용하는지 확인합니다.
패턴: 응답에서 인용 또는 참조.<source name>
시나리오: 혜택 질문입니다.
프롬프트: "어떤 건강 플랜을 이용할 수 있나요?"
어설션:
- 응답은 직원 복리후생 가이드를 인용합니다.
- 응답에는 자세한 내용을 찾을 수 있는 위치가 포함됩니다.
- 응답은 특성 없이 정보를 표시하지 않습니다.
도구 호출 어설션
올바른 도구가 사용되었는지 확인합니다.
패턴: 에이전트가 호출합니다.<tool name>
시나리오: 장비 주문.
프롬프트: "16인치 MacBook Pro를 주문해야 합니다"
어설션:
- 에이전트가 OrderEquipment 도구를 호출합니다.
- 도구 호출
itemType: "laptop"에는 . - 도구 호출에는 "MacBook Pro"가 포함된 모델 값이 포함됩니다.
- 도구 호출에는 "크기: 16" 또는 "16인치"가 포함됩니다.
도구 매개 변수 어설션
도구 호출에 완전하고 올바른 매개 변수가 포함되어 있는지 확인합니다.
기반 데이터:
- 직원 ID: EMP-12345
- 학과: 공학
- 비용 센터: CC-ENG-001
프롬프트: "32GB RAM이 장착된 MacBook Pro 16인치 주문"
패턴: 호출에는 <tool> 다음이 포함됩니다 <parameter name and expected value>.
어설션:
- OrderEquipment 호출에는 다음이 포함됩니다.
employeeId: "EMP-12345" - OrderEquipment 호출에는 다음이 포함됩니다.
itemType: "laptop" - OrderEquipment 호출에는 다음이 포함됩니다.
model: "MacBook Pro 16-inch" - OrderEquipment 호출에 "32GB"가 포함된 사양이 포함됩니다.
- OrderEquipment 호출에는 다음이 포함됩니다.
costCenter: "CC-ENG-001"
도구 응답 처리 어설션
응답이 도구 결과를 올바르게 전달하는지 확인합니다.
기반 데이터:
- 시나리오: 장비 주문 확인
- 도구 반환: { orderId: "ORD-789", estimatedDelivery: "5-7 business days" }
패턴: 응답에는 다음이 포함됩니다 <tool result>.
어설션:
- 응답에는 주문 ID가 포함됩니다.
- 응답에서 배달 기간을 전달합니다.
- 응답은 성공적인 제출을 확인합니다.
오류 처리
시나리오: 장비 주문 실패(품절)
도구 반환: { 오류: "ITEM_UNAVAILABLE", 메시지: "MacBook Pro 16인치는 현재 품절" }
어설션:
- 응답에서 실패 조건을 승인합니다.
- 응답은 다음 단계를 제안합니다.
- 작업이 실패했을 때 응답은 성공을 나타내지 않습니다.
에스컬레이션 어설션
중요하거나 복잡한 시나리오가 적절하게 라우팅되었는지 확인합니다.
패턴: 응답은 로 라우팅됩니다.<specialist or team>
시나리오: FMLA 질문(에스컬레이션해야 함)
프롬프트: "가족 건강 상황으로 인해 장기 휴가를 내야 합니다"
어설션:
- 응답은 이 프롬프트에 HR 전문가의 도움이 필요함을 나타냅니다.
- 응답은 FMLA 자격 규칙을 설명하려고 시도하지 않습니다.
- 응답은 HR에 연락하는 방법에 대한 정보를 제공합니다.
- 응답은 상황의 민감성을 인정합니다.
거절 어설션
시스템이 부적절하거나 제한된 요청을 거부하는지 확인합니다.
패턴: 응답이 거부됩니다.<prohibited action>
시나리오: 다른 직원의 데이터 요청
프롬프트: "카트린 폴드의 월급은 얼마야?"
어설션:
- 응답은 제한된 정보 제공을 거부합니다.
- 응답에서는 제한 사항을 설명합니다.
- 응답은 중요한 데이터를 공개하지 않습니다.
개인 설정 어설션
응답에 사용자 컨텍스트가 반영되는지 확인합니다.
패턴: 응답 <contextual attribute>은 .
시나리오: 영국 직원을 위한 휴일 질문
기반 데이터:
- 직원: Pouria Zargar
- 위치: 영국 런던
어설션:
- 응답에는 위치별 정보가 포함됩니다.
- 응답에서 관련 없는 지역 콘텐츠는 제외됩니다.
- 응답에는 영국 공휴일이 나열되어 있습니다.
- 응답에는 박싱 데이(영국 특정)가 포함됩니다.
- 응답에는 미국 공휴일(7월 4일, 추수감사절)에 대멘션이 언급되어 있지 않습니다.
- 응답은 영국 휴일 일정을 참조합니다.
완전성 어설션
응답이 모든 필수 정보를 제공하는지 확인합니다.
패턴: 응답에는 다음이 포함됩니다 <required element>.
시나리오: 복리후생 등록 지침
프롬프트: "건강보험에 가입하려면 어떻게 할까요??"
어설션:
- 응답에는 마감일이 포함됩니다.
- 응답에는 액세스 지점(예: 포털)이 포함됩니다.
- 응답에는 필수 단계 또는 필수 구성 요소가 포함됩니다.
- 응답에는 등록 마감일이 포함됩니다.
- 응답에는 등록 포털에 액세스할 위치가 포함됩니다.
- 응답에는 사용 가능한 계획 옵션이 나열됩니다.
- 응답에는 필요한 서류 또는 정보가 언급되어 있습니다.
부정적인 어설션
응답이 잘못되거나 오래된 콘텐츠를 방지하는지 확인합니다.
패턴: 응답 <prohibited content>에 .
시나리오: 일반 정책 질문
프롬프트: "원격 근무 정책은 무엇인가요?"
어설션:
- 응답에는 오래된 정책이 포함되어 있지 않습니다.
- 응답은 지원되지 않는 정보를 도입하지 않습니다.
- 응답은 2022 정책 버전을 참조하지 않습니다.
- 응답은 원본에 없는 정책 세부 정보를 구성하지 않습니다.
도구 호출에 대한 어설션
도구 기반 시나리오에는 호출, 매개 변수 및 응답 처리 전반에 걸쳐 유효성 검사가 필요합니다. OpenAPI 플러그 인, API 작업 또는 MCP 서버를 사용하는 에이전트의 경우 도구 호출 어설션에 특별한 주의가 필요합니다.
시나리오: 복잡한 장비 주문
기반 데이터: 직원: Bernadette Sylvain 직원 ID: EMP-54321 부서: 데이터 과학 관리자: Katrin Pold 예산: $4,000
프롬프트: "M16 Max 칩과 3GB RAM이 탑재된 MacBook Pro 64인치를 주문해야 합니다. 27인치 외부 모니터도 필요합니다."
도구 호출 어설션
- 에이전트가 한 번 이상 호출되었습니다
OrderEquipment. - 에이전트는 노트북과 모니터(또는 Azure Batch 호출)에 대해 별도의 호출을 수행했습니다.
매개 변수 어설션
노트북 주문 매개 변수 어설션:
- 호출에는 다음이 포함됩니다
itemType: "laptop". - 호출에 "MacBook Pro"가 포함되어 있습니다
model. - 호출에는 또는
"16-inch"가 포함됩니다size: "16". - 호출에는 "M3 Max" 포함이 포함됩니다
specs. - 호출에 "64GB"가 포함됩니다
specs. - 호출에는 다음이 포함됩니다
employeeId: "EMP-54321". - 통화에 Katrin Pold가 포함
approver되거나managerId참조됩니다.
모니터 순서 매개 변수 어설션:
- 호출에는 다음이 포함됩니다
itemType: "monitor". - 호출에는 또는
"27-inch"가 포함됩니다size: "27".
응답 어설션
- 응답은 두 항목이 모두 주문되었음을 확인합니다.
- 응답에는 주문 참조 번호가 포함됩니다.
- 응답은 예상 배달 정보를 제공합니다.
피해야 할 일반적인 어설션 패턴
모호한 품질 판단이나 복합적인 프롬프트를 포함하거나, 특정 구현에 의존하거나, 기초 데이터가 없거나, 지나치게 구체적인 어설션은 피하세요.
| 어설션 유형 | 피하기 | 와일드카드 문자 |
|---|---|---|
| 모호한 품질 판단 | 응답이 유용함 응답이 정확합니다. |
응답에는 등록 마감일이 포함됩니다. 응답에는 PTO 허용량이 15일이라고 명시되어 있습니다. |
| 복합 어설션 | 응답에 올바른 값이 포함되어 있고 출처를 인용합니다. | 응답에 올바른 값이 포함되어 있습니다. 응답은 출처를 인용합니다. |
| 구현 종속 어설션 | 에이전트는 GetPTOBalance 함수를 사용합니다 | 응답에는 직원의 현재 PTO 잔액이 포함됩니다. |
| 기반이 없는 어설션 | 응답에 올바른 값이 포함되어 있습니다. | 응답에 "12일 남음"이 포함되어 있습니다. |
| 지나치게 구체적인 서식 어설션 | 응답에는 정확히 세 개의 글머리 기호가 포함됩니다 | 응답에는 세 개 이상의 옵션이 나열됩니다. 응답은 "안녕하세요! 기꺼이 도와드리겠습니다." 응답에는 인사말이 포함됩니다. |
어설션 템플릿
다음 어설션 템플릿은 일반적인 시나리오에 대한 어설션의 시작점을 제공합니다.
지식 검색
시나리오: [토픽] 질문
프롬프트: "[주제에 대한 사용자 질문]"
어설션:
- 응답에 [지식 원본의 특정 사실]이 포함되어 있습니다.
- 응답에서 [원본 문서 또는 섹션]을 인용합니다.
- 응답에 [오래되었거나 잘못된 정보]가 포함되어 있지 않습니다.
- 응답은 사용자의 특정 질문에 대한 것입니다.
도구 호출
시나리오: [작업] 요청
프롬프트: "[사용자 작업 수행 요청]"
어설션:
- 에이전트가 [도구 이름] 도구를 호출합니다.
- 도구 호출에 [필수 매개 변수]: [예상 값]이 포함됩니다.
- 응답은 [예상 결과]를 확인합니다.
- 응답에 [참조 번호/확인]이 포함됩니다.
에스컬레이션
시나리오: [중요한 항목] 질문
프롬프트: "[사람의 판단이 필요한 사용자 질문]"
어설션:
- 응답은 이를 위해 [전문가/인적] 도움이 필요함을 나타냅니다.
- 응답은 연락처 정보 또는 다음 단계를 제공합니다.
- 응답은 [조언 제공/결정]을 시도하지 않습니다.
- 응답에서 [민감도/복잡성]을 승인합니다.
거절
시나리오: [부적절/scope 외] 요청
프롬프트: "[거부되어야 하는 사용자 요청]"
어설션:
- 응답이 [금지된 작업]에 거부됩니다.
- 응답은 [이 작업을 수행할 수 없는 이유]를 설명합니다.
- 응답은 [금지된 것을 드러내거나 시도]하지 않습니다.
- 응답은 [해당되는 경우 적절한 대안]을 제안합니다.
채점자에게 어설션 매핑
서로 다른 어설션에는 서로 다른 채점 메커니즘이 필요합니다. 다음 표에는 다양한 어설션 유형에 사용할 등급자가 나열되어 있습니다.
| 어설션 유형 | 권장 채점자 | 노트 |
|---|---|---|
| 특정 텍스트를 포함합니다. | 키워드 일치 | 결정적 |
| 의미 체계 일치 | 텍스트 유사성 | 의역 처리 |
| 도구 호출 | 기능 일치 | 실행을 평가합니다. |
| 매개 변수 유효성 검사 | 사용자 지정 코드 | 입력 구문 분석 |
| 품질 판단 | LLM-판사 | 선택적으로 사용 |
| 정확한 값 | 정확한 일치 | ID 및 숫자의 경우 |
| 부재 확인 | 키워드 제외 | 누락을 확인합니다. |