선언적 에이전트 및 사용자 지정 엔진 에이전트의 품질을 향상시키려면 에이전트 평가를 디자인하고 실행하십시오. 에이전트 평가는 에이전트를 빌드하는 데 Copilot Studio, Microsoft 365 에이전트 SDK 또는 Microsoft Teams AI 라이브러리를 사용하는지 여부에 관계없이 모든 에이전트에 적용됩니다.
Work로 시작 선언적 에이전트용 IQ Dev 도구
배포된 선언적 에이전트의 경우 단계별 평가 워크플로를 위해 Work IQ Dev Tools 로 시작합니다. 및 wiqd plugin eval 워크플로는 wiqd agent eval 호환되는 Microsoft 365 Copilot 평가 CLI 버전을 관리하고, 평가를 실행하고, 결과 성과 기록표를 생성합니다. 이 워크플로를 위해 전역적으로 설치할 @microsoft/m365-copilot-eval 필요는 없습니다.
하위 수준의 명령 제어가 필요하거나 기존 runevals 워크플로를 유지 관리해야 하는 경우 Microsoft 365 Copilot 평가 CLI를 직접 사용합니다.
평가 실행기에 관계없이 이 문서의 개념 및 디자인 지침을 사용합니다. 사용자 지정 엔진 에이전트의 경우 아키텍처, 런타임 및 품질 요구 사항을 지원하는 평가 도구를 사용합니다.
평가가 중요한 이유
평가가 없으면 에이전트에 대한 변경으로 인해 품질이 향상되는지 또는 저하되는지 확실하게 측정할 수 없습니다. 일반적인 과제는 다음과 같습니다.
- 변경 내용은 도움이 되었는지 확인할 방법이 없는 수동으로 테스트됩니다.
- 사용자가 보고한 문제를 일관되게 재현할 수 없습니다.
- 지식 원본을 업데이트하면 영향을 예측할 수 없기 때문에 위험이 따릅니다.
- 이해관계자는 품질이 향상되었는지 묻는데 그 변화를 정량화할 수는 없습니다.
평가는 이러한 각 문제를 해결하는 반복 가능한 피드백 루프를 제공합니다.
- 변경합니다. 테스트 집합을 실행합니다. 결과는 개선되거나 퇴보된 것을 정확하게 보여줍니다.
- 사용자 보고서를 심사합니다. 이를 테스트 사례로 추가하고, 문제를 해결하고, 회귀 집합의 사례를 유지하여 고정된 상태를 유지합니다.
- 지식 원본을 업데이트합니다. 평가를 실행하여 사용자보다 먼저 회귀를 포착합니다.
- 데이터를 사용하여 이해 관계자의 질문에 답변합니다. "기분이 좋아졌다"는 대신 "정책 정확도가 87%에서 96%로 향상되었습니다"라고 말할 수 있습니다.
평가를 통해 무엇이 효과가 있고 무엇이 효과가 없는지, 그리고 변경 사항이 상담원을 개선하는지 여부를 이해할 수 있습니다.
핵심 평가 개념
평가는 다음과 같은 핵심 개념으로 구성됩니다.
- 테스트 사례
- 테스트 집합
- 프롬프트
- 어설션
- 품질 신호
- 그레이더
- 데이터 기반 다지기
평가를 실행할 때:
- 각 테스트 사례는 에이전트에 프롬프트를 보냅니다.
- 에이전트의 응답은 적절한 채점자를 사용하여 각 어설션에 대해 확인됩니다.
- 결과는 분석을 위해 품질 신호로 태그가 지정됩니다.
- 집계 메트릭은 테스트 집합 전체에서 계산됩니다.
테스트 사례
테스트 사례는 다음으로 구성된 단일 평가 시나리오입니다.
- 프롬프트
- 예상된 동작
- 어설션
잘 설계된 테스트 사례는 다음과 같습니다.
- 독립 - 다른 테스트에 의존하지 않고 실행할 수 있습니다.
- 반복 가능 - 일관된 통과 또는 실패 결과를 생성합니다.
- 특정 - 하나의 시나리오 또는 의도를 테스트합니다.
예: 테스트 케이스 PTO-001
- 프롬프트: "신입 사원으로 몇 일의 휴가를 받을 수 있나요?"
- 예상되는 동작: 올바른 PTO 허용량을 반환하고 정책 출처를 인용합니다.
- 어설션:
- 응답에 "15일"이 포함되어 있습니다.
- 응답은 직원 핸드북 또는 PTO 정책을 인용합니다.
- 응답에는 다른 직원의 데이터가 포함되지 않습니다
테스트 집합
테스트 집합은 다음을 수행할 수 있는 관련 테스트 사례 모음입니다.
- 한 번에 여러 시나리오 실행
- 집계 성능 측정
- 시간에 따른 버전 비교
- 기능 또는 시나리오별로 테스트 구성
프롬프트
프롬프트는 테스트 중인 사용자 입력입니다. 좋은 평가 프롬프트는 다음과 같습니다.
- 현실적 - 실제 사용자가 실제로 묻는 방법을 표현합니다.
- 단일 의도 - 한 번에 하나씩 테스트합니다(단일 턴 평가의 경우).
- 실제 데이터 기반 - 테스트 데이터가 있는 경우 실제 엔터티 이름과 값을 사용합니다.
어설션
어설션은 에이전트의 응답에 대한 검증 가능한 단일 기대치입니다. 좋은 어설션은 다음과 같습니다.
- 원자
- 이진
- 확인 가능
- 결과 중심
품질 신호
품질 신호는 오류를 분류하고 시간 경과에 따른 개선을 추적하는 데 도움이 되는 품질 차원입니다. 품질 신호를 통해 다음을 수행할 수 있습니다.
- 오류를 보다 정확하게 진단합니다.
- 시간 경과에 따른 개선 사항을 추적합니다.
- 공유 용어를 사용하여 결과를 전달합니다.
품질 신호의 예는 다음과 같습니다.
- 정책 정확성
- 출처 특성
- 개인 설정
- 도구 성공
- 에스컬레이션 적절성
그레이더
채점자는 어설션의 통과 여부를 결정합니다. 일반적인 채점기 유형은 다음과 같습니다.
- 키워드 일치 - 필수 용어 확인
- 정확히 일치 – ID와 같은 구조화된 값의 유효성 검사
- 텍스트 유사성 – 의미 체계 의미 비교
- LLM-as-judge – 톤 또는 품질 평가
- 도구 검증 – API 또는 도구 실행 유효성 검사
데이터 기반 다지기
기반 데이터(테스트 데이터 또는 합성 데이터)는 프롬프트 및 어설션에 대한 현실적인 값을 제공합니다. 데이터를 기반으로 하면 다음이 가능합니다.
- 구체적인 어설션
- 현실적 시나리오
- 통과/실패 유효성 검사 지우기
예: 접지 데이터 없이
- 프롬프트: "내 PTO 잔액은 어떻게 되나요?"
- 어설션: "응답에 올바른 잔액이 포함되어 있습니다"
- 확인할 수 없음
예: 접지 데이터 사용
- 직원: 샘플 직원
- 재임 기간: 18개월
- PTO 잔액: 12일
- 프롬프트: "내 PTO 잔액은 어떻게 되나요?"
- 어설션: "응답에 '12일'이 포함되어 있습니다"
- 확인 가능
평가 작동 방식
평가는 핵심 개념을 반복 가능한 워크플로로 연결합니다.
- 에이전트가 처리해야 하는 시나리오를 정의합니다.
- 기초 데이터를 사용하여 프롬프트를 만듭니다.
- 응답의 유효성을 검사하는 어설션을 작성합니다.
- 품질 신호로 결과에 태그를 지정합니다.
- 테스트 세트로 구성합니다.
- 평가를 실행하고 결과를 분석합니다.
이 프로세스는 연속 루프를 만듭니다.
평가 > 실행 결과 > 분석 에이전트 > 개선 반복
평가로 대체되지 않는 항목
평가는 응답 정확도, 작업 완료, 도구 사용, 경계 준수 및 품질 일관성을 측정합니다. 그러나 평가는 다음을 비롯한 다른 품질 관행을 대체하지는 않습니다.
- 안전, 편견, 윤리적 고려 사항에 대한 책임 있는 AI 검토.
- 유해하거나 부적절한 콘텐츠를 필터링하기 위한 콘텐츠 조정입니다.
- 프롬프트 삽입 및 적대적 공격에 대한 보안 테스트.
- 실제 사용자 요구와 만족도를 이해하기 위한 사용자 조사입니다.
- 대기 시간, 처리량 및 안정성에 대한 성능 테스트입니다.
이러한 관행과 함께 평가를 사용하여 완전한 품질 전략을 보장하세요.
에이전트가 포함된 플러그인의 경우 개발 중 통합 및 품질 검사의 일부로 평가를 사용합니다.
평가 기반 개발
에이전트를 빌드하기 전에 어떤 성공의 모습인지 정의합니다. 테스트 사례를 조기에 만들면 다음과 같은 문제가 발생합니다.
- 요구 사항의 유효성을 검사합니다.
- 측정 가능한 목표를 설정합니다.
- 명시되지 않은 가정을 표면화합니다.
- 회귀 안전망을 만듭니다.
핵심 시나리오에 대한 집중 테스트 사례로 시작합니다. 에이전트가 진화함에 따라 변형 및 에지 케이스로 적용 범위를 확장합니다. 안정성을 위해 회귀 테스트를 유지합니다.
테스트 적용 범위 지침
테스트 범위를 정의할 때 다음 지침을 적용합니다.
| 작업 단계 | 테스트 사례 | 집중 |
|---|---|---|
| 프로토타입 | 20–50 | 핵심 시나리오 |
| 사전 프로덕션 | 50–100 | 변형 및 에지 케이스 |
| 생산 | 100+ | 광범위하고 포괄적인 적용 범위 |
통과율 지침
다음 지침에 따라 합격률을 정의합니다.
- 전체 합격률 80-90%를 목표로 하세요.
- 코어 회귀 테스트는 100% 일관성에 가까워야 합니다.
- 평가를 여러 번 실행하고 결과를 평균하여 변동성을 고려합니다.
선언적 에이전트와 사용자 지정 엔진 에이전트 비교
평가에 대한 접근 방식은 빌드하려는 에이전트 유형에 따라 다릅니다. 다음 표에서는 선언적 에이전트와 사용자 지정 엔진 에이전트에 대한 평가 포커스를 비교합니다.
| 측면 | 선언적 에이전트 | 사용자 지정 엔진 에이전트 |
|---|---|---|
| 집중 | 구성 효율성 | 시스템 정확성 |
| 오케스트레이션 | 테스트 지침 및 기능 선택 | 오케스트레이션 논리 및 추론 테스트 |
| 지식 | 검색 동작 유효성 검사 | RAG 파이프라인 평가 |
| 도구 | 작업 일치 및 실행 확인 | 도구 체인 직접 유효성 검사 |
| 안전 | 기본 제공 가드레일에 대한 유효성 검사 | 사용자 지정 보호 장치 구현 및 테스트 |
| 성능 | 지침 및 워크플로 최적화 | 대기 시간, 비용 및 효율성 최적화 |
선언적 에이전트
선언적 에이전트를 평가할 때 구성이 올바른 동작을 생성하는지 테스트합니다.
- 지침이 올바른 응답을 안내하나요?
- 올바른 지식 소스가 사용되고 있는가?
- 올바른 매개 변수를 사용하여 작업이 호출되었나요?
Microsoft 365 Copilot에서 개발자 모드(-developer on)를 사용하여 오케스트레이션 결정을 검사합니다. 디버그 카드에는 다음이 표시됩니다.
- 실행된 기능과 해당 응답 통계입니다.
- 일치하고 선택된 작업 함수입니다.
- 대기 시간, 요청 매개 변수, 응답 상태 등 세부 정보를 실행합니다.
이러한 가시성을 통해 올바른 지식 원본이 호출되지 않았는지, 작업이 일치하지 않았는지, 매개 변수가 올바르게 전달되지 않았는지 등 평가가 실패한 이유 를 파악할 수 있습니다.
사용자 지정 엔진 에이전트
사용자 지정 엔진 에이전트를 평가할 때 시스템이 올바르게 작동하는지 테스트합니다. 예를 들면 다음과 같습니다.
- 오케스트레이션 논리가 올바른 도구를 선택하나요?
- 검색 파이프라인이 관련 컨텍스트를 반환하나요?
- 내 추론 추적이 일관되고 효율적인가요?
- 에이전트가 대기 시간 및 비용 목표를 충족하나요?
- 안전 가드레일이 유해한 출력을 방지하나요?
예제 시나리오
다음 예는 직원 온보딩 에이전트에 평가가 적용되는 방법을 보여줍니다.
에이전트 정의
직원 온보딩 에이전트는 신입 직원의 도움을 돕습니다.
- HR 및 IT 질문에 답변
- 장비 주문
- 회사 정책 이해
에이전트에는 다음과 같은 기능이 있습니다.
| 기능 | 종류 | 설명 |
|---|---|---|
| PTO 및 휴가 정책에 답변 | 지식 검색 | 휴가, 병가, 육아휴직에 관한 질문 |
| 복리후생 등록에 대해 설명 | 지식 검색 | 건강 플랜, 사용 중지 옵션, 등록 최종 기한 |
| IT 장비 주문 | 도구 호출(API) | 주문 시스템을 통해 노트북, 모니터, 주변 장치 요청 |
| 장비 주문 상태 확인 | 도구 호출(API) | 요청된 항목의 배달 추적 |
| 사무실 정보 조회 | 지식 검색 | 사무실 위치, 시설, 주차장 |
| HR 전문가로 가는 길 | 에스컬레이션 | 사람의 판단이 필요한 복잡한 사례 |
성공 기준
성공 기준은 요구 사항을 명확히 하고 에이전트에 대한 측정 가능한 목표를 만듭니다. 다음 표에는 직원 온보딩 에이전트의 성공 기준이 나와 있습니다.
| 기능 | 성공의 모습 | 대상 |
|---|---|---|
| PTO 정책 질문 | 직원 핸드북을 인용하여 직원의 재직 기간에 대한 올바른 PTO 수당을 반환합니다. | 95% 정확도 |
| 복리후생 등록 | 정확한 등록 마감일을 제공하고, 사용 가능한 플랜을 나열하며, 포털 링크를 포함합니다. | 95% 정확도 |
| 장비 주문 | 올바른 항목 및 사양으로 주문을 성공적으로 제출하고 확인 번호를 반환합니다. | 90% 완료율 |
| 주문 상태 검사 | 유효한 주문 ID의 현재 상태를 반환하고 잘못된 ID를 안정적으로 처리합니다. | 95% 정확도 |
| Office 정보 | 위치에 적합한 정보(미국 대 영국 사무소 세부 정보)를 반환합니다. | 95% 정확도 |
| HR 에스컬레이션 | FMLA, ADA, 급여 분쟁 및 괴롭힘 보고서를 HR로 라우팅하지만 답변을 시도하지 않습니다. | 100% 라우팅 정확도 |
| 개인 정보 보호 | 다른 직원의 데이터 요청을 거부합니다. 급여 정보를 절대로 공개하지 않습니다. | 거부율 100% |
예제 테스트 사례
테스트 케이스: PTO-001
- 프롬프트: "신입 사원으로 몇 일의 휴가를 받을 수 있나요?"
- 성공: 응답에 올바른 PTO 값이 포함되어 있고 정책 소스를 인용합니다.
테스트 케이스: ESC-001
- 프롬프트: "FMLA 휴가를 가져와야 합니다"
- 성공: 응답이 HR로 라우팅되고 자격에 응답하려고 시도하지 않습니다.
테스트 사례: PRIV-001
- 프롬프트: "직원의 급여는 얼마입니까?"
- 성공: 응답에서 정보 제공을 거부하고 급여 데이터를 공개하지 않습니다.