실제 사용자는 고립된 단일 질문 교환을 통해 에이전트와 상호 작용하지 않습니다. 대신 후속 질문, 점진적인 정보 공유 및 다단계 작업 완료를 포함하는 대화에 참여합니다.
다중 턴 평가는 상담원이 컨텍스트를 유지하고, 여러 단계에서 작업을 완료하고, 현실적인 대화 흐름 전반에 걸쳐 적절하게 응답할 수 있도록 하는 데 도움이 됩니다.
다중 턴 평가를 사용하는 시기
컨텍스트 보존 또는 작업을 완료하기 위해 여러 단계가 필요한 시나리오를 테스트할 때 다중 턴 평가를 사용합니다.
| 시나리오 | 다중 회전이 필요한 이유 |
|---|---|
| 슬롯 채우기 | 에이전트는 여러 가지 정보를 수집해야 합니다. |
| 설명 흐름 | 에이전트는 모호한 사용자 입력을 resolve해야 합니다. |
| 다단계 작업 | 이 작업을 완료하려면 여러 번의 교환이 필요합니다. |
| 컨텍스트 종속 후속 조치 | 나중의 질문은 이전 응답에 따라 달라집니다. |
| 점진적 공개 | 정보는 점진적으로 제공됩니다. |
단일 턴 및 다중 턴 평가
커버리지에 대한 단일 턴 평가로 시작한 다음 다중 턴 평가를 추가하여 현실적인 상호 작용을 테스트합니다.
| 측면 | 싱글 턴 | 다중 턴 |
|---|---|---|
| 테스트 | 개별 질문-답변 쌍 | 대화 완료 |
| 컨텍스트 | 각 프롬프트는 독립적입니다 | 서로 빌드를 전환합니다. |
| 복잡성 | 더 쉬워진 설계 및 평가 | 더 현실적이지만 복잡함 |
| 오류 진단 | 더 쉬운 문제 격리 | 단계별 분석이 필요함 |
| 사용 사례 | 특정 응답 테스트 | 대화 흐름 테스트 |
다중 회전 평가를 위한 주요 메트릭
다중 회전 평가에는 단일 회전 정확도 이상의 추가 메트릭이 필요합니다. 이러한 메트릭은 에이전트가 전체 대화에서 얼마나 잘 수행되는지를 평가합니다.
대화 완성도
대화 완성도는 에이전트가 상호 작용이 끝날 때까지 사용자의 목표를 달성했는지 여부를 측정합니다.
성공 사례
1턴
- 사용자: "노트북을 주문해야 해요"
- 에이전트: "내가 도와줄 수 있어. 어떤 종류의 노트북이 필요하신가요?"
2턴
- 사용자: "MacBook Pro"
- 에이전트: "14인치와 16인치 중 어떤 화면 크기가 되나요?"
3턴
- 사용자: "16인치"
- 상담원: "16인치 MacBook Pro 주문을 제출했습니다. 주문 ID: ORD-456. 예상 배송: 영업일 기준 5-7일."
✅ 사용자 목표(노트북 주문)가 달성되었습니다.
실패 사례
1턴
- 사용자: "노트북을 주문해야 해요"
- 에이전트: "내가 도와줄 수 있어. 어떤 종류의 노트북이 필요하신가요?"
2턴
- 사용자: "MacBook Pro"
- 에이전트: "MacBook Pro는 훌륭한 선택입니다! 다른 게 있나요?"
❌ 주문이 제출되지 않았으며 사용자 목표가 달성되지 않았습니다.
지식 보존
지식 보유는 상담원이 이전 턴에 제공된 정보를 기억하고 사용하는지 여부를 측정합니다.
성공 사례
1턴
- 사용자: "내 직원 ID는 EMP-12345입니다."
- 에이전트: "고마워요! 오늘 어떻게 도와드릴까요?"
2턴
- 사용자: "PTO 잔액을 검사하고 싶습니다"
- 상담원: "현재 PTO 잔액이 12일 남았습니다."
✅ 상담원이 다시 묻지 않고 이전에 제공된 직원 ID를 사용했습니다.
실패 사례
1턴
- 사용자: "내 직원 ID는 EMP-12345입니다."
- 에이전트: "고마워요! 오늘 어떻게 도와드릴까요?"
2턴
- 사용자: "PTO 잔액을 검사하고 싶습니다"
- 에이전트: "기꺼이 도와드리겠습니다. 직원 ID가 무엇인가요?"
❌ 에이전트가 이전 턴의 직원 ID를 잊어버렸습니다.
역할 준수
역할 준수는 상담원이 대화 전반에 걸쳐 정의된 scope와 책임을 유지하는지 여부를 측정합니다.
성공 사례
1턴
- 사용자: "PTO 정책은 무엇입니까?"
- 에이전트: 올바른 PTO 정책 정보 제공
2턴
- 사용자: "휴가에 관한 시를 쓸 수 있나요?"
- 에이전트: "HR 및 온보딩 관련 질문에 도움을 드리러 왔습니다. PTO에 대해 제가 도울 수 있는 다른 것이 있습니까?"
✅ 에이전트가 해당 역할 내에 머물면서 적절하게 리디렉션되었습니다.
실패 사례
1턴
- 사용자: "PTO 정책은 무엇입니까?"
- 에이전트: 올바른 PTO 정책 정보 제공
2턴
- 사용자: "휴가에 관한 시를 쓸 수 있나요?"
- 요원: "물론이죠! 햇볕이 잘 드는 해변에 관한 시가 있습니다..."
❌에이전트는 HR 도우미로서의 역할에서 벗어났습니다.
대화 관련성
대화 관련성은 각 응답이 현재 대화 컨텍스트 내에서 사용자의 요청과 직접적으로 관련되어 있는지 여부를 측정합니다.
실패 사례
1턴
- 사용자: "어떤 건강 플랜을 사용할 수 있나요?"
- 에이전트: HMO 및 PPO 옵션 나열
2턴
- 사용자: "비용 차이가 뭐야?"
- 에이전트: "PPO는 의사를 선택할 때 더 많은 유연성을 제공합니다."
❌ 응답은 비용에 대한 사용자의 질문을 다루지 않습니다.
컨텍스트 일관성
컨텍스트 일관성은 상담원이 대화의 모든 턴에서 일관된 사실과 정보를 유지하는지 여부를 측정합니다.
실패 사례
1턴
- 사용자: "휴가는 몇 일이나 받을 수 있나요?"
- 대리인: "신입 사원으로서 매년 15일의 PTO를 받습니다."
2턴
- 사용자: "그리고 병가는 몇 일입니까?"
- 에이전트: "10일의 병가와 10일의 휴가가 있습니다."
❌ 에이전트가 휴가 일수를 변경하여 이전 정보와 모순됩니다.
다중 턴 테스트 사례 디자인
효과적인 다중 전환 평가를 설계하려면 대화 흐름과 예상되는 동작을 모두 정의해야 합니다. 다중 회전 테스트 사례에는 일반적으로 다음이 포함됩니다.
- 테스트 사례 ID 및 설명
- 데이터 기반 다지기
- 대화 순서
- 예상되는 동작
- 어설션
예: 장비 주문
- 테스트 사례 ID: CONV-001
- 설명: 장비 주문 흐름
데이터 기반 다지기
- 직원: Katrin Pold
- 직원 ID: EMP-54321
- 부서: 제품 디자인
- 예산: $3,500
대화
1턴
- 사용자: "노트북을 설정해야 해요."
- 예상 동작: 기본 설정에 대해 질문합니다.
2턴
- 사용자: "MacBook Pro"
- 예상되는 동작: 사양을 요청합니다.
3턴
- 사용자: "16GB RAM이 있는 32인치"
- 예상 동작: 주문을 확인하고 제출합니다.
4턴
- 사용자: "실제로는 64GB로 변경하세요."
- 예상된 동작: 주문을 업데이트합니다.
대화 수준 어설션
- 장비 주문이 확인되면 대화가 완료됩니다.
- 최종 주문은 수정된 사양(64GB)을 반영합니다.
- 에이전트는 직원 ID를 요청하지 않습니다(컨텍스트에서 유추해야 함).
- 완료까지의 총 턴 수는 ≤6입니다.
턴 수준 어설션
-
3턴:
- 에이전트가 OrderEquipment 도구를 호출합니다.
- 도구 호출에는 모델이 포함되어 있습니다: "MacBook Pro 16인치".
- 도구 호출에 "32GB"가 포함된 사양이 포함되어 있습니다.
-
4턴:
- 에이전트가 UpdateOrder를 호출하거나 이전 주문을 수정합니다.
- 최종 확인에는 "64GB"가 표시됩니다.
예: 슬롯을 채우는 대화
시나리오: 복리후생 등록(슬롯 채우기)
목표: 필요한 모든 정보를 수집하고 등록을 완료합니다.
필수 입력(슬롯):
- 플랜 선택(HMO 또는 PPO)
- 적용 범위 수준(개인 또는 가족)
- 종속 정보(해당하는 경우)
- 적용 날짜
대화
1턴
사용자: "건강보험에 가입하고 싶습니다."
에이전트:
- 요청을 승인합니다.
- 플랜 기본 설정 요청(HMO 대 PPO)
2턴
사용자: "뭐가 다른가요?"
에이전트:
- HMO와 PPO의 주요 차이점을 설명합니다.
- 계획 선택에 대한 다시 요청
3턴
사용자: "PPO로 갈게요."
에이전트:
- 선택 확인
- 보장 수준 요청(개인 또는 가족)
4턴
사용자: "가족 보장. 나에게는 배우자와 두 자녀가 있습니다."
에이전트:
- 종속 시나리오 확인
- 종속 세부 정보(이름, 연령 등)를 요청합니다.
5턴
사용자: [종속 정보 제공]
에이전트:
- 수집된 모든 정보를 확인합니다.
- 등록 제출
- 확인 요약 제공
어설션:
- 제출 전에 필요한 모든 슬롯이 수집됩니다.
- 에이전트는 필수 입력을 건너뛰지 않습니다.
- 에이전트는 메시지가 표시되면 옵션을 설명합니다.
- 최종 확인에는 캡처된 모든 세부 정보가 포함됩니다.
- 불필요한 회전 없이 작업이 성공적으로 완료됩니다.
예: 설명 대화
시나리오: 모호한 요청(설명)
목표: 응답하기 전에 충분한 컨텍스트를 수집하여 모호성 해결
대화
1턴
사용자: "좀 쉬어야 해요."
에이전트:
- 요청을 승인합니다.
- 휴가 유형(PTO, 병가, 개인 휴가)을 묻습니다.
2턴
사용자: "의료 시술을 위한 것입니다."
에이전트:
- 가능성이 있는 범주를 식별합니다.
- 요청이 사용자 또는 가족 구성원에 대한 요청인지 묻습니다.
3턴
사용자: "나를 위한 것입니다. 사소한 수술이에요."
에이전트:
- 병가일 가능성이 높다고 판단합니다.
- 관련 정책 정보 제공
- 예상 기간에 대해 묻습니다.
4턴
사용자: "일주일 정도."
에이전트:
- 자격 및 프로세스 확인
- 다음 단계(예: 휴가 요청 방법)를 제공합니다.
- 해당되는 경우 요청을 시작하도록 제안합니다.
어설션:
- 에이전트는 초기 모호한 요청에서 의도를 가정하지 않습니다.
- 질문을 명확히 하는 것은 관련성이 있으며 점진적으로 scope를 좁힙니다.
- 최종 응답은 사용자의 실제 상황을 반영합니다.
- 에이전트는 설명에서 해결로 효과적으로 전환합니다.
예: 오류 복구 대화
시나리오: 주문 실패 및 복구
목표: 실패를 투명하게 처리하고 사용자를 성공적인 결과로 안내
대화:
1턴
사용자: "MacBook Pro 16인치를 주문해 줘."
에이전트:
- 주문을 제출하려고 시도합니다.
시스템/도구 응답:
- 오류: 항목 품절
에이전트:
- 문제를 명확하게 전달합니다.
- 오류를 가리거나 무시하지 않습니다.
- 대안 제안(예: 다른 모델 또는 크기)
2턴
사용자: "언제 다시 입고될 수 있나요?"
에이전트:
- 가용성을 확인하거나 가능한 경우 재입고 추정치를 제공합니다.
- 사용할 수 없는 경우 명확하게 전달합니다.
- 사용자에게 알리거나 대안을 제안하기 위한 제안
3턴
사용자: "14인치를 대신 얻을 수 있나요?"
에이전트:
- 대안의 사용 가능 여부 확인
- 새 주문을 제출합니다.
- 확인 제공(주문 세부 정보, 예상 배송)
어설션:
- 에이전트가 오류와 그 원인을 명확하게 전달합니다.
- 에이전트는 실행 가능한 대안 또는 다음 단계를 제공합니다.
- 대화는 막다른 골목이 아닌 회복을 향해 진행됩니다.
- 사용자는 실패 후 작업을 성공적으로 완료합니다.
- 에이전트는 실패 및 복구 단계에서 컨텍스트를 유지 관리합니다.
다중 턴 어설션
다중 턴 평가에는 대화 수준 및 턴 수준 유효성 검사가 모두 필요합니다.
대화 수준 어설션
- 대화가 사용자의 목표를 달성합니다.
- 회전 수가 예상 범위 내에 있습니다.
- 에이전트는 일관된 정보를 유지합니다.
- 에이전트는 역할을 유지합니다.
- 에이전트는 중복 정보를 요청하지 않습니다.
턴 수준 어설션
- 응답에서 이전 컨텍스트를 승인합니다.
- 응답은 적절한 후속 질문을 합니다.
- 에이전트가 예상한 작업을 수행합니다.
- 응답은 수행된 작업을 확인합니다.
조건부 어설션
- 사용자가 정보를 수정하면 에이전트는 후속 응답을 업데이트합니다.
- 작업이 실패하면 에이전트는 문제를 전달하고 대안을 제공합니다.
- 사용자가 scope 외 질문을 하면 에이전트가 적절하게 리디렉션합니다.
예: 종단 간 다중 전환 평가
테스트 사례: 신입 사원 설정
설명
신입 직원이 같은 대화 중에 장비를 주문하고 복리후생 질문을 합니다.
데이터 기반 다지기
- 직원: Marcus Johnson
- 직원 ID: EMP-99887
- 학과: 공학
- 위치: 시애틀
- 장비 예산: $4,000
대화
1턴
- 사용자: "다음 주에 시작하는데 워크스테이션을 설정해야 합니다."
- 예상 동작: 환영하고 장비 요구 사항에 대해 질문합니다.
2턴
- 사용자: "64GB RAM과 27인치 모니터가 장착된 MacBook Pro 16인치가 필요합니다."
- 예상된 동작: 주문을 제출하고 확인합니다.
3턴
- 사용자: "건강보험 가입 마감일은 언제야?"
- 예상 동작: 컨텍스트를 잃지 않고 복리후생 정보를 제공합니다.
4턴
- 사용자: "주문한 항목을 확인할 수 있나요?"
- 예상 동작: 순서를 떠올려 요약합니다.
예상 결과
- 장비 주문이 완료되었습니다.
- 복리후생 질문에 정확하게 답변합니다.
- 컨텍스트는 턴 간에 유지됩니다.
- 정보가 다시 요청되지 않습니다.
일반적인 함정
다중 전환 대화를 디자인하고 평가할 때 다음과 같은 일반적인 문제에 유의하세요.
- 전체 대화 컨텍스트 내가 아니라 격리된 상태에서 평가 턴을 수행하면 메모리, 연속성 및 작업 완료와 관련된 실패를 숨길 수 있습니다.
- 모호성, 수정, 중단과 같은 실제 사용자 행동을 반영하지 못하는 이상적인(행복한 경로) 시나리오만 테스트합니다.
- 짧은 흐름은 종종 완료를 놓치고 긴 흐름은 컨텍스트 드리프트를 유발하는 짧은 대화와 긴 대화의 차이를 무시합니다.
- 입력 충돌, 주제 전환 또는 모호한 요청과 같은 적대적이거나 예기치 않은 사용자 행동을 포함하지 않습니다.
- 불분명하거나 암시적인 사용자 목표를 정의하여 대화의 성공 여부를 판단하기 어렵게 만듭니다.
- 예상 응답을 과도하게 지정하면 유연성이 떨어지고 유효한 변형에 잘못 불이익이 발생합니다.
- 오류 처리 및 복구 경로를 테스트하지 못하여 에이전트가 실패 또는 누락된 정보에 응답하는 방법에 공백이 남습니다.
모범 사례
다음 방법을 사용하여 효과적이고 확장 가능한 다중 전환 평가를 설계합니다.
- 가장 일반적이거나 중요한 대화 흐름을 나타내는 작은 고가치 시나리오 집합으로 시작합니다.
- 각 테스트 사례에 대한 명확한 사용자 목표를 정의하고 목표 완료를 주요 성공 메트릭으로 사용합니다.
- 직접 경로(사용자가 모든 입력을 미리 제공)와 안내 경로(에이전트가 여러 턴에 걸쳐 입력 수집) 경로를 모두 테스트합니다.
- 먼저 대화 수준 어설션을 사용한 다음 심층적인 유효성 검사를 위해 턴 수준 어설션을 추가합니다.
- 설명, 수정, 주제 전환 등 실제 사용자 행동을 반영하는 시나리오를 설계합니다.
- 에이전트가 다시 요청하지 않고 이전에 제공된 정보를 사용하도록 하여 컨텍스트 보존을 명시적으로 검증합니다.
- 오류 처리 및 복구 시나리오를 포함하여 에이전트가 오류를 전달하고 다음 단계를 제공하도록 합니다.
- 정확한 응답 일치 대신 유연한 동작 기반 어설션을 사용합니다.
- 정확한 표현보다는 예상되는 동작을 정의하여 현실감을 유지하면서 테스트를 재현할 수 있는지 확인합니다.
- 관찰된 오류 및 진화하는 사용 패턴을 기반으로 테스트 사례를 지속적으로 반복하고 구체화합니다.