주고받는 대화 평가

실제 사용자는 고립된 단일 질문 교환을 통해 에이전트와 상호 작용하지 않습니다. 대신 후속 질문, 점진적인 정보 공유 및 다단계 작업 완료를 포함하는 대화에 참여합니다.

다중 턴 평가는 상담원이 컨텍스트를 유지하고, 여러 단계에서 작업을 완료하고, 현실적인 대화 흐름 전반에 걸쳐 적절하게 응답할 수 있도록 하는 데 도움이 됩니다.

다중 턴 평가를 사용하는 시기

컨텍스트 보존 또는 작업을 완료하기 위해 여러 단계가 필요한 시나리오를 테스트할 때 다중 턴 평가를 사용합니다.

시나리오 다중 회전이 필요한 이유
슬롯 채우기 에이전트는 여러 가지 정보를 수집해야 합니다.
설명 흐름 에이전트는 모호한 사용자 입력을 resolve해야 합니다.
다단계 작업 이 작업을 완료하려면 여러 번의 교환이 필요합니다.
컨텍스트 종속 후속 조치 나중의 질문은 이전 응답에 따라 달라집니다.
점진적 공개 정보는 점진적으로 제공됩니다.

단일 턴 및 다중 턴 평가

커버리지에 대한 단일 턴 평가로 시작한 다음 다중 턴 평가를 추가하여 현실적인 상호 작용을 테스트합니다.

측면 싱글 턴 다중 턴
테스트 개별 질문-답변 쌍 대화 완료
컨텍스트 각 프롬프트는 독립적입니다 서로 빌드를 전환합니다.
복잡성 더 쉬워진 설계 및 평가 더 현실적이지만 복잡함
오류 진단 더 쉬운 문제 격리 단계별 분석이 필요함
사용 사례 특정 응답 테스트 대화 흐름 테스트

다중 회전 평가를 위한 주요 메트릭

다중 회전 평가에는 단일 회전 정확도 이상의 추가 메트릭이 필요합니다. 이러한 메트릭은 에이전트가 전체 대화에서 얼마나 잘 수행되는지를 평가합니다.

대화 완성도

대화 완성도는 에이전트가 상호 작용이 끝날 때까지 사용자의 목표를 달성했는지 여부를 측정합니다.

성공 사례

1턴

  • 사용자: "노트북을 주문해야 해요"
  • 에이전트: "내가 도와줄 수 있어. 어떤 종류의 노트북이 필요하신가요?"

2턴

  • 사용자: "MacBook Pro"
  • 에이전트: "14인치와 16인치 중 어떤 화면 크기가 되나요?"

3턴

  • 사용자: "16인치"
  • 상담원: "16인치 MacBook Pro 주문을 제출했습니다. 주문 ID: ORD-456. 예상 배송: 영업일 기준 5-7일."

✅ 사용자 목표(노트북 주문)가 달성되었습니다.

실패 사례

1턴

  • 사용자: "노트북을 주문해야 해요"
  • 에이전트: "내가 도와줄 수 있어. 어떤 종류의 노트북이 필요하신가요?"

2턴

  • 사용자: "MacBook Pro"
  • 에이전트: "MacBook Pro는 훌륭한 선택입니다! 다른 게 있나요?"

❌ 주문이 제출되지 않았으며 사용자 목표가 달성되지 않았습니다.

지식 보존

지식 보유는 상담원이 이전 턴에 제공된 정보를 기억하고 사용하는지 여부를 측정합니다.

성공 사례

1턴

  • 사용자: "내 직원 ID는 EMP-12345입니다."
  • 에이전트: "고마워요! 오늘 어떻게 도와드릴까요?"

2턴

  • 사용자: "PTO 잔액을 검사하고 싶습니다"
  • 상담원: "현재 PTO 잔액이 12일 남았습니다."

✅ 상담원이 다시 묻지 않고 이전에 제공된 직원 ID를 사용했습니다.

실패 사례

1턴

  • 사용자: "내 직원 ID는 EMP-12345입니다."
  • 에이전트: "고마워요! 오늘 어떻게 도와드릴까요?"

2턴

  • 사용자: "PTO 잔액을 검사하고 싶습니다"
  • 에이전트: "기꺼이 도와드리겠습니다. 직원 ID가 무엇인가요?"

❌ 에이전트가 이전 턴의 직원 ID를 잊어버렸습니다.

역할 준수

역할 준수는 상담원이 대화 전반에 걸쳐 정의된 scope와 책임을 유지하는지 여부를 측정합니다.

성공 사례

1턴

  • 사용자: "PTO 정책은 무엇입니까?"
  • 에이전트: 올바른 PTO 정책 정보 제공

2턴

  • 사용자: "휴가에 관한 시를 쓸 수 있나요?"
  • 에이전트: "HR 및 온보딩 관련 질문에 도움을 드리러 왔습니다. PTO에 대해 제가 도울 수 있는 다른 것이 있습니까?"

✅ 에이전트가 해당 역할 내에 머물면서 적절하게 리디렉션되었습니다.

실패 사례

1턴

  • 사용자: "PTO 정책은 무엇입니까?"
  • 에이전트: 올바른 PTO 정책 정보 제공

2턴

  • 사용자: "휴가에 관한 시를 쓸 수 있나요?"
  • 요원: "물론이죠! 햇볕이 잘 드는 해변에 관한 시가 있습니다..."

❌에이전트는 HR 도우미로서의 역할에서 벗어났습니다.

대화 관련성

대화 관련성은 각 응답이 현재 대화 컨텍스트 내에서 사용자의 요청과 직접적으로 관련되어 있는지 여부를 측정합니다.

실패 사례

1턴

  • 사용자: "어떤 건강 플랜을 사용할 수 있나요?"
  • 에이전트: HMO 및 PPO 옵션 나열

2턴

  • 사용자: "비용 차이가 뭐야?"
  • 에이전트: "PPO는 의사를 선택할 때 더 많은 유연성을 제공합니다."

❌ 응답은 비용에 대한 사용자의 질문을 다루지 않습니다.

컨텍스트 일관성

컨텍스트 일관성은 상담원이 대화의 모든 턴에서 일관된 사실과 정보를 유지하는지 여부를 측정합니다.

실패 사례

1턴

  • 사용자: "휴가는 몇 일이나 받을 수 있나요?"
  • 대리인: "신입 사원으로서 매년 15일의 PTO를 받습니다."

2턴

  • 사용자: "그리고 병가는 몇 일입니까?"
  • 에이전트: "10일의 병가와 10일의 휴가가 있습니다."

❌ 에이전트가 휴가 일수를 변경하여 이전 정보와 모순됩니다.

다중 턴 테스트 사례 디자인

효과적인 다중 전환 평가를 설계하려면 대화 흐름과 예상되는 동작을 모두 정의해야 합니다. 다중 회전 테스트 사례에는 일반적으로 다음이 포함됩니다.

  • 테스트 사례 ID 및 설명
  • 데이터 기반 다지기
  • 대화 순서
  • 예상되는 동작
  • 어설션

예: 장비 주문

  • 테스트 사례 ID: CONV-001
  • 설명: 장비 주문 흐름

데이터 기반 다지기

  • 직원: Katrin Pold
  • 직원 ID: EMP-54321
  • 부서: 제품 디자인
  • 예산: $3,500

대화

1턴

  • 사용자: "노트북을 설정해야 해요."
  • 예상 동작: 기본 설정에 대해 질문합니다.

2턴

  • 사용자: "MacBook Pro"
  • 예상되는 동작: 사양을 요청합니다.

3턴

  • 사용자: "16GB RAM이 있는 32인치"
  • 예상 동작: 주문을 확인하고 제출합니다.

4턴

  • 사용자: "실제로는 64GB로 변경하세요."
  • 예상된 동작: 주문을 업데이트합니다.

대화 수준 어설션

  • 장비 주문이 확인되면 대화가 완료됩니다.
  • 최종 주문은 수정된 사양(64GB)을 반영합니다.
  • 에이전트는 직원 ID를 요청하지 않습니다(컨텍스트에서 유추해야 함).
  • 완료까지의 총 턴 수는 ≤6입니다.

턴 수준 어설션

  • 3턴:
    • 에이전트가 OrderEquipment 도구를 호출합니다.
    • 도구 호출에는 모델이 포함되어 있습니다: "MacBook Pro 16인치".
    • 도구 호출에 "32GB"가 포함된 사양이 포함되어 있습니다.
  • 4턴:
    • 에이전트가 UpdateOrder를 호출하거나 이전 주문을 수정합니다.
    • 최종 확인에는 "64GB"가 표시됩니다.

예: 슬롯을 채우는 대화

시나리오: 복리후생 등록(슬롯 채우기)
목표: 필요한 모든 정보를 수집하고 등록을 완료합니다.

필수 입력(슬롯):

  • 플랜 선택(HMO 또는 PPO)
  • 적용 범위 수준(개인 또는 가족)
  • 종속 정보(해당하는 경우)
  • 적용 날짜

대화

1턴
사용자: "건강보험에 가입하고 싶습니다."
에이전트:

  • 요청을 승인합니다.
  • 플랜 기본 설정 요청(HMO 대 PPO)

2턴
사용자: "뭐가 다른가요?"
에이전트:

  • HMO와 PPO의 주요 차이점을 설명합니다.
  • 계획 선택에 대한 다시 요청

3턴
사용자: "PPO로 갈게요."
에이전트:

  • 선택 확인
  • 보장 수준 요청(개인 또는 가족)

4턴
사용자: "가족 보장. 나에게는 배우자와 두 자녀가 있습니다."
에이전트:

  • 종속 시나리오 확인
  • 종속 세부 정보(이름, 연령 등)를 요청합니다.

5턴
사용자: [종속 정보 제공]
에이전트:

  • 수집된 모든 정보를 확인합니다.
  • 등록 제출
  • 확인 요약 제공

어설션:

  • 제출 전에 필요한 모든 슬롯이 수집됩니다.
  • 에이전트는 필수 입력을 건너뛰지 않습니다.
  • 에이전트는 메시지가 표시되면 옵션을 설명합니다.
  • 최종 확인에는 캡처된 모든 세부 정보가 포함됩니다.
  • 불필요한 회전 없이 작업이 성공적으로 완료됩니다.

예: 설명 대화

시나리오: 모호한 요청(설명)
목표: 응답하기 전에 충분한 컨텍스트를 수집하여 모호성 해결

대화

1턴
사용자: "좀 쉬어야 해요."
에이전트:

  • 요청을 승인합니다.
  • 휴가 유형(PTO, 병가, 개인 휴가)을 묻습니다.

2턴
사용자: "의료 시술을 위한 것입니다."
에이전트:

  • 가능성이 있는 범주를 식별합니다.
  • 요청이 사용자 또는 가족 구성원에 대한 요청인지 묻습니다.

3턴
사용자: "나를 위한 것입니다. 사소한 수술이에요."
에이전트:

  • 병가일 가능성이 높다고 판단합니다.
  • 관련 정책 정보 제공
  • 예상 기간에 대해 묻습니다.

4턴
사용자: "일주일 정도."
에이전트:

  • 자격 및 프로세스 확인
  • 다음 단계(예: 휴가 요청 방법)를 제공합니다.
  • 해당되는 경우 요청을 시작하도록 제안합니다.

어설션:

  • 에이전트는 초기 모호한 요청에서 의도를 가정하지 않습니다.
  • 질문을 명확히 하는 것은 관련성이 있으며 점진적으로 scope를 좁힙니다.
  • 최종 응답은 사용자의 실제 상황을 반영합니다.
  • 에이전트는 설명에서 해결로 효과적으로 전환합니다.

예: 오류 복구 대화

시나리오: 주문 실패 및 복구
목표: 실패를 투명하게 처리하고 사용자를 성공적인 결과로 안내

대화:

1턴
사용자: "MacBook Pro 16인치를 주문해 줘."
에이전트:

  • 주문을 제출하려고 시도합니다.

시스템/도구 응답:

  • 오류: 항목 품절

에이전트:

  • 문제를 명확하게 전달합니다.
  • 오류를 가리거나 무시하지 않습니다.
  • 대안 제안(예: 다른 모델 또는 크기)

2턴
사용자: "언제 다시 입고될 수 있나요?"
에이전트:

  • 가용성을 확인하거나 가능한 경우 재입고 추정치를 제공합니다.
  • 사용할 수 없는 경우 명확하게 전달합니다.
  • 사용자에게 알리거나 대안을 제안하기 위한 제안

3턴
사용자: "14인치를 대신 얻을 수 있나요?"
에이전트:

  • 대안의 사용 가능 여부 확인
  • 새 주문을 제출합니다.
  • 확인 제공(주문 세부 정보, 예상 배송)

어설션:

  • 에이전트가 오류와 그 원인을 명확하게 전달합니다.
  • 에이전트는 실행 가능한 대안 또는 다음 단계를 제공합니다.
  • 대화는 막다른 골목이 아닌 회복을 향해 진행됩니다.
  • 사용자는 실패 후 작업을 성공적으로 완료합니다.
  • 에이전트는 실패 및 복구 단계에서 컨텍스트를 유지 관리합니다.

다중 턴 어설션

다중 턴 평가에는 대화 수준 및 턴 수준 유효성 검사가 모두 필요합니다.

대화 수준 어설션

  • 대화가 사용자의 목표를 달성합니다.
  • 회전 수가 예상 범위 내에 있습니다.
  • 에이전트는 일관된 정보를 유지합니다.
  • 에이전트는 역할을 유지합니다.
  • 에이전트는 중복 정보를 요청하지 않습니다.

턴 수준 어설션

  • 응답에서 이전 컨텍스트를 승인합니다.
  • 응답은 적절한 후속 질문을 합니다.
  • 에이전트가 예상한 작업을 수행합니다.
  • 응답은 수행된 작업을 확인합니다.

조건부 어설션

  • 사용자가 정보를 수정하면 에이전트는 후속 응답을 업데이트합니다.
  • 작업이 실패하면 에이전트는 문제를 전달하고 대안을 제공합니다.
  • 사용자가 scope 외 질문을 하면 에이전트가 적절하게 리디렉션합니다.

예: 종단 간 다중 전환 평가

테스트 사례: 신입 사원 설정

설명

신입 직원이 같은 대화 중에 장비를 주문하고 복리후생 질문을 합니다.

데이터 기반 다지기

  • 직원: Marcus Johnson
  • 직원 ID: EMP-99887
  • 학과: 공학
  • 위치: 시애틀
  • 장비 예산: $4,000

대화

1턴

  • 사용자: "다음 주에 시작하는데 워크스테이션을 설정해야 합니다."
  • 예상 동작: 환영하고 장비 요구 사항에 대해 질문합니다.

2턴

  • 사용자: "64GB RAM과 27인치 모니터가 장착된 MacBook Pro 16인치가 필요합니다."
  • 예상된 동작: 주문을 제출하고 확인합니다.

3턴

  • 사용자: "건강보험 가입 마감일은 언제야?"
  • 예상 동작: 컨텍스트를 잃지 않고 복리후생 정보를 제공합니다.

4턴

  • 사용자: "주문한 항목을 확인할 수 있나요?"
  • 예상 동작: 순서를 떠올려 요약합니다.

예상 결과

  • 장비 주문이 완료되었습니다.
  • 복리후생 질문에 정확하게 답변합니다.
  • 컨텍스트는 턴 간에 유지됩니다.
  • 정보가 다시 요청되지 않습니다.

일반적인 함정

다중 전환 대화를 디자인하고 평가할 때 다음과 같은 일반적인 문제에 유의하세요.

  • 전체 대화 컨텍스트 내가 아니라 격리된 상태에서 평가 턴을 수행하면 메모리, 연속성 및 작업 완료와 관련된 실패를 숨길 수 있습니다.
  • 모호성, 수정, 중단과 같은 실제 사용자 행동을 반영하지 못하는 이상적인(행복한 경로) 시나리오만 테스트합니다.
  • 짧은 흐름은 종종 완료를 놓치고 긴 흐름은 컨텍스트 드리프트를 유발하는 짧은 대화와 긴 대화의 차이를 무시합니다.
  • 입력 충돌, 주제 전환 또는 모호한 요청과 같은 적대적이거나 예기치 않은 사용자 행동을 포함하지 않습니다.
  • 불분명하거나 암시적인 사용자 목표를 정의하여 대화의 성공 여부를 판단하기 어렵게 만듭니다.
  • 예상 응답을 과도하게 지정하면 유연성이 떨어지고 유효한 변형에 잘못 불이익이 발생합니다.
  • 오류 처리 및 복구 경로를 테스트하지 못하여 에이전트가 실패 또는 누락된 정보에 응답하는 방법에 공백이 남습니다.

모범 사례

다음 방법을 사용하여 효과적이고 확장 가능한 다중 전환 평가를 설계합니다.

  • 가장 일반적이거나 중요한 대화 흐름을 나타내는 작은 고가치 시나리오 집합으로 시작합니다.
  • 각 테스트 사례에 대한 명확한 사용자 목표를 정의하고 목표 완료를 주요 성공 메트릭으로 사용합니다.
  • 직접 경로(사용자가 모든 입력을 미리 제공)와 안내 경로(에이전트가 여러 턴에 걸쳐 입력 수집) 경로를 모두 테스트합니다.
  • 먼저 대화 수준 어설션을 사용한 다음 심층적인 유효성 검사를 위해 턴 수준 어설션을 추가합니다.
  • 설명, 수정, 주제 전환 등 실제 사용자 행동을 반영하는 시나리오를 설계합니다.
  • 에이전트가 다시 요청하지 않고 이전에 제공된 정보를 사용하도록 하여 컨텍스트 보존을 명시적으로 검증합니다.
  • 오류 처리 및 복구 시나리오를 포함하여 에이전트가 오류를 전달하고 다음 단계를 제공하도록 합니다.
  • 정확한 응답 일치 대신 유연한 동작 기반 어설션을 사용합니다.
  • 정확한 표현보다는 예상되는 동작을 정의하여 현실감을 유지하면서 테스트를 재현할 수 있는지 확인합니다.
  • 관찰된 오류 및 진화하는 사용 패턴을 기반으로 테스트 사례를 지속적으로 반복하고 구체화합니다.

다음 단계