에이전트 평가 결과 확인(프리뷰)

[이 문서는 시험판 문서이며 변경될 수 있습니다.]

평가를 진행한 후에는 상담원이 대화 전반에 걸쳐 얼마나 잘 수행했는지 결과를 검토하세요. 결과는 품질 점수를 보여주고, 개별 대화를 열어 상담원의 답변을 확인할 수 있게 해줍니다.

Important

  • 프로덕션 준비 미리 보기 기능입니다.
  • 프로덕션 준비 미리 보기에는 추가 사용 약관이 적용됩니다.

실행 결과 보기

달리기 결과를 보려면:

  1. Copilot Studio에서 에이전트를 엽니다.
  2. 평가 탭을 선택합니다.
  3. 최근 결과에서 이전 테스트 실행이 포함된 평가를 선택하여 결과를 확인하세요.

결과는 다음 정보를 보여줍니다.

  • 테스트 실행 결과: 각 대화마다 사용자와 에이전트 간의 메시지 수와 전반적인 품질 점수를 보여주는 표입니다. 자세한 내용을 보려면 대화를 선택하세요.

  • 평가 요약: 모든 테스트 방법에 대한 전체 평가를 요약합니다. 여기에는 다음 정보가 포함되어 있습니다.

    • 점수: 일반 품질 테스트 방법을 통과한 대화의 전체 점수입니다.
    • 소요 시간: 평가를 완료하는 데 걸린 시간.
    • 테스트 케이스: 전체 평가의 테스트 케이스 수.
    • 데이터 유형: 테스트 세트의 유형. 대화 데이터 유형만 제공됩니다.
    • 사용자 프로필: 평가를 수행한 사용자 프로필입니다.
    • 사용 크레딧: 이번 작전에 사용된 추정 Copilot 크레딧으로, 에이전트 응답 생성에 사용된 크레딧과 응답 점수 및 채점에 사용된 크레딧으로 나누어집니다. 자세한 내용은 '추정 신용 사용 이해하기'에서 확인하세요.

테스트 케이스 검토

테스트 케이스를 검토하려면:

  1. 실행 결과 페이지에서 대화를 선택하여 세부 정보를 확인하세요.

  2. 테스트 케이스 상세 정보를 검토하세요.

    • 사용자 메시지: 에이전트에게 보낸 테스트 메시지.
    • 에이전트 응답: 에이전트의 실제 답변입니다.
    • 일반 품질: 테스트 방법에서의 응답 점수( 합격 또는 불합격).
    • 사용 크레딧: 테스트 케이스에 사용된 추정 Copilot 크레딧으로, 어떤 시나리오가 가장 많은 자원을 소비하는지 파악할 수 있습니다.

    이 정보를 활용해 에이전트가 개선이 필요한 부분을 파악하세요.

실행 비교

같은 평가를 여러 번 실행하여 결과를 비교하고, 진행 상황을 추적하며, Copilot 크레딧 소비를 하세요:

  1. 평가 상세 페이지에서 각 실행 기록의 점수와 타임스탬프가 포함된 목록을 검토하세요.
  2. 여러 실행의 점수를 비교하여 에이전트에 적용한 변경 사항이 성능을 향상시켰는지 또는 저하시켰는지 확인하세요.
  3. 각 런마다 사용된 추정 Copilot 크레딧을 비교해 전체 런마다 소비량을 보고, 더 큰 테스트 스위트에 필요한 크레딧 수를 추정하세요.
  4. 패턴을 찾습니다. 예를 들어, 어떤 대화 범주가 지속적으로 낮은 점수를 받는다면, 그 영역은 더 많은 지시나 지식이 필요할 수 있습니다.

결과 내보내기

추가 분석을 위한 수출 평가 결과:

  1. 테스트 실행 결과 페이지에서 세 개의 점(…) >테스트 결과 내보내기를 선택하세요. 특정 평가를 선택한 후 세 개의 점을 선택할 수도 있습니다 (...) >테스트 결과를 오른쪽 상단에 표시하세요.
  2. 모든 대화, 응답, 점수가 포함된 CSV 파일을 다운로드하세요.

결과에 따라 조치하세요

평가 결과를 바탕으로:

  • Last updated on