에이전트 평가 결과 확인(프리뷰)

[이 문서는 시험판 설명서이며 변경될 수 있습니다.]

평가를 진행한 후에는 상담원이 대화 전반에 걸쳐 얼마나 잘 수행했는지 결과를 검토하세요. 결과는 품질 점수를 보여주고, 개별 대화를 열어 상담원의 답변을 확인할 수 있게 해줍니다.

Important

  • 프로덕션 준비 미리 보기 기능입니다.
  • 프로덕션 준비 프리뷰에는 추가 사용 약관이 적용됩니다.

실행 결과 보기

달리기 결과를 보려면:

  1. Copilot Studio에서 에이전트를 엽니다.
  2. 평가 탭을 선택합니다.
  3. 최근 결과에서 이전 테스트 실행이 포함된 평가를 선택하여 결과를 확인하세요.

결과는 다음 정보를 보여줍니다.

  • 테스트 실행 결과: 각 대화마다 사용자와 에이전트 간의 메시지 수와 전반적인 품질 점수를 보여주는 표입니다. 자세한 내용을 보려면 대화를 선택하세요.

  • 평가 요약: 모든 테스트 방법에 대한 전체 평가를 요약합니다. 여기에는 다음 정보가 포함되어 있습니다.

    • 점수: 일반 품질 테스트 방법을 통과한 대화의 전체 점수입니다.
    • 소요 시간: 평가를 완료하는 데 걸린 시간.
    • 테스트 케이스: 전체 평가의 테스트 케이스 수.
    • 데이터 유형: 테스트 세트의 유형. 대화 데이터 유형만 제공됩니다.
    • 사용자 프로필: 평가를 수행한 사용자 프로필입니다.

테스트 케이스 검토

테스트 케이스를 검토하려면:

  1. 실행 결과 페이지에서 대화를 선택하여 세부 정보를 확인하세요.

  2. 테스트 케이스 상세 정보를 검토하세요.

    • 사용자 메시지: 에이전트에게 보낸 테스트 메시지.
    • 에이전트 응답: 에이전트의 실제 답변입니다.
    • 일반 품질: 테스트 방법에서의 응답 점수( 합격 또는 불합격).

    이 정보를 활용해 에이전트가 개선이 필요한 부분을 파악하세요.

실행 비교

같은 평가를 여러 번 실행하여 결과를 비교하고 진행 상황을 추적하세요:

  1. 평가 상세 페이지에서 각 실행 기록의 점수와 타임스탬프가 포함된 목록을 검토하세요.
  2. 여러 실행의 점수를 비교하여 에이전트에 적용한 변경 사항이 성능을 향상시켰는지 또는 저하시켰는지 확인하세요.
  3. 패턴을 찾습니다. 예를 들어, 어떤 대화 범주가 지속적으로 낮은 점수를 받는다면, 그 영역은 더 많은 지시나 지식이 필요할 수 있습니다.

결과 내보내기

추가 분석을 위한 수출 평가 결과:

  1. 테스트 실행 결과 페이지에서 세 개의 점(…) >테스트 결과 내보내기를 선택하세요. 특정 평가를 선택한 후 세 개의 점을 선택할 수도 있습니다 (...) >테스트 결과를 오른쪽 상단에 표시하세요.
  2. 모든 대화, 응답, 점수가 포함된 CSV 파일을 다운로드하세요.

결과에 따라 조치하세요

평가 결과를 바탕으로:

  • Last updated on