평가 실행 및 결과 보기

메모

이 문서의 기능은 standard harness를 기반으로 하며, standard harness 기반 에이전트의 라이선스에 설명된 청구 옵션을 사용합니다. Access 표준 에이전트와 에이전트 플로우에서 표준 기능에 접근하는 방법을 배워보세요.

평가를 수행하고 결과를 분석하여 상담원의 행동을 최적화하고, 상담원이 귀하의 비즈니스 및 품질 요구사항을 충족하는지 검증하세요. 또한 에이전트를 개선하면서 시간이 지남에 따라 변화를 확인하기 위해 테스트 세트를 여러 번 실행할 수도 있습니다.

이 문서에서는 Copilot Studio 인터페이스를 사용하여 평가를 시작하고 결과를 보는 방법을 설명합니다. 도구로 추가되거나 Copilot Studio 또는 Power Automate 자동화 흐름의 일부로 추가된 Power Platform API 또는 connectors를 사용하여 평가를 실행할 수도 있습니다.

테스트 결과는 Copilot Studio에서 89일 동안 사용할 수 있습니다. 테스트 결과를 더 오래 저장하려면 결과를 CSV 파일로 내보내 세요.

테스트 세트로 테스트를 실행하세요

테스트 세트를 만든 후에는 그 세트를 사용해 테스트를 실행하세요. 또는 같은 세트를 사용해 시간과 반복에 따른 결과를 비교 하여 테스트를 다시 실행할 수도 있습니다. 검사는 몇 분까지 걸릴 수 있습니다. 한 번에 한 번의 테스트만 할 수 있습니다.

Important

사용자 인증을 사용하는 에이전트 평가에서는 Microsoft Copilot Studio 커넥터를 통해 액세스해야 합니다. 관리자가 이 연결을 끄면 평가 도구를 사용해 테스트를 실행할 수 없습니다. 자세한 내용은 Copilot Studio 커넥터 및 데이터 그룹 참조하세요.

1. 에이전트의 평가 페이지로 가세요.

   

2. 다음 작업 중 하나를 수행하여 테스트를 실행하세요:

   • 테스트 세트를 생성 하거나 편집 한 끝에 ' 평가'를 선택하세요.
   • 최근 결과 섹션에서 다음 단계 중 하나를 선택하여 테스트를 재실행하세요:
     • 평가하려는 테스트 결과를 마우스로 가리킨 후 에이전트 평가 옆의 ▶ 평가 (테스트 집합 다시 평가)를 선택합니다.
     • 테스트 결과를 선택하여 연 다음 평가 요약 창에서 실행 ▶ 아이콘을 선택합니다.

   테스트 집합의 사용자 프로필에 연결이 끊어졌거나 테스트 집합에 사용자 프로필이 없으면 프로필 및 연결 관리 대화 상자가 나타납니다. 테스트 시 사용자 프로필을 꼭 사용할 필요는 없습니다. 하지만 프로필을 사용한다면 모든 연결이 정상 작동해야 합니다. 사용자 프로필 및 연결 관리에서 더 알아보세요.

   Important

   사용자 프로필을 선택하면 에이전트가 사용하는 커넥터를 검토하고 인증할 수 있습니다. Copilot Studio에 로그인할 때 사용하는 계정 외에 테스트 계정과 같은 계정을 선택하면, Copilot Studio가 해당 사용자 프로필을 인증하고 기존 연결 정보를 가져옵니다. 평가를 실행하기 전에 이 연결을 설정, 검토, 저장할 수 있습니다. 사용자 프로필 및 연결 관리에서 더 알아보세요.

평가는 실행하는 데 몇 분 정도 걸립니다. 테스트 결과는 실시간으로 한 줄씩 처리됩니다. 각 평가 테스트 사례의 결과가 생성될 때 순차적으로 표시됩니다. 테스트 사례를 실시간으로 처리하면 평가가 실행되는 동안 품질 추세 및 잠재적 실패를 즉시 파악할 수 있습니다. 문제가 발생하면 언제든지 실행을 중지할 수 있습니다. 전체 평가가 완료되고 요약 결과를 볼 준비가 되면 Copilot Studio 경고가 나타납니다.

메모

한 번에 하나의 평가 테스트 집합만 실행할 수 있습니다. 다른 평가를 실행하기 전에 현재 평가가 완료될 때까지 기다립니다.

검사 결과를 자세히 살펴보세요

테스트 집합을 사용하여 평가를 실행할 때마다, "Copilot Studio"는 다음과 같은 작업을 수행합니다:

1. 연결된 사용자 계정을 사용하여 에이전트와의 대화를 시뮬레이션하고 테스트 사례의 각 질문을 에이전트에 보냅니다.

2. 에이전트의 응답을 수집합니다.

3. 각 대응의 성공 여부를 측정하고 분석합니다. 각 테스트 케이스는 테스트 케이스의 기준에 따라 Pass, Fail, Invalid, Error를 받습니다.

4. 테스트 집합의 통과/율에 따라 통과율 점수를 할당합니다.

각 테스트 세트의 합격률 은 에이전트의 평가 페이지, 최근 결과에서 확인할 수 있습니다. 더 많은 테스트 집합 실행을 보려면 모두 보기를 선택합니다.

테스트 케이스에 대한 상세 분석을 확인하고 평가하세요

테스트 결과를 열면 테스트 실행 내역, 테스트에서 사용된 쿼리 목록, 에이전트의 응답 방식, 그리고 합격 또는 불합 격 점수를 볼 수 있습니다.

목록에서 테스트 케이스를 선택하여 각 응답에 대한 상세한 평가를 확인할 수 있습니다. 결과별로 케이스를 필터링하려면 전부 선택, 통과 또는 실패 를 선택하세요.

평가에는 예상 및 실제 반응, 검사 결과의 근거, 그리고 대리인이 대응하기 위해 사용한 지식, 주제, 도구들이 포함됩니다.

1. 평가 결과. 이 예시는 품질 평가의 결과 세부사항을 보여줍니다.

2. 테스트 케이스 내에서 에이전트의 입력, 결정, 출력 순서를 보려면 ' 활동 지도 표시 '를 선택하세요. 세션 보기 활동에 대해 자세히 알아보세요.

3. 시험 문제와 에이전트 답변의 대본입니다.

4. 검사에서 에이전트가 사용한 자원들. 하나를 선택해서 열어보세요.

각 테스트 사례에 대한 평가가 얼마나 잘 수행되었는지 Microsoft에 피드백을 제공할 수 있습니다. 이 피드백은 선택된 평가 방법이 응답을 얼마나 효과적으로 평가했는지에 관한 것이지, 응답 자체가 정확했는지에 관한 것이 아닙니다. 여러분의 피드백은 시간이 지남에 따라 평가의 질과 정확성을 향상시키는 데 도움이 됩니다.

평가를 하려면 테스트 케이스 상세 창에서 또는 을 선택하세요. 피드백 양식이 열리면 평점에 대한 자세한 정보를 제공한 후 제출을 선택하세요.

평가 테스트 집합은 동일한 에이전트의 여러 "제조업체"에서 여러 번 실행할 수 있습니다. 제조업체는 다른 제조업체에서 만든 테스트 세트를 사용하여 평가를 실행할 수 있습니다. 제작자는 모든 테스트 실행의 실행 상태 및 결과 메트릭을 볼 수 있지만 테스트 실행을 시작한 작성자만 에이전트 응답 및 결과 설명을 볼 수 있습니다.

응답 시간 검토

Copilot Studio는 평가 중 각 상호작용의 응답 시간을 자동으로 측정합니다. 상호작용은 단일 사용자 요청과 에이전트의 대응입니다. 응답 시간은 에이전트가 요청을 받은 시점부터 응답이 돌아올 때까지의 종단 간 시간(초 단위)을 의미합니다. 여기에는 에이전트가 응답하기 전에 완료하는 모든 추론, 도구 호출, 커넥터 호출, 쿼리 또는 워크플로우 단계가 포함됩니다.

응답 시간을 보려면 결과 창에서 테스트 케이스 질문을 선택하세요. 응답 시간 값은 응답 후 에이전트 응답 창에 몇 초 단위로 나타납니다.

단일 응답 테스트 케이스의 경우, 테스트 케이스 질문과 에이전트의 응답이 하나의 상호작용을 이룹니다. 대화 테스트 케이스는 여러 상호작용을 가질 수 있으며, Copilot Studio는 각 상호작용을 별도로 측정합니다.

응답 시간을 활용해 느린 상호작용을 식별하고 에이전트를 변경한 후 성능을 비교하세요. 응답 시간은 단지 측정일 뿐입니다. 합격 또는 불합격 결과를 부여하거나 테스트 세트의 합격률에 영향을 주지 않습니다.

검사 결과 비교하기

한 버전의 에이전트를 테스트해 변경 전후의 성능 변화를 확인하는 것이 좋습니다. 같은 테스트 세트의 두 번의 실행을 비교하려면 비교 도구를 사용할 수 있습니다.

비교를 보려면 같은 테스트 세트를 최소 두 번 실행해야 합니다.

1. 상담원의 평가 페이지에서 최근 테스트 결과 항목에서 비교 기준으로 사용할 테스트 실행을 엽니다 .

2. 비교 드롭다운을 선택한 후, 현재 결과와 비교할 실행한 테스트의 시간과 날짜를 선택하세요.

테스트 케이스 목록에서는 화살표가 실패에서 통과 로 바뀌어 개선되었거나, 통과에서 실패로 변경되어 감소한 테스트 케이스 결과를 나타냅니다.

테스트 케이스를 선택하여 자세한 내용을 확인하세요. 평가 요약 창에서는 현재 테스트 실행 결과가 상단에 표시되어 있는 테스트 점수를 직접 비교할 수 있습니다.

테스트 결과 내보내기

테스트 결과는 CSV 파일로 내보낼 수 있습니다. 파일에는 각 테스트 케이스에 대한 질문, 예상 응답(해당되는 경우), 테스트 방법, 합격 점수(해당되는 경우), 에이전트의 응답, 테스트 결과, 분석 등이 나열되어 있습니다.

1. 에이전트의 평가 페이지로 가세요.
2. 최근 결과 섹션에서 다음 단계 중 하나를 실행하여 테스트 결과를 내보내세요:
   • 내보내고 싶은 테스트 케이스 위에 마우스를 올리고, 세 개의 점을 선택한 후 '테스트 결과 내보내기'를 선택하세요.
   • 테스트 케이스를 선택해 열고, 평가 요약 창에서 세 개의 점(...)을 선택한 후 테스트 결과 내보내기를 선택하세요.

테스트 결과는 테스트 세트 이름.csv로 다운로드됩니다.

에이전트 뷰어 역할을 사용해 평가를 공유하세요

만약 당신이 에이전트 소유자이고 에이전트의 평가 페이지에만 접근 권한을 부여하고 싶다면, 에이전트를 공유하고 에이전트 뷰어 공유 역할을 활성화하세요. 이 역할을 가진 사용자는 에이전트 자체에 접근하지 않고도 특정 에이전트의 평가를 관리할 수 있습니다.

메모

에이전트 뷰어 역할은 환경 전역이나 임차인 전체의 권한을 부여하지 않습니다.

평가에 대해 에이전트 뷰어 역할이 할당된 사용자:

• 다른 제조사의 평가 테스트 세트를 보고 실행하세요.
• 평가 이름을 바꾸고, 취소하며, 삭제하세요.
• 그들과 공유된 평가 테스트 세트를 생성하거나 업데이트할 수 없습니다.

메모

에이전트 뷰어 역할이 지정된 사용자는 에이전트 뷰어인 평가 외에는 에이전트나 콘텐츠를 생성, 업데이트, 삭제할 수 없습니다. 사용자는 에이전트를 게시하거나 공유 및 접근 설정을 관리할 수 없습니다.

역할을 할당하려면:

1. 에이전트를 열고 세 개의 점을 선택하세요 (...) >공유하세요.
2. 새 사용자 및 앱 아이덴티티 항목에서 사용자 또는 그룹을 추가하세요. 또는 목록에서 기존 사용자를 선택할 수도 있습니다.
3. ' 이 에이전트에 대한 권한 있음' 항목에서 역할 목록에서 에이전트 뷰어 를 선택하세요.
4. 에이전트를 공유하려면 공유를 선택하세요.

사용자는 에이전트를 열고 평가 및 모니터 탭을 볼 수 있습니다. 그 후 평가 탭에서 평가를 관리할 수 있습니다.

에이전트의 평가를 다른 사용자와 공유하는 방법에 대해 더 알아보세요.