테스트 세트의 세부 사항을 변경하기

[이 문서는 시험판 설명서이므로 변경될 수 있습니다.]

테스트 세트를 활용해 에이전트가 실제 대응 시나리오를 어떻게 처리하는지 평가하고 개선하세요. 이 글에서는 테스트 세트의 이름과 설정을 수정하는 방법, 인증에 사용되는 사용자 프로필과 연결 관리, 개별 테스트 케이스를 편집하거나 삭제하는 방법, 그리고 전체 테스트 세트나 결과를 제거하는 방법을 설명합니다. 이러한 단계들은 평가가 올바른 사용자 맥락을 반영하도록 하고, 지식 소스와 도구에 대한 안전한 접근을 유지하는 데 도움을 줍니다.

에이전트의 반응을 평가하기 위해 품질, 유사성, 텍스트 일치 세 가지 테스트 방법, 즉 그레이더(gradeers) 중 선택할 수 있습니다. 다양한 테스트 메서드에 대한 자세한 내용은 테스트 메서드를 참조하세요.

테스트 세트의 세부 사항을 편집하세요

테스트 세트의 기본 정보와 인증에 사용하는 계정을 변경할 수 있습니다.

1. 에이전트의 평가 페이지에서 테스트 세트를 선택하세요.

2. 테스트 집합에서 편집할 테스트 사례를 선택합니다.

3. 선택적으로 테스트 세트의 이름을 변경할 수도 있습니다.

4. 계정을 추가하려면 프로필 관리(Manage profile) 를 선택하거나, 연결 관리를 위해 현재 프로필을 선택 하거나 다른 프로필을 선택하세요. 자동 테스트는 선택한 테스트 계정의 인증을 사용합니다. 에이전트가 특정 인증이 필요한 지식 출처나 도구를 가지고 있다면, 테스트에 적합한 계정을 선택할 수 있습니다.

비고

Copilot Studio가 테스트 케이스를 생성하거나 평가를 실행할 때, 연결된 계정의 인증 자격 증명을 이용해 에이전트의 지식 소스와 도구에 접근합니다. 생성된 테스트 케이스나 결과에는 연결된 계정이 접근할 수 있는 민감한 정보가 포함될 수 있으며, 테스트 결과에 접근할 수 있는 모든 제작자는 이 정보를 볼 수 있습니다.

사용자 프로필 및 연결 관리

사용자 계정의 인증을 통해 테스트 세트를 실행할 수 있습니다. 이 인증 방법은 에이전트가 목표를 달성하는 데 필요한 지식 소스와 도구에 접근할 수 있게 해줍니다.

특정 사용자 경험을 시뮬레이션하기 위해 프로필을 사용할 수도 있습니다. 예를 들어, 이사의 사용자 프로필은 인턴의 사용자 프로필과 다른 지식 소스에 접근할 수 있으며, 에이전트는 서로 다른 결과를 반환합니다.

테스트 결과 는 어떤 사용자 프로필이 사용되었는지를 보여줍니다.

비고

Copilot Studio가 테스트 케이스를 생성하거나 평가를 실행할 때, 연결된 계정의 인증 자격 증명을 이용해 에이전트의 지식 소스와 도구에 접근합니다. 생성된 테스트 케이스나 결과에는 연결된 계정이 접근할 수 있는 민감한 정보가 포함될 수 있으며, 테스트 결과에 접근할 수 있는 모든 제작자는 이 정보를 볼 수 있습니다.

사용자 인증을 사용하는 에이전트 평가는 Microsoft Copilot Studio 커넥터를 통해 접근해야 합니다. 관리자가 이 연결을 끄면 평가 도구를 사용해 테스트를 실행할 수 없습니다. 자세한 내용은 Copilot Studio 커넥터 및 데이터 그룹을 참조하세요.

테스트 세트에서 사용자 프로필을 추가하거나 변경하려면:

1. 테스트 세트를 열고, 프로필 관리(Manage)를 선택하세요.

1. 사용자 드롭다운을 선택한 후:

• 사용하고 싶은 사용자 계정을 선택하거나,
• 계정 추가를 선택한 후 계정에 로그인하세요.

1. 경고가 있는 연결은 연결을 선택하세요. 기존 연결을 작동하는 연결로 변경하고, 재연결을 선택해 기존 연결을 재설정하거나, 새 연결을 시도하려면 새 연결을 시도 하세요.

새로운 연결을 위해 요청한 연결 정보를 입력한 후 Connect를 선택하세요.

1. 모든 연결이 정상 작동하면 저장을 선택하세요.

테스트 세트나 테스트 결과를 삭제하세요

더 이상 필요하지 않은 테스트 케이스나 테스트 세트를 삭제할 수 있습니다.

1. 에이전트의 평가 페이지로 가세요.
2. 테스트 세트 섹션에서 다음 단계 중 하나를 수행하여 테스트 세트를 삭제하세요:
   • 테스트 세트 카드에서 세 개의 점(...)을 선택한 후 삭제를 선택하세요.
   • 테스트 세트를 선택해서 열고, 테스트 세트 구성 창에서 세 개의 점(...)을 선택한 후 삭제를 선택하세요.
3. 최근 결과 섹션에서 다음 단계 중 하나를 실행하여 테스트 결과를 삭제하세요:
   • 삭제하려는 테스트 결과 위에 마우스를 올리고, 세 개의 점을 선택한 후 테스트 삭제를 선택하세요.
   • 테스트 결과를 선택해 열고, 평가 요약 창에서 세 개의 점(...)을 선택한 후 삭제를 선택하세요.