테스트 세트를 사용하여 에이전트가 실제 응답 시나리오를 어떻게 처리하는지 평가하고 개선하세요. 이 문서에서는 테스트 세트의 이름과 설정을 수정하는 방법, 인증에 사용하는 사용자 프로필과 연결을 관리하는 방법, 개별 테스트 케이스를 편집하거나 삭제하는 방법, 그리고 전체 테스트 세트 또는 결과를 삭제하는 방법을 설명합니다. 이러한 단계들은 평가가 올바른 사용자 맥락을 반영하도록 하고, 참조 자료 원본과 도구에 대한 안전한 접근을 유지하는 데 도움을 줍니다.
에이전트의 응답을 평가하기 위해 품질, 유사성, 텍스트 일치의 세 가지 테스트 방법(그레이더라고도 함) 중에서 선택할 수 있습니다. 다양한 테스트 방법에 대한 자세한 내용은 테스트 방법을 참조하세요.
테스트 세트 세부 사항 편집
테스트 세트의 세부 사항, 예를 들어 인증에 사용하는 계정과 테스트 방법 등을 변경할 수 있습니다.
에이전트의 평가 페이지로 이동합니다.
테스트 세트를 선택합니다.
테스트 세트에서 편집할 테스트 케이스를 선택하세요.
선택적으로 테스트 세트의 이름을 변경할 수 있습니다.
테스트 방법을 추가하거나 수정하세요. 각 테스트 방법은 서로 다른 값을 측정하며, 요구하는 구성도 다릅니다. 각 테스트 방법의 설정 방법을 알아보려면 테스트 방법 선택을 참조하세요.
테스트 방법 측정 테스트 세트 유형 점수 매기기 구성 전반적 품질 테스트 케이스의 응답이 특정 특성에 따라 얼마나 우수한지 단일 응답 또는 대화 100% 만점으로 평가 없음 의미 비교 테스트 케이스 답변의 의미가 기대되는 답변과 얼마나 잘 일치하는지 평가합니다. 단일 응답 100% 만점으로 평가 합격 점수 및 예상 답변 도구 사용 테스트 케이스가 예상되는 리소스를 모두 또는 일부 사용했는지 여부 단일 응답 합격/불합격 기대되는 역량 키워드 일치 테스트 케이스가 예상된 키워드 또는 구문을 모두 또는 일부 사용했는지 여부 단일 응답 또는 대화 합격/불합격 예상되는 키워드 또는 구문 텍스트 유사성 테스트 케이스의 답변 텍스트가 기대 답변과 얼마나 잘 일치하는지 단일 응답 100% 만점으로 평가 합격 점수 및 예상 답변 정확히 일치 테스트 케이스의 답변이 기대 답변과 정확히 일치하는지 여부 단일 응답 합격/불합격 예상되는 답변 사용자 지정 테스트 케이스의 응답이 정의된 기준이나 기대에 부합하는지 여부입니다. 단일 응답 또는 대화 합격/불합격(정의된 라벨 기준 충족 여부) 이름, 평가 지침 및 레이블 프로필 관리를 선택하여 계정을 추가하거나, 현재 프로필을 선택하여 연결을 관리하거나 다른 프로필을 선택하세요. 자동 테스트는 선택한 테스트 계정의 인증을 사용합니다. 다중 프로필 평가는 커넥터 종속성이 없는 에이전트에만 지원됩니다. 에이전트가 특정 인증이 필요한 참조 자료 원본이나 도구를 가지고 있다면, 테스트에 적합한 계정을 선택할 수 있습니다. 자세한 내용은 사용자 프로필 및 연결 관리를 참조하세요.
참고
Copilot Studio가 테스트 케이스를 생성하거나 평가를 실행할 때, 연결된 계정의 인증 자격 증명을 사용하여 에이전트의 참조 자료 원본 및 도구에 접근합니다. 생성된 테스트 케이스에는 연결된 계정이 접근할 수 있는 중요한 데이터가 포함될 수 있습니다. 에이전트에 접근 권한이 있는 모든 제작자는 해당 에이전트와 연결된 테스트 세트도 볼 수 있습니다.
사용자 프로필 및 연결 관리
사용자 계정의 인증을 사용하여 테스트 세트를 실행할 수 있습니다. 이 인증 방법은 에이전트가 목표를 달성하는 데 필요한 참조 자료 원본과 도구에 접근할 수 있게 해줍니다.
프로필을 사용해 특정 사용자 경험을 시뮬레이션할 수 있습니다. 예를 들어, 이사의 사용자 프로필은 인턴의 사용자 프로필과 다른 참조 자료 원본에 접근할 수 있으며, 에이전트는 서로 다른 결과를 반환합니다. 다중 프로필 평가는 커넥터 종속성이 없는 에이전트에만 지원됩니다.
중요
테스트 세트 내 사용자 프로필은 도구에 대한 인증을 제공할 수 없습니다. 평가를 실행할 때, 에이전트는 로그인된 계정을 사용하여 도구 연결을 인증해야 합니다. 다른 사용자 프로필을 선택하거나 에이전트의 도구 연결이 로그인된 계정을 인증에 사용하지 않으면, 평가가 “이 계정은 도구에 연결할 수 없습니다”라는 메시지와 함께 실패합니다. 해결하려면 도구 커넥터로 설정된 계정으로 로그인한 후 평가를 실행하세요.
테스트 결과는 어떤 사용자 프로필이 사용되었는지를 보여줍니다.
참고
Copilot Studio가 테스트 케이스를 생성하거나 평가를 실행할 때, 연결된 계정의 인증 자격 증명을 사용하여 에이전트의 참조 자료 원본 및 도구에 접근합니다. 생성된 테스트 케이스에는 연결된 계정이 접근할 수 있는 중요한 데이터가 포함될 수 있습니다. 에이전트에 접근 권한이 있는 모든 제작자는 해당 에이전트와 연결된 테스트 세트도 볼 수 있습니다.
사용자 인증을 사용하는 에이전트 평가에는 Microsoft Copilot Studio 커넥터를 통한 액세스가 필요합니다. 관리자가 이 연결을 끄면 평가 도구를 사용해 테스트를 실행할 수 없습니다. 자세한 내용은 Copilot Studio 커넥터 및 데이터 그룹을 참조하세요.
테스트 세트에서 사용자 프로필을 추가하거나 변경하려면:
테스트 세트를 열고, 프로필 관리를 선택하세요.
사용자 드롭다운을 선택한 후:
- 사용할 사용자 계정을 선택합니다
- 계정 추가를 선택한 후, 계정에 로그인하세요.
경고가 있는 연결을 선택하세요. 기존 연결을 정상적으로 작동하는 연결로 변경하거나, 재연결을 선택하여 기존 연결을 다시 설정하거나, 새 연결 만들기를 선택하여 새로운 연결을 시도하십시오.
신규 연결의 경우, 요청된 연결 정보를 입력한 후 연결을 선택하세요.
모든 연결이 정상 작동하면 저장을 선택하세요.
테스트 세트 또는 테스트 결과 삭제
더 이상 필요하지 않은 테스트 케이스나 테스트 세트를 삭제할 수 있습니다.
- 에이전트의 평가 페이지로 이동합니다.
-
테스트 세트 섹션에서 다음 단계 중 하나로 테스트 세트를 삭제하세요.
- 테스트 세트 카드에서 세 개의 점(…)을 선택한 다음, 삭제를 선택하세요.
- 테스트 세트를 선택하여 연 다음, 테스트 세트 구성 창에서 세 개의 점(…)을 선택하고 삭제를 선택하세요.
-
최근 결과 섹션에서 다음 단계 중 하나를 수행하여 테스트 결과를 삭제하세요.
- 삭제하려는 테스트 결과 위에 마우스를 올리고, 세 개의 점(…)을 선택한 다음 테스트 삭제를 선택하세요.
- 테스트 결과를 선택하여 연 다음, 평가 요약 창에서 세 개의 점(…)을 선택하고 삭제를 선택하세요.