[이 문서는 시험판 설명서이며 변경될 수 있습니다.]
테스트 세트는 에이전트의 성과를 평가하기 위해 사용하는 대화들의 집합입니다. 각 대화는 에이전트가 대응해야 하는 시나리오를 나타냅니다.
Important
- 프로덕션 준비 미리 보기 기능입니다.
- 프로덕션 준비 프리뷰에는 추가 사용 약관이 적용됩니다.
Prerequisites
GitHub Copilot 하네스로 생성 및 저장된 에이전트입니다. 에이전트 생성(프리뷰)를 참조하세요.
새 평가 시작
새로운 평가를 시작하려면:
- Copilot Studio에서 에이전트를 엽니다.
- 평가 탭을 선택합니다.
- 새 평가를 선택하세요.
이러한 옵션 중 하나를 선택합니다.
옵션 1: CSV 파일을 이용하여 대화 업로드
평가 탭의 데이터 원본 섹션에서 “CSV” 파일을 업로드 영역으로 끌어다 놓거나 파일을 찾아 선택합니다.
Tip
CSV 링크를 선택하여 올바른 파일 형식을 보여주는 템플릿을 다운로드합니다. 최대 파일 크기는 5MB입니다.
가져온 대화를 검토하고 필요에 따라 조정하세요.
오른쪽의 테스트 세트 구성 패널에서, 평가를 위한 이름을 입력합니다.
평가를 실행하려면 '평가' 를 선택하거나, 실행 없이 저장하려면 '저장' 을 선택하세요.
옵션 2: AI로 대화 생성하기
- 평가 탭의 더 많은 시작 방법 섹션에서 빠른 대화 세트를 선택합니다.
- 시스템이 에이전트의 설명, 지시, 주제를 바탕으로 10개의 대화를 생성할 때까지 기다려 주세요.
- 테스트 케이스 검토 목록에서 생성된 대화를 검토합니다.
- 테스트 세트 구성 패널에서 이름을 입력한 후 평가 또는 저장을 선택하세요.
평가 뷰에서 더 많은 대화를 생성할 수도 있습니다. 대화 추가를> 선택해 10개의 대화를 생성하세요. 초기 평가를 실행한 후, '대화> 추가' 또는 '대화생성' 또는 '50개의 대화 생성'을 선택해 더 많은 대화를 생성하세요.
옵션 3: 대화를 수동으로 작성하기
- 평가 탭의 더 많은 시작 방법 섹션에서 또는 직접 질문을 작성하기를 선택합니다.
- 테스트 케이스 검토 목록에서 대화 추가>를 선택해 수동으로 테스트 케이스를 생성하세요.
- 각 대화에 사용자 질문을 추가합니다. 선택적으로 예상되는 에이전트 응답을 추가하세요.
- 테스트 세트 구성 패널에서 이름을 입력하고 평가 또는 저장을 선택합니다.
테스트 세트 구성
평가를 생성하거나 편집할 때, 테스트 세트 구성 패널에는 다음과 같은 옵션이 포함되어 있습니다:
- 이름: 평가에 필수로 입력해야 하는 이름입니다.
- 시험 방법: 응답을 채점하는 방법입니다. 일반적인 품질 검사는 응답이 관련성 및 완전성과 같은 품질 기준을 충족하는지 확인합니다.
- 사용자 프로필: 평가를 실행하는 인증된 프로필입니다. 어떤 프로필이 테스트를 실행하는지 설정하려면 Manage를 선택하세요.
테스트 세트의 대화 편집
테스트 세트에서 대화를 편집하려면:
- 평가 탭에서 평가 드롭다운 메뉴를 사용하여 기존 테스트 세트를 엽니다.
- 대화를 선택하여 메시지를 편집합니다.
- 대화 추가 드롭다운을 사용해 더 많은 대화를 추가합니다.
- 완료되면 저장을 선택합니다.