테스트 세트를 만들 때, 에이전트의 응답을 평가하기 위해 다양한 테스트 방법 중에서 선택하세요. 각 테스트 방법은 각각의 강점을 가지고 있으며 다양한 평가 유형에 적합합니다.
| 테스트 방법 | 측정 | 테스트 세트 유형 | 점수 매기기 | 구성 |
|---|---|---|---|---|
| 전반적 품질 | 테스트 케이스의 응답이 특정 특성에 따라 얼마나 우수한지 | 단일 응답 또는 대화 | 100% 만점으로 평가 | 없음 |
| 의미 비교 | 테스트 케이스 답변의 의미가 기대되는 답변과 얼마나 잘 일치하는지 평가합니다. | 단일 응답 | 100% 만점으로 평가 | 합격 점수 및 예상 답변 |
| 도구 사용 | 테스트 케이스가 예상되는 리소스를 모두 또는 일부 사용했는지 여부 | 단일 응답 | 합격/불합격 | 기대되는 역량 |
| 키워드 일치 | 테스트 케이스가 예상된 키워드 또는 구문을 모두 또는 일부 사용했는지 여부 | 단일 응답 또는 대화 | 합격/불합격 | 예상되는 키워드 또는 구문 |
| 텍스트 유사성 | 테스트 케이스의 답변 텍스트가 기대 답변과 얼마나 잘 일치하는지 | 단일 응답 | 100% 만점으로 평가 | 합격 점수 및 예상 답변 |
| 정확히 일치 | 테스트 케이스의 답변이 기대 답변과 정확히 일치하는지 여부 | 단일 응답 | 합격/불합격 | 예상되는 답변 |
| 사용자 지정 | 테스트 케이스의 응답이 정의된 기준이나 기대에 부합하는지 여부입니다. | 단일 응답 또는 대화 | 합격/불합격(정의된 라벨 기준 충족 여부) | 이름, 평가 지침 및 레이블 |
테스트 방법 추가
테스트 세트를 생성하거나 또는 편집할 때테스트 메서드 추가를 선택하세요.
테스트할 모든 방법을 선택한 후 확인을 선택합니다. 여러 방법을 추가할 수 있습니다.
일부 방법은 합격 점수를 요구합니다. 합격 점수는 합격과 불합격을 결정하는 기준이 됩니다. 점수를 설정한 후 확인을 선택합니다.
일부 테스트 방법에는 추가 기준이 필요합니다.
저장을 선택해 테스트 세트에 변경 내용을 저장합니다.
기존 테스트 메서드를 선택하여 기준을 수정하거나 삭제하세요.
전반적 품질
단일 응답형 및 대화형 테스트 세트에서 사용할 수 있습니다. 일반 품질은 에이전트의 답변이 자신의 기준에 부합하는지 판단하는 데 도움이 됩니다. 이 평가 방법은 대형 언어 모델(LLM)을 사용하여 에이전트가 사용자 질문에 얼마나 효과적으로 답변하는지 평가합니다.
이 평가 방법은 정확한 답변이 기대되지 않을 때 특히 유용합니다. 검색된 문서와 대화 흐름을 기반으로 응답을 유연하고 확장 가능하게 평가할 수 있습니다.
이 평가 방법은 주요 기준을 사용하고 일관된 프롬프트를 적용하여 점수 산정을 안내합니다.
관련성: 에이전트의 응답이 질문을 얼마나 잘 다루는지. 예를 들어, 에이전트의 응답이 주제에서 벗어나지 않고 질문에 직접적으로 답하고 있나요?
근거성: 에이전트의 응답이 제공된 맥락에 얼마나 기반하는지. 예를 들어, 에이전트의 반응이 관련 없거나 근거 없는 정보를 도입하는 대신 맥락에서 주어진 정보를 참조하거나 의존하는지에 대해 말입니다.
완전성: 에이전트의 응답이 필요한 모든 정보를 제공하는 정도. 예를 들어, 에이전트의 답변이 질문의 모든 측면을 포괄하고 충분한 세부 정보를 제공하는지 여부
기권: 에이전트가 질문에 답변을 시도했는지 여부.
고품질 응답으로 간주되려면 이 모든 주요 기준을 충족해야 합니다. 하나의 기준이 충족되지 않으면 응답이 개선 필요로 표시됩니다. 이 점수 체계는 완전하고 근거가 충분한 응답만이 최고 점수를 받을 수 있도록 보장합니다. 반면, 불완전하거나 근거가 부족한 답변은 낮은 점수를 받습니다.
테스트 방법을 추가하거나 편집할 때, 일반 품질을 선택하세요. 모든 테스트 세트는 기본적으로 이 방법으로 시작합니다.
일반 품질 평가를 진행하려면 테스트 케이스에 예상 답변을 추가할 필요가 없습니다.
참고
에이전트의 참조 자료 원본 수를 줄인다고 해서 에이전트 평가의 일반 품질 평가가 반드시 향상되는 것은 아닙니다. 이러한 제한이 존재하는 이유는 모델이 특정 테스트 케이스와 관련 있다고 판단한 검색된 지식의 양이 너무 많을 수 있기 때문입니다.
의미 비교
단일 응답 테스트 세트에 사용할 수 있습니다. Compare meaning는 에이전트의 답변이 예상 응답의 의도된 의미를 얼마나 잘 반영하는지 평가합니다. 정확한 문구에 집중하기보다는, 의도 유사성을 사용하여 단어에 담긴 아이디어와 의미를 비교함으로써, 응답이 기대한 것과 얼마나 가깝게 맞는지 판단합니다.
일반 품질 평가와 마찬가지로, 의미 비교 방식은 정답이 정해져 있지 않을 때 특히 유용합니다. 검색된 문서와 대화 흐름을 기반으로 응답을 유연하고 확장 가능하게 평가할 수 있습니다.
합격 점수로 간주되는 기준을 설정하여 어떤 답변이 합격 점수에 해당하는지 결정할 수 있습니다. 기본 합격 점수는 50점입니다. 비교 의미 테스트 방법은 답변이 여러 가지 방식으로 올바르게 표현될 수 있지만, 전체적인 의미나 의도가 반드시 전달되어야 할 때 유용합니다.
테스트 방법을 추가하거나 편집할 때는 의미 비교를 선택하세요.
이 방법의 합격 점수를 설정하세요.
예상되는 답변을 추가하세요. 예상 답변이 없는 테스트 케이스는 이 테스트 방법에서 무효결과를 반환합니다.
테스트 케이스를 선택하세요.
예상 답변을 추가하세요.
예상 답변을 저장하려면 적용하기를 선택하세요.
이 방법으로 테스트할 모든 테스트 케이스에 대해 반복하세요.
도구 사용
단일 응답 테스트 세트에 사용할 수 있습니다. 도구 사용 테스트는 에이전트가 답변을 생성할 때 특정 도구나 주제를 사용했는지 확인합니다. 그렇다면 통과합니다. 그렇지 않으면 실패합니다.
테스트 방법을 추가하거나 편집할 때도구 사용을 선택하세요.
예상 도구나 주제를 추가하세요. 예상 답변이 없는 테스트 케이스는 이 테스트 방법에서 무효결과를 반환합니다.
테스트 케이스를 선택하세요. 모든 테스트 케이스에 동일한 예상 도구와 토픽을 추가하려면 도구 열 머리글에서 편집 아이콘
을 클릭하세요.도구 선택 패널에서, 해당 테스트 케이스에서 에이전트가 사용할 것으로 예상되는 토픽 또는 도구를 선택하세요.
확인을 선택합니다.
저장을 선택하여 변경 내용을 저장합니다.
도구 사용을 테스트하려는 모든 테스트 케이스에 대해 이 과정을 반복하세요.
키워드 일치
단일 응답형 및 대화형 테스트 세트에서 사용할 수 있습니다. 키워드 일치는 에이전트의 답변이 당신이 정의한 예상 응답의 키워드나 구 일부 또는 전체를 포함하고 있는지 확인합니다. 조건이 충족되면 통과합니다. 그렇지 않으면 실패합니다.
통과 조건으로 키워드 중 아무거나 또는 모두가 일치해야 하는지를 선택할 수 있습니다. 임의의 것을 선택하면 적어도 한 단어나 구문이 일치하면 테스트 케이스가 통과한다는 의미입니다. 모두를 선택하면, 테스트 케이스가 통과하려면 모든 예상 단어나 구가 일치해야 합니다.
테스트 방법을 추가하거나 편집할 때, 키워드 매칭을 선택합니다.
테스트 케이스에 필요한 도구나 주제를 임의의 것 또는 모두 중에서 선택하세요.
예상 키워드를 추가합니다. 예상 키워드가 없는 모든 테스트 케이스는 이 테스트 방법에서 무효 결과를 생성합니다.
테스트 케이스를 선택하세요.
테스트 케이스 편집 창에서 해당 케이스의 답변에 포함되어야 하는 키워드나 문구를 입력하세요.
+ 추가를 선택하여 더 많은 키워드나 문구를 추가합니다. 키워드나 문구를 삭제하려면 삭제
아이콘을 선택하세요.예상 키워드를 저장하려면 적용을 선택하세요.
키워드 매칭을 테스트하려는 모든 테스트 케이스에 대해 반복하세요.
텍스트 유사성
텍스트 유사성 테스트 방식은 에이전트의 응답과 테스트 세트에서 정의한 예상 응답의 유사도를 평가합니다. 정답이 예상 응답과 단어 선택과 문장 구조가 모두 거의 일치해야 하는 경우 이 테스트 방법을 사용하세요. 예를 들어, 법적 문서를 생성할 때 정확한 문구가 종종 필요합니다. 이 테스트는 일반적으로 Compare meaning 테스트 방법과 함께 사용되며, 이는 의미의 유사성은 보장하지만 표현의 유사성은 보장하지 않습니다. 이 방법은 키워드 매치 테스트 방법과도 구분됩니다. 키워드 매치 테스트는 특정 단어의 포함 여부만 확인하고, 문장 구성의 유사성은 보장하지 않습니다. 답변 전체가 예상 답변과 정확히 일치해야 한다면, 정확 일치 테스트 방법을 사용하세요.
코사인 유사도 지표는 에이전트의 답변이 예상 응답의 문구와 얼마나 유사한지 평가하고 점수를 결정합니다. 점수는 0에서 1 사이이며, 1은 답변이 매우 유사함을, 0은 유사하지 않음을 의미합니다. 합격 점수로 간주되는 기준을 설정하여 어떤 답변이 합격 점수에 해당하는지 결정할 수 있습니다.
테스트 방법을 추가하거나 편집할 때 텍스트 유사성을 선택하세요.
이 방법의 합격 점수를 설정하세요.
예상되는 답변을 추가하세요. 예상 답변이 없는 테스트 케이스는 이 테스트 방법에서 무효결과를 반환합니다.
테스트 케이스를 선택하세요.
예상 답변을 추가하세요.
예상 답변을 저장하려면 적용하기를 선택하세요.
이 방법으로 테스트할 모든 테스트 케이스에 대해 반복하세요.
정확히 일치
단일 응답 테스트 세트에 사용할 수 있습니다. 정확 일치 는 에이전트의 답변이 테스트의 예상 응답과 문자 단위, 단어 단위로 정확히 일치하는지 확인합니다. 같으면 통과합니다. 일치하지 않으면 실패합니다. 정확한 일치는 숫자, 코드, 고정된 구절과 같은 짧고 정확한 답변에 유용합니다. 사람들이 여러 가지 올바른 표현을 할 수 있는 답변에는 적합하지 않습니다.
테스트 방법을 추가하거나 편집할 때, 정확한 일치를 선택하십시오.
예상되는 답변을 추가하세요. 예상 답변이 없는 테스트 케이스는 이 테스트 방법에서 무효결과를 반환합니다.
테스트 케이스를 선택하세요.
예상 답변을 추가하세요.
예상 답변을 저장하려면 적용하기를 선택하세요.
이 방법으로 테스트할 모든 테스트 케이스에 대해 반복하세요.
사용자 지정
커스텀(custom)은 사용자 정의가 가능한 테스트 방법입니다. 사용자가 직접 설정한 기준으로 에이전트 답변을 테스트하고 분류할 수 있습니다. 예를 들어, HR 에이전트에 대해 테스트 답변을 귀하의 HR 준수 설명에 따라 준수 또는 비준수로 표시하는 준수 테스트를 만들 수 있습니다.
맞춤형 테스트에는 사용자가 구성해야 할 두 가지 구성 요소가 있습니다.
평가 지침: 이 테스트로 달성할 목적을 설명합니다. 이 테스트를 통해 에이전트의 답변에서 무엇을 알아내고자 하나요?
좋은 평가 지침은 다음과 같아야 합니다:
목표 지향적이어야 합니다.
허용된 문자만 사용하세요.
목차화 및 구조화를 위해 글머리표와 제목을 사용하세요.
예:
Evaluate the agent's response for HR policy compliance.
What to check:
- Determine whether the answer protects privacy and avoids revealing or requesting sensitive data.
- Avoids discrimination, bias, or inappropriate judgments.
- Provides safe, neutral, HR-aligned guidance.
- Does not give legal advice or make definitive claims.
라벨: 맞춤형 테스트를 사용하여 각 답변에 할당된 결과를 설명합니다. 레이블에는 이 테스트 메서드의 테스트 집합 통과율에 계산되는 통과/실패 할당도 있습니다.
라벨에는 이름과 설명이 있습니다. 좋은 설명:
간결해야 합니다.
매칭 답변에서 찾는 속성을 포함하고 있습니다.
라벨 전략의 한 가지 방법은 두 개의 라벨을 사용하는 것입니다. 하나는 원하는 기준을 성공적으로 충족하는 답변이고, 다른 하나는 그렇지 않은 답변입니다. 예를 들어, HR 정책 준수 맞춤 테스트에서는 Compliant와 Non-Compliant를 라벨로 지정할 수 있습니다.
테스트 방법을 추가하거나 편집할 때, Custom을 선택하세요.
이 커스텀 테스트의 이름을 입력합니다.
평가 지침을 추가하세요.
두 개 이상의 라벨을 추가하세요. 각 라벨에는 이름과 설명이 있습니다.
더 많은 라벨을 추가하려면 “라벨 추가”를 선택하세요.
라벨 제목은 글자, 숫자, 공백, 하이픈
-, 밑줄_, 앞 슬래시/, 앰퍼샌드&, 플러스 기호+, 마침표.만 사용할 수 있습니다.각 라벨에 대해 합격 또는 불합격 결과를 설정하세요.
확인을 선택합니다.