CoherenceEvaluator 클래스
정의
중요
일부 정보는 릴리스되기 전에 상당 부분 수정될 수 있는 시험판 제품과 관련이 있습니다. Microsoft는 여기에 제공된 정보에 대해 어떠한 명시적이거나 묵시적인 보증도 하지 않습니다.
IEvaluator AI 모델에서 생성된 응답의 '일관성'을 평가하는 값입니다.
public ref class CoherenceEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluatorpublic sealed class CoherenceEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluatortype CoherenceEvaluator = class
interface IEvaluatorPublic NotInheritable Class CoherenceEvaluator
Implements IEvaluator- 상속
-
CoherenceEvaluator
- 구현
설명
CoherenceEvaluator 는 평가되는 응답의 가독성 및 사용자 편의성을 측정합니다. AI 시스템이 자연스럽게 읽고, 원활하게 흐르며, 응답에서 인간과 유사한 언어와 유사한 텍스트를 생성하는 기능을 평가합니다.
CoherenceEvaluator NumericMetric 는 'Coherence'에 대한 점수를 포함하는 값을 반환합니다. 점수는 1에서 5 사이의 숫자이며, 1은 나쁜 점수를 나타내고 5는 우수한 점수를 나타냅니다.
참고:CoherenceEvaluator 는 AI 모델을 사용하여 평가를 수행하는 AI 기반 평가기입니다. 이 평가자가 평가를 수행하는 데 사용하는 프롬프트는 모델 중립적으로 설계되지만 이 프롬프트의 성능(및 결과 평가)은 사용된 모델에 따라 달라질 수 있으며, 더 작은/로컬 모델을 사용할 때 특히 나빠질 수 있습니다.
사용하는 프롬프트 CoherenceEvaluator 는 다음 모델에 대해 테스트되고 잘 작동하도록 조정되었습니다. 따라서 다음 목록의 모델과 함께 이 계산기를 사용하면 최상의 결과를 생성할 수 있습니다. (사용할 모델은 .를 통해 ChatClient구성할 수 있습니다.)
GPT-4o
생성자
| Name | Description |
|---|---|
| CoherenceEvaluator() |
IEvaluator AI 모델에서 생성된 응답의 '일관성'을 평가하는 값입니다. |
속성
| Name | Description |
|---|---|
| CoherenceMetricName |
에서 Name 반환CoherenceEvaluator한 값을 NumericMetric 가져옵니다. |
| EvaluationMetricNames |
에 NameIEvaluator의해 생성된 s의 EvaluationMetrics를 가져옵니다. |
메서드
| Name | Description |
|---|---|
| EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken) |
제공된 |
