ToolCallAccuracyEvaluator 클래스

정의

네임스페이스:

Microsoft.Extensions.AI.Evaluation.Quality

어셈블리:

Microsoft.Extensions.AI.Evaluation.Quality.dll

패키지:

Microsoft.Extensions.AI.Evaluation.Quality v10.9.0

Source:

ToolCallAccuracyEvaluator.cs

IEvaluator 제공된 도구를 사용할 때 AI 시스템의 효율성을 평가하는 것입니다.

public ref class ToolCallAccuracyEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator

[System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")]
public sealed class ToolCallAccuracyEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

[<System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")>]
type ToolCallAccuracyEvaluator = class
    interface IEvaluator

Public NotInheritable Class ToolCallAccuracyEvaluator
Implements IEvaluator

상속

Object

ToolCallAccuracyEvaluator

특성

ExperimentalAttribute

구현

IEvaluator

설명

ToolCallAccuracyEvaluator 은 제공된 응답에 있는 도구 호출(즉, FunctionCallContents)을 검사하여 AI 시스템이 도구를 사용하는 방법을 정확하게 측정하여 이러한 도구 호출의 대화 관련성, 이러한 도구 호출에 대한 매개 변수 정확성 및 제공된 ToolDefinitions대화에서 매개 변수 값 추출의 정확도를 평가합니다.

현재 ToolCallAccuracyEvaluator 는 s로 AIFunctionDeclaration정의된 도구에 대한 호출만 평가하도록 지원합니다. 통해 ToolDefinitions 제공되는 다른 AITool 모든 정의는 무시됩니다.

ToolCallAccuracyEvaluator BooleanMetric 는 '도구 호출 정확도'에 대한 점수를 포함하는 값을 반환합니다. 점수는 false 도구 호출이 관련이 없거나 대화에 없는 정보를 포함하고 도구 호출이 대화 true 에서 제대로 추출된 매개 변수와 관련이 있는지 여부입니다.

참고:ToolCallAccuracyEvaluator 는 AI 모델을 사용하여 평가를 수행하는 AI 기반 평가기입니다. 이 평가자가 평가를 수행하는 데 사용하는 프롬프트는 모델 중립적으로 설계되지만 이 프롬프트의 성능(및 결과 평가)은 사용된 모델에 따라 달라질 수 있으며, 더 작은/로컬 모델을 사용할 때 특히 나빠질 수 있습니다.

사용하는 프롬프트 ToolCallAccuracyEvaluator 는 다음 모델에 대해 테스트되고 잘 작동하도록 조정되었습니다. 따라서 다음 목록의 모델과 함께 이 계산기를 사용하면 최상의 결과를 생성할 수 있습니다. (사용할 모델은 .를 통해 ChatClient구성할 수 있습니다.)

GPT-4o

생성자

Name	Description
ToolCallAccuracyEvaluator()	IEvaluator 제공된 도구를 사용할 때 AI 시스템의 효율성을 평가하는 것입니다.

속성

Name	Description
EvaluationMetricNames	에 NameEvaluationMetric의해 생성된 s의 IEvaluators를 가져옵니다.
ToolCallAccuracyMetricName	에서 Name 반환BooleanMetric한 값을 ToolCallAccuracyEvaluator 가져옵니다.

메서드

Name	Description
EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	제공된 modelResponse 항목을 평가하고 포함된 하나 이상의 EvaluationResults를 반환 EvaluationMetric 합니다.

확장명 메서드

Name	Description
EvaluateAsync(IEvaluator, ChatMessage, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	제공된 modelResponse 항목을 평가하고 포함된 하나 이상의 EvaluationResults를 반환 EvaluationMetric 합니다.
EvaluateAsync(IEvaluator, ChatMessage, ChatMessage, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	제공된 modelResponse 항목을 평가하고 포함된 하나 이상의 EvaluationResults를 반환 EvaluationMetric 합니다.
EvaluateAsync(IEvaluator, ChatMessage, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	제공된 modelResponse 항목을 평가하고 포함된 하나 이상의 EvaluationResults를 반환 EvaluationMetric 합니다.
EvaluateAsync(IEvaluator, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	제공된 modelResponse 항목을 평가하고 포함된 하나 이상의 EvaluationResults를 반환 EvaluationMetric 합니다.
EvaluateAsync(IEvaluator, String, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	제공된 modelResponse 항목을 평가하고 포함된 하나 이상의 EvaluationResults를 반환 EvaluationMetric 합니다.
EvaluateAsync(IEvaluator, String, String, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	제공된 modelResponse 항목을 평가하고 포함된 하나 이상의 EvaluationResults를 반환 EvaluationMetric 합니다.