ToolCallAccuracyEvaluator Класс

Определение

Пространство имен:

Microsoft.Extensions.AI.Evaluation.Quality

Сборка:

Microsoft.Extensions.AI.Evaluation.Quality.dll

Пакет:

Microsoft.Extensions.AI.Evaluation.Quality v10.7.0

Исходный код:

ToolCallAccuracyEvaluator.cs

Оценка IEvaluator эффективности системы ИИ при использовании предоставленных ему средств.

public ref class ToolCallAccuracyEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator

[System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")]
public sealed class ToolCallAccuracyEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

[<System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")>]
type ToolCallAccuracyEvaluator = class
    interface IEvaluator

Public NotInheritable Class ToolCallAccuracyEvaluator
Implements IEvaluator

Наследование

Object

ToolCallAccuracyEvaluator

Атрибуты

ExperimentalAttribute

Реализации

IEvaluator

Комментарии

ToolCallAccuracyEvaluator измеряет, насколько точно система ИИ использует средства, проверяя вызовы инструментов (т.е., FunctionCallContentприсутствующих в предоставленном ответе на оценку релевантности вызовов этих средств к беседе, правильность параметров для этих вызовов инструментов в отношении определений инструментов, предоставленных через ToolDefinitions), и точность извлечения значения параметра из предоставленного диалога.

Обратите внимание, ToolCallAccuracyEvaluator что на данный момент поддерживает только оценку вызовов инструментов, определенных как AIFunctionDeclarations. Любые другие AITool определения, предоставленные через ToolDefinitions , будут игнорироваться.

ToolCallAccuracyEvaluator BooleanMetric возвращает значение, содержащее оценку "Точность вызова средства". Оценка заключается false в том, что вызов инструмента не имеет значения или содержит сведения, не имеющиеся в беседе, и true если вызов средства имеет отношение к должным образом извлеченным параметрам из беседы.

Примечание:ToolCallAccuracyEvaluator — это средство оценки на основе ИИ, использующее модель ИИ для выполнения ее оценки. Хотя запрос, используемый для оценки, предназначен для оценки модели, не зависит от модели, производительность этого запроса (и результирующая оценка) может отличаться в зависимости от используемой модели и может быть особенно плохой при использовании меньшей или локальной модели.

Запрос, который используется, ToolCallAccuracyEvaluator был проверен (и настроен для правильной работы) следующих моделей. Таким образом, использование этого вычислителя с моделью из следующего списка, скорее всего, даст наилучшие результаты. (Модель, которую необходимо использовать, можно настроить с помощью ChatClient.)

GPT-4o

Конструкторы

Имя	Описание
ToolCallAccuracyEvaluator()	Оценка IEvaluator эффективности системы ИИ при использовании предоставленных ему средств.

Свойства

Имя	Описание
EvaluationMetricNames	NameВозвращает s, созданных EvaluationMetricэтим IEvaluatorметодом.
ToolCallAccuracyMetricName	Name BooleanMetric Возвращает возвращаемое ToolCallAccuracyEvaluatorзначение .

Методы

Имя	Описание
EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	Вычисляет предоставленный modelResponse и возвращает EvaluationResult содержащий один или несколько EvaluationMetrics.

Методы расширения

Имя	Описание
EvaluateAsync(IEvaluator, ChatMessage, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	Вычисляет предоставленный modelResponse и возвращает EvaluationResult содержащий один или несколько EvaluationMetrics.
EvaluateAsync(IEvaluator, ChatMessage, ChatMessage, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	Вычисляет предоставленный modelResponse и возвращает EvaluationResult содержащий один или несколько EvaluationMetrics.
EvaluateAsync(IEvaluator, ChatMessage, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	Вычисляет предоставленный modelResponse и возвращает EvaluationResult содержащий один или несколько EvaluationMetrics.
EvaluateAsync(IEvaluator, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	Вычисляет предоставленный modelResponse и возвращает EvaluationResult содержащий один или несколько EvaluationMetrics.
EvaluateAsync(IEvaluator, String, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	Вычисляет предоставленный modelResponse и возвращает EvaluationResult содержащий один или несколько EvaluationMetrics.
EvaluateAsync(IEvaluator, String, String, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	Вычисляет предоставленный modelResponse и возвращает EvaluationResult содержащий один или несколько EvaluationMetrics.