TaskAdherenceEvaluator 类

定义

命名空间:

Microsoft.Extensions.AI.Evaluation.Quality

程序集:

Microsoft.Extensions.AI.Evaluation.Quality.dll

包:

Microsoft.Extensions.AI.Evaluation.Quality v10.9.0

Source:

TaskAdherenceEvaluator.cs

它 IEvaluator 评估 AI 系统在遵守分配给它的任务时的有效性。

public ref class TaskAdherenceEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator

[System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")]
public sealed class TaskAdherenceEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

[<System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")>]
type TaskAdherenceEvaluator = class
    interface IEvaluator

Public NotInheritable Class TaskAdherenceEvaluator
Implements IEvaluator

继承

Object

TaskAdherenceEvaluator

属性

ExperimentalAttribute

实现

IEvaluator

注解

TaskAdherenceEvaluator 通过检查提供的响应的对齐方式以及对话历史记录中存在的指令和定义、响应的准确性和清晰度以及正确使用通过 ToolDefinitions提供的工具定义，来衡量 AI 系统如何准确遵守分配给它的任务。

请注意，目前， TaskAdherenceEvaluator 仅支持评估对定义为 AIFunctionDeclarations 的工具的调用。 将忽略通过ToolDefinitions提供的任何其他AITool定义。

TaskAdherenceEvaluator 返回一个 NumericMetric 包含“任务符合性”的分数。 分数是介于 1 和 5 之间的数字，1 表示分数不佳，5 表示得分出色。

注意：TaskAdherenceEvaluator 是一个基于 AI 的计算器，它使用 AI 模型来执行其评估。 虽然此评估程序用于执行其评估的提示设计为与模型无关，但此提示（和生成的评估）的性能可能会因所使用的模型而异，在使用较小的/本地模型时可能会特别差。

已针对以下模型测试了使用（并经过优化以很好地处理）使用的提示 TaskAdherenceEvaluator 。 因此，将此计算器与以下列表中的模型结合使用可能会产生最佳结果。 （可通过 .. 配置 ChatClient要使用的模型）

GPT-4o

构造函数

名称	说明
TaskAdherenceEvaluator()	它 IEvaluator 评估 AI 系统在遵守分配给它的任务时的有效性。

属性

名称	说明
EvaluationMetricNames	Name获取由此EvaluationMetric生成的 s 。IEvaluator
TaskAdherenceMetricName	Name NumericMetric获取返回者 TaskAdherenceEvaluator。

方法

名称	说明
EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	评估提供的 modelResponse 并返回包含一 EvaluationResult 个或多个 EvaluationMetrics 的集合。

扩展方法

名称	说明
EvaluateAsync(IEvaluator, ChatMessage, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	评估提供的 modelResponse 并返回包含一 EvaluationResult 个或多个 EvaluationMetrics 的集合。
EvaluateAsync(IEvaluator, ChatMessage, ChatMessage, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	评估提供的 modelResponse 并返回包含一 EvaluationResult 个或多个 EvaluationMetrics 的集合。
EvaluateAsync(IEvaluator, ChatMessage, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	评估提供的 modelResponse 并返回包含一 EvaluationResult 个或多个 EvaluationMetrics 的集合。
EvaluateAsync(IEvaluator, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	评估提供的 modelResponse 并返回包含一 EvaluationResult 个或多个 EvaluationMetrics 的集合。
EvaluateAsync(IEvaluator, String, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	评估提供的 modelResponse 并返回包含一 EvaluationResult 个或多个 EvaluationMetrics 的集合。
EvaluateAsync(IEvaluator, String, String, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	评估提供的 modelResponse 并返回包含一 EvaluationResult 个或多个 EvaluationMetrics 的集合。