IntentResolutionEvaluator 类

定义

命名空间:

Microsoft.Extensions.AI.Evaluation.Quality

程序集:

Microsoft.Extensions.AI.Evaluation.Quality.dll

包:

Microsoft.Extensions.AI.Evaluation.Quality v10.9.0

Source:

IntentResolutionEvaluator.cs

用于 IEvaluator 评估 AI 系统识别和解决用户意向的有效性。

public ref class IntentResolutionEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator

[System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")]
public sealed class IntentResolutionEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

[<System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")>]
type IntentResolutionEvaluator = class
    interface IEvaluator

Public NotInheritable Class IntentResolutionEvaluator
Implements IEvaluator

继承

Object

IntentResolutionEvaluator

属性

ExperimentalAttribute

实现

IEvaluator

注解

IntentResolutionEvaluator 根据提供的聊天历史记录和通过提供 ToolDefinitions的工具定义来评估 AI 系统识别和解析用户意向的有效性。

请注意，目前， IntentResolutionEvaluator 仅支持评估对定义为 AIFunctionDeclarations 的工具的调用。 将忽略通过AITool提供的任何其他ToolDefinitions定义。

IntentResolutionEvaluator 返回一个 NumericMetric 包含“意向解析”的分数。 分数是介于 1 和 5 之间的数字，1 表示分数不佳，5 表示得分出色。

注意：IntentResolutionEvaluator 是一个基于 AI 的计算器，它使用 AI 模型来执行其评估。 虽然此评估程序用于执行其评估的提示设计为与模型无关，但此提示（和生成的评估）的性能可能会因所使用的模型而异，在使用较小的/本地模型时可能会特别差。

已针对以下模型测试了使用（并经过优化以很好地处理）使用的提示 IntentResolutionEvaluator 。 因此，将此计算器与以下列表中的模型结合使用可能会产生最佳结果。 （可通过 .. 配置 ChatClient要使用的模型）

GPT-4o

构造函数

名称	说明
IntentResolutionEvaluator()	用于 IEvaluator 评估 AI 系统识别和解决用户意向的有效性。

属性

名称	说明
EvaluationMetricNames	Name获取由此EvaluationMetric生成的 s 。IEvaluator
IntentResolutionMetricName	Name NumericMetric获取返回者 IntentResolutionEvaluator。

方法

名称	说明
EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	评估提供的 modelResponse 并返回包含一 EvaluationResult 个或多个 EvaluationMetrics 的集合。

扩展方法

名称	说明
EvaluateAsync(IEvaluator, ChatMessage, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	评估提供的 modelResponse 并返回包含一 EvaluationResult 个或多个 EvaluationMetrics 的集合。
EvaluateAsync(IEvaluator, ChatMessage, ChatMessage, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	评估提供的 modelResponse 并返回包含一 EvaluationResult 个或多个 EvaluationMetrics 的集合。
EvaluateAsync(IEvaluator, ChatMessage, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	评估提供的 modelResponse 并返回包含一 EvaluationResult 个或多个 EvaluationMetrics 的集合。
EvaluateAsync(IEvaluator, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	评估提供的 modelResponse 并返回包含一 EvaluationResult 个或多个 EvaluationMetrics 的集合。
EvaluateAsync(IEvaluator, String, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	评估提供的 modelResponse 并返回包含一 EvaluationResult 个或多个 EvaluationMetrics 的集合。
EvaluateAsync(IEvaluator, String, String, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	评估提供的 modelResponse 并返回包含一 EvaluationResult 个或多个 EvaluationMetrics 的集合。