TaskAdherenceEvaluator 類別

定義

命名空間:

Microsoft.Extensions.AI.Evaluation.Quality

組件:

Microsoft.Extensions.AI.Evaluation.Quality.dll

套件:

Microsoft.Extensions.AI.Evaluation.Quality v10.9.0

來源:

TaskAdherenceEvaluator.cs

評估 IEvaluator AI 系統執行任務的效能。

public ref class TaskAdherenceEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator

[System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")]
public sealed class TaskAdherenceEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

[<System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")>]
type TaskAdherenceEvaluator = class
    interface IEvaluator

Public NotInheritable Class TaskAdherenceEvaluator
Implements IEvaluator

繼承

Object

TaskAdherenceEvaluator

屬性

ExperimentalAttribute

實作

IEvaluator

備註

TaskAdherenceEvaluator 透過檢視所提供回應與對話歷史中指示與定義的對齊程度、回應的準確性與清晰度，以及工具定義 ToolDefinitions的正確使用，來衡量 AI 系統對分配任務的準確度。

請注意， TaskAdherenceEvaluator 目前只支援評估定義為 AIFunctionDeclarations 的工具呼叫。 AITool其他由 提供的ToolDefinitions定義將被忽略。

TaskAdherenceEvaluator 回傳包含「任務依從性」分數的 a NumericMetric 。 分數介於1到5之間，1代表低分，5代表優異分數。

註：TaskAdherenceEvaluator 是一款基於 AI 的評估器，使用 AI 模型來進行評估。 雖然評估者用來執行評估的提示詞設計為模型中立，但該提示（及最終評估）的表現會因所用模型而異，尤其當使用較小或局部的模型時，表現會更差。

該 TaskAdherenceEvaluator 提示詞已針對以下模型進行測試並調整以適合使用。 因此，使用這個評估器搭配以下清單中的模型，通常能產生最佳結果。 （所用模型可透過以下 ChatClient方式配置。）

GPT-4o

建構函式

名稱	Description
TaskAdherenceEvaluator()	評估 IEvaluator AI 系統執行任務的效能。

屬性

名稱	Description
EvaluationMetricNames	由Name此IEvaluator產生 s 的 s EvaluationMetric。
TaskAdherenceMetricName	得到 Name 的 NumericMetric 由 返回 TaskAdherenceEvaluator。

方法

名稱	Description
EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	評估所提供的 modelResponse ，並回傳包含 EvaluationResult 一個或多個 EvaluationMetrics。

擴充方法

名稱	Description
EvaluateAsync(IEvaluator, ChatMessage, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	評估所提供的 modelResponse ，並回傳包含 EvaluationResult 一個或多個 EvaluationMetrics。
EvaluateAsync(IEvaluator, ChatMessage, ChatMessage, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	評估所提供的 modelResponse ，並回傳包含 EvaluationResult 一個或多個 EvaluationMetrics。
EvaluateAsync(IEvaluator, ChatMessage, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	評估所提供的 modelResponse ，並回傳包含 EvaluationResult 一個或多個 EvaluationMetrics。
EvaluateAsync(IEvaluator, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	評估所提供的 modelResponse ，並回傳包含 EvaluationResult 一個或多個 EvaluationMetrics。
EvaluateAsync(IEvaluator, String, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	評估所提供的 modelResponse ，並回傳包含 EvaluationResult 一個或多個 EvaluationMetrics。
EvaluateAsync(IEvaluator, String, String, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	評估所提供的 modelResponse ，並回傳包含 EvaluationResult 一個或多個 EvaluationMetrics。