TaskAdherenceEvaluator Klasse

Definition

Namespace:

Microsoft.Extensions.AI.Evaluation.Quality

Assembly:

Microsoft.Extensions.AI.Evaluation.Quality.dll

Paket:

Microsoft.Extensions.AI.Evaluation.Quality v10.7.0

Quelle:

TaskAdherenceEvaluator.cs

Eine IEvaluator , die die Effektivität eines KI-Systems bei der Einhaltung der ihm zugewiesenen Aufgabe auswertet.

public ref class TaskAdherenceEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator

[System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")]
public sealed class TaskAdherenceEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

[<System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")>]
type TaskAdherenceEvaluator = class
    interface IEvaluator

Public NotInheritable Class TaskAdherenceEvaluator
Implements IEvaluator

Vererbung

Object

TaskAdherenceEvaluator

Attribute

ExperimentalAttribute

Implementiert

IEvaluator

Hinweise

TaskAdherenceEvaluator misst, wie genau ein KI-System der ihm zugewiesenen Aufgabe entspricht, indem die Ausrichtung der bereitgestellten Antwort mit Anweisungen und Definitionen untersucht wird, die in der Unterhaltungshistorie vorhanden sind, die Genauigkeit und Klarheit der Antwort und die ordnungsgemäße Verwendung von Tooldefinitionen, die über ToolDefinitions.

Beachten Sie, dass derzeit nur die Auswertung von Aufrufen von Tools unterstützt wird, TaskAdherenceEvaluator die als AIFunctionDeclarations definiert sind. Alle anderen AITool Definitionen, die über ToolDefinitions sie bereitgestellt werden, werden ignoriert.

TaskAdherenceEvaluator gibt einen NumericMetric Wert zurück, der eine Bewertung für "Vorgangstreue" enthält. Die Punktzahl ist eine Zahl zwischen 1 und 5, wobei 1 eine schlechte Bewertung angibt, und 5, die eine hervorragende Bewertung anzeigt.

Hinweis:TaskAdherenceEvaluator ist ein KI-basierter Evaluator, der ein KI-Modell verwendet, um seine Auswertung durchzuführen. Während die Aufforderung, dass dieser Evaluierungsauswerter verwendet, modellagnostisch ist, kann die Leistung dieser Eingabeaufforderung (und der resultierenden Auswertung) je nach verwendetem Modell variieren und kann besonders schlecht sein, wenn ein kleineres/lokales Modell verwendet wird.

Die Eingabeaufforderung, die verwendet wird, TaskAdherenceEvaluator wurde auf die folgenden Modelle getestet (und darauf abgestimmt), dass sie gut funktionieren. Daher ist die Verwendung dieses Evaluators mit einem Modell aus der folgenden Liste wahrscheinlich die besten Ergebnisse. (Das zu verwendende Modell kann über ChatClient.)

GPT-4o

Konstruktoren

Name	Beschreibung
TaskAdherenceEvaluator()	Eine IEvaluator , die die Effektivität eines KI-Systems bei der Einhaltung der ihm zugewiesenen Aufgabe auswertet.

Eigenschaften

Name	Beschreibung
EvaluationMetricNames	Ruft die Names der EvaluationMetricvon diesem IEvaluatorerzeugten s ab.
TaskAdherenceMetricName	Ruft die Name der NumericMetric zurückgegeben von TaskAdherenceEvaluator.

Methoden

Name	Beschreibung
EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	Wertet den angegebenen modelResponse Wert aus und gibt ein enthaltenes oder EvaluationResultmehrere EvaluationMetric s zurück.

Erweiterungsmethoden

Name	Beschreibung
EvaluateAsync(IEvaluator, ChatMessage, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	Wertet den angegebenen modelResponse Wert aus und gibt ein enthaltenes oder EvaluationResultmehrere EvaluationMetric s zurück.
EvaluateAsync(IEvaluator, ChatMessage, ChatMessage, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	Wertet den angegebenen modelResponse Wert aus und gibt ein enthaltenes oder EvaluationResultmehrere EvaluationMetric s zurück.
EvaluateAsync(IEvaluator, ChatMessage, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	Wertet den angegebenen modelResponse Wert aus und gibt ein enthaltenes oder EvaluationResultmehrere EvaluationMetric s zurück.
EvaluateAsync(IEvaluator, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	Wertet den angegebenen modelResponse Wert aus und gibt ein enthaltenes oder EvaluationResultmehrere EvaluationMetric s zurück.
EvaluateAsync(IEvaluator, String, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	Wertet den angegebenen modelResponse Wert aus und gibt ein enthaltenes oder EvaluationResultmehrere EvaluationMetric s zurück.
EvaluateAsync(IEvaluator, String, String, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	Wertet den angegebenen modelResponse Wert aus und gibt ein enthaltenes oder EvaluationResultmehrere EvaluationMetric s zurück.