IntentResolutionEvaluator Klas

Definitie

Naamruimte:

Microsoft.Extensions.AI.Evaluation.Quality

Assembly:

Microsoft.Extensions.AI.Evaluation.Quality.dll

Pakket:

Microsoft.Extensions.AI.Evaluation.Quality v10.9.0

Bron:

IntentResolutionEvaluator.cs

Een IEvaluator die de effectiviteit van een AI-systeem evalueert bij het identificeren en oplossen van gebruikersintentie.

public ref class IntentResolutionEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator

[System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")]
public sealed class IntentResolutionEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

[<System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")>]
type IntentResolutionEvaluator = class
    interface IEvaluator

Public NotInheritable Class IntentResolutionEvaluator
Implements IEvaluator

Overname

Object

IntentResolutionEvaluator

Kenmerken

ExperimentalAttribute

Implementeringen

IEvaluator

Opmerkingen

IntentResolutionEvaluator evalueert de effectiviteit van een AI-systeem bij het identificeren en oplossen van gebruikersintentie op basis van de opgegeven gespreksgeschiedenis en de hulpprogrammadefinities die via ToolDefinitions.

Houd er rekening mee dat op dit moment IntentResolutionEvaluator alleen ondersteuning biedt voor het evalueren van aanroepen naar hulpprogramma's die zijn gedefinieerd als AIFunctionDeclarations. Alle andere AITool definities die worden opgegeven via ToolDefinitions , worden genegeerd.

IntentResolutionEvaluator retourneert een NumericMetric score met een score voor 'Intent Resolution'. De score is een getal tussen 1 en 5, waarbij 1 een slechte score aangeeft en 5 een uitstekende score aangeeft.

Opmerking:IntentResolutionEvaluator is een AI-evaluator die gebruikmaakt van een AI-model om de evaluatie uit te voeren. Hoewel de prompt die door deze evaluator wordt gebruikt om de evaluatie uit te voeren, is ontworpen om modelneutraal te zijn, kunnen de prestaties van deze prompt (en de resulterende evaluatie) variëren, afhankelijk van het gebruikte model en vooral slecht zijn wanneer een kleiner/ lokaal model wordt gebruikt.

De prompt die IntentResolutionEvaluator wordt gebruikt, is getest op (en afgestemd om goed te werken met) de volgende modellen. Het gebruik van deze evaluator met een model uit de volgende lijst levert dus waarschijnlijk de beste resultaten op. (Het model dat moet worden gebruikt, kan worden geconfigureerd via ChatClient.)

GPT-4o

Constructors

Name	Description
IntentResolutionEvaluator()	Een IEvaluator die de effectiviteit van een AI-systeem evalueert bij het identificeren en oplossen van gebruikersintentie.

Eigenschappen

Name	Description
EvaluationMetricNames	Haalt de Names van de EvaluationMetrics geproduceerd door deze IEvaluator.
IntentResolutionMetricName	Haalt de Name geretourneerde NumericMetric door IntentResolutionEvaluator.

Methoden

Name	Description
EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	Evalueert de opgegeven modelResponse en retourneert een EvaluationResult met een of meer EvaluationMetrics.

Extensiemethoden

Name	Description
EvaluateAsync(IEvaluator, ChatMessage, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	Evalueert de opgegeven modelResponse en retourneert een EvaluationResult met een of meer EvaluationMetrics.
EvaluateAsync(IEvaluator, ChatMessage, ChatMessage, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	Evalueert de opgegeven modelResponse en retourneert een EvaluationResult met een of meer EvaluationMetrics.
EvaluateAsync(IEvaluator, ChatMessage, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	Evalueert de opgegeven modelResponse en retourneert een EvaluationResult met een of meer EvaluationMetrics.
EvaluateAsync(IEvaluator, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	Evalueert de opgegeven modelResponse en retourneert een EvaluationResult met een of meer EvaluationMetrics.
EvaluateAsync(IEvaluator, String, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	Evalueert de opgegeven modelResponse en retourneert een EvaluationResult met een of meer EvaluationMetrics.
EvaluateAsync(IEvaluator, String, String, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken)	Evalueert de opgegeven modelResponse en retourneert een EvaluationResult met een of meer EvaluationMetrics.