RubricBasedEvaluatorDefinition interface

Paket:

@azure/ai-projects

Rubrikbasierte Evaluatordefinition – speichert Dimensionen, die durch die generierte API erzeugt werden. Wird sowohl für Qualitäts- als auch für Sicherheitsbewertungen verwendet.

Extends

EvaluatorDefinition

Eigenschaften

dimensions	Das Maßset – der vom LLM-Richter verwendete Bewertungsplan. Qualitätsprüfer enthalten eine nicht editierbare Restdimension mit der ID 'general_quality' (always_applicable: wahr); Sicherheitsbeurteiler umfassen 'general_policy_compliance'. Beide verwenden dieselbe Dimensionsstruktur.
pass_threshold	Bestehen/Nichtbestehen-Schwelle für die aggregierte Bewertungsbewertung auf derselben normalisierten 0,0-1,0-Skala wie die emittierte score. Wenn der Laufzeit-gewichtete Durchschnitt diesen Wert erreicht oder überschreitet, ergibt passsich . Standardmäßig liegt es auf 0,5 (entspricht einem rohen 1-5-Gewichteten Durchschnitt von 3,0). Die Regel "jede Dimension, die 1 → durchgeschlagen wird", gilt unabhängig von dieser Schwelle weiterhin.
type	Der Typ der Evaluator-Definition. Immer rubric für einen Gutachter, der mit Bewertungsdimensionen bewertet.

Geerbte Eigenschaften

data_schema	Das JSON-Schema (Draft 2020-12) für die Eingabedaten des Evaluators. Dazu gehören Parameter wie Typ, Eigenschaften, erforderlich.
init_parameters	Das JSON-Schema (Draft 2020-12) für die Eingabeparameter des Evaluators. Dazu gehören Parameter wie Typ, Eigenschaften, erforderlich.
metrics	Liste der Ausgabemetriken, die von diesem Evaluator erstellt wurden

Details zur Eigenschaft

dimensions

Das Maßset – der vom LLM-Richter verwendete Bewertungsplan. Qualitätsprüfer enthalten eine nicht editierbare Restdimension mit der ID 'general_quality' (always_applicable: wahr); Sicherheitsbeurteiler umfassen 'general_policy_compliance'. Beide verwenden dieselbe Dimensionsstruktur.

dimensions: Dimension[]

Eigenschaftswert

Dimension[]

pass_threshold

Bestehen/Nichtbestehen-Schwelle für die aggregierte Bewertungsbewertung auf derselben normalisierten 0,0-1,0-Skala wie die emittierte score. Wenn der Laufzeit-gewichtete Durchschnitt diesen Wert erreicht oder überschreitet, ergibt passsich . Standardmäßig liegt es auf 0,5 (entspricht einem rohen 1-5-Gewichteten Durchschnitt von 3,0). Die Regel "jede Dimension, die 1 → durchgeschlagen wird", gilt unabhängig von dieser Schwelle weiterhin.

pass_threshold?: number

Eigenschaftswert

number

type

Der Typ der Evaluator-Definition. Immer rubric für einen Gutachter, der mit Bewertungsdimensionen bewertet.

type: "rubric"

Eigenschaftswert

"rubric"

Geerbte Eigenschaftsdetails

data_schema

Das JSON-Schema (Draft 2020-12) für die Eingabedaten des Evaluators. Dazu gehören Parameter wie Typ, Eigenschaften, erforderlich.

data_schema?: Record<string, unknown>

Eigenschaftswert

Record<string, unknown>

Von EvaluatorDefinition.data_schemageerbt

init_parameters

Das JSON-Schema (Draft 2020-12) für die Eingabeparameter des Evaluators. Dazu gehören Parameter wie Typ, Eigenschaften, erforderlich.

init_parameters?: Record<string, unknown>

Eigenschaftswert

Record<string, unknown>

Von EvaluatorDefinition.init_parametersgeerbt

metrics

Liste der Ausgabemetriken, die von diesem Evaluator erstellt wurden

metrics?: Record<string, EvaluatorMetric>

Eigenschaftswert

Record<string, EvaluatorMetric>

Geerbt vonEvaluatorDefinition.metrics