RubricBasedEvaluatorDefinition interface

Balíček:

@azure/ai-projects

Definice hodnotitele založená na rubrikách — ukládá dimenze vytvořené generovaným API. Používá se jak pro hodnotitele kvality, tak bezpečnosti.

Extends

EvaluatorDefinition

Vlastnosti

dimensions	Sada rozměrů — bodovací plán používaný rozhodčím LLM. Hodnotitele kvality zahrnují needitovatelnou reziuální dimenzi s id 'general_quality' (always_applicable: true); Mezi bezpečnostní hodnotitele patří 'general_policy_compliance'. Obě používají stejnou strukturu Dimenze.
pass_threshold	Práh pro úspěšné/neúspěšné hodnocení pro souhrnné hodnocení, na stejné normalizované škále 0,0–1,0 jako vydané score. Když vážený průměr za běhu dosahuje nebo překračuje tuto hodnotu, výsledek je pass. Výchozí hodnota je 0,5 (což odpovídá hrubému váženému průměru 1-5 3,0). Pravidlo 'každá dimenze s hodnocením 1 → neuspěje' platí bez ohledu na tento próg.
type	Typ definice evaluator. Vždy rubric pro hodnotitele, který hodnotí podle rubric dimensions.

Zděděné vlastnosti

data_schema	Schéma JSON (koncept 2020–12) pro vstupní data vyhodnocovače To zahrnuje parametry, jako je typ, vlastnosti, povinné.
init_parameters	Schéma JSON (Koncept 2020–12) pro vstupní parametry vyhodnocovače To zahrnuje parametry, jako je typ, vlastnosti, povinné.
metrics	Seznam výstupních metrik vytvořených tímto vyhodnocovačem

Podrobnosti vlastnosti

dimensions

Sada rozměrů — bodovací plán používaný rozhodčím LLM. Hodnotitele kvality zahrnují needitovatelnou reziuální dimenzi s id 'general_quality' (always_applicable: true); Mezi bezpečnostní hodnotitele patří 'general_policy_compliance'. Obě používají stejnou strukturu Dimenze.

dimensions: Dimension[]

Hodnota vlastnosti

Dimension[]

pass_threshold

Práh pro úspěšné/neúspěšné hodnocení pro souhrnné hodnocení, na stejné normalizované škále 0,0–1,0 jako vydané score. Když vážený průměr za běhu dosahuje nebo překračuje tuto hodnotu, výsledek je pass. Výchozí hodnota je 0,5 (což odpovídá hrubému váženému průměru 1-5 3,0). Pravidlo 'každá dimenze s hodnocením 1 → neuspěje' platí bez ohledu na tento próg.

pass_threshold?: number

Hodnota vlastnosti

number

type

Typ definice evaluator. Vždy rubric pro hodnotitele, který hodnotí podle rubric dimensions.

type: "rubric"

Hodnota vlastnosti

"rubric"

Podrobnosti zděděných vlastností

data_schema

Schéma JSON (koncept 2020–12) pro vstupní data vyhodnocovače To zahrnuje parametry, jako je typ, vlastnosti, povinné.

data_schema?: Record<string, unknown>

Hodnota vlastnosti

Record<string, unknown>

Zděděno odEvaluatorDefinition.data_schema

init_parameters

Schéma JSON (Koncept 2020–12) pro vstupní parametry vyhodnocovače To zahrnuje parametry, jako je typ, vlastnosti, povinné.

init_parameters?: Record<string, unknown>

Hodnota vlastnosti

Record<string, unknown>

Zděděno poEvaluatorDefinition.init_parameters

metrics

Seznam výstupních metrik vytvořených tímto vyhodnocovačem

metrics?: Record<string, EvaluatorMetric>

Hodnota vlastnosti

Record<string, EvaluatorMetric>

Zděděno zEvaluatorDefinition.metrics