RubricBasedEvaluatorDefinition interface

Paket:

@azure/ai-projects

Definition av matrisbaserad utvärderare — lagrar dimensioner som genereras av det genererade API:et. Används både för kvalitets- och säkerhetsbedömare.

Extends

EvaluatorDefinition

Egenskaper

dimensions	Måttuppsättningen — poängritningen som används av LLM-domaren. Kvalitetsutvärderare inkluderar en icke-redigerbar residualdimension med id 'general_quality' (always_applicable: sann); Säkerhetsbedömare inkluderar 'general_policy_compliance'. Båda använder samma dimensionsstruktur.
pass_threshold	Godkänd/underkänd tröskel för den aggregerade bedömningsmatrispoängen, på samma normaliserade skala 0,0–1,0 som den emitterade score. När det körtidsviktade genomsnittet når eller överstiger detta värde blir passresultatet . Standardvärdet är 0,5 (motsvarande ett rått viktat genomsnitt på 3,0 på 1-5). Regeln om att 'vilken dimension som helst som får 1 → misslyckas' gäller fortfarande oavsett denna tröskel.
type	Diskriminatorns möjliga värden: kod, prompt, matris, slutpunkt

Ärvda egenskaper

data_schema	JSON-schemat (utkast 2020-12) för utvärderarens indata. Detta inkluderar parametrar som typ, egenskaper, som krävs.
init_parameters	JSON-schemat (utkast 2020-12) för utvärderarens indataparametrar. Detta inkluderar parametrar som typ, egenskaper, som krävs.
metrics	Lista över utdatamått som produceras av den här utvärderaren

Egenskapsinformation

dimensions

Måttuppsättningen — poängritningen som används av LLM-domaren. Kvalitetsutvärderare inkluderar en icke-redigerbar residualdimension med id 'general_quality' (always_applicable: sann); Säkerhetsbedömare inkluderar 'general_policy_compliance'. Båda använder samma dimensionsstruktur.

dimensions: Dimension[]

Egenskapsvärde

Dimension[]

pass_threshold

Godkänd/underkänd tröskel för den aggregerade bedömningsmatrispoängen, på samma normaliserade skala 0,0–1,0 som den emitterade score. När det körtidsviktade genomsnittet når eller överstiger detta värde blir passresultatet . Standardvärdet är 0,5 (motsvarande ett rått viktat genomsnitt på 3,0 på 1-5). Regeln om att 'vilken dimension som helst som får 1 → misslyckas' gäller fortfarande oavsett denna tröskel.

pass_threshold?: number

Egenskapsvärde

number

type

Diskriminatorns möjliga värden: kod, prompt, matris, slutpunkt

type: "rubric"

Egenskapsvärde

"rubric"

Information om ärvda egenskaper

data_schema

JSON-schemat (utkast 2020-12) för utvärderarens indata. Detta inkluderar parametrar som typ, egenskaper, som krävs.

data_schema?: Record<string, unknown>

Egenskapsvärde

Record<string, unknown>

Ärvd frånEvaluatorDefinition.data_schema

init_parameters

JSON-schemat (utkast 2020-12) för utvärderarens indataparametrar. Detta inkluderar parametrar som typ, egenskaper, som krävs.

init_parameters?: Record<string, unknown>

Egenskapsvärde

Record<string, unknown>

Ärvd frånEvaluatorDefinition.init_parameters

metrics

Lista över utdatamått som produceras av den här utvärderaren

metrics?: Record<string, EvaluatorMetric>

Egenskapsvärde

Record<string, EvaluatorMetric>

Ärvd frånEvaluatorDefinition.metrics