RubricBasedEvaluatorDefinition interface

Pacote:

@azure/ai-projects

Definição de avaliador baseada em rubricas — armazena dimensões produzidas pela API de geração. Usado tanto para avaliadores de qualidade como de segurança.

Extends

EvaluatorDefinition

Propriedades

dimensions	O conjunto de dimensões — o plano de pontuação usado pelo juiz do LLM. Os avaliadores de qualidade incluem uma dimensão residual não editável com id 'general_quality' (always_applicable: verdadeiro); Os avaliadores de segurança incluem 'general_policy_compliance'. Ambos usam a mesma estrutura dimensional.
pass_threshold	Limiar de aprovação/reprovação para a pontuação agregada da rubrica, na mesma escala normalizada de 0,0-1,0 que a emitida score. Quando a média ponderada em tempo de execução atinge ou excede este valor, o resultado é pass. Por defeito, é 0,5 (equivalente a uma média bruta ponderada de 1-5 de 3,0). A regra 'qualquer dimensão com 1 → falha' mantém-se independentemente deste limite.
type	Os valores possíveis do discriminador: código, prompt, rubrica, endpoint

Propriedades Herdadas

data_schema	O esquema JSON (Rascunho 2020-12) para os dados de entrada do avaliador. Isto inclui parâmetros como tipo, propriedades, requisitos necessários.
init_parameters	O esquema JSON (Rascunho 2020-12) para os parâmetros de entrada do avaliador. Isto inclui parâmetros como tipo, propriedades, requisitos necessários.
metrics	Lista de métricas de saída produzidas por este avaliador

Detalhes de Propriedade

dimensions

O conjunto de dimensões — o plano de pontuação usado pelo juiz do LLM. Os avaliadores de qualidade incluem uma dimensão residual não editável com id 'general_quality' (always_applicable: verdadeiro); Os avaliadores de segurança incluem 'general_policy_compliance'. Ambos usam a mesma estrutura dimensional.

dimensions: Dimension[]

Valor de Propriedade

Dimension[]

pass_threshold

Limiar de aprovação/reprovação para a pontuação agregada da rubrica, na mesma escala normalizada de 0,0-1,0 que a emitida score. Quando a média ponderada em tempo de execução atinge ou excede este valor, o resultado é pass. Por defeito, é 0,5 (equivalente a uma média bruta ponderada de 1-5 de 3,0). A regra 'qualquer dimensão com 1 → falha' mantém-se independentemente deste limite.

pass_threshold?: number

Valor de Propriedade

number

type

Os valores possíveis do discriminador: código, prompt, rubrica, endpoint

type: "rubric"

Valor de Propriedade

"rubric"

Detalhes da Propriedade Herdada

data_schema

O esquema JSON (Rascunho 2020-12) para os dados de entrada do avaliador. Isto inclui parâmetros como tipo, propriedades, requisitos necessários.

data_schema?: Record<string, unknown>

Valor de Propriedade

Record<string, unknown>

Herdado deEvaluatorDefinition.data_schema

init_parameters

O esquema JSON (Rascunho 2020-12) para os parâmetros de entrada do avaliador. Isto inclui parâmetros como tipo, propriedades, requisitos necessários.

init_parameters?: Record<string, unknown>

Valor de Propriedade

Record<string, unknown>

Herdado deEvaluatorDefinition.init_parameters

metrics

Lista de métricas de saída produzidas por este avaliador

metrics?: Record<string, EvaluatorMetric>

Valor de Propriedade

Record<string, EvaluatorMetric>

Herdado deEvaluatorDefinition.metrics