RubricBasedEvaluatorDefinition interface
Definição de avaliador baseada em rubrica — armazena dimensões produzidas pela API de geração. Usado tanto para avaliadores de qualidade quanto de segurança.
- Extends
Propriedades
| dimensions | O conjunto de dimensões — o plano de pontuação usado pelo juiz do LLM. Avaliadores de qualidade incluem uma dimensão residual não editável com id 'general_quality' (always_applicable: verdadeiro); Avaliadores de segurança incluem 'general_policy_compliance'. Ambos usam a mesma estrutura dimensional. |
| pass_threshold | Limiar de aprovação/reprovação para a pontuação agregada da rubrica, na mesma escala normalizada de 0,0-1,0 que a emissão |
| type | Os valores possíveis do discriminador: código, enunciado, rubrica, ponto final |
Propriedades herdadas
| data_schema | O esquema JSON (Rascunho 2020-12) para os dados de entrada do avaliador. Isso inclui parâmetros como tipo, propriedades, obrigatórios. |
| init_parameters | O esquema JSON (Rascunho 2020-12) para os parâmetros de entrada do avaliador. Isso inclui parâmetros como tipo, propriedades, obrigatórios. |
| metrics | Lista de métricas de saída produzidas por este avaliador |
Detalhes da propriedade
dimensions
O conjunto de dimensões — o plano de pontuação usado pelo juiz do LLM. Avaliadores de qualidade incluem uma dimensão residual não editável com id 'general_quality' (always_applicable: verdadeiro); Avaliadores de segurança incluem 'general_policy_compliance'. Ambos usam a mesma estrutura dimensional.
dimensions: Dimension[]Valor da propriedade
pass_threshold
Limiar de aprovação/reprovação para a pontuação agregada da rubrica, na mesma escala normalizada de 0,0-1,0 que a emissão scoreemitida. Quando a média ponderada em tempo de execução atinge ou supera esse valor, o resultado é pass. O padrão é 0,5 (equivalente a uma média bruta ponderada de 1 a 5 de 3,0). A regra 'qualquer dimensão pontuada com 1 → falha' ainda se aplica independentemente desse limite.
pass_threshold?: numberValor da propriedade
number
type
Os valores possíveis do discriminador: código, enunciado, rubrica, ponto final
type: "rubric"Valor da propriedade
"rubric"
Detalhes das propriedades herdadas
data_schema
O esquema JSON (Rascunho 2020-12) para os dados de entrada do avaliador. Isso inclui parâmetros como tipo, propriedades, obrigatórios.
data_schema?: Record<string, unknown>Valor da propriedade
Record<string, unknown>
Herdado deEvaluatorDefinition.data_schema
init_parameters
O esquema JSON (Rascunho 2020-12) para os parâmetros de entrada do avaliador. Isso inclui parâmetros como tipo, propriedades, obrigatórios.
init_parameters?: Record<string, unknown>Valor da propriedade
Record<string, unknown>
Herdado deEvaluatorDefinition.init_parameters
metrics
Lista de métricas de saída produzidas por este avaliador
metrics?: Record<string, EvaluatorMetric>Valor da propriedade
Record<string, EvaluatorMetric>
Herdado deEvaluatorDefinition.metrics