RubricBasedEvaluatorDefinition interface

Paquet:

@azure/ai-projects

Définition de l’évaluateur basée sur une grille d’évaluation — stocke les dimensions produites par l’API Gener. Utilisé à la fois pour les évaluateurs de qualité et de sécurité.

Extends

EvaluatorDefinition

Propriétés

dimensions	L’ensemble des dimensions — le plan de notation utilisé par le juge du LLM. Les évaluateurs de qualité incluent une dimension résiduelle non modifiable avec l’id « general_quality » (always_applicable : vrai) ; Les évaluateurs de sécurité incluent « general_policy_compliance ». Les deux utilisent la même structure dimensionnelle.
pass_threshold	Seuil de réussite/échec pour la grille d’évaluation globale, sur la même échelle normalisée de 0,0 à 1,0 que la note émise score. Lorsque la moyenne pondérée par le temps d’exécution atteint ou dépasse cette valeur, le résultat est pass. Par défaut, il est de 0,5 (équivalent à une moyenne brute pondérée de 1 à 5 de 3,0). La règle « toute dimension notée 1 → échoue » s’applique toujours malgré ce seuil.
type	Les valeurs possibles du discriminateur : code, demande, grille, point de terminaison

Propriétés héritées

data_schema	Schéma JSON (Brouillon 2020-12) pour les données d’entrée de l’évaluateur. Cela inclut des paramètres tels que le type, les propriétés, obligatoires.
init_parameters	Schéma JSON (Brouillon 2020-12) pour les paramètres d’entrée de l’évaluateur. Cela inclut des paramètres tels que le type, les propriétés, obligatoires.
metrics	Liste des métriques de sortie produites par cet évaluateur

Détails de la propriété

dimensions

L’ensemble des dimensions — le plan de notation utilisé par le juge du LLM. Les évaluateurs de qualité incluent une dimension résiduelle non modifiable avec l’id « general_quality » (always_applicable : vrai) ; Les évaluateurs de sécurité incluent « general_policy_compliance ». Les deux utilisent la même structure dimensionnelle.

dimensions: Dimension[]

Valeur de propriété

Dimension[]

pass_threshold

Seuil de réussite/échec pour la grille d’évaluation globale, sur la même échelle normalisée de 0,0 à 1,0 que la note émise score. Lorsque la moyenne pondérée par le temps d’exécution atteint ou dépasse cette valeur, le résultat est pass. Par défaut, il est de 0,5 (équivalent à une moyenne brute pondérée de 1 à 5 de 3,0). La règle « toute dimension notée 1 → échoue » s’applique toujours malgré ce seuil.

pass_threshold?: number

Valeur de propriété

number

type

Les valeurs possibles du discriminateur : code, demande, grille, point de terminaison

type: "rubric"

Valeur de propriété

"rubric"

Détails de la propriété héritée

data_schema

Schéma JSON (Brouillon 2020-12) pour les données d’entrée de l’évaluateur. Cela inclut des paramètres tels que le type, les propriétés, obligatoires.

data_schema?: Record<string, unknown>

Valeur de propriété

Record<string, unknown>

Hérité deEvaluatorDefinition.data_schema

init_parameters

Schéma JSON (Brouillon 2020-12) pour les paramètres d’entrée de l’évaluateur. Cela inclut des paramètres tels que le type, les propriétés, obligatoires.

init_parameters?: Record<string, unknown>

Valeur de propriété

Record<string, unknown>

Hérité deEvaluatorDefinition.init_parameters

metrics

Liste des métriques de sortie produites par cet évaluateur

metrics?: Record<string, EvaluatorMetric>

Valeur de propriété

Record<string, EvaluatorMetric>

Hérité deEvaluatorDefinition.metrics