RubricBasedEvaluatorDefinition interface

Пакет:

@azure/ai-projects

Определение оценщика на основе рубрик — хранит размеры, созданные генерируемым API. Используется как для оценщиков качества, так и для безопасности.

Extends

EvaluatorDefinition

Свойства

dimensions	Набор размеров — план оценки, используемый судьёй LLM. Оценщики качества включают нередактируемое остаточное измерение с идентификатором 'general_quality' (always_applicable: true); Оценщики безопасности включают «general_policy_compliance». Оба используют одну и ту же структуру измерения.
pass_threshold	Порог сдачи/неуспеха для агрегированного балла рубрики по той же нормированной шкале 0,0-1,0, что и выпущенный score. Когда взвешенное среднее во время выполнения достигает или превышает это значение, результат равен pass. По умолчанию устанавливается 0,5 (эквивалентно исходному взвешенному среднему 1-5 3,0). Правило «любое измерение набрало 1 → провал» всё равно действует независимо от этого порога.
type	Возможные значения дискриминатора: код, подсказка, рубрика, конечная точка

Унаследованные свойства

data_schema	Схема JSON (черновик 2020-12) для входных данных вычислителя. Сюда входят такие параметры, как тип, свойства, обязательные.
init_parameters	Схема JSON (черновик 2020-12) для входных параметров вычислителя. Сюда входят такие параметры, как тип, свойства, обязательные.
metrics	Список выходных метрик, созданных этим оценщиком

Сведения о свойстве

dimensions

Набор размеров — план оценки, используемый судьёй LLM. Оценщики качества включают нередактируемое остаточное измерение с идентификатором 'general_quality' (always_applicable: true); Оценщики безопасности включают «general_policy_compliance». Оба используют одну и ту же структуру измерения.

dimensions: Dimension[]

Значение свойства

Dimension[]

pass_threshold

Порог сдачи/неуспеха для агрегированного балла рубрики по той же нормированной шкале 0,0-1,0, что и выпущенный score. Когда взвешенное среднее во время выполнения достигает или превышает это значение, результат равен pass. По умолчанию устанавливается 0,5 (эквивалентно исходному взвешенному среднему 1-5 3,0). Правило «любое измерение набрало 1 → провал» всё равно действует независимо от этого порога.

pass_threshold?: number

Значение свойства

number

type

Возможные значения дискриминатора: код, подсказка, рубрика, конечная точка

type: "rubric"

Значение свойства

"rubric"

Сведения об унаследованном свойстве

data_schema

Схема JSON (черновик 2020-12) для входных данных вычислителя. Сюда входят такие параметры, как тип, свойства, обязательные.

data_schema?: Record<string, unknown>

Значение свойства

Record<string, unknown>

Унаследовано отEvaluatorDefinition.data_schema

init_parameters

Схема JSON (черновик 2020-12) для входных параметров вычислителя. Сюда входят такие параметры, как тип, свойства, обязательные.

init_parameters?: Record<string, unknown>

Значение свойства

Record<string, unknown>

Унаследовано отEvaluatorDefinition.init_parameters

metrics

Список выходных метрик, созданных этим оценщиком

metrics?: Record<string, EvaluatorMetric>

Значение свойства

Record<string, EvaluatorMetric>

Наследуется отEvaluatorDefinition.metrics