RubricBasedEvaluatorDefinition interface
루브릭 기반 평가기 정의 — 생성 API가 생성한 차원을 저장합니다. 품질 평가자와 안전 평가자 모두에게 사용됩니다.
- Extends
속성
| dimensions | 치수 집합 — LLM 심사위원이 사용하는 점수 청사진입니다. 품질 평가자에는 id 'general_quality'(always_applicable: 참)인 편집 불가능한 잔여 차원이 포함됩니다; 안전 평가자에는 'general_policy_compliance'가 포함됩니다. 두 게임 모두 같은 차원 구조를 사용합니다. |
| pass_threshold | 총 루브릭 점수의 합격/불합격 임계값은 출력된 |
| type | 판별자 가능한 값: 코드, 프롬프트, 루브릭, 엔드포인트 |
상속된 속성
| data_schema | 평가자의 입력 데이터에 대한 JSON 스키마(초안 2020-12)입니다. 여기에는 형식, 속성, 필수와 같은 매개 변수가 포함됩니다. |
| init_parameters | 평가자의 입력 매개 변수에 대한 JSON 스키마(초안 2020-12)입니다. 여기에는 형식, 속성, 필수와 같은 매개 변수가 포함됩니다. |
| metrics | 이 평가자가 생성한 출력 메트릭 목록 |
속성 세부 정보
dimensions
치수 집합 — LLM 심사위원이 사용하는 점수 청사진입니다. 품질 평가자에는 id 'general_quality'(always_applicable: 참)인 편집 불가능한 잔여 차원이 포함됩니다; 안전 평가자에는 'general_policy_compliance'가 포함됩니다. 두 게임 모두 같은 차원 구조를 사용합니다.
dimensions: Dimension[]속성 값
pass_threshold
총 루브릭 점수의 합격/불합격 임계값은 출력된 score0.0-1.0 척도와 동일한 정규화된 0.0-1.0 척도에서 이루어집니다. 실행 시간 가중 평균이 이 값을 충족하거나 초과하면 결과는 가 됩니다 pass. 기본값은 0.5(1-5 가중 평균인 3.0에 해당). '어떤 차원이든 1→ 점수를 받으면 실패'라는 규칙은 이 임계값과 상관없이 여전히 적용됩니다.
pass_threshold?: number속성 값
number
type
판별자 가능한 값: 코드, 프롬프트, 루브릭, 엔드포인트
type: "rubric"속성 값
"rubric"
상속된 속성 세부 정보
data_schema
평가자의 입력 데이터에 대한 JSON 스키마(초안 2020-12)입니다. 여기에는 형식, 속성, 필수와 같은 매개 변수가 포함됩니다.
data_schema?: Record<string, unknown>속성 값
Record<string, unknown>
다음에서 상속됨EvaluatorDefinition.data_schema
init_parameters
metrics
이 평가자가 생성한 출력 메트릭 목록
metrics?: Record<string, EvaluatorMetric>속성 값
Record<string, EvaluatorMetric>
다음에서 상속됨EvaluatorDefinition.metrics