RubricBasedEvaluatorDefinition interface
ルーブリックベースの評価者定義 — 生成APIによって生成された次元を保存します。 品質評価者と安全性評価者の両方に使用されます。
- Extends
プロパティ
| dimensions | 寸法のセット — LLM審査員が使用する採点の青写真。 品質評価器には、id 'general_quality'(always_applicable: true)を持つ編集不可の残差次元が含まれます。安全性評価者には「general_policy_compliance」が含まれます。 どちらも同じ次元構造を使っています。 |
| pass_threshold | 合計ルーブリックスコアの合格/不合格閾値は、発 |
| type | 識別子の可能な値:コード、プロンプト、ルーブリック、エンドポイント |
継承されたプロパティ
| data_schema | エバリュエーターの入力データの JSON スキーマ (Draft 2020-12)。 これには、型、プロパティ、必須などのパラメーターが含まれます。 |
| init_parameters | エバリュエーターの入力パラメーターの JSON スキーマ (Draft 2020-12)。 これには、型、プロパティ、必須などのパラメーターが含まれます。 |
| metrics | このエバリュエーターによって生成された出力メトリックの一覧 |
プロパティの詳細
dimensions
寸法のセット — LLM審査員が使用する採点の青写真。 品質評価器には、id 'general_quality'(always_applicable: true)を持つ編集不可の残差次元が含まれます。安全性評価者には「general_policy_compliance」が含まれます。 どちらも同じ次元構造を使っています。
dimensions: Dimension[]プロパティ値
pass_threshold
合計ルーブリックスコアの合格/不合格閾値は、発 scoreと同じ正規化された0.0-1.0スケールで行われます。 ランタイム加重平均がこの値を満たすかそれを超えると、結果は passとなります。 デフォルトは0.5(生の1〜5加重平均3.0に相当)です。 「1→スコアの任意の次元は不合格」というルールはこの閾値に関係なく適用されます。
pass_threshold?: numberプロパティ値
number
type
識別子の可能な値:コード、プロンプト、ルーブリック、エンドポイント
type: "rubric"プロパティ値
"rubric"
継承されたプロパティの詳細
data_schema
エバリュエーターの入力データの JSON スキーマ (Draft 2020-12)。 これには、型、プロパティ、必須などのパラメーターが含まれます。
data_schema?: Record<string, unknown>プロパティ値
Record<string, unknown>
init_parameters
エバリュエーターの入力パラメーターの JSON スキーマ (Draft 2020-12)。 これには、型、プロパティ、必須などのパラメーターが含まれます。
init_parameters?: Record<string, unknown>プロパティ値
Record<string, unknown>
metrics
このエバリュエーターによって生成された出力メトリックの一覧
metrics?: Record<string, EvaluatorMetric>プロパティ値
Record<string, EvaluatorMetric>