Dimension interface
単一の次元――評価評価者のスコア設計図の中で独立し測定可能な品質次元が一つ。
プロパティ
| always_applicable | 真実の場合、LLMの審査員は関連性に関係なく常にこの次元を採点します(適用性評価を飛ばします)。 サービス生成の一般的な品質/ポリシー次元はこの設定が真であり、編集不可です。 ユーザーは自分のカスタムサイズで設定できます。 呼び出し元が値を指定しない場合、サービスはデフォルトで |
| description | この次元が何を測定するか(例:「ユーザーの予約意図を正しく特定し、適切なワークフローを追求する」)。 |
| id | この次元の安定識別子(snake_case、例: |
| weight | この次元の相対的な重み(1-10)。 生成パイプラインは正確に1次元重み8-10を割り当てます。他のものは1から6まで使います。 ユーザーの編集はこのヒューリスティックに縛られません。 |
プロパティの詳細
always_applicable
真実の場合、LLMの審査員は関連性に関係なく常にこの次元を採点します(適用性評価を飛ばします)。 サービス生成の一般的な品質/ポリシー次元はこの設定が真であり、編集不可です。 ユーザーは自分のカスタムサイズで設定できます。 呼び出し元が値を指定しない場合、サービスはデフォルトで false に切り替えます。
always_applicable?: booleanプロパティ値
boolean
description
この次元が何を測定するか(例:「ユーザーの予約意図を正しく特定し、適切なワークフローを追求する」)。
description: stringプロパティ値
string
id
この次元の安定識別子(snake_case、例: correct_resolution)。 Required. ユーザーが手動でルーブリック評価器を作成する際や、生成されたセットの人間によるレビュー時に提供します。生成パイプラインはユーザーが編集できる初期値を生成します。 新しいバージョンを保存する際に編集可能。
id: stringプロパティ値
string
weight
この次元の相対的な重み(1-10)。 生成パイプラインは正確に1次元重み8-10を割り当てます。他のものは1から6まで使います。 ユーザーの編集はこのヒューリスティックに縛られません。
weight: numberプロパティ値
number