RubricBasedEvaluatorDefinition interface
基於評分標準的評估器定義——儲存由產生 API 產生的維度。 同時用於品質與安全評估者。
- Extends
屬性
| dimensions | 尺寸組——由LLM評審使用的評分藍圖。 品質評估器包含一個不可編輯的殘餘維度,id 為 'general_quality'(always_applicable:真);安全評估者中包含「general_policy_compliance」。 兩者使用相同的維度結構。 |
| pass_threshold | 整體評分標準分數的通過/不通過門檻,與發出 |
| type | 區分器可能的值:程式碼、提示、評分規準、終點 |
繼承的屬性
| data_schema | 評估者輸入資料的 JSON 架構(草案 2020-12)。 這包括類型、屬性、所需參數等。 |
| init_parameters | 評估者輸入參數的 JSON 架構(草案 2020-12)。 這包括類型、屬性、所需參數等。 |
| metrics | 本評估者產生的產出指標列表 |
屬性詳細資料
dimensions
尺寸組——由LLM評審使用的評分藍圖。 品質評估器包含一個不可編輯的殘餘維度,id 為 'general_quality'(always_applicable:真);安全評估者中包含「general_policy_compliance」。 兩者使用相同的維度結構。
dimensions: Dimension[]
屬性值
pass_threshold
整體評分標準分數的通過/不通過門檻,與發出 score的標準化評分標準為相同的標準化0.0-1.0分量表。 當運行時加權平均值達到或超過此值時,結果為 pass。 預設值為 0.5(相當於 1-5 加權平均 3.0)。 「任何獲得1分→的維度都不合格」的規則,不論這個門檻如何都適用。
pass_threshold?: number
屬性值
number
type
區分器可能的值:程式碼、提示、評分規準、終點
type: "rubric"
屬性值
"rubric"
繼承的屬性詳細資料
data_schema
評估者輸入資料的 JSON 架構(草案 2020-12)。 這包括類型、屬性、所需參數等。
data_schema?: Record<string, unknown>
屬性值
Record<string, unknown>
init_parameters
評估者輸入參數的 JSON 架構(草案 2020-12)。 這包括類型、屬性、所需參數等。
init_parameters?: Record<string, unknown>
屬性值
Record<string, unknown>