RubricBasedEvaluatorDefinition interface

基於評分標準的評估器定義——儲存由產生 API 產生的維度。 同時用於品質與安全評估者。

Extends

屬性

dimensions

尺寸組——由LLM評審使用的評分藍圖。 品質評估器包含一個不可編輯的殘餘維度,id 為 'general_quality'(always_applicable:真);安全評估者中包含「general_policy_compliance」。 兩者使用相同的維度結構。

pass_threshold

整體評分標準分數的通過/不通過門檻,與發出 score的標準化評分標準為相同的標準化0.0-1.0分量表。 當運行時加權平均值達到或超過此值時,結果為 pass。 預設值為 0.5(相當於 1-5 加權平均 3.0)。 「任何獲得1分→的維度都不合格」的規則,不論這個門檻如何都適用。

type

區分器可能的值:程式碼、提示、評分規準、終點

繼承的屬性

data_schema

評估者輸入資料的 JSON 架構(草案 2020-12)。 這包括類型、屬性、所需參數等。

init_parameters

評估者輸入參數的 JSON 架構(草案 2020-12)。 這包括類型、屬性、所需參數等。

metrics

本評估者產生的產出指標列表

屬性詳細資料

dimensions

尺寸組——由LLM評審使用的評分藍圖。 品質評估器包含一個不可編輯的殘餘維度,id 為 'general_quality'(always_applicable:真);安全評估者中包含「general_policy_compliance」。 兩者使用相同的維度結構。

dimensions: Dimension[]

屬性值

pass_threshold

整體評分標準分數的通過/不通過門檻,與發出 score的標準化評分標準為相同的標準化0.0-1.0分量表。 當運行時加權平均值達到或超過此值時,結果為 pass。 預設值為 0.5(相當於 1-5 加權平均 3.0)。 「任何獲得1分→的維度都不合格」的規則,不論這個門檻如何都適用。

pass_threshold?: number

屬性值

number

type

區分器可能的值:程式碼、提示、評分規準、終點

type: "rubric"

屬性值

"rubric"

繼承的屬性詳細資料

data_schema

評估者輸入資料的 JSON 架構(草案 2020-12)。 這包括類型、屬性、所需參數等。

data_schema?: Record<string, unknown>

屬性值

Record<string, unknown>

繼承自EvaluatorDefinition.data_schema

init_parameters

評估者輸入參數的 JSON 架構(草案 2020-12)。 這包括類型、屬性、所需參數等。

init_parameters?: Record<string, unknown>

屬性值

Record<string, unknown>

繼承自EvaluatorDefinition.init_parameters

metrics

本評估者產生的產出指標列表

metrics?: Record<string, EvaluatorMetric>

屬性值

Record<string, EvaluatorMetric>

繼承自EvaluatorDefinition.metrics