RubricBasedEvaluatorDefinition interface

Paket:

@azure/ai-projects

Rubrik tabanlı değerlendirici tanımı — oluşturan API tarafından üretilen boyutları depolar. Hem kalite hem de güvenlik değerlendiricileri için kullanılır.

Extends

EvaluatorDefinition

Özellikler

dimensions	Boyutlar seti — LLM jüri üyesinin kullandığı puan planı. Kalite değerlendiriciler, 'general_quality' (always_applicable: doğru) adlı düzenlenemeyen bir kalıntı boyutunu içerir; Güvenlik değerlendiricileri arasında 'general_policy_compliance' yer alır. İkisi de aynı Boyut yapısını kullanır.
pass_threshold	Toplam rubrik puanı için geçiş/başarısız eşiği, yayımlanan score0.0-1.0 normalize edilmiş ölçekte . Çalışma süresi ağırlıklı ortalama bu değeri karşıladığında veya aştığında, sonuç olur pass. Varsayılan olarak 0.5 (ham 1-5 ağırlıklı ortalama 3.0'a eşdeğer). 'Herhangi bir boyut 1 puan aldı → başarısız oldu' kuralı bu eşik ne olursa olsun geçerlidir.
type	Ayrımcı olası değerler: kod, prompt, rubrik

Devralınan Özellikler

data_schema	Değerlendiricinin giriş verileri için JSON şeması (Taslak 2020-12). Bu tür, özellikler, gerekli gibi parametreleri içerir.
init_parameters	Değerlendiricinin giriş parametreleri için JSON şeması (Taslak 2020-12). Bu tür, özellikler, gerekli gibi parametreleri içerir.
metrics	Bu değerlendirici tarafından üretilen çıkış ölçümlerinin listesi

Özellik Ayrıntıları

dimensions

Boyutlar seti — LLM jüri üyesinin kullandığı puan planı. Kalite değerlendiriciler, 'general_quality' (always_applicable: doğru) adlı düzenlenemeyen bir kalıntı boyutunu içerir; Güvenlik değerlendiricileri arasında 'general_policy_compliance' yer alır. İkisi de aynı Boyut yapısını kullanır.

dimensions: Dimension[]

Özellik Değeri

Dimension[]

pass_threshold

Toplam rubrik puanı için geçiş/başarısız eşiği, yayımlanan score0.0-1.0 normalize edilmiş ölçekte . Çalışma süresi ağırlıklı ortalama bu değeri karşıladığında veya aştığında, sonuç olur pass. Varsayılan olarak 0.5 (ham 1-5 ağırlıklı ortalama 3.0'a eşdeğer). 'Herhangi bir boyut 1 puan aldı → başarısız oldu' kuralı bu eşik ne olursa olsun geçerlidir.

pass_threshold?: number

Özellik Değeri

number

type

Ayrımcı olası değerler: kod, prompt, rubrik

type: "rubric"

Özellik Değeri

"rubric"

Devralınan Özellik Detayları

data_schema

Değerlendiricinin giriş verileri için JSON şeması (Taslak 2020-12). Bu tür, özellikler, gerekli gibi parametreleri içerir.

data_schema?: Record<string, unknown>

Özellik Değeri

Record<string, unknown>

EvaluatorDefinition.data_schema'den devralındı

init_parameters

Değerlendiricinin giriş parametreleri için JSON şeması (Taslak 2020-12). Bu tür, özellikler, gerekli gibi parametreleri içerir.

init_parameters?: Record<string, unknown>

Özellik Değeri

Record<string, unknown>

EvaluatorDefinition.init_parameters'den devralındı

metrics

Bu değerlendirici tarafından üretilen çıkış ölçümlerinin listesi

metrics?: Record<string, EvaluatorMetric>

Özellik Değeri

Record<string, EvaluatorMetric>

EvaluatorDefinition.metrics'tendevralındı