EvaluatorGenerationJob interface

Resurs för Utvärderargenerering av jobb — ett långvarigt jobb som genererar bedömningskriterier baserade på bedömningskriterier från källmaterial. Vid framgång blir resultatet den persisterade EvaluatorVersion.

Egenskaper

created_at

Tidsstämpeln när jobbet skapades, representerad i Unix-tid (sekunder sedan 1 januari 1970).

error

Feldetaljer — fylls endast i vid misslyckande.

evaluator_description

Valfri människovänlig beskrivning för den resulterande utvärderaren. Dök upp som EvaluatorVersion.description på den persisterade utvärderaren. Vanligtvis samlas in från UI:n tillsammans med evaluator_display_name. Prefixet evaluator_ skiljer detta från andra beskrivningsfält på relaterade modeller.

evaluator_display_name

Valfritt människovänligt visningsnamn för den resulterande utvärderaren. Dök upp som EvaluatorVersion.display_name på den persisterade utvärderaren. När tjänsten utelämnas används evaluator_name den som visningsnamn. Prefixet evaluator_ skiljer detta från den oföränderliga evaluator_name identifieraren.

evaluator_name

Utvärderarens namn (oföränderlig identifierare). 1–256 tecken; tillåtna tecken är ASCII-bokstäver, siffror, understreck (_), punkt (.), tilde (~) och bindestreck (-). Prefixet builtin. är reserverat för systemhanterade utvärderare och avvisas av tjänsten. Om en utvärderare med detta namn redan finns i projektet (och är rubric-subtype), skapar tjänsten en ny version med samma namn och använder den tidigare versionens dimensions som kontext för inkrementell förbättring (grunden för post-//build-adaptivslingan). Gamla versioner förblir frågebara via get_version(name, version). Om den befintliga utvärderaren inte är en bedömningsmatris-undertypsutvärderare (inbyggd, promptbaserad, kodbaserad), avslås begäran med 400 Bad Request.

finished_at

Tidsstämpeln när jobbet avslutades, representerad i Unix-tid (sekunder sedan 1 januari 1970).

id

Servertilldelad unik identifierare.

input_quality_warnings

Icke-dödliga kvalitetsvarningar för insatsvaror som produceras av produktionsledningen. Skrivskyddat; tjänstgenererad; Endast på terminaljobb när rådgivningen avfyrades. Utelämnades när generationen var ren. Clearas när en efterföljande PATCH parning EvaluatorVersion.definition ogiltigförklarar advisories.

model

LLM-modellen för att användas för matrisgenerering (t.ex. 'gpt-4o'). Obligatoriskt — användare måste tillhandahålla sin egen modell istället för att förlita sig på tjänsteägd kapacitet.

result

Resultat som uppnås på framgång.

sources

Källmaterial för generering — agentbeskrivningar, prompts, spår eller dataset. Varje post är en EvaluatorGenerationJobSource variant som diskrimineras av type.

status

Aktuell livscykelstatus.

usage

Sammanfattning av tokenkonsumtion. Fylls när jobbet når ett terminalt tillstånd.

Egenskapsinformation

created_at

Tidsstämpeln när jobbet skapades, representerad i Unix-tid (sekunder sedan 1 januari 1970).

created_at?: Date

Egenskapsvärde

Date

error

Feldetaljer — fylls endast i vid misslyckande.

error?: ErrorModel

Egenskapsvärde

evaluator_description

Valfri människovänlig beskrivning för den resulterande utvärderaren. Dök upp som EvaluatorVersion.description på den persisterade utvärderaren. Vanligtvis samlas in från UI:n tillsammans med evaluator_display_name. Prefixet evaluator_ skiljer detta från andra beskrivningsfält på relaterade modeller.

evaluator_description?: string

Egenskapsvärde

string

evaluator_display_name

Valfritt människovänligt visningsnamn för den resulterande utvärderaren. Dök upp som EvaluatorVersion.display_name på den persisterade utvärderaren. När tjänsten utelämnas används evaluator_name den som visningsnamn. Prefixet evaluator_ skiljer detta från den oföränderliga evaluator_name identifieraren.

evaluator_display_name?: string

Egenskapsvärde

string

evaluator_name

Utvärderarens namn (oföränderlig identifierare). 1–256 tecken; tillåtna tecken är ASCII-bokstäver, siffror, understreck (_), punkt (.), tilde (~) och bindestreck (-). Prefixet builtin. är reserverat för systemhanterade utvärderare och avvisas av tjänsten. Om en utvärderare med detta namn redan finns i projektet (och är rubric-subtype), skapar tjänsten en ny version med samma namn och använder den tidigare versionens dimensions som kontext för inkrementell förbättring (grunden för post-//build-adaptivslingan). Gamla versioner förblir frågebara via get_version(name, version). Om den befintliga utvärderaren inte är en bedömningsmatris-undertypsutvärderare (inbyggd, promptbaserad, kodbaserad), avslås begäran med 400 Bad Request.

evaluator_name: string

Egenskapsvärde

string

finished_at

Tidsstämpeln när jobbet avslutades, representerad i Unix-tid (sekunder sedan 1 januari 1970).

finished_at?: Date

Egenskapsvärde

Date

id

Servertilldelad unik identifierare.

id?: string

Egenskapsvärde

string

input_quality_warnings

Icke-dödliga kvalitetsvarningar för insatsvaror som produceras av produktionsledningen. Skrivskyddat; tjänstgenererad; Endast på terminaljobb när rådgivningen avfyrades. Utelämnades när generationen var ren. Clearas när en efterföljande PATCH parning EvaluatorVersion.definition ogiltigförklarar advisories.

input_quality_warnings?: RubricGenerationInputQualityWarning[]

Egenskapsvärde

model

LLM-modellen för att användas för matrisgenerering (t.ex. 'gpt-4o'). Obligatoriskt — användare måste tillhandahålla sin egen modell istället för att förlita sig på tjänsteägd kapacitet.

model: string

Egenskapsvärde

string

result

Resultat som uppnås på framgång.

result?: EvaluatorVersion

Egenskapsvärde

sources

Källmaterial för generering — agentbeskrivningar, prompts, spår eller dataset. Varje post är en EvaluatorGenerationJobSource variant som diskrimineras av type.

sources: EvaluatorGenerationJobSourceUnion[]

Egenskapsvärde

status

Aktuell livscykelstatus.

status?: JobStatus

Egenskapsvärde

usage

Sammanfattning av tokenkonsumtion. Fylls när jobbet når ett terminalt tillstånd.

usage?: EvaluatorGenerationTokenUsage

Egenskapsvärde