EvaluatorGenerationJob interface

Zasób Generowania Ewaluatora — długo działające zadanie, które generuje definicje oceniających oparte na rubryce na podstawie materiałów źródłowych. Po sukcesie efektem jest trwała wersja EvaluatorVersion.

Właściwości

created_at

Znacznik czasu utworzenia zadania, reprezentowany w czasie Unix (sekundy od 1 stycznia 1970).

error

Szczegóły błędu — pojawiają się tylko w przypadku awarii.

evaluator_description

Opcjonalny, przyjazny dla człowieka opis dla wynikłego ewaluatora. Pojawił się jak EvaluatorVersion.description na utrzymanym ewaluatorze. Zazwyczaj zbierane z interfejsu użytkownika razem z evaluator_display_name. Prefiks ten evaluator_ rozróżnia to od innych pól opisu na powiązanych modelach.

evaluator_display_name

Opcjonalna, przyjazna człowiekowi nazwa wyświetlana dla wynikłego ewaluatora. Pojawił się jak EvaluatorVersion.display_name na utrzymanym ewaluatorze. Gdy jest pomijana, usługa używa evaluator_name nazwy wyświetlanej. Prefiks evaluator_ rozróżnia to od identyfikatora niezmiennego evaluator_name .

evaluator_name

Nazwa ewaluatora (identyfikator niezmienny). 1-256 znaków; dozwolone znaki to litery ASCII, cyfry, podkreślenie (_), kropka (.), tilde (~) oraz łącznik (-). Prefiks builtin. jest zarezerwowany dla ewaluatorów zarządzanych przez system i jest odrzucany przez usługę. Jeśli w projekcie istnieje już ewaluator o tej nazwie (i jest podtypem rubric-subtype), usługa tworzy nową wersję pod tą samą nazwą i wykorzystuje poprzednie wersje dimensions jako kontekst do stopniowego ulepszania (podstawa pętli adaptacyjnej post-//build). Stare wersje pozostają możliwe do zapytań przez .get_version(name, version) Jeśli istniejący ewaluator nie jest ewaluatorem podtypu rubryki (wbudowany, oparty na promptach, kodowany), żądanie jest odrzucane z .400 Bad Request

finished_at

Znacznik czasu zakończenia zadania był odnotowany w czasie Unix (sekundy od 1 stycznia 1970).

id

Unikalny identyfikator przypisany serwerowi.

input_quality_warnings

Zalecenia dotyczące jakości surowców nieśmiertelnych produkcji wygenerowane przez pipeline wytwarzania. Tylko do odczytu; generowane przez usługi; Były zamieszkiwane tylko na stanowiskach terminalnych, gdy pojawiały się komunikaty. Pominięte, gdy generowanie było czyste. Oczyszczone, gdy kolejna para PATCHEvaluatorVersion.definition unieważnia ostrzeżenia.

model

Model LLM do generowania rubryk (np. 'gpt-4o'). Wymagane — użytkownicy muszą dostarczać własny model, zamiast polegać na przepustowości własnej przez usługę.

result

Rezultat wynikający z sukcesu.

sources

Materiały źródłowe do generowania — opisy agentów, prompty, ślady lub zbiory danych. Każdy element jest wariantem EvaluatorGenerationJobSource rozróżniającym się przez type.

status

Aktualny status cyklu życia.

usage

Podsumowanie zużycia tokenów. Pojawiają się, gdy zadanie osiągnie stan końcowy.

Szczegóły właściwości

created_at

Znacznik czasu utworzenia zadania, reprezentowany w czasie Unix (sekundy od 1 stycznia 1970).

created_at?: Date

Wartość właściwości

Date

error

Szczegóły błędu — pojawiają się tylko w przypadku awarii.

error?: ErrorModel

Wartość właściwości

evaluator_description

Opcjonalny, przyjazny dla człowieka opis dla wynikłego ewaluatora. Pojawił się jak EvaluatorVersion.description na utrzymanym ewaluatorze. Zazwyczaj zbierane z interfejsu użytkownika razem z evaluator_display_name. Prefiks ten evaluator_ rozróżnia to od innych pól opisu na powiązanych modelach.

evaluator_description?: string

Wartość właściwości

string

evaluator_display_name

Opcjonalna, przyjazna człowiekowi nazwa wyświetlana dla wynikłego ewaluatora. Pojawił się jak EvaluatorVersion.display_name na utrzymanym ewaluatorze. Gdy jest pomijana, usługa używa evaluator_name nazwy wyświetlanej. Prefiks evaluator_ rozróżnia to od identyfikatora niezmiennego evaluator_name .

evaluator_display_name?: string

Wartość właściwości

string

evaluator_name

Nazwa ewaluatora (identyfikator niezmienny). 1-256 znaków; dozwolone znaki to litery ASCII, cyfry, podkreślenie (_), kropka (.), tilde (~) oraz łącznik (-). Prefiks builtin. jest zarezerwowany dla ewaluatorów zarządzanych przez system i jest odrzucany przez usługę. Jeśli w projekcie istnieje już ewaluator o tej nazwie (i jest podtypem rubric-subtype), usługa tworzy nową wersję pod tą samą nazwą i wykorzystuje poprzednie wersje dimensions jako kontekst do stopniowego ulepszania (podstawa pętli adaptacyjnej post-//build). Stare wersje pozostają możliwe do zapytań przez .get_version(name, version) Jeśli istniejący ewaluator nie jest ewaluatorem podtypu rubryki (wbudowany, oparty na promptach, kodowany), żądanie jest odrzucane z .400 Bad Request

evaluator_name: string

Wartość właściwości

string

finished_at

Znacznik czasu zakończenia zadania był odnotowany w czasie Unix (sekundy od 1 stycznia 1970).

finished_at?: Date

Wartość właściwości

Date

id

Unikalny identyfikator przypisany serwerowi.

id?: string

Wartość właściwości

string

input_quality_warnings

Zalecenia dotyczące jakości surowców nieśmiertelnych produkcji wygenerowane przez pipeline wytwarzania. Tylko do odczytu; generowane przez usługi; Były zamieszkiwane tylko na stanowiskach terminalnych, gdy pojawiały się komunikaty. Pominięte, gdy generowanie było czyste. Oczyszczone, gdy kolejna para PATCHEvaluatorVersion.definition unieważnia ostrzeżenia.

input_quality_warnings?: RubricGenerationInputQualityWarning[]

Wartość właściwości

model

Model LLM do generowania rubryk (np. 'gpt-4o'). Wymagane — użytkownicy muszą dostarczać własny model, zamiast polegać na przepustowości własnej przez usługę.

model: string

Wartość właściwości

string

result

Rezultat wynikający z sukcesu.

result?: EvaluatorVersion

Wartość właściwości

sources

Materiały źródłowe do generowania — opisy agentów, prompty, ślady lub zbiory danych. Każdy element jest wariantem EvaluatorGenerationJobSource rozróżniającym się przez type.

sources: EvaluatorGenerationJobSourceUnion[]

Wartość właściwości

status

Aktualny status cyklu życia.

status?: JobStatus

Wartość właściwości

usage

Podsumowanie zużycia tokenów. Pojawiają się, gdy zadanie osiągnie stan końcowy.

usage?: EvaluatorGenerationTokenUsage

Wartość właściwości