EvaluatorGenerationJob interface

Recurso de Geração de Trabalhos do Avaliador — um trabalho de longa duração que gera definições de avaliadores baseadas em rubricas a partir de materiais fonte. Em caso de sucesso, o resultado é a persistente EvaluatorVersion.

Propriedades

created_at

O carimbo temporal em que o trabalho foi criado, representado em tempo Unix (segundos desde 1 de janeiro de 1970).

error

Detalhes do erro — preenchidos apenas em caso de falha.

evaluator_description

Descrição opcional e amigável para o avaliador resultante. Surgiu como EvaluatorVersion.description no avaliador persistente. Normalmente recolhido da interface juntamente com evaluator_display_nameo arquivo . O evaluator_ prefixo desambigua isto de quaisquer outros campos de descrição em modelos relacionados.

evaluator_display_name

Nome de exibição opcional e amigável para o avaliador resultante. Surgiu como EvaluatorVersion.display_name no avaliador persistente. Quando omitido, o serviço usa evaluator_name como nome de visualização. O evaluator_ prefixo desambigua isto do identificador imutável evaluator_name .

evaluator_name

O nome do avaliador (identificador imutável). 1-256 caracteres; caracteres permitidos são letras ASCII, dígitos, sublinhado (_), ponto (.), tilde (~) e hífen (-). O prefixo builtin. é reservado para avaliadores geridos pelo sistema e é rejeitado pelo serviço. Se já existir um avaliador com este nome no projeto (e for subtipo de rubrica), o serviço cria uma nova versão com o mesmo nome e utiliza as versões dimensions anteriores como contexto para melhoria incremental (base do ciclo adaptativo post-//build). Versões antigas permanecem consultáveis via get_version(name, version). Se o avaliador existente não for um avaliador de subtipo de rubrica (incorporado, baseado em prompts, baseado em código), o pedido é rejeitado com 400 Bad Request.

finished_at

O carimbo temporal quando o trabalho terminou, representado em tempo Unix (segundos desde 1 de janeiro de 1970).

id

Identificador único atribuído pelo servidor.

input_quality_warnings

Avisos de qualidade de entrada não fatais produzidos pelo pipeline de geração. Apenas leitura; gerado por serviço; populados apenas em trabalhos terminais quando os avisos eram disparados. Omitidos quando a geração era limpa. É liberado quando um par subsequente PATCHEvaluatorVersion.definition invalida os avisos.

model

O modelo LLM a usar para geração de rubricas (por exemplo, 'gpt-4o'). Obrigatório — os utilizadores devem fornecer o seu próprio modelo em vez de dependerem da capacidade detida pelo serviço.

result

Resultado produzido com sucesso.

sources

Materiais de origem para geração — descrições de agentes, prompts, vestígios ou conjuntos de dados. Cada entrada é uma EvaluatorGenerationJobSource variante discriminada por type.

status

Estado atual do ciclo de vida.

usage

Resumo do consumo de tokens. Preenchido quando o trabalho atinge um estado terminal.

Detalhes de Propriedade

created_at

O carimbo temporal em que o trabalho foi criado, representado em tempo Unix (segundos desde 1 de janeiro de 1970).

created_at?: Date

Valor de Propriedade

Date

error

Detalhes do erro — preenchidos apenas em caso de falha.

error?: ErrorModel

Valor de Propriedade

evaluator_description

Descrição opcional e amigável para o avaliador resultante. Surgiu como EvaluatorVersion.description no avaliador persistente. Normalmente recolhido da interface juntamente com evaluator_display_nameo arquivo . O evaluator_ prefixo desambigua isto de quaisquer outros campos de descrição em modelos relacionados.

evaluator_description?: string

Valor de Propriedade

string

evaluator_display_name

Nome de exibição opcional e amigável para o avaliador resultante. Surgiu como EvaluatorVersion.display_name no avaliador persistente. Quando omitido, o serviço usa evaluator_name como nome de visualização. O evaluator_ prefixo desambigua isto do identificador imutável evaluator_name .

evaluator_display_name?: string

Valor de Propriedade

string

evaluator_name

O nome do avaliador (identificador imutável). 1-256 caracteres; caracteres permitidos são letras ASCII, dígitos, sublinhado (_), ponto (.), tilde (~) e hífen (-). O prefixo builtin. é reservado para avaliadores geridos pelo sistema e é rejeitado pelo serviço. Se já existir um avaliador com este nome no projeto (e for subtipo de rubrica), o serviço cria uma nova versão com o mesmo nome e utiliza as versões dimensions anteriores como contexto para melhoria incremental (base do ciclo adaptativo post-//build). Versões antigas permanecem consultáveis via get_version(name, version). Se o avaliador existente não for um avaliador de subtipo de rubrica (incorporado, baseado em prompts, baseado em código), o pedido é rejeitado com 400 Bad Request.

evaluator_name: string

Valor de Propriedade

string

finished_at

O carimbo temporal quando o trabalho terminou, representado em tempo Unix (segundos desde 1 de janeiro de 1970).

finished_at?: Date

Valor de Propriedade

Date

id

Identificador único atribuído pelo servidor.

id?: string

Valor de Propriedade

string

input_quality_warnings

Avisos de qualidade de entrada não fatais produzidos pelo pipeline de geração. Apenas leitura; gerado por serviço; populados apenas em trabalhos terminais quando os avisos eram disparados. Omitidos quando a geração era limpa. É liberado quando um par subsequente PATCHEvaluatorVersion.definition invalida os avisos.

input_quality_warnings?: RubricGenerationInputQualityWarning[]

Valor de Propriedade

model

O modelo LLM a usar para geração de rubricas (por exemplo, 'gpt-4o'). Obrigatório — os utilizadores devem fornecer o seu próprio modelo em vez de dependerem da capacidade detida pelo serviço.

model: string

Valor de Propriedade

string

result

Resultado produzido com sucesso.

result?: EvaluatorVersion

Valor de Propriedade

sources

Materiais de origem para geração — descrições de agentes, prompts, vestígios ou conjuntos de dados. Cada entrada é uma EvaluatorGenerationJobSource variante discriminada por type.

sources: EvaluatorGenerationJobSourceUnion[]

Valor de Propriedade

status

Estado atual do ciclo de vida.

status?: JobStatus

Valor de Propriedade

usage

Resumo do consumo de tokens. Preenchido quando o trabalho atinge um estado terminal.

usage?: EvaluatorGenerationTokenUsage

Valor de Propriedade