EvaluatorGenerationJob interface

Ressource de génération de tâches d’évaluateur — un travail de longue durée qui génère des définitions d’évaluateurs basées sur des grilles d’évaluation à partir des sources de documents. En cas de succès, le résultat est l’EvaluatorVersion persistante.

Propriétés

created_at

L’horodatage lors de la création du travail, représenté en temps Unix (secondes depuis le 1er janvier 1970).

error

Détails d’erreur — remplis uniquement en cas de défaillance.

evaluator_description

Description optionnelle et conviviale pour l’évaluateur résultant. Apparut comme EvaluatorVersion.description sur l’évaluateur persistant. Généralement collectés depuis l’interface utilisateur avec evaluator_display_namele fichier . Le evaluator_ préfixe disqualifie cela de tout autre champ de description sur des modèles apparentés.

evaluator_display_name

Nom d’affichage optionnel adapté à l’humain pour l’évaluateur résultant. Apparut comme EvaluatorVersion.display_name sur l’évaluateur persistant. Lorsqu’il est omis, le service utilise evaluator_name comme nom d’affichage. Le evaluator_ préfixe disqualifie cela de l’identifiant immuable evaluator_name .

evaluator_name

Le nom de l’évaluateur (identifiant immuable). 1-256 caractères ; les caractères autorisés sont les lettres ASCII, les chiffres, le soulignement (_), le point (.), le tilde (~) et le trait d’union (-). Le préfixe builtin. est réservé aux évaluateurs gérés par le système et est rejeté par le service. Si un évaluateur portant ce nom existe déjà dans le projet (et est un sous-type de rubrique), le service crée une nouvelle version sous le même nom et utilise les versions dimensions précédentes comme contexte pour une amélioration incrémentale (fondement de la boucle adaptative post-//build). Les anciennes versions restent interrogables via get_version(name, version). Si l’évaluateur existant n’est pas un évaluateur de sous-type de rubrique (intégré, basé sur des prompts, basé sur le code), la requête est rejetée avec 400 Bad Request.

finished_at

L’horodatage à la fin du travail, représenté en temps Unix (secondes depuis le 1er janvier 1970).

id

Identifiant unique attribué par le serveur.

input_quality_warnings

Avis de qualité d’entrée non fatal produits par la chaîne de production. Lecture seule ; généré par service ; ne peuplaient que sur les postes terminaux lorsque les avis étaient déclenchés. Omise quand la génération était propre. Approuvé lorsqu’une application ultérieure PATCH à la paire EvaluatorVersion.definition invalide les avertissements.

model

Le modèle LLM à utiliser pour la génération de grilles d’évaluation (par exemple, « gpt-4o »). Obligatoire — les utilisateurs doivent fournir leur propre modèle plutôt que de dépendre de la capacité détenue par le service.

result

Résultat produit par succès.

sources

Matériaux sources pour la génération — descriptions d’agents, invites, traces ou ensembles de données. Chaque entrée est une EvaluatorGenerationJobSource variante discriminée par type.

status

Statut actuel du cycle de vie.

usage

Résumé de la consommation de jetons. Rempli lorsque le poste atteint un état terminal.

Détails de la propriété

created_at

L’horodatage lors de la création du travail, représenté en temps Unix (secondes depuis le 1er janvier 1970).

created_at?: Date

Valeur de propriété

Date

error

Détails d’erreur — remplis uniquement en cas de défaillance.

error?: ErrorModel

Valeur de propriété

evaluator_description

Description optionnelle et conviviale pour l’évaluateur résultant. Apparut comme EvaluatorVersion.description sur l’évaluateur persistant. Généralement collectés depuis l’interface utilisateur avec evaluator_display_namele fichier . Le evaluator_ préfixe disqualifie cela de tout autre champ de description sur des modèles apparentés.

evaluator_description?: string

Valeur de propriété

string

evaluator_display_name

Nom d’affichage optionnel adapté à l’humain pour l’évaluateur résultant. Apparut comme EvaluatorVersion.display_name sur l’évaluateur persistant. Lorsqu’il est omis, le service utilise evaluator_name comme nom d’affichage. Le evaluator_ préfixe disqualifie cela de l’identifiant immuable evaluator_name .

evaluator_display_name?: string

Valeur de propriété

string

evaluator_name

Le nom de l’évaluateur (identifiant immuable). 1-256 caractères ; les caractères autorisés sont les lettres ASCII, les chiffres, le soulignement (_), le point (.), le tilde (~) et le trait d’union (-). Le préfixe builtin. est réservé aux évaluateurs gérés par le système et est rejeté par le service. Si un évaluateur portant ce nom existe déjà dans le projet (et est un sous-type de rubrique), le service crée une nouvelle version sous le même nom et utilise les versions dimensions précédentes comme contexte pour une amélioration incrémentale (fondement de la boucle adaptative post-//build). Les anciennes versions restent interrogables via get_version(name, version). Si l’évaluateur existant n’est pas un évaluateur de sous-type de rubrique (intégré, basé sur des prompts, basé sur le code), la requête est rejetée avec 400 Bad Request.

evaluator_name: string

Valeur de propriété

string

finished_at

L’horodatage à la fin du travail, représenté en temps Unix (secondes depuis le 1er janvier 1970).

finished_at?: Date

Valeur de propriété

Date

id

Identifiant unique attribué par le serveur.

id?: string

Valeur de propriété

string

input_quality_warnings

Avis de qualité d’entrée non fatal produits par la chaîne de production. Lecture seule ; généré par service ; ne peuplaient que sur les postes terminaux lorsque les avis étaient déclenchés. Omise quand la génération était propre. Approuvé lorsqu’une application ultérieure PATCH à la paire EvaluatorVersion.definition invalide les avertissements.

input_quality_warnings?: RubricGenerationInputQualityWarning[]

Valeur de propriété

model

Le modèle LLM à utiliser pour la génération de grilles d’évaluation (par exemple, « gpt-4o »). Obligatoire — les utilisateurs doivent fournir leur propre modèle plutôt que de dépendre de la capacité détenue par le service.

model: string

Valeur de propriété

string

result

Résultat produit par succès.

result?: EvaluatorVersion

Valeur de propriété

sources

Matériaux sources pour la génération — descriptions d’agents, invites, traces ou ensembles de données. Chaque entrée est une EvaluatorGenerationJobSource variante discriminée par type.

sources: EvaluatorGenerationJobSourceUnion[]

Valeur de propriété

status

Statut actuel du cycle de vie.

status?: JobStatus

Valeur de propriété

usage

Résumé de la consommation de jetons. Rempli lorsque le poste atteint un état terminal.

usage?: EvaluatorGenerationTokenUsage

Valeur de propriété