EvaluatorGenerationJob interface

評価者生成ジョブリソース — ソースからルーブリックベースの評価者定義を生成する長期間続くジョブです。 成功すると、永続化されたEvaluatorVersionが得られます。

プロパティ

created_at

ジョブが作成されたタイムスタンプはUnix時間(1970年1月1日以降の秒)で表されました。

error

エラー詳細 — 失敗時のみ入力。

evaluator_description

結果として評価者に向けた人間に優しい説明をオプションで提供します。 継続評価者に EvaluatorVersion.description として浮上しました。 通常、UIから evaluator_display_nameと一緒に収集されます。 evaluator_接頭辞は、関連モデルの他の記述フィールドと区別しています。

evaluator_display_name

結果として評価される評価者用の人間に優しい表示名をオプションで設定します。 継続評価者に EvaluatorVersion.display_name として浮上しました。 省略された場合、サービスは evaluator_name を表示名として使用します。 evaluator_接頭辞は、不変のevaluator_name識別子と区別しています。

evaluator_name

評価者名(不変識別子)。 1〜256文字;許可されている文字は、ASCIIの文字、数字、アンダースコア(_)、ピリオド(.)、チルデ(~)、ハイフン(-)です。 プレフィックス builtin. はシステム管理評価者専用に予約されており、サービスからは拒否されます。 この名前の評価者がすでにプロジェクトに存在し(かつルーブリックサブタイプである)、サービスは同じ名前で新しいバージョンを作成し、前のバージョンの dimensions を段階的な改善の文脈として使用します(ポスト///ビルド適応ループの基盤)。 古いバージョンは get_version(name, version)を通じてクエリ可能なままです。 既存の評価者がルーブリックサブタイプ評価者(組み込み、プロンプトベース、コードベース)でない場合、 400 Bad Requestでリクエストは却下されます。

finished_at

作業終了時のタイムスタンプはUnix時間(1970年1月1日以降の秒)で表されていました。

id

サーバーが割り当てた一意識別子。

input_quality_warnings

発電パイプラインによって作成された非致死的な投入品質アドバイザリー。 読み取り専用;サービス生成;警報が発令された時は終端ジョブのみが居住していました。 世代がきれいだった頃には省略されました。 ペアEvaluatorVersion.definitionへの後PATCHでアドバイザリーが無効になるとクリアされます。

model

ルーブリック生成に使うLLMモデル(例:「gpt-4o」)。 必須 — ユーザーはサービス所有容量に依存せず、自分自身のモデルを提供しなければなりません。

result

成功によって結果が生まれます。

sources

生成のためのソース素材 — エージェントの説明、プロンプト、トレース、またはデータセット。 各項目はEvaluatorGenerationJobSourceによって識別されたtypeバリアントです。

status

現在のライフサイクル状況。

usage

トークン消費の概要。 仕事が終着状態に達したときに埋められます。

プロパティの詳細

created_at

ジョブが作成されたタイムスタンプはUnix時間(1970年1月1日以降の秒)で表されました。

created_at?: Date

プロパティ値

Date

error

エラー詳細 — 失敗時のみ入力。

error?: ErrorModel

プロパティ値

evaluator_description

結果として評価者に向けた人間に優しい説明をオプションで提供します。 継続評価者に EvaluatorVersion.description として浮上しました。 通常、UIから evaluator_display_nameと一緒に収集されます。 evaluator_接頭辞は、関連モデルの他の記述フィールドと区別しています。

evaluator_description?: string

プロパティ値

string

evaluator_display_name

結果として評価される評価者用の人間に優しい表示名をオプションで設定します。 継続評価者に EvaluatorVersion.display_name として浮上しました。 省略された場合、サービスは evaluator_name を表示名として使用します。 evaluator_接頭辞は、不変のevaluator_name識別子と区別しています。

evaluator_display_name?: string

プロパティ値

string

evaluator_name

評価者名(不変識別子)。 1〜256文字;許可されている文字は、ASCIIの文字、数字、アンダースコア(_)、ピリオド(.)、チルデ(~)、ハイフン(-)です。 プレフィックス builtin. はシステム管理評価者専用に予約されており、サービスからは拒否されます。 この名前の評価者がすでにプロジェクトに存在し(かつルーブリックサブタイプである)、サービスは同じ名前で新しいバージョンを作成し、前のバージョンの dimensions を段階的な改善の文脈として使用します(ポスト///ビルド適応ループの基盤)。 古いバージョンは get_version(name, version)を通じてクエリ可能なままです。 既存の評価者がルーブリックサブタイプ評価者(組み込み、プロンプトベース、コードベース)でない場合、 400 Bad Requestでリクエストは却下されます。

evaluator_name: string

プロパティ値

string

finished_at

作業終了時のタイムスタンプはUnix時間(1970年1月1日以降の秒)で表されていました。

finished_at?: Date

プロパティ値

Date

id

サーバーが割り当てた一意識別子。

id?: string

プロパティ値

string

input_quality_warnings

発電パイプラインによって作成された非致死的な投入品質アドバイザリー。 読み取り専用;サービス生成;警報が発令された時は終端ジョブのみが居住していました。 世代がきれいだった頃には省略されました。 ペアEvaluatorVersion.definitionへの後PATCHでアドバイザリーが無効になるとクリアされます。

input_quality_warnings?: RubricGenerationInputQualityWarning[]

プロパティ値

model

ルーブリック生成に使うLLMモデル(例:「gpt-4o」)。 必須 — ユーザーはサービス所有容量に依存せず、自分自身のモデルを提供しなければなりません。

model: string

プロパティ値

string

result

成功によって結果が生まれます。

result?: EvaluatorVersion

プロパティ値

sources

生成のためのソース素材 — エージェントの説明、プロンプト、トレース、またはデータセット。 各項目はEvaluatorGenerationJobSourceによって識別されたtypeバリアントです。

sources: EvaluatorGenerationJobSourceUnion[]

プロパティ値

status

現在のライフサイクル状況。

status?: JobStatus

プロパティ値

usage

トークン消費の概要。 仕事が終着状態に達したときに埋められます。

usage?: EvaluatorGenerationTokenUsage

プロパティ値