AgentOptimizationEvaluationConfiguration interface
再利用可能な品質測定構成。
プロパティ
| evaluation_model | モデルベースの評価者や会話シミュレーションで使用されるモデル構成。 |
| evaluators | 候補者の質を評価するために評価者の推薦を用いています。 |
| max_concurrent_agent_runs | 各ターン評価中に同時に実行される最大ターゲットエージェントラン数。 省略すると、サービスはデフォルトで1となります。 会話評価は1つだけをサポートします。 |
| training_set | 最適化検索を導くために使用される評価セット。 インラインデータは、別途検証セットが提供されている場合、最大2,000のテストケースをサポートします。それ以外の場合は検証にも使用され、500に制限されます。 |
| validation_set | 完全な候補者評価に使用される保留評価セットで、500件のインラインテストケースに制限されています。 トレーニングセットは再利用され、省略した場合は同じ500テストケースの検証制限が適用されます。 |
プロパティの詳細
evaluation_model
モデルベースの評価者や会話シミュレーションで使用されるモデル構成。
evaluation_model: EvaluationModelConfigurationプロパティ値
evaluators
候補者の質を評価するために評価者の推薦を用いています。
evaluators: AgentOptimizationEvaluator[]プロパティ値
max_concurrent_agent_runs
各ターン評価中に同時に実行される最大ターゲットエージェントラン数。 省略すると、サービスはデフォルトで1となります。 会話評価は1つだけをサポートします。
max_concurrent_agent_runs?: numberプロパティ値
number
training_set
最適化検索を導くために使用される評価セット。 インラインデータは、別途検証セットが提供されている場合、最大2,000のテストケースをサポートします。それ以外の場合は検証にも使用され、500に制限されます。
training_set: AgentOptimizationEvaluationSetUnionプロパティ値
validation_set
完全な候補者評価に使用される保留評価セットで、500件のインラインテストケースに制限されています。 トレーニングセットは再利用され、省略した場合は同じ500テストケースの検証制限が適用されます。
validation_set?: AgentOptimizationEvaluationSetUnion