エージェントの応答を評価する
エージェントの作成は、最初の手順にすぎません。 テストは、エージェントが指示に従い、使用可能な情報を使用し、予想される出力を生成する方法を理解するのに役立ちます。
前の演習では、Customer Meeting Prep エージェントを作成しました。 次に、便利で信頼性の高い会議の概要を作成できるかどうかを判断する必要があります。 このユニットでは、効果的なテスト プロンプトを作成し、エージェントの応答を評価し、パフォーマンスを向上させる変更を特定する方法について説明します。
| ステージ | 操作 | ゴール |
|---|---|---|
| Test | 現実的な要求を送信する | エージェントが応答する方法を確認する |
| Review | 応答を評価する | 何が機能し、改善が必要かを特定する |
| 調整 | エージェントを更新する | その指示や知識を向上させる |
| 繰り返し | エージェントをもう一度テストする | 変更によって応答が改善されたことを確認する |
明確な目標を使用してテストする
効果的なテストは、成功した応答に含める必要がある内容を知ることから始まります。 明確な期待がなければ、エージェントがそのジョブを正しく実行したかどうかを判断するのが難しい場合があります。
Customer Meeting Prep エージェントの場合、成功した応答は、営業チーム メンバーが顧客の会話に備えるのに役立つ構造化された簡単な説明を提供する必要があります。
概要には、次のものが必要です。
- 提供された顧客情報を要約します。
- 優先順位、ニーズ、または潜在的なディスカッション トピックを特定します。
- 顧客の優先順位を関連する承認済み情報に接続します。
- 会議に役立つ質問を提案します。
- 不足している情報を明確に識別します。
- 顧客に関してサポートされていない前提を避けます。
目標は、毎回同じ応答を生成することではありません。 目標は、各応答がエージェントの目的に従っていることを確認し、有用で根拠のあるサポートを提供することです。
さまざまな種類のテスト プロンプトを使用する
応答が成功しても、エージェントを使用する準備ができていることが確認されません。 テスト プロンプトは、ユーザーがエージェントと対話するさまざまな方法を表す必要があります。
エージェントがタスクを完了するのに十分な情報を含む一般的な要求から始めます。 次に、情報が見つからない場合、または要求が目的外になったときにエージェントが応答する方法をテストします。
| テストの種類 | 評価内容 | Example |
|---|---|---|
| 典型的な要望 | エージェントがプライマリ タスクを実行する方法 | 提供された情報を使用して、顧客の会議の概要を準備する |
| 不完全な要求 | エージェントが不足している情報を識別するかどうか | 顧客会議の準備に役立つ |
| フォローアップ要求 | エージェントがそれまでの会話を踏まえて対応できるかどうか | 概要に 5 つの検出の質問を追加する |
| 対象外のリクエスト | エージェントがその目的に重点を置いたままかどうか | 完全な年間販売戦略を作成する |
| ナレッジ ベースの要求 | エージェントが追加されたナレッジ ソースを使用するかどうか | この顧客に関連する承認済みの製品情報はどれですか? |
強力なエージェントは、適切な要求を完了し、必要に応じて明確化を求め、サポートされていない情報を実際に提示しないようにする必要があります。
応答を確認する
各応答は、表現の洗練さだけで判断するのではなく、エージェントの意図した目的に基づいて評価してください。 適切に記述された応答は、不完全、不正確、またはサポートされていない可能性があります。
応答を確認するときは、次の条件を使用します。
| 評価領域 | 尋ねるべき質問 |
|---|---|
| 精度 | 応答は、提供された情報を正しく表していますか? |
| 関連性 | 顧客会議の準備に焦点を当てていますか? |
| 完全 | 会議概要に、想定される項目が含まれていますか? |
| 明確さ | 応答は整理され、使いやすいですか? |
| 典拠 | 提供された情報または承認された知識で応答をサポートできますか? |
| Boundaries | エージェントは、前提を立てるのではなく、不足している情報を識別しますか? |
Important
エージェントを使用または共有する前に、必ずエージェントの出力を確認してください。 エージェントは役に立つサポートを提供できますが、情報が正確で状況に適していることを確認する責任はユーザーに残ります。
変更する必要がある内容を特定する
応答が期待を満たしていない場合は、エージェントを編集する前に、考えられる原因を特定します。 問題が異なると、異なる調整が必要になります。
| エージェントの場合... | 変更することを検討してください... |
|---|---|
| 一貫性のない形式を生成します。 | 応答を整理するための手順 |
| 概要の重要な部分を省略します。 | 必要な手順または出力セクション |
| 過度に広範な応答を提供する | エージェントの目的またはスコープ |
| サポートされていない前提条件を作成する | 不足している情報を処理するための手順 |
| 関連情報を見落とす | 接続されたナレッジ ソース |
| 詳細が多すぎる | 応答の長さと優先順位の手順 |
| 開始する方法がわからない | スターター プロンプトまたは例 |
可能な限り、一度に 1 つのフォーカスを置いた変更を行います。 これにより、調整によってエージェントの応答が改善されたかどうかを簡単に判断できます。
学習内容を記録する
テスト中は、次の点を追跡します。
- 使用したプロンプト。
- うまくいった点。
- 不足していた情報。
- 正しくない前提条件。
- 行う予定の変更。
観測値を文書化すると、エージェントを絞り込んだ後に結果を簡単に比較できます。
エージェントを絞り込む
絞り込みは、テストで学習した内容に基づいてエージェントを更新するプロセスです。 命令を明確にしたり、エージェントの目的を絞り込んだり、予想される出力形式を改善したり、関連する知識を追加したりする必要がある場合があります。
次を更新することで、顧客ミーティング準備エージェントを改善できます:
- 説明: エージェントの目的と使用目的を明確にします。
- 手順: 不足している手順、境界、または書式設定の要件を追加します。
- ナレッジ: エージェントが参照できる承認済み情報を追加または置換します。
- スタート プロンプト: エージェントがサポートするタスクのより明確な例を提供します。
たとえば、エージェントが構造化された簡単な説明ではなく一般的な概要を提供する場合は、その指示に特定の出力セクションを追加します。
- 顧客の概要
- 目標を達成する
- 顧客の優先順位
- 関連する製品またはソリューション
- 推奨されるディスカッション トピック
- 推奨される質問
- 不足している情報
変更を行った後、元のテストを繰り返します。 新しい応答を前の応答と比較して、調整によって結果が改善されたかどうかを判断します。
評価計画が整ったら、次の演習で、顧客会議準備エージェントをテストし、その回答を確認し、重点的に改善する準備が整いました。