品質シグナルは、エージェントの応答が成功または失敗 する理由 を理解するための構造化された方法を提供します。 これらは、チームが評価結果を意味のあるカテゴリにグループ化し、改善に優先順位を付け、時間の経過と共に進捗状況を追跡するのに役立ちます。
この記事では、評価結果から品質シグナルを導き出して、問題を診断し、パターンを特定し、Copilot エージェントのパフォーマンスを向上させる方法について説明します。
品質シグナルを使用することで、チームは次のことができます。
- 繰り返し発生するエラー パターンを特定する
- 影響に基づいて改善に優先順位を付ける
- イテレーション間でのパフォーマンスを追跡する
- 結果を利害関係者に明確に伝える
品質シグナルとは?
品質シグナルは、評価結果のパターンを表すカテゴリです。 それらは、事前定義されたルールではなく、観察された行動から生じます。
アサーションと品質シグナルは、評価ワークフローで連携します。
- アサーションによって、応答が成功するか失敗するかが決まります。
- 品質シグナルは、 アサーションの結果を上位レベルのパターンにグループ化します。
| 縦横比 | アサーション | 品質シグナル |
|---|---|---|
| Level (レベル) | 具体的で具体的な | 抽象的およびカテゴリ的 |
| 用途 | 成功または不合格を判断する | パターンの診断 |
| Quantity | テスト ケースあたり多数の | エージェントあたり少数 |
| 配信元 | テスト前に定義済み | 結果から導き出された |
| 使用例 | "15 日" を含む | ポリシーの正確性 |
アサーションを定義した後、アサーションの結果から品質シグナルを導き出し、それらのシグナルを使用して、シナリオ全体のパフォーマンスを追跡します。
一般的な品質シグナル
Copilot エージェントを評価するときは、次の一般的な品質シグナルを使用します。
- ポリシーの精度 – 回答が信頼できるナレッジ ソースと一致しているかどうかを測定します
- ソース属性 – 回答が情報ソースを明確に識別しているかどうかを測定します
- 個人用設定 – 応答が関連するユーザー コンテキストを使用しているかどうかを測定します
- ツール精度 – ツール呼び出しが正しく実行されたかどうかを測定します
- ツール応答処理 – エージェントがツール出力を正しく解釈するかどうかを測定します
- エスカレーションの適切性 – 必要に応じて要求がヒューマン サポートにルーティングされるかどうかを測定します
- プライバシー保護 – 機密情報が保護されているかどうかを測定します
- アクションの有効化 – 応答が明確な次のステップを提供するかどうかを測定します
信号の評価と一般的な原因
次の表は、各品質シグナルのインジケーターを示しています。
| 品質シグナル | 合格インジケーター | 失敗インジケーター | 一般的な原因 |
|---|---|---|---|
| ポリシーの正確性 | 正しい値と日付 正確なポリシーの詳細 現在のドキュメントと一致 |
古い値または正しくない値 競合または捏造された詳細 |
古いドキュメントまたは重複するドキュメント 正しくない取得結果 幻覚のモデル |
| ソース属性 | 特定のドキュメントまたはセクションへの参照 明確な帰属属性ステートメント |
ソースが指定されていません あいまいまたは一般的な参照 |
ソース メタデータがありません 指示では属性が強調されない |
| 個人設定 | 地域固有または役割固有の応答 コンテキスト対応の推奨事項 |
ユーザー コンテキストを無視する汎用応答 地域または役割に基づく情報が正しくない |
エージェントにユーザー コンテキストを使用できない オーディエンスによってセグメント化されていないナレッジ ソース |
| 工具の精度 | 正しいツールの選択 有効なパラメーターと識別子 必須フィールドをすべて入力しました |
パラメーターが不足しているか正しくない 無効なツール入力 |
あいまいな API 仕様 正しくないパラメーター マッピング |
| ツール応答処理 | 工具結果の正確な伝達 成功状態とエラー状態の正しい処理 |
不適切な成功クレーム 無視または誤解されたツール エラー |
エラー処理ガイダンスがありません ツール応答の誤解 |
| エスカレーションの適切性 | 機密性の高い問題や複雑な問題が正しくルーティングされる エスカレーション ルールの遵守 |
エージェントがサポートされていないシナリオの処理を試みる リスクの高い要求をエスカレートできない |
エスカレーション条件が未定義 過度に許容的な指示 |
| プライバシー保護 | 制限されたデータの開示の拒否 回答は承認された情報に限定されます |
機密データの開示または推論 保護された情報を公開する応答 |
弱いアクセス制御 プライバシー ガイダンスが不十分 |
| アクションの有効化 | 具体的な手順 リンク、識別子、または連絡先の詳細 |
あいまいまたは不完全なガイダンス 実行可能な手順が見つからない |
ナレッジ ソースに手順情報がない 回答の要約が過剰 |
品質シグナルを導き出す方法
品質シグナルは、事前定義されたチェックリストではなく、評価結果のパターンから導き出されます。 品質シグナルを導き出すには:
- 評価テスト ケースの最初のセットを実行します。
- テスト ケース全体で失敗した応答を確認します。
- エラーの繰り返しパターンを特定します。
- 各パターンを品質シグナルとして定義します。
- 関連するアサーションに対応するシグナルをタグ付けします。
- シグナルによって合格率を追跡します。
品質シグナルの実践
次の例は、従業員のオンボーディング エージェントに対して定義されている品質シグナルを示しています。
| オブザベーション | パターンが識別されました | 品質シグナル |
|---|---|---|
| 返された正しい PTO 値 | 正確な知識の取得 | ポリシーの正確性 |
| 応答で引用されたソース | 帰属を含む | ソース属性 |
| 誤った地域情報が返された | コンテキストが使用されない | カスタマイズ |
| 間違ったパラメーターで呼び出されたツール | 実行エラー | 工具の精度 |
| 要求が適切に人事にルーティングされました | 正しいエスカレーション | エスカレーションの適切性 |
| 機密データがほぼ流出する | プライバシー境界リスク | プライバシー保護 |
| 応答には次のステップが含まれます | 対応可能な対応 | アクションの有効化 |
以下は、品質シグナルの具体的な対策です。
| ポリシーの正確性 | ソース属性 | 工具の精度 |
|---|---|---|
| 正しいPTO期間が含まれています | 信頼できるドキュメントを引用する | 正しいツールを呼び出す |
| 正しい登録期限を含む | 特定のセクションを参照する | 有効なパラメーターを使用 |
| 古いポリシーを参照しない | 正しい結果を返します |
品質シグナルを適用して伝達する
品質シグナルを使用して、評価ワークフローを推進し、インサイトを伝達します。 品質シグナルを適用するには:
タグのアサーション – テストケースの各アサーションにシグナルタグを追加します。
テスト ケース: PTO-001
プロンプト: 「新入社員の休暇は何日取得できますか?」アサーション:
応答に "15 日" が含まれています。
シグナル: ポリシーの精度回答は従業員ハンドブックを引用しています。
シグナル: ソース属性回答では、 < 2 年の在職期間に言及しています。
シグナル: 個人用設定
メトリックの計算 – 合否の結果をシグナルごとに集計します。
品質シグナル テスト ケース 合格 失敗 合格率 ポリシーの精度 25 23 2 92% ソース属性 25 20 5 80% カスタマイズ 15 11 4 73% 工具の精度 12 10 2 83% エスカレーションの妥当性 8 8 0 100% プライバシー保護 10 10 0 100% 問題に優先順位を付ける – 合格率が低い信号や影響の大きい信号に焦点を当てます。
- 個人用設定 (73%) - 最大のギャップは、まず調査します。
- ソース属性 (80%) - 2 番目の優先度。
- 工具精度 (83%) - 3 番目の優先順位。
- ポリシーの精度 (92%) - 軽微な問題、監視。
進行状況の追跡 – エージェントのバージョン間でシグナルパス率を監視します。
- バージョン 1.0 > 1.1 > 1.2 > 1.3
- パーソナライゼーション: 73% > 78% > 85% > 91% (改善中)
- 出典の帰属: 80% > 82% > 88% > 90% (改善中)
- 工具精度: 83% > 85% > 84% > 92% (v1.2 回帰後に改善)
品質シグナルは、利害関係者の会話を変革します。 この特異性により、ターゲットを絞った修正、定量的な進行状況の追跡、より明確な利害関係者とのコミュニケーションが可能になります。
シグナルなし: エージェントのパフォーマンスが不十分。 ユーザーは不満を漏らしています。
シグナルあり: ポリシーの精度は 92% で、目標を達成しています。 しかし、パーソナライゼーションは前回の更新後、73% に低下しました。 具体的には、英国の従業員は米国の休暇情報を入手しています。 根本原因として、コンテキストの取得で位置データが渡されていないことが特定されました。 修正は次回のリリースに向けて進行中です。
エージェントタイプ別の品質シグナル
品質シグナルと優先度は、評価しているエージェントの種類によって異なります。
| エージェントの種類 | Signal | Priority |
|---|---|---|
| 知識ベースの | ポリシーの正確性 | 高値 |
| ソース属性 | 高値 | |
| 完全性 | 中 | |
| カスタマイズ | 中 | |
| ツール呼び出し | 工具の精度 | 高値 |
| ツール応答処理 | 高値 | |
| アクションの有効化 | 高値 | |
| エラー回復 | 中 | |
| ハイブリッド | ルーティングの精度 | 高値 |
| ナレッジ シグナル | 中 | |
| ツール シグナル | 中 | |
| エスカレーションの適切性 | 中 | |
| 顧客対応 | プライバシー保護 | 高値 |
| トーンとプロフェッショナリズム | 高値 | |
| エスカレーションの適切性 | 高値 | |
| 解決の完全性 | 中 |
よくある落とし穴を回避する
品質シグナルが有用で、一貫性があり、実用的なものであることを保証するために、次の問題を避けてください。
一般的なカテゴリではなく特定のシグナルを使用
"精度"、"有用性"、"関連性" など、広すぎるシグナルでは、実用的な分析情報を提供できません。 一般的なシグナルでは、根本原因を特定したり、改善の優先順位を付けたりすることが困難になります。
代わりに、評価結果の特定の観察可能なパターンに基づいてシグナルを定義します。
- 避ける: 正確性
- 優先: ポリシーの正確性、ソース属性
きめ細かいシグナルを避ける
範囲の狭いシグナルを作成しすぎると、分析情報が向上しず複雑さが増します。 粒度が高すぎると分析が断片化され、意味のある傾向を追跡することが困難になります。
代わりに、関連する行動をより広範で再利用可能なシグナル カテゴリにグループ化します。
- 避ける: PTO の精度、特典の精度、祝日の精度
- 希望: ポリシーの正確性
あいまいな合否条件を回避する
「正確性」などのあいまいな信号の定義には、測定可能な基準がありません。 明確な基準がなければ、結果は一貫性がなく、解釈が困難になります。
代わりに、評価結果に関連付けられた明示的で観察可能な動作を使用してシグナルを定義します。
- 避ける: "応答は正しい"
- 希望: "応答には正しい値が含まれており、信頼できるソースが引用されています"