評価プロンプトの設計

評価の品質は、プロンプトの品質によって異なります。 適切に設計されたプロンプトは、意図した内容を正確にテストします。これ以上もそれ以下もありません。

この記事では、明確で実用的な結果を生成する評価プロンプトを設計する方法について説明します。

効果的な評価プロンプトの構造

効果的な評価プロンプトには、次の 4 つの特性があります。

  • 単一意図
  • リアルな言い回し
  • データに根付く
  • 自己完結型

単一意図

各プロンプトで、1 つのユーザー目標または質問をテストする必要があります。 マルチインテント プロンプトを使用すると、エラーの原因を特定するのが困難になります。

マルチインテント (回避) 単一意図 (推奨)
PTOの残高はいくらですか? PTO残高はいくらですか?
健康上の利点と 401k の試合についても教えてください。 どのような健康保険プランが利用可能ですか?

複数の機能を一緒にテストするには、意図を 1 つのプロンプトに結合するのではなく、複数ターンの会話評価を使用します。

リアルな言い回し

プロンプトは、くだけた言葉、不完全な文、さまざまなレベルの詳細など、ユーザーが実際にどのようにコミュニケーションをとっているかを反映する必要があります。

フォーマルすぎる リアルな
入社初年度の従業員の年間有給休暇の割り当てに関する情報を提供してください。 新入社員の休暇は何日取得できますか?
コンピューティング機器の調達依頼を開始したいと思います。 ノート PC を注文する必要があります。

以下から現実的なプロンプトを導き出すことができます。

  • 運用クエリ ログ
  • ユーザー リサーチ セッション
  • サポート チケット
  • 日常の職場会話

データに根付く

プロンプトはデータに基づいている必要があります。 グラウンディング データが利用可能な場合は、特定のエンティティ、値、識別子を使用します。 このアプローチにより、評価が測定可能で検証可能になります。

根拠に基づいたプロンプトを使用すると、「応答に正しい数値が含まれている」などのあいまいなチェックではなく、「応答には 15 日間が含まれています」などの正確なアサーションが可能になります。

データが接地されていない場合

プロンプト: "エンジニアの PTO ポリシーは何ですか?"

根拠となるデータを含む

データの根拠化:

  • 従業員: マーカス・ジョンソン
  • 部署: エンジニアリング
  • 在職期間: 8ヶ月
  • マネージャー: Lisa Park
  • 場所:オースティンオフィス

プロンプト: "私はエンジニアリング チームに所属しています。休暇は何日取れますか?"

自己完結型 (シングルターン)

シングルターンの評価の場合、各プロンプトには必要なすべてのコンテキストを含める必要があります。 エージェントは、前の会話ターンに依存できません。 次の表は、自己完結型プロンプトの例を示しています。

自己完結型 コンテキストに依存 (避ける)
PPO 健康プランは何をカバーしますか? 他の健康保険はどうですか?
PPO 健康プランの従業員費用はいくらですか? そして、それにはどれくらいの費用がかかりますか?
16インチMacBook Proを注文できますか? 代わりにそれを注文できますか?

複数のターンにまたがるシナリオの場合は、 複数ターンの会話を使用します。

プロンプトのバリエーション

ユーザーは、全員が同じように同じ質問をするとは限りません。 汎化をテストするには、各プロンプトの 3 つのバリエーションを作成します。

正規のプロンプト

正規のプロンプトは、明示的、完全、かつ明確です。 それらはベースラインとして機能します。

  • 必須パラメーターをすべて含めます。
  • 正確な用語を使用する。
  • あいまいさを避ける。
  • 理想的なクエリを表します。

使用例

「現在のPTOポリシーによると、在職期間が2年未満の従業員は年間何日の有給休暇を取得しますか?」

自然言語のバリアント

自然言語のバリアントは、日常会話の言い回しを反映しています。 自然言語のバリアント:

  • カジュアルな会話言語を使用します。
  • 同義語や非公式の用語を含めることができます。
  • 技術的な識別子は避けてください。
  • 回答するのに十分な完全性を保ちます。

使用例

"ねえ、新入社員としてどれくらいの休暇を取得できますか?

次の表は、正規プロンプトと自然言語のバリアントを比較したものです。

技法 Canonical ナチュラル バリアント
同意語 「有給休暇」 「休暇」、「休暇」、「有託」
くだけた言い回し 「何日届くか」 「いくらもらえますか」
暗黙的なコンテキスト 「在 <2年勤続」 「新入社員として」
カジュアルな大文字と小文字 適切な大文字と小文字 小文字、最小句読点

ロバストネスプローブ

堅牢性プローブは、エージェントが不完全な入力をどの程度適切に処理するかを評価します。 ロバストネスプローブ:

  • 現実的な入力ミスを含める。
  • 文法上の誤りを含む。
  • 短縮形または略語を使用します。
  • ノイズ下での意図認識のテスト。

例: 「Vacaton Days の資格」

次の表は、テストするパターンの例を示しています。

パターン 使用例
入力ミス "vacation" の代わりに "vacaton"
句読点がありません "what's" の代わりに "whats"
不足している単語 "何日で得る"
省略形 「PTO bal?」
実行クエリ 「MacBook Pro 16 インチのノート PC が必要」

完全なプロンプト バリエーションの例

次の例は、1 つのシナリオの 3 つのプロンプトの種類すべてを示しています。

シナリオ: 備品の注文

このシナリオには、次のグラウンディング データが含まれます。

  • 従業員: Katrin Pold
  • 部署:プロダクトデザイン
  • 開始日: 2024-01-15
  • 設備予算: $3,500
  • 承認済みアイテム: MacBook Pro (14 インチまたは 16 インチ)、外部モニター、キーボード、マウス

プロンプトのバリエーション

Canonical

「私は 2024 年 1 月 15 日から始まるプロダクト デザイン部門の新入社員です。 16 インチ MacBook Pro ノート PC を注文する必要があります。 この機器のリクエストは IT 注文システムから送信してください。」

自然言語

「こんにちは、私は製品デザインチームに加わったばかりで、ラップトップをセットアップする必要があります。 MacBook Proを手に入れることはできますか? できれば16インチです。」

ロバストネスプローブ

「商品設計の新しい仕事にはMacBook Pro 16inを注文する必要がある」

アサーション (すべてのバリエーションに適用):

  • 応答で、機器の注文が開始されたことが確認されます。
  • エージェントが OrderEquipment ツールを呼び出しました。
  • ツール呼び出しには、"MacBook Pro 16 インチ" (または同等のもの) が含まれます。
  • 応答には、注文確認書または参照番号が含まれます。

シナリオ: 個人用設定に関するポリシーの質問

このシナリオには、次のグラウンディング データが含まれます。

  • 従業員: James Wright
  • 場所:英国ロンドンオフィス
  • 在職期間: 6 ヶ月
  • 雇用形態:正社員

プロンプトのバリエーション

Canonical

「英国のロンドンオフィスに拠点を置き、在職期間6か月のフルタイム従業員として、今年の祝日は何ですか?」

自然言語

「私はロンドンのオフィスで働いていますが、どのような銀行休業日を休めますか?」

ロバストネスプローブ

"英国のオフィスの休日は今年休みですか?"

アサーション (すべてのバリエーションに適用):

  • 応答には、英国の銀行の祝日が一覧表示されます (米国の祝日ではありません)。
  • 反応には、少なくとも元旦、イースター、クリスマスが含まれます。
  • 応答は英国のポリシーまたはスケジュールを参照しています。
  • 回答には、7 月 4 日や感謝祭などの米国の祝日にはメンションされていません。

避けるべきパターン

次のプロンプト パターンは避けてください。

マルチインテント プロンプト

マルチインテント プロンプトは避けてください。 プロンプトが複数の意図をカバーしている場合、どの意図がエラーの原因だったかを判断できません。

  • 避ける: PTO の残高はいくらですか、また健康保険のオプションについて教えていただけますか? また、ラップトップも必要かもしれませんか?
  • 代わりに使用してください: 個別のプロンプトに分割するか、マルチスレッド評価を使用します。

スキーマ対応プロンプト

スキーマ対応のプロンプトは避けてください。 ユーザーが内部 API やツール名を知らないため、スキーマ対応プロンプトが適切に機能しません。

  • 避ける: "従業員 ID 12345 の GetPTOBalance API を呼び出す"
  • 代わりに使用してください: "現在の休暇残高はいくらですか?"

あいまいなプロンプト

あいまいなプロンプトは避けてください。 プロンプトがあいまいな場合、測定可能なアサーションを定義できません。

  • 避ける: 「人事に関する質問を手伝ってください」
  • 代わりに使用してください:「歯科保険プランに加入する操作方法は?」

主要なプロンプト

期待される回答を示唆するプロンプトは、エージェントの実際の推論の有効性をテストしません。

  • 避ける: 「PTOポリシーには15日と書かれていますよね?」
  • 代わりに使用してください: 「新入社員は何日PTOを受け取るのですか?」

自己完結型ではない (シングルターン)

前のコンテキストに依存するプロンプトは避けます。

  • 避ける: 「他の選択肢はどうですか?」
  • 代わりに使用してください: 「HMO と PPO の健康保険の違いは何ですか?」

ユーザー シナリオからプロンプトを生成する

機能リストではなく、実際のユーザーの意図から始めます。

  • 代表的なユーザーの質問を収集します。
  • シナリオごとにグループ化します (ポリシー参照、アクション、エスカレーションなど)。
  • シナリオごとに標準的なプロンプトを記述します。
  • 自然言語と堅牢性のバリアントを追加します。
  • 具体的なデータを含むグラウンド プロンプト。

このアプローチにより、評価に実際の使用状況が反映されます。

AI 支援プロンプトの拡張 (省略可能)

強力なベースラインを確立したら、AI を使用してカバレッジを拡大します。 AI にその他のバリエーションを提案してもらいます。 各提案のリアリティと関連性を確認します。 不自然なプロンプト、スキーマ対応プロンプト、またはスコープ外のプロンプトを拒否します。 カバレッジを向上させる場合にのみプロンプトを追加します。

プロンプト カバレッジ チェックリスト

このチェックリストを使用して、プロンプトのカバレッジが完了していることを確認します。

機能の範囲

  • すべてのツールまたはアクションには少なくとも 1 つのテスト ケースがあります
  • すべての知識領域が表現される
  • エスカレーション動作がテストされます
  • スコープ外のシナリオがテストされます

バリエーション カバレッジ

  • 正規プロンプト
  • 自然言語のバリアント
  • ロバストネスプローブ

エッジ ケース

  • 非常に短いプロンプト
  • 非常に長いプロンプト
  • あいまいな要求
  • 不足している情報
  • 無効またはサポートされていない要求

個人用設定 (該当する場合)

  • 異なるユーザーの場所
  • 異なる在職期間レベル
  • さまざまな役割または部署

次のステップ