評価は、開発と本番環境を通じてモデルとエージェントの品質、安全性、信頼性を測定するのに役立ちます。 Microsoft Foundry では、テスト データセット内の既存の出力を評価したり、テスト入力を使用してモデルまたはエージェントから応答を生成したり、運用トレースを評価したりできます。
評価では、データまたはアプリケーションに 1 人以上の評価者を適用します。 エバリュエーターはメトリックを生成し、サポートされている場合は、バージョンの比較、品質の問題の検出、アプリケーションのデプロイ準備ができているかどうかを判断するのに役立つ説明を生成します。
評価ワークフローを構築する
ほとんどの評価ワークフローは、次の手順に従います。
- 評価対象を選択してください。 個々のターンまたは完全な会話を選択し、既存のデータセット、生成された応答、シミュレートされた会話、または運用トレースを使用します。
- 評価者を選択してください。 タスクの完了、関連性、接地性、類似性、コンテンツの安全性など、アプリケーションにとって重要な品質と安全性のメトリックを選択します。
- 評価を実行します。 開発中に 1 回実行するか、CI/CD に追加するか、本番環境向けに定期的な評価を構成します。
- 確認して改善してください。 集計メトリックと個々の結果を分析し、バージョンを比較し、定期的な障害パターンに対処します。
どこから始めるか選べます
Note
開始する前に、評価ワークフローのアクセス許可、サポートされているリージョンとレート制限、および仮想ネットワーク要件を確認します。
評価方法を選択する
エバリュエーターを選択する前に、評価単位を選択してください。 ターンレベルの評価では、個々の応答がスコア付けされます。 会話レベルの評価では、完全な複数ターンの対話をスコア付けし、複数のステップにわたるタスクの完了などの結果を測定できます。 エバリュエーターは、特定の 評価レベルをサポートします。
| ～したい | ここから始める |
|---|---|
| ホスト型エージェントを初めて評価する | クイック スタート: ホストされているエージェントを評価する |
| 既存のクエリ応答テスト データを評価する | クエリ応答データセットを評価する |
| テスト入力から応答を生成して評価する | モデルとエージェントの応答を評価する |
| デプロイされたモデルまたはエージェントからキャプチャされた個々の相互作用を評価する | デプロイされたインタラクションを評価する |
| 会話全体のデータセットを評価する | 会話データセットを評価する |
| 運用トレースでキャプチャされた完全な会話を評価する | デプロイされた会話を評価する |
| デプロイ前にマルチターン エージェントの動作をシミュレートする | エージェントの会話をシミュレートする |
| テスト データを手動で作成せずにシナリオと会話を生成する | 合成会話を生成して評価する |
| 安全性とセキュリティに対する敵対的テストを実行する | AI レッドチーミングについて学ぶ |
評価の実行方法を選択する
| ～したい | ここから始める |
|---|---|
| Foundry ポータルで評価を実行する | Microsoft Foundry ポータルから評価を実行します |
| プログラムによる評価の実行 | Microsoft Foundry SDK を使用したクラウド評価の概要 |
| コマンド ラインからエージェント評価を実行する | azd CLI を使用してエージェント評価を実行する |
| 本番トラフィックを定期的に評価する | エージェントを監視し、継続的な評価を設定する |
| デプロイ パイプラインに評価を追加する | GitHub Actionsで評価を実行するまたはAzure DevOps |
必要なコンポーネントを見つける
- エバリュエーター:組み込みのエバリュエーターから始めるか、独自の条件のカスタム エバリュエーターを作成します。
- 評価データ:評価データセットを使用するタイミング、合成データを生成する方法、または運用トレースからデータセットを作成する方法について説明します。
- 結果:Foundry ポータルで結果を確認するか、 SDK を使用してクラウド評価結果を取得するか、 クラスター分析 を使用して一般的な障害パターンを見つけます。