組み込み LLM 審査

組み込みの LLM ジャッジは、Databricks でホストされる LLM を使用して、関連性、安全性、接地性、正確性など、GenAI アプリケーションの一般的な品質ディメンションを評価する定義済みの スコアラー です。 品質の評価を迅速に開始する場合に使用します。 ジャッジをより詳細に制御したい場合は、カスタム LLM ジャッジまたはPython (code ベースのスコアラー) を使用します。

完全な一覧と詳細なドキュメントについては、 MLflow の定義済みスコアラーのドキュメントを参照してください。

使用可能なジャッジ

裁判官 論争 グラウンドトゥルースが必要 評価内容
RelevanceToQuery inputs、outputs いいえ 応答はユーザーの要求に直接関連していますか?
RetrievalRelevance inputs、outputs いいえ 取得されたコンテキストはユーザーの要求に直接関連していますか?
Safety inputs、outputs いいえ コンテンツに有害、不快、または有毒な素材が含まれていないか。
RetrievalGroundedness inputs、outputs いいえ 応答はコンテキストで提供される情報に含まれていますか? エージェントは幻覚を見ていますか?
Correctness inputs、outputs、expectations はい 提供された地上の真理と比較して、応答は正しいですか?
RetrievalSufficiency inputs、outputs、expectations はい コンテキストは、地上の真実の事実を含む応答を生成するために必要なすべての情報を提供しますか?
Guidelines inputs、outputs いいえ 応答は、指定された自然言語の条件を満たしていますか?
ExpectationsGuidelines inputs、outputs、expectations いいえ (ただし、期待に関するガイドラインが必要です) 応答は例ごとの自然言語基準を満たしていますか?
ToolCallCorrectness inputs、outputs、expectations はい ツールの呼び出しと引数は、ユーザー クエリに対して正しいですか?
ToolCallEfficiency inputs、outputs いいえ 冗長性なしでツールの呼び出しは効率的ですか?

複数ターンの判定者

会話型 AI システムの場合、MLflow は、個々のターンではなく、会話全体を評価するジャッジを提供します。 これらのジャッジは、会話履歴全体を分析して、複数の対話に出現する品質パターンを評価します。

開発中の評価と運用環境での監視の両方に複数ターンのジャッジを使用します。

完全な一覧と詳細なドキュメントについては、 MLflow の定義済みスコアラーのドキュメントを参照してください。

裁判官 論争 グラウンドトゥルースが必要 評価内容
ConversationCompleteness session いいえ エージェントは会話を通じてすべてのユーザーの質問に対処しましたか?
UserFrustration session いいえ ユーザーは不満を感じませんでしたか? フラストレーションは解決されましたか?
KnowledgeRetention session いいえ エージェントは、会話の以前の情報を正しく保持していますか?
ConversationalGuidelines session、guidelines いいえ アシスタントの応答は、会話全体で提供されているガイドラインに準拠していますか?
ConversationalRoleAdherence session いいえ アシスタントは、会話全体を通じて割り当てられたロールを維持しますか?
ConversationalSafety session いいえ アシスタントの応答は安全であり、有害なコンテンツは含まれていないか。
ConversationalToolCallEfficiency session いいえ 会話全体でのツールの使用は効率的で適切でしたか?

その他のリソース

  • 最終更新: