Edge RAG Preview システムを評価する

Azure Arc で有効になっている Edge RAG プレビュー内のシステム、モデル、データセットを評価します。評価には、ベースラインと自動の 2 種類があります。

Von Bedeutung

Azure Arc で有効になっている Edge RAG プレビューは、現在プレビュー段階です。ベータ版、プレビュー版、または一般提供としてまだリリースされていない Azure の機能に適用される法律条項については、「Microsoft Azure プレビューの追加使用条件」を参照してください。

[前提条件]

開始する前に、次の手順を実行します。

Edge RAG システムを評価するためのメトリックを確認します。
開発者ポータルにアクセスするには、Microsoft Entra で "EdgeRAGDeveloper" ロールと "EdgeRAGEndUser" ロールの両方が必要です。

ベースラインチェックでは、RAG システムの機能が評価され、期待どおりに動作していることを確認します。次のタスクが実行されます。

ベースラインチェックを実行するには:

デプロイとアプリの登録時に指定されたドメイン名を使用して、開発者ポータルに移動します。たとえば、 https://arcrag.contoso.comと指定します。
"EdgeRAGDeveloper" ロールと "EdgeRAGEndUser" ロールの両方が割り当てられている開発者資格情報でサインインします。
[ 評価 ] タブを選択します。
[ 基準計画チェック ] タブで、[ チェックの実行] を選択します。
評価名を入力してください。
[実行] を選択します。
評価の状態を確認します。
評価が完了したら、名前を選択して結果を表示します。

自動評価では、独自のドキュメントとデータセットを使用して RAG システムの品質が評価されます。

開発者ポータルで、評価>自動評価を選択します。
[ 自動評価の作成] を選択します。
評価名を入力してください。
Temperature、Top-N、Top-P、System prompt などのパラメーターを確認します。これらのパラメーターは、 チャットプレイグラウンドから派生します。パラメーターを変更するには、[ チャット ] タブに移動し、必要に応じて変更します。
[次へ] を選択します。
[テストデータセット] で、[データセットサンプルのダウンロード] を選択して、テストデータセット JSONL 形式の必要な構造を理解します。
データセットの JSONL ファイルをアップロードします。
[次へ] を選択します。
RAG システムに対して評価するメトリックを選択します。
[次へ] を選択します。
構成を確認し、[ 作成] を選択します。
評価の進行状況と状態を監視します。
評価が完了したら、評価名を選択して結果を確認します。
評価の詳細とメトリックを確認します。