Microsoft Web IQ ベンチマークの結果

Microsoft Web IQ は、低遅延でトークンを少なくして高品質のグラウンディングを実現するように設計されています。 次のベンチマーク結果は、Web IQ と他のグラウンディング サービスを比較します。

トークンの効率

Web IQ は、効率性における新しいパレート曲線に基づいて機能します。 最も関連性の高い箇所に優先順位を付け、不要なコンテキストを最小限に抑えます。 この方法により、クエリごとのトークン使用量、推論時間、および高品質の応答を提供するための総コストが削減されます。

測定された 3,000 クエリ セットでは、Web IQ は、比較対象のサービスと比べて最も少ないトークンで最高品質の回答を提供しました。

ソース: 3,000 クエリのグローバル運用サンプル。 Web 結果の構成には、10、15、20 個の結果が含まれており、結果あたり 3,000、5,000、10,000、20,000 文字、または同等量が含まれていました。

接地性

Web IQ は、Web ページ、ニュース、画像、ビデオから完全で構造化されたコンテキストを提供します。 このコンテキストにより、AI によって生成される応答の精度と一貫性が向上します。

Service 接地の状態
Web IQ 79.05
競合 A 75.70
競合他社 B 75.61
競合他社 C 73.96
競合他社 D 72.89
競合他社 E 67.53
競合企業F 64.71

ソース: 運用環境からサンプリングした 3,000 件のグローバル ブラインド クエリ。 構成では、10 件の結果と結果ごとに 10,000 文字、または同等の値を使用しました。

P95 待機時間

高速グラウンディングは、複数ステップのエージェント チェーンと動的クエリ全体で AI システムの応答性を維持するのに役立ちます。 各ステップの待機時間を短縮すると、複雑な操作全体でパフォーマンスが向上します。

Service P95 レイテンシ (ミリ秒)
Web IQ 164
競合他社 C 406
競合他社 E 463
競合A 726
競合他社 B 1,007
競合他社 D 1,930
競合他社 G 2,090

Web IQ の測定された P95 待機時間は、比較対象の次点のサービスの約 2.5 分の 1でした。

ソース: 米国西部 2、米国中北部、米国東部 2、北ヨーロッパ、韓国でホストされている仮想マシン。 P95 値は、複数のデータセンターにまたがって平均化されます。 一意のクエリのため、キャッシュ ヒットは発生しませんでした。 構成では、10 件の結果と、結果ごとに 10,000 文字を使用しました。