Microsoft Web IQ 旨在以更低的延迟和更少的令牌提供高质量的基础支撑。 以下基准结果将 Web IQ 与其他事实依据服务进行比较。
令牌效率
Web IQ 基于新的 Pareto 效率曲线运作。 它会确定最相关的段落的优先级,并将不必要的上下文降到最低。 此方法减少了每个查询的令牌使用量、推理时间和提供高质量响应的总成本。
在测量的 3,000 个查询集中,Web IQ 提供了最高质量的答案,且相较于被比较的服务,使用的令牌最少。
来源: 3,000 查询全局生产样本。 Web 结果配置包括 10、15 和 20 个结果,每个结果包含 3,000、5,000、10,000 和 20,000 个字符或等效内容。
接地满意度
Web IQ 提供网页、新闻、图像和视频的完整结构化上下文。 此上下文提高了 AI 生成的响应的准确性和一致性。
| Service | 接地满意度 |
|---|---|
| Web IQ | 79.05 |
| 竞争对手 A | 75.70 |
| 竞争对手 B | 75.61 |
| 竞争对手 C | 73.96 |
| 竞争对手 D | 72.89 |
| 竞争对手 E | 67.53 |
| 竞争对手 F | 64.71 |
来源: 从生产环境采样的 3,000 个全局盲查询。 该配置使用了 10 个结果,并且每个结果为 10,000 个字符,或其等效值。
P95 延迟
快速事实校准可帮助 AI 系统在多步骤代理链和动态查询中保持响应。 降低每个步骤的延迟可使复杂交互中的性能提升效果层层累积。
| Service | P95 延迟(以毫秒为单位) |
|---|---|
| Web IQ | 164 |
| 竞争对手 C | 406 |
| 竞争对手 E | 463 |
| 竞争对手 A | 726 |
| 竞争对手 B | 1,007 |
| 竞争对手 D | 1,930 |
| 竞争对手 G | 2,090 |
Web IQ 的实测 P95 延迟大约比比较中排名其后的服务快 2.5 倍。
来源: 在美国西部 2、美国中北部、美国东部 2、北欧和韩国托管的虚拟机。 P95 值是在各数据中心之间取平均的。 不同的查询导致无法命中缓存。 配置使用了 10 个结果,每个结果 10,000 个字符。