Microsoft Web IQ 基准结果

Microsoft Web IQ 旨在以更低的延迟和更少的令牌提供高质量的基础支撑。 以下基准结果将 Web IQ 与其他事实依据服务进行比较。

令牌效率

Web IQ 基于新的 Pareto 效率曲线运作。 它会确定最相关的段落的优先级,并将不必要的上下文降到最低。 此方法减少了每个查询的令牌使用量、推理时间和提供高质量响应的总成本。

在测量的 3,000 个查询集中,Web IQ 提供了最高质量的答案,且相较于被比较的服务,使用的令牌最少。

来源: 3,000 查询全局生产样本。 Web 结果配置包括 10、15 和 20 个结果,每个结果包含 3,000、5,000、10,000 和 20,000 个字符或等效内容。

接地满意度

Web IQ 提供网页、新闻、图像和视频的完整结构化上下文。 此上下文提高了 AI 生成的响应的准确性和一致性。

Service 接地满意度
Web IQ 79.05
竞争对手 A 75.70
竞争对手 B 75.61
竞争对手 C 73.96
竞争对手 D 72.89
竞争对手 E 67.53
竞争对手 F 64.71

来源: 从生产环境采样的 3,000 个全局盲查询。 该配置使用了 10 个结果,并且每个结果为 10,000 个字符,或其等效值。

P95 延迟

快速事实校准可帮助 AI 系统在多步骤代理链和动态查询中保持响应。 降低每个步骤的延迟可使复杂交互中的性能提升效果层层累积。

Service P95 延迟(以毫秒为单位)
Web IQ 164
竞争对手 C 406
竞争对手 E 463
竞争对手 A 726
竞争对手 B 1,007
竞争对手 D 1,930
竞争对手 G 2,090

Web IQ 的实测 P95 延迟大约比比较中排名其后的服务快 2.5 倍。

来源: 在美国西部 2、美国中北部、美国东部 2、北欧和韩国托管的虚拟机。 P95 值是在各数据中心之间取平均的。 不同的查询导致无法命中缓存。 配置使用了 10 个结果,每个结果 10,000 个字符。