Microsoft Web IQ는 짧은 대기 시간과 적은 토큰으로 고품질의 근거 기반 응답을 제공하도록 설계되었습니다. 다음 벤치마크 결과는 Web IQ와 다른 그라운딩 서비스를 비교합니다.
토큰 효율성
Web IQ는 새로운 파레토 곡선을 기반으로 작동합니다. 가장 관련성이 큰 구절의 우선 순위를 지정하고 불필요한 컨텍스트를 최소화합니다. 이 방법은 쿼리당 토큰 사용량, 추론 시간 및 고품질 응답을 제공하는 총 비용을 줄입니다.
측정된 3,000개 쿼리 집합에서 Web IQ는 비교된 서비스에 비해 가장 적은 토큰으로 최고 품질의 답변을 제공했습니다.
원본: 3,000개 쿼리 글로벌 프로덕션 샘플. 웹 결과 구성은 10개, 15개 및 20개 결과로 설정되었으며, 결과당 3,000자, 5,000자, 10,000자 및 20,000자 또는 이에 상응하는 분량이 포함되었습니다.
접지 상태
Web IQ는 웹 페이지, 뉴스, 이미지 및 비디오에서 완전하고 구조화된 컨텍스트를 제공합니다. 이 컨텍스트는 AI 생성 응답의 정확도와 일관성을 향상시킵니다.
| Service | 접지 상태 |
|---|---|
| Web IQ | 79.05 |
| 경쟁사 A | 75.70 |
| 경쟁사 B | 75.61 |
| 경쟁사 C | 73.96 |
| 경쟁사 D | 72.89 |
| 경쟁사 E | 67.53 |
| 경쟁사 F | 64.71 |
소스: 프로덕션에서 샘플링된 3,000개의 글로벌 블라인드 쿼리. 이 구성은 결과 10개 및 결과당 10,000자 또는 이에 상응하는 값을 사용했습니다.
P95 대기 시간
빠른 그라운딩은 AI 시스템이 다단계 에이전트 체인 및 동적 쿼리에서 응답성을 유지하는 데 도움이 됩니다. 각 단계의 대기 시간을 줄이면 복잡한 상호 작용 전반에 걸쳐 성능 개선 효과가 누적됩니다.
| Service | P95 대기 시간(밀리초) |
|---|---|
| Web IQ | 164 |
| 경쟁사 C | 406 |
| 경쟁사 E | 463 |
| 경쟁사 A | 726 |
| 경쟁사 B | 1,007 |
| 경쟁사 D | 1,930 |
| 경쟁사 G | 2,090 |
Web IQ의 측정된 P95 대기 시간은 비교 대상 중 차순위 서비스보다 약 2.5배 더 빠릅니다.
원본: 미국 서부 2, 미국 중북부, 미국 동부 2, 북유럽 및 한국 남부에서 호스트되는 가상 머신 P95 값은 데이터 센터 전반에 걸쳐 평균됩니다. 고유 쿼리는 캐시 적중을 방지했습니다. 이 구성에서는 결과 10개 및 결과당 10,000자를 사용했습니다.