Resultados do benchmark Microsoft Web IQ

O Microsoft Web IQ foi concebido para oferecer grounding de alta qualidade, com baixa latência e menos tokens. Os resultados seguintes comparam o Web IQ com outros serviços de grounding.

Eficiência de tokens

O Web IQ opera numa nova curva de Pareto de eficiência. Prioriza as passagens mais relevantes e minimiza o contexto desnecessário. Esta abordagem reduz o uso de tokens por consulta, o tempo de raciocínio e o custo total de fornecer respostas de alta qualidade.

No conjunto medido de 3.000 consultas, a Web IQ forneceu as respostas de maior qualidade com o menor número de tokens em relação aos serviços comparados.

Fonte: amostra global de produção com 3.000 consultas. As configurações web dos resultados incluíam 10, 15 e 20 resultados, com 3.000, 5.000, 10.000 e 20.000 caracteres por resultado ou equivalente.

Satisfação da fundamentação

O Web IQ fornece contexto completo e estruturado a partir de páginas web, notícias, imagens e vídeo. Este contexto melhora a precisão e consistência das respostas geradas pela IA.

Service Satisfação com a fundamentação
Web IQ 79.05
Concorrente A 75,70
Concorrente B 75,61
Concorrente C 73,96
Concorrente D 72,89
Concorrente E 67,53
Concorrente F 64,71

Fonte: 3.000 blind queries globais amostradas em produção. A configuração usava 10 resultados e 10.000 caracteres por resultado ou equivalente.

Latência P95

O grounding rápido ajuda os sistemas de IA a manterem-se responsivos ao longo de cadeias de agentes em múltiplas etapas e consultas dinâmicas. Reduzir a latência em cada etapa potencia as melhorias de desempenho em interações complexas.

Service Latência P95 em milissegundos
Web IQ 164
Concorrente C 406
Concorrente E 463
Concorrente A 726
Concorrente B 1.007
Concorrente D 1 930
Concorrente G 2 090

A latência P95 medida do Web IQ foi aproximadamente 2,5 vezes inferior à do serviço seguinte na comparação.

Fonte: Máquinas virtuais alojadas no Oeste dos EUA 2, Norte Central dos EUA, Leste dos EUA 2, Norte da Europa e Coreia do Sul. Os valores P95 são calculados em média entre centros de dados. Consultas únicas evitavam acessos bem-sucedidos à cache. A configuração usava 10 resultados e 10 000 caracteres por resultado.