Résultats du benchmark Web IQ de Microsoft

Microsoft Web IQ est conçu pour fournir un ancrage de haute qualité avec une faible latence et moins de jetons. Les résultats de test suivants comparent Web IQ à d’autres services d’ancrage.

Efficacité des tokens

Web IQ fonctionne sur une nouvelle courbe de Pareto d’efficacité. Il hiérarchise les passages les plus pertinents et réduit le contexte inutile. Cette approche réduit l’utilisation des jetons par requête, le temps de raisonnement et le coût total de la livraison de réponses de haute qualité.

Dans le jeu de 3 000 requêtes mesuré, Web IQ a fourni les réponses de la plus haute qualité avec le moins de jetons par rapport aux services comparés.

Source : exemple de production global de 3 000 requêtes. Les configurations de résultats web incluent 10, 15 et 20 résultats, avec 3 000, 5 000, 10 000 et 20 000 caractères par résultat ou équivalent.

Satisfaction de mise à la terre

Web IQ fournit un contexte complet et structuré à partir de pages web, d’actualités, d’images et de vidéos. Ce contexte améliore la précision et la cohérence des réponses générées par l’IA.

Service Satisfaction de mise à la terre
Web IQ 79,05
Concurrents A 75,70
Concurrent B 75,61
Concurrent C 73,96
Concurrent D 72,89
Concurrence E 67,53
Concurrent F 64,71

Source : 3 000 requêtes aveugles globales échantillonées à partir de la production. La configuration a utilisé 10 résultats et 10 000 caractères par résultat ou l’équivalent.

Latence P95

L’ancrage rapide aide les systèmes d’IA à rester réactifs sur les chaînes d’agents en plusieurs étapes et les requêtes dynamiques. La réduction de la latence à chaque étape cumule les gains de performance au fil des interactions complexes.

Service Latence P95 en millisecondes
Web IQ 164
Concurrente C 406
Concurrent E 463
Concurrent A 726
Concurrent B 1 007
Concurrent D 1 930
Concurrent G 2 090

La latence P95 mesurée par Web IQ était environ 2,5 fois inférieure à celle du service suivant dans la comparaison.

Source : Machines virtuelles hébergées dans West US 2, North Central US, East US 2, North Europe et South Korea. Les valeurs P95 sont calculées en moyenne entre les centres de données. Les requêtes uniques ont empêché les accès au cache. La configuration a utilisé 10 résultats et 10 000 caractères par résultat.