Microsoft Web IQ benchmark sonuçları

Microsoft Web IQ, düşük gecikme süresi ve daha az belirteçle yüksek kaliteli grounding sunmak için tasarlanmıştır. Aşağıdaki kıyaslama sonuçları, Web IQ'yu diğer temellendirme hizmetleriyle karşılaştırır.

Token verimliliği

Web IQ, yeni bir Pareto verimlilik eğrisiyle çalışır. En ilgili bölümleri önceliklendirir ve gereksiz bağlamı en aza indirir. Bu yaklaşım sorgu başına belirteç kullanımını, akıl yürütme süresini ve yüksek kaliteli yanıtlar sunmanın toplam maliyetini azaltır.

Ölçülen 3.000 sorgulu kümede Web IQ, karşılaştırılan hizmetlere göre en az belirteçle en yüksek kaliteli yanıtları sundu.

Kaynak: Küresel üretimden alınmış 3.000 sorguluk örnek. Web sonucu yapılandırmaları, sonuç başına 3.000, 5.000, 10.000 ve 20.000 karakter veya eşdeğeri ile 10, 15 ve 20 sonuç içerir.

Topraklama uygunluğu

Web IQ, web sayfalarından, haberlerden, görüntülerden ve videolardan eksiksiz ve yapılandırılmış bağlam sunar. Bu bağlam, yapay zeka tarafından oluşturulan yanıtların doğruluğunu ve tutarlılığını artırır.

Service Topraklama memnuniyeti
Web IQ 79.05
Rakip A 75,70
Rakip B 75,61
Rakip C 73,96
Rakip D 72,89
Rakip E 67,53
Rakip F 64,71

Kaynak: Üretimden örneklenen 3.000 global blind query. Yapılandırmada 10 sonuç ve sonuç başına 10.000 karakter veya eşdeğeri kullanılmıştır.

P95 gecikme süresi

Hızlı grounding, yapay zeka sistemlerinin çok adımlı aracı zincirlerinde ve dinamik sorgularda yanıt vermeye devam etmelerine yardımcı olur. Her adımda gecikme süresini azaltmak, karmaşık etkileşimler boyunca performans iyileşmelerini katlayarak artırır.

Service Milisaniye cinsinden P95 gecikme süresi
Web IQ 164
Rakip C 406
Rakip E 463
Rakip A 726
Rakip B 1.007
Rakip D 1.930
Rakip G 2.090

Web IQ'nun ölçülen P95 gecikme süresi, karşılaştırmadaki bir sonraki hizmetten yaklaşık 2,5 kat daha hızlıydı.

Kaynak: Batı ABD 2, Kuzey Orta ABD, Doğu ABD 2, Kuzey Avrupa ve Güney Kore'de barındırılan sanal makineler. P95 değerlerinin veri merkezleri genelinde ortalaması alınır. Benzersiz sorgular nedeniyle önbellek isabeti oluşmadı. Yapılandırmada 10 sonuç ve sonuç başına 10.000 karakter kullanıldı.