Hasil tolok ukur Microsoft Web IQ

Microsoft Web IQ dirancang untuk memberikan grounding berkualitas tinggi dengan latensi rendah dan token yang lebih sedikit. Hasil tolok ukur berikut membandingkan Web IQ dengan layanan grounding lainnya.

Efisiensi token

Web IQ beroperasi pada kurva efisiensi Pareto baru. Ini memprioritaskan bagian yang paling relevan dan meminimalkan konteks yang tidak perlu. Pendekatan ini mengurangi penggunaan token per kueri, waktu penalaran, dan total biaya untuk memberikan respons berkualitas tinggi.

Dalam kumpulan 3.000 kueri yang diukur, Web IQ memberikan jawaban dengan kualitas tertinggi dengan jumlah token paling sedikit relatif terhadap layanan yang dibandingkan.

Sumber: Sampel produksi global 3.000 kueri. Konfigurasi hasil web mencakup 10, 15, dan 20 hasil, dengan 3.000, 5.000, 10.000, dan 20.000 karakter per hasil atau setara.

Kepuasan pembumian

Web IQ memberikan konteks lengkap dan terstruktur dari halaman web, berita, gambar, dan video. Konteks ini meningkatkan akurasi dan konsistensi respons yang dihasilkan AI.

Service Kepuasan pembumian
Web IQ 79.05
Pesaing A 75.70
Pesaing B 75.61
Pesaing C 73,96
Pesaing D 72,89
Pesaing E 67,53
Pesaing F 64,71

Sumber: 3.000 kueri buta global diambil sampelnya dari produksi. Konfigurasi menggunakan 10 hasil dan 10.000 karakter per hasil atau yang setara.

Latensi P95

Grounding cepat membantu sistem AI tetap responsif di seluruh rantai agen multi-langkah dan kueri dinamis. Mengurangi latensi pada setiap langkah meningkatkan performa di seluruh interaksi yang kompleks.

Service Latensi P95 dalam milidetik
Web IQ 164
Pesaing C 406
Pesaing E 463
Pesaing A 726
Pesaing B 1.007
Pesaing D 1.930
Pesaing G 2.090

Latensi P95 yang diukur Web IQ sekitar 2,5 kali lebih cepat daripada layanan lain dalam perbandingan.

Sumber: Komputer virtual dihosting di US Barat 2, US Tengah Utara, US Timur 2, Eropa Utara, dan Korea Selatan. Nilai P95 dirata-ratakan di seluruh pusat data. Kueri unik tidak menghasilkan cache hit. Konfigurasi menggunakan 10 hasil dan 10.000 karakter per hasil.