Microsoft Web IQ benchmark eredményei

A Microsoft Web IQ-t úgy tervezték, hogy magas minőségű megalapozottságot biztosítson alacsony késleltetéssel és kevesebb tokennel. Az alábbi teljesítményteszt eredményei összehasonlítják a Web IQ-t más megalapozási szolgáltatásokkal.

Tokenhatékonyság

A Web IQ az új Pareto-hatékonysági görbe szerint működik. Rangsorolja a legrelevánsabb szakaszokat, és minimalizálja a szükségtelen kontextust. Ez a megközelítés csökkenti a tokenek lekérdezésenkénti használatát, az érvelési időt és a kiváló minőségű válaszok biztosításának teljes költségét.

A mért 3000 lekérdezéskészletben a Web IQ a legmagasabb minőségű válaszokat adta az összehasonlított szolgáltatásokhoz képest a legkevesebb tokennel.

Forrás: 3 000 lekérdezésből álló globális éles minta. A webes eredménykonfigurációk 10, 15 és 20 találatot tartalmaztak, eredményenként 3000, 5000, 10 000 és 20 000 karakterrel vagy azzal egyenértékűvel.

Földelési elégedettség

A Web IQ teljes, strukturált kontextust biztosít weboldalakról, hírekből, képekből és videókból. Ez a környezet javítja az AI által generált válaszok pontosságát és konzisztenciáját.

Service	Földelési elégedettség
Web IQ	79.05
Versenytárs A	75,70
Versenytárs B	75,61
Versenytárs C	73,96
D versenytárs	72,89
Versenytárs E	67,53
Versenytárs F	64,71

Forrás: 3000, az éles környezetből mintavételezett globális vak lekérdezés. A konfiguráció 10 találatot és eredményenként 10 000 karaktert vagy azzal egyenértékű mennyiséget használt.

P95-késleltetés

A gyors grounding segít az AI-rendszereknek megőrizni válaszkészségüket a többlépéses ügynökláncok és a dinamikus lekérdezések során. Az egyes lépések késésének csökkentése összetett interakciók során halmozódó teljesítményjavulást eredményez.

Service	P95 késés ezredmásodpercben
Web IQ	164
C versenytárs	406
Versenytárs E	463
Versenytárs A	726
B versenytárs	1 007
D konkurens	1 930
Competitor G	2 090

A Web IQ mért P95-késleltetése körülbelül 2,5-szer alacsonyabb volt, mint az összehasonlításban szereplő következő szolgáltatásé.

Forrás: Az USA 2. nyugati régiójában, az USA északi-középső régiójában, az USA 2. keleti régiójában, Észak-Európában és Dél-Koreában üzemeltetett virtuális gépek. A P95-értékek az adatközpontok között átlagolt értékek. Az egyedi lekérdezések miatt nem volt gyorsítótár-találat. A konfiguráció 10 eredményt és 10 000 karaktert használt eredményenként.