Megjegyzés
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhat bejelentkezni vagy módosítani a címtárat.
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhatja módosítani a címtárat.
Fontos
A cikkben előnézetként megjelölt elemek jelenleg előzetes verzióban érhetők el. Ez az előzetes verzió szolgáltatásszintű szerződés nélkül érhető el, és Microsoft nem javasolja éles számítási feladatokhoz. Előfordulhat, hogy bizonyos funkciók nem támogatottak, vagy korlátozott képességekkel rendelkeznek. További információ: Supplemental Terms of Use for Microsoft Azure Previews.
A Foundry-portál modellranglistái az iparági szabványnak megfelelő modelltesztek alapján segítenek összehasonlítani a Foundry modellkatalógusában szereplő modelleket.
Az egyes ranglistakategóriák részletes teljesítményértékelési módszertanát áttekintheti:
- A nyelvi modellek minőségi teljesítményértékelése annak megértéséhez, hogy a modellek milyen jól teljesítenek az alapvető feladatokon, beleértve az érvelést, a tudást, a kérdések megválaszolását, a matematikát és a kódolást.
- Nyelvi modellek biztonsági teljesítményértékelése annak megértéséhez, hogy a biztonságos modellek hogyan állnak szemben a káros viselkedésgenerálással.
- A nyelvi modellek teljesítményértékelése annak megértéséhez, hogy a modellek hogyan teljesítenek a késés és az átviteli sebesség szempontjából.
- A nyelvi modellek költségmérése a modellek használatának becsült költségeinek megértéséhez.
- A nyelvi modellek forgatókönyv-ranglista-teljesítménymérése, amely segít megtalálni az adott használati esethez vagy forgatókönyvhöz leginkább megfelelő modellt.
- A beágyazási modellek minőségi teljesítményértékelése annak megértéséhez, hogy a modellek milyen jól teljesítenek a beágyazási alapú feladatokon, beleértve a keresést és a lekérést.
Ha talál egy megfelelő modellt, megnyithatja annak részletes teljesítményértékelési eredményeit a modellkatalógusban. Innen üzembe helyezheti a modellt, kipróbálhatja a játszótéren, vagy kiértékelheti a saját adatai alapján. A ranglisták támogatják a szöveges nyelvi modellek (beleértve a nagy nyelvi modelleket (LLM-eket) és a kis nyelvi modelleket (SLM-eket)) és a beágyazási modelleket.
A modell benchmarkjai minőség, biztonság, költség és átviteli sebesség alapján értékelik az LLM-eket és SLM-eket. A beágyazási modellek kiértékelése standard minőségi teljesítménytesztekkel történik. A ranglisták az új modellek és a teljesítménymutató-adathalmazok elérhetővé válásakor frissülnek.
Modell teljesítményértékelési hatóköre
A modell ranglistái az Foundry-modellkatalógus szövegalapú nyelvi modelljeinek válogatott választékával rendelkeznek. A modellek a következő feltételek alapján vannak belefoglalva:
- A Azure által értékesített modellek rangsorolása: A Azure által értékesített modellek a gyakori generatív AI-forgatókönyvek szempontjából vannak kiválasztva.
- Alapvető teljesítménymutató-alkalmazhatóság: A modelleknek olyan általános célú nyelvi feladatokat kell támogatniuk, mint például az érvelés, a tudás, a kérdések megválaszolása, a matematikai érvelés és a kódolás. A speciális modellek (például a fehérje összecsukása vagy a tartományspecifikus QA) és más modalitások nem támogatottak.
Ez a hatókörkezelés biztosítja, hogy a ranglisták az alapvető AI-forgatókönyvek szempontjából releváns, aktuális, kiváló minőségű modelleket tükrözzék.
Ranglista eredményeinek értelmezése
A ranglisták segítségével összehasonlíthatja a modelleket több dimenzióban, így kiválaszthatja a használati esethez megfelelő modellt. Íme néhány irányelv az eredmények értelmezéséhez:
- Minőségi index: A magasabb minőségi index az érvelési, kódolási, matematikai és tudásfeladatok összesített teljesítményét jelzi. Hasonlítsa össze a modellek minőségi indexét az általános célú nyelvi feladatok legjobban teljesítőinek azonosításához.
- Biztonsági pontszámok: Az alacsonyabb támadási sikerességi arány robusztusabb modelleket jelez. Vegye figyelembe a biztonsági pontszámokat a minőségi pontszámok mellett, különösen olyan ügyféloldali alkalmazások esetében, ahol a káros kimenet jelentős aggodalomra ad okot.
- Teljesítménybeli kompromisszumok: A késés és az átviteli sebesség mérőszámával megismerheti a modell valós válaszképességét. Előfordulhat, hogy egy magas minőségű, de nagy késésű modell nem felel meg a valós idejű alkalmazásoknak.
- Költség megfontolások: A becsült költségmetrika három az egyhez bemeneti-kimeneti tokenek arányát használja. Az elvárásokat a tényleges számítási feladat bemeneti-kimeneti aránya alapján módosíthatja.
- Forgatókönyv ranglistái: Ha a használati eset egy adott forgatókönyvre (például kódolásra vagy matematikára) van leképezve, kezdje a forgatókönyv ranglistájával az adott feladatra optimalizált modellek megkereséséhez, és ne kizárólag a teljes minőségi indexre támaszkodjon.
Tipp
A ranglista-teljesítménytesztek szabványosított összehasonlítást biztosítanak a nyilvános adathalmazokat használó modellek között. A modell teljesítményének az adott adatokon és használati eseten való kiértékeléséhez tekintse meg a generatív AI-alkalmazások kiértékelését.
Nyelvi modellek minőségi viszonyítási alapjai
Az Foundry az érvelést, tudást, kérdések megválaszolását, matematikai és kódolási képességeket mérő standard benchmark-adathalmazok pontossági pontszámai alapján értékeli az LLM-k és SLM-k minőségét.
| Index | Leírás |
|---|---|
| Minőségi index | A teljesítménymutató-adathalmazok alkalmazható pontossági pontszámainak (exact_match, pass@1, arena_hard) átlagolásával számítva. |
A minőségi index értékei nullától egyig terjednek, ahol a magasabb értékek jobb teljesítményt jeleznek. A minőségi indexben szereplő adathalmazok a következők:
| Adatkészlet neve | Kategória |
|---|---|
| bigbench_hard (1000 példára csökkentve) | Érvelés |
| chembench | Kémia |
| határtudomány | Tudományos érvelés |
| gpqa | minőségbiztosítás |
| mbppplus | Kódolás |
| mmlu_pro (1000 példára csökkentve) | Általános ismeretek |
| musr | Érvelés |
| tau2_telecom | Ügynök- és eszközhívások kiválasztása |
További részletek a pontossági pontszámokról:
| Metrikus | Leírás |
|---|---|
| Pontosság | A pontossági pontszámok az adathalmaz és a modell szintjén érhetők el. Az adathalmaz szintjén a pontszám az adathalmaz összes példáján kiszámított pontossági metrika átlagos értéke. Az alkalmazott pontossági metrika minden esetben pass@1 metrika azt méri, hogy a modellmegoldások hányada felel meg egy kódgenerálási feladat egységtesztjeinek. A modell szintjén a pontossági pontszám az egyes modellek adathalmazszintű pontosságának átlaga. |
A pontossági pontszámok nullától egyig terjednek, ahol a magasabb értékek jobbak.
Nyelvi modellek biztonsági referenciamutatói
A biztonsági teljesítményteszteket egy strukturált szűrési és ellenőrzési folyamat választja ki, amelynek célja a relevancia és a szigor biztosítása. A mérőszám akkor jogosult a bevezetésre, ha magas prioritású kockázatokkal foglalkozik. A biztonsági ranglisták olyan teljesítményteszteket tartalmaznak, amelyek elég megbízhatóak ahhoz, hogy jelentőségteljes jelzéseket adjanak a biztonsággal kapcsolatos releváns témákról. A ranglisták a HarmBench-et használják a modellek biztonságának helyettesítő mérésére, és a forgatókönyvek ranglistáit az alábbiak szerint szervezik:
| Adatkészlet neve | Ranglista forgatókönyve | Metrikus | Értelmezése |
|---|---|---|---|
| HarmBench (standard) | Standard káros viselkedések | Támadás sikerességi aránya | Az alacsonyabb értékek jobb robusztusságot jelentenek a standard káros tartalmakat kiváltó támadásokkal szemben |
| HarmBench (kontekstuális) | Környezetfüggően káros viselkedések | Támadás sikerességi aránya | Az alacsonyabb értékek jobb robusztusságot jelentenek a környezetfüggően káros tartalmakat kiváltó támadásokkal szemben |
| HarmBench (szerzői jogi jogsértések) | Szerzői jogi jogsértések | Támadás sikerességi aránya | Az alacsonyabb értékek erősebb robusztusságot jeleznek a szerzői jog megsértésével szemben |
| WMDP | Bizalmas tartományok ismerete | Pontosság | A magasabb értékek nagyobb tudást jeleznek a bizalmas tartományokban |
| Toxigen | Mérgező tartalomészlelés | F1 pontszám | A magasabb értékek jobb észlelési teljesítményt jeleznek |
Káros viselkedés észlelése
A HarmBench-referenciamutató a káros viselkedéseket méri a nem biztonságos válaszokra irányuló kérések használatával. Hét szemantikai kategóriát fed le:
- Kiberbűnözés és jogosulatlan behatolás
- Vegyi és biológiai fegyverek vagy kábítószerek
- Szerzői jogi jogsértések
- Félretájékoztatás és dezinformáció
- Zaklatás és megfélemlítés
- Illegális tevékenységek
- Általános kár
Ezek a kategóriák három funkcionális területre vannak csoportosítva:
- Standard káros viselkedések
- Környezetfüggően káros viselkedések
- Szerzői jogi jogsértések
Minden funkcionális kategória külön forgatókönyv ranglistán szerepel. A kiértékelés a HarmBench (nincs támadás) és a HarmBench-kiértékelők közvetlen kéréseit használja a támadások sikerességi arányának (ASR) kiszámításához. Az alacsonyabb ASR-értékek biztonságosabb modelleket jelentenek. A rendszer nem használ támadási stratégiákat a kiértékeléshez, és a modell teljesítményértékelését az Foundry Guardrails (korábban tartalomszűrők) kikapcsolt állapotában hajtja végre.
Mérgező tartalomészlelés
A Toxigen egy nagy méretű adatkészlet, a támadó és implicit gyűlöletbeszéd észlelésére. Implicit módon mérgező és jóindulatú mondatokat tartalmaz, 13 kisebbségi csoportra hivatkozva. Az Foundry jegyzetekkel ellátott Toxigen-mintákat használ, és F1-pontszámokat számít ki a besorolási teljesítmény méréséhez. A magasabb pontszámok jobb mérgező tartalomészlelést jeleznek. A teljesítménytesztelés az Foundry Guardrails (korábban tartalomszűrők) kikapcsolt állapotában történik.
Bizalmas tartományismeret
A Tömegpusztító Fegyverek Proxy (WMDP) benchmark a modell ismereteit méri az érzékeny területeken, ideértve a biobiztonságot, a kiberbiztonságot és a kémiai biztonságot. A ranglista átlagos pontossági pontszámokat használ a kiberbiztonság, a biobiztonság és a kémiai biztonság terén. A magasabb WMDP pontossági pontszám a veszélyes képességek (biztonsági szempontból rosszabb viselkedés) ismeretét jelzi. A modell teljesítményértékelése az alapértelmezett Foundry Guardrails (korábban tartalomszűrők) használatával történik. Ezek a védőkorlátok észlelik és blokkolják a tartalom sérelmét az erőszak, az önkárosítás, a szexuális, a gyűlölet és a tisztességtelenség terén, de nem célcsoportokat a kiberbiztonság, a biológiai biztonság és a kémiai biztonság terén.
A biztonsági teljesítménymutatók korlátozásai
A biztonság több dimenzióval rendelkező összetett témakör. Egyetlen nyílt forráskódú teljesítményteszt sem képes a rendszer teljes biztonságát tesztelni vagy képviselni minden forgatókönyvben. Emellett számos referenciamutató telítettségben vagy eltérésben szenved a referencia-kialakítás és a kockázatdefiníció között. Egyes referenciamutatók nem rendelkeznek egyértelmű dokumentációval a célok kockázatainak fogalmi és működési módjáról, ami megnehezíti annak felmérését, hogy az eredmények pontosan rögzítik-e a valós kockázatok árnyalatait. Ezek a korlátozások a modell teljesítményének túlbecsüléséhez vagy alábecsüléséhez vezethetnek valós biztonsági forgatókönyvekben.
Nyelvi modellek teljesítménymutatói
A teljesítménymetrikák 14 nap alatt összesítik az adatokat napi 24 próbaidőszak használatával, és próbaverziónként két kérést küldenek egyórás időközönként. Ha másként nem jelezzük, a következő alapértelmezett paraméterek mind a kiszolgáló nélküli API-üzemelő példányokra, mind az OpenAI Azure vonatkoznak:
| Paraméter | Érték | Alkalmazható a következőre: |
|---|---|---|
| Régió | USA keleti régiója/USA 2. keleti régiója | kiszolgáló nélküli API-telepítések és Azure OpenAI |
| Tokenek percenkénti (TPM) sebességkorlátja | 30k (180 RPM Azure OpenAI alapján) a nem érveléshez és 100k az érvelési modellekhez N/A (kiszolgáló nélküli API-telepítések) |
Azure OpenAI-modellek esetében a felhasználók az üzembe helyezés típusa (kiszolgáló nélküli API, globális, globális szabvány stb.) alapján választhatják ki a sebességkorlát-tartományokat. A kiszolgáló nélküli API-üzemelő példányok esetében ez a beállítás absztrakcióra kerül. |
| Kérelmek száma | Két kérelem egy próbaverzióban óránként (napi 24 próba) | kiszolgáló nélküli API-telepítések, Azure OpenAI |
| Kísérletek/futtatások száma | 14 nap, ahol naponta 24 próbát végeznek, összesen 336 futtatás esetén. | kiszolgáló nélküli API-telepítések, Azure OpenAI |
| Bemutató/Kontextus hossza | Mérsékelt hossz | kiszolgáló nélküli API-telepítések, Azure OpenAI |
| Feldolgozott tokenek száma (mérsékelt) | 80:20 arány a bemeneti és kimeneti tokenek számához, azaz 800 bemeneti token és 200 kimeneti token. | kiszolgáló nélküli API-telepítések, Azure OpenAI |
| Egyidejű kérések száma | Egy (a kéréseket egymás után egymás után küldi el a rendszer) | kiszolgáló nélküli API-telepítések, Azure OpenAI |
| Adatok | Szintetikus (statikus szövegből előkészített bemeneti kérések) | kiszolgáló nélküli API-telepítések, Azure OpenAI |
| Üzembe helyezés típusa | kiszolgáló nélküli API | Csak Azure OpenAI esetén alkalmazható |
| Streaming | Igaz | Kiszolgáló nélküli API-telepítésekre és Azure OpenAI-ra vonatkozik. Felügyelt számításon keresztül üzembe helyezett modelleknél, vagy olyan végpontok esetében, ahol a streamelés nem támogatott, a TTFT a késési metrika P50-ként jelenik meg. |
| SKU | Standard_NC24ads_A100_v4 (24 mag, 220 GB RAM, 64 GB tárterület) | Csak felügyelt számítás esetén alkalmazható (a költség- és teljesítménymetrikák becsléséhez) |
Az LLM-ek és SLM-k teljesítményét a következő metrikák értékelik:
| Metrikus | Leírás |
|---|---|
| Késési középérték | Egy kérelem feldolgozásának átlagos időtartama másodpercben, több kérelem alapján számítva. A rendszer két héten keresztül óránként küld egy kérelmet a végpontnak, és az átlagot számítja ki. |
| P50 késés | Medián (50. percentilis) késés. 50% kérések befejeződnek ezen idő alatt. |
| Késleltetés P90 | 90. percentilis késés. 90% kérések befejeződnek ezen idő alatt. |
| Késleltetés P95 | 95. percentilis késés. 95% kérések befejeződnek ezen idő alatt. |
| P99 késés | 99. percentilis késés. 99% kérések befejeződnek ezen idő alatt. |
| Átviteli sebesség GTPS | A másodpercenként generált jogkivonatok (GTPS) a másodpercenként generált kimeneti jogkivonatok száma a kérés végpontnak való elküldésének időpontjától kezdve. |
| Átviteli sebesség TTPS | A másodpercenkénti összes jogkivonat (TTPS) a másodpercenként feldolgozott összes jogkivonat száma, beleértve a bemeneti és a létrehozott kimeneti jogkivonatokat is. Azoknál a modelleknél, amelyek nem támogatják a streaminget, az első tokenig eltelt idő (TTFT) a késleltetés P50-értékét jelenti (a válasz beérkezéséhez szükséges idő) |
| Késleltetés TTFT | A teljes idő az első jogkivonatig (TTFT) az a válaszban szereplő első jogkivonathoz szükséges idő, amelyet a végponttól kell visszaadni, amikor engedélyezve van a streamelés. |
| Tokenek közötti idő | Ez a metrika a fogadott tokenek közötti idő. |
Az olyan teljesítménymetrikák esetében, mint a késés vagy az átviteli sebesség, az első jogkivonatig eltelt idő és a másodpercenként generált tokenek jobb általános képet adnak a modell tipikus teljesítményéről és viselkedéséről. A teljesítményszámok rendszeres időközönként frissülnek, hogy tükrözzék a legújabb üzembe helyezési konfigurációkat.
Nyelvi modellek költségmutatói
A költség-teljesítménymutatók az egyes modellek minőségi benchmark-adathalmazokon való végrehajtásának tényleges költségét mérik, nem pedig a jogkivonatok díjszabásán alapuló becsült költséget.
A teljesítményteszt költsége a következővel számítható ki:
- A teljesítményteszt végrehajtása során felhasznált bemeneti, érvelési és kimeneti jogkivonatok tényleges száma.
- A kiértékeléshez használt modellspecifikus érvelési munkakonfiguráció (általában
highvagyxhigh). - Az adathalmaz jellemzői és összetettsége, amelyek befolyásolják a jogkivonatok használatát és a futtatókörnyezetet.
A fix token arány alapján készített becslésektől eltérően ez a megközelítés a benchmark feladatok futtatásának valós, végpontok közötti költségét tükrözi.
Költségeredmények értelmezése
- A költség USD-ben van feltüntetve benchmark futtatásonként a standard minőségű adathalmazokon keresztül.
- Az értékek valós végrehajtási költséget jelentenek, és lehetővé teszik a modellek közvetlen összehasonlítását.
- Az alacsonyabb értékek a teljesítménytesztcsomag költséghatékonyabb teljesítményét jelzik.
Forgatókönyv ranglista-összehasonlítása
A forgatókönyv-ranglisták a közös valós értékelési célok alapján csoportosítják a teljesítményteszt-adathalmazokat. A modell erősségeit és gyengeségeit használati esetekkel gyorsan azonosíthatja. Minden forgatókönyv egy vagy több nyilvános teljesítményteszt-adathalmazt összesít.
Az alábbi táblázat segítségével keresse meg a használati esetet a Forgatókönyv oszlopban, majd tekintse át a kapcsolódó teljesítményteszt-adatkészleteket, és hogy az eredmények mit jeleznek. Az alábbi táblázat összefoglalja az elérhető forgatókönyv ranglistáit, valamint a hozzájuk tartozó adatkészleteket és leírásokat:
| Forgatókönyv | Adatkészletek | Leírás |
|---|---|---|
| Normál káros viselkedés | HarmBench (standard) | A támadások sikerességi aránya a szokásos káros kérések esetén. Az alacsonyabb a jobb. Lásd : Káros viselkedésészlelés. |
| Környezetfüggően káros viselkedés | HarmBench (környezetfüggő) | A támadás sikerességi aránya a környezetfüggő káros utasítások esetén. Az alacsonyabb a jobb. Lásd : Káros viselkedésészlelés. |
| Szerzői jogi jogsértések | HarmBench (szerzői jog) | A szerzői jog megsértésére irányuló támadások sikerességi aránya. Az alacsonyabb a jobb. Lásd : Káros viselkedésészlelés. |
| Bizalmas tartományok ismerete | WMDP (biobiztonság, kémiai biztonság, kiberbiztonság) | Három bizalmas tartományrész pontossága. A nagyobb pontosság azt jelzi, hogy jobban ismerik a bizalmas képességeket. Lásd : Bizalmas tartományismeretek. |
| Toxicitás észlelése | ToxiGen (jegyzetelt) | A mérgező tartalomészlelési képesség F1 pontszáma. A magasabb jobb. Lásd : Mérgező tartalomészlelés. |
| Érvelés | BIG-Bench Kemény (1000 alminta) | Érvelési képességek felmérése. A magasabb értékek jobbak. |
| Kódolás | BigCodeBench (utasítás), LiveBench (kódolás), LiveCodeBench Medium, MBPP+ | A kóddal kapcsolatos feladatok pontosságát méri. A magasabb értékek jobbak. |
| Általános ismeretek | MMLU-Pro (1K angol alminta) | Az MMLU-Pro angol nyelvű alminta 1,000 példát tartalmaz. |
| Kérdés és válasz | Arena-Hard, GPQA (gyémánt) | Ellenfeles emberi preferencia minőségbiztosítás (Arena-Hard) és a posztgraduális szintű több szakterületű minőségbiztosítás (GPQA gyémánt). A magasabb értékek jobbak. |
| Matematikai | MATEMATIKA (500 részhalmaz) | A nyelvi modellek matematikai érvelési képességeit méri. A magasabb értékek jobbak. |
| Alapozottság | TruthfulQA (MC1) | A nyelvmodellek megalapozottságának és igazságának feleletválasztós értékelése. A magasabb értékek jobbak. |
A beágyazási modellek minőségi referenciamutatói
A beágyazási modellek minőségi indexe a kiszolgáló nélküli API-referenciaadatkészletek átfogó készletének átlagos pontossági pontszáma, amely az információlekérési, a dokumentumfürtkészítési és az összegzési feladatokat célozza.
| Metrikus | Leírás |
|---|---|
| Pontosság | A pontosság a helyes előrejelzések aránya a feldolgozott előrejelzések teljes száma között. |
| F1 pontszám | Az F1 pontszám a pontosság és a visszahívás súlyozott középértéke, ahol a legjobb érték egy (tökéletes pontosság és visszahívás), a legrosszabb pedig nulla. |
| Átlagos pontosság (MAP) | A MAP kiértékeli a rangsorolási és ajánlórendszerek minőségét. Méri a javasolt elemek relevanciáját, és azt, hogy a rendszer mennyire jó abban, hogy relevánsabb elemeket helyezzen a tetejére. Az értékek nullától egyig terjedhetnek, és minél magasabb a MAP, annál jobb, ha a rendszer a releváns elemeket magasra helyezi a listában. |
| Normalizált diszkontált összesített nyereség (NDCG) | Az NDCG kiértékeli egy gépi tanulási algoritmus azon képességét, hogy relevancia alapján rendezze az elemeket. Összehasonlítja a rangsorokat egy ideális sorrenddel, ahol az összes releváns elem a lista tetején van, ahol k a lista hossza a rangsorolás minőségének kiértékelése során. Ezekben a teljesítménymutatókban a k=10, amelyet egy metrika ndcg_at_10jelez, ami azt jelenti, hogy az első 10 elem kiértékelése történik. |
| Precizitás | A pontosság azt méri, hogy a modell képes-e egy adott osztály példányainak helyes azonosítására. A pontosság azt mutatja be, hogy a gépi tanulási modell milyen gyakran helyes a célosztály előrejelzésekor. |
| Spearman-korreláció | A koszinusz-hasonlóságon alapuló Spearman-korrelációt először a változók közötti koszinusz-hasonlóság kiszámításával számítjuk ki, majd rangsoroljuk ezeket a pontszámokat, és a rangok használatával kiszámítjuk a Spearman-korrelációt. |
| V mérőszám | A V mérték a fürtözés minőségének értékelésére használt metrika. A V mértéket a homogenitás és a teljesség harmonikus középértékének számítják ki, így biztosítva a kettő közötti egyensúlyt egy értelmes pontszám érdekében. A lehetséges pontszámok nulla és egy között mozognak, ahol az egy a tökéletesen teljes címkézést jelenti. |
Pontszámok kiszámítása
Egyéni pontszámok
A teljesítményteszt eredményei olyan nyilvános adatkészletekből származnak, amelyeket gyakran használnak a nyelvi modellek kiértékelésére. A legtöbb esetben az adatok GitHub adattárakban vannak tárolva, amelyeket az adatok létrehozói vagy kurátorai tartanak fenn. Az öntödei kiértékelési folyamatok adatokat töltenek le az eredeti forrásokból, kérvényeket nyernek ki az egyes példasorokból, modellválaszokat hoznak létre, majd kiszámítják a releváns pontossági metrikákat.
A promptkonstrukció minden egyes adathalmaz esetén a datasetet bemutató dokumentum és az iparági szabványok által meghatározott legjobb gyakorlatokat követi. A legtöbb esetben minden prompt több példát tartalmaz, azaz több példát teljes kérdésekre és válaszokra, amelyek segítik a modellt felkészíteni a feladatra. A felvételek száma adatkészletenként változik, és az egyes adathalmazok eredeti kiadványában megadott módszertant követi. A kiértékelési csővezetékek felvételeket készítenek a kiértékelés során kihagyott adatok egy részéből mintavételezett kérdésekkel és válaszokkal.
Teljesítményteszt korlátozásai
Az eredmények értelmezésekor minden teljesítménytesztnek megvannak a magukban rejlő korlátai:
- Minőségi teljesítménymutatók: A teljesítményteszt-adathalmazok idővel telítetté válhatnak, ahogy a modelleket betanítják vagy hasonló adatokra hangolják. A kiértékelési eredmények a gyors konstrukciótól és a használt néhány példa számától függően is változhatnak.
- Teljesítménymutatók: A metrikákat szintetikus munkaterhelések segítségével gyűjtjük, rögzített bemeneti-kimeneti token aránnyal és egyrégiós telepítési példányokkal. A valós teljesítmény a számítási feladatok mintái, az egyidejűség, a régió és az üzembe helyezés konfigurációja alapján eltérhet.
- Költségmutatók: A költségbecslések egy három az egyhez bemeneti-kimeneti jogkivonat arányán és a méréskor érvényes aktuális díjszabáson alapulnak. A tényleges költségek a számítási feladattól függenek, és díjszabási változások vonatkoznak rá.