Tabulky výsledků modelů na portálu Microsoft Foundry (Preview)

Důležité

Položky označené (Preview) v tomto článku jsou aktuálně ve verzi Public Preview. Tato verze Preview je poskytována bez smlouvy o úrovni služeb a nedoporučujeme ji pro produkční úlohy. Některé funkce nemusí být podporované nebo můžou mít omezené možnosti. Další informace najdete v tématu Supplementální podmínky použití pro Microsoft Azure Verze Preview.

Tabulky výsledků modelů (Preview) na portálu Foundry vám pomůžou porovnat modely v katalogu modelů Foundry pomocí standardních srovnávacích testů modelů.

Začněte tím, že porovnáte a vyberete modely pomocí tabulky výsledků modelu na portálu Foundry.

Pro každou kategorii tabulky výsledků si můžete projít podrobnou metodologii srovnávacích testů:

  • Srovnávací testy kvality jazykových modelů, abyste pochopili, jak dobře modely fungují u základních úloh, včetně odůvodnění, znalostí, odpovědí na otázky, matematiky a kódování.
  • Bezpečnostní srovnávací testy jazykových modelů, abyste pochopili, jak bezpečné modely jsou proti generování škodlivého chování.
  • Srovnávací testy výkonu jazykových modelů, abyste pochopili, jak modely fungují z hlediska latence a propustnosti.
  • Srovnávací testy nákladů na jazykové modely, abyste porozuměli odhadovaným nákladům na používání modelů.
  • Porovnání výkonnostních tabulek jazykových modelů pro pomoc s nalezením nejlepšího modelu pro váš konkrétní případ použití nebo scénář.
  • Srovnávací testy kvality vložených modelů, abyste pochopili, jak dobře modely fungují s úlohami založenými na vkládání, včetně vyhledávání a načítání.

Když najdete vhodný model, můžete otevřít jeho podrobné výsledky srovnávacích testů v katalogu modelů. Odtud můžete model nasadit, vyzkoušet ho v dětském hřišti nebo ho vyhodnotit na vlastních datech. Tabulky výsledků podporují srovnávací testy pro textové jazykové modely (včetně velkých jazykových modelů (LLM) a malých jazykových modelů (SLM) a vložených modelů.

Srovnávací testy modelů vyhodnocují LLM a SLM napříč kvalitou, bezpečností, náklady a propustností. Modely vkládání se vyhodnocují pomocí standardních srovnávacích testů kvality. Tabulky výsledků se aktualizují, jakmile budou k dispozici nové modely a datové sady srovnávacích testů.

Rozsah srovnávacích testů modelů

Tabulky výsledků modelu obsahují kurátorovaný výběr textových jazykových modelů z katalogu modelů Foundry. Modely jsou zahrnuty na základě následujících kritérií:

  • Foundry Models prodávané službou Azure mají prioritu: Modely prodávané službou Azure jsou vybírány s ohledem na relevanci pro běžné scénáře generativní AI.
  • Základní použitelnost srovnávacích testů: Modely musí podporovat úlohy pro obecné účely, jako jsou odůvodnění, znalosti, odpovědi na otázky, matematické odůvodnění a kódování. Specializované modely (například skládání bílkovin nebo kontrola kvality specifické pro doménu) a jiné způsoby se nepodporují.

Toto vymezení rozsahu zajišťuje, aby tabulky výsledků odrážely aktuální vysoce kvalitní modely relevantní pro základní scénáře AI.

Interpretace výsledků žebříčku

Tabulky výsledků vám pomůžou porovnat modely napříč několika dimenzemi, abyste mohli zvolit správný model pro váš případ použití. Tady je několik pokynů pro interpretaci výsledků:

  • Index kvality: Vyšší index kvality znamená silnější celkový výkon v logice, kódování, matematice a zadaných úkolech znalostí. Porovnejte index kvality napříč modely a identifikujte nejvýkonnější úlohy jazyka pro obecné účely.
  • Bezpečnostní skóre: Nižší míra úspěšnosti útoku značí robustnější modely. Zvažte bezpečnostní skóre spolu s skóre kvality, zejména pro aplikace, které mají na starosti zákazníky, kde je nebezpečný výstup významným problémem.
  • Kompromisy výkonu: Využijte metriky latence a propustnosti k pochopení reálné odezvy modelu. Model s vysokou kvalitou, ale vysoká latence nemusí vyhovovat aplikacím v reálném čase.
  • Úvahy o nákladech: Odhadovaná cenová metrika používá poměr vstupních a výstupních tokenů tři ku jedné. Upravte očekávání na základě skutečného poměru vstupu k výstupu vaší úlohy.
  • Tabulky výsledků scénářů: Pokud se váš případ použití mapuje na konkrétní scénář (například kódování nebo matematiku), začněte tabulí výsledků scénáře a vyhledejte modely optimalizované pro daný úkol a nespoléhejte pouze na celkový index kvality.

Tip

Žebříčky poskytují standardizovaná porovnání mezi modely pomocí veřejných datových sad. Pokud chcete vyhodnotit výkon modelu pro konkrétní data a případ použití, přečtěte si téma Vyhodnocení aplikací generující AI.

Srovnávací testy kvality jazykových modelů

Foundry posuzuje kvalitu LLM a SLM pomocí skóre přesnosti ze standardních srovnávacích datových sad, které měří důvody, znalosti, odpovědi na otázky, matematiku a možnosti kódování.

Index Popis
Index kvality Vypočítáno průměrem použitelných skóre přesnosti (exact_match, pass@1, arena_hard) napříč datovými sadami srovnávacích testů.

Hodnoty indexu kvality jsou v rozsahu od nuly do jedné, kde vyšší hodnoty označují lepší výkon. Datové sady zahrnuté v indexu kvality jsou:

Název datové sady Kategorie
bigbench_hard (snížené rozlišení na 1 000 příkladů) Uvažování
chembench Chemie
hraniční vědy Vědecké odůvodnění
gpqa kontrola kvality
mbppplus Kódování
mmlu_pro (snížené vzorkování na 1 000 příkladů) Obecné znalosti
musr Uvažování
tau2_telecom Výběr agentického a nástrojového volání

Další podrobnosti o skóre přesnosti:

Metrika Popis
Přesnost Skóre přesnosti jsou k dispozici na úrovni datové sady a modelu. Na úrovni datové sady je skóre průměrnou hodnotou metriky přesnosti vypočítané pro všechny příklady v datové sadě. Použitá metrika přesnosti je exact_match ve všech případech s výjimkou datových sad HumanEval a MBPP , které používají metriku pass@1 . Přesná shoda porovnává modelově vygenerovaný text se správnou odpovědí podle datové sady, a pokud vygenerovaný text odpovídá odpovědi přesně, nahlásí jedničku, jinak nulu. Metrika pass@1 měří podíl řešení modelu, která procházejí sadu jednotkových testů v úloze generování kódu. Na úrovni modelu je skóre přesnosti průměrem přesností na úrovni datové sady pro každý model.

Skóre přesnosti se pohybuje od nuly do jednoho, kde jsou vyšší hodnoty lepší.

Bezpečnostní srovnávací testy jazykových modelů

Bezpečnostní srovnávací testy jsou vybrány prostřednictvím strukturovaného procesu filtrování a ověřování navrženého tak, aby se zajistila relevance i rigorace. Srovnávací test se kvalifikuje pro zařazení, pokud řeší rizika s vysokou prioritou. Tabulky výsledků bezpečnosti zahrnují srovnávací testy, které jsou dostatečně spolehlivé, aby poskytovaly smysluplné signály týkající se témat zájmu v souvislosti s bezpečností. Tabulky výsledků používají HarmBench k zabezpečení modelů proxy a uspořádají tabulky výsledků scénářů následujícím způsobem:

Název datové sady Scénář tabulky výsledků Metrika Výklad
HarmBench (standardní) Standardní škodlivé chování Míra úspěšnosti útoku Nižší hodnoty znamenají lepší odolnost proti útokům navrženým k vyvolání standardního škodlivého obsahu.
HarmBench (kontextový) Kontextově škodlivé chování Míra úspěšnosti útoku Nižší hodnoty znamenají lepší odolnost proti útokům navrženým k vyvolání kontextově škodlivého obsahu.
HarmBench (porušení autorských práv) Porušení autorských práv Míra úspěšnosti útoku Nižší hodnoty označují silnější odolnost proti porušení autorských práv.
WMDP Znalosti v citlivých doménách Přesnost Vyšší hodnoty označují větší znalosti v citlivých doménách.
Toxigen Detekce toxického obsahu F1 skóre Vyšší hodnoty označují lepší výkon detekce.

Detekce škodlivého chování

Srovnávací test HarmBench měří škodlivé chování pomocí výzev navržených k vyvolání nebezpečných odpovědí. Zahrnuje sedm sémantických kategorií:

  • Kybernetická kriminalita a neoprávněné vniknutí
  • Chemické a biologické zbraně nebo drogy
  • Porušení autorských práv
  • Misinformace a dezinformace
  • Obtěžování a šikana
  • Nezákonné aktivity
  • Obecná újma

Tyto kategorie jsou seskupené do tří funkčních oblastí:

  • Standardní škodlivé chování
  • Kontextově škodlivé chování
  • Porušení autorských práv

Každá funkční kategorie je uvedená v samostatném scénářovém žebříčku. Vyhodnocení používá přímé výzvy od HarmBench (žádné útoky) a vyhodnocovačů HarmBench k výpočtu míry úspěšnosti útoku (ASR). Nižší hodnoty ASR znamenají bezpečnější modely. K vyhodnocení se nepoužívají žádné strategie útoku a srovnávací testy modelů se provádějí s vypnutými Foundry Guardrails (dříve filtry obsahu).

Detekce toxického obsahu

Toxigen je rozsáhlá datová sada pro detekci nežádoucí a implicitní nenávistné řeči. Zahrnuje implicitně toxické a neškodné věty odkazující na 13 menšinových skupin. Foundry používá anotované vzorky Toxigenu a vypočítává skóre F1 pro měření efektivity klasifikace. Vyšší skóre značí lepší detekci toxického obsahu. Srovnávací testy se provádějí s vypnutými Foundry Guardrails (dříve filtry obsahu).

Znalost citlivé domény

Srovnávací test zbraní hromadného ničení (WMDP) měří znalosti modelu v citlivých oblastech, včetně biobezpečnosti, kybernetické bezpečnosti a chemické bezpečnosti. Tabulka výsledků používá průměrné skóre přesnosti napříč kybernetickou bezpečností, biobezpečností a chemickým zabezpečením. Vyšší skóre přesnosti WMDP označuje více znalostí o nebezpečných schopnostech (horší chování z bezpečnostního hlediska). Srovnávací testy modelů se provádějí s výchozími filtry obsahu Foundry Guardrails (dříve filtry obsahu). Tyto mantinely detekují a blokují poškození obsahu v násilí, sebeškodení, sexuální, nenávisti a nespravedlivosti, ale nezaměřují se na kategorie kybernetické bezpečnosti, biobezpečnosti a chemické bezpečnosti.

Omezení bezpečnostních srovnávacích testů

Bezpečnost je komplexní téma s několika dimenzemi. Žádný opensourcový srovnávací test nemůže testovat nebo představovat plnou bezpečnost systému ve všech scénářích. Mnoho srovnávacích testů navíc trpí sytostí nebo nesprávným zarovnáním mezi návrhem srovnávacích testů a definicí rizika. Některé srovnávací testy také nemají jasnou dokumentaci o tom, jak jsou cílená a zprovozněna rizika, což ztěžuje posoudit, zda výsledky přesně zachycují nuance skutečných rizik. Tato omezení můžou vést k přehodnocení nebo podcenění výkonu modelu ve scénářích bezpečnosti v reálném světě.

Srovnávací testy výkonu jazykových modelů

Metriky výkonu se agregují za 14 dnů pomocí 24 zkušebních verzí za den, přičemž v hodinových intervalech se posílají dva požadavky na zkušební verzi. Pokud není uvedeno jinak, platí pro nasazení bezserverového rozhraní API i pro Azure OpenAI následující výchozí parametry:

Parametr Hodnota Platí pro
Oblasti Východ USA/Východ USA 2 bezserverová nasazení rozhraní API a Azure OpenAI
Limit rychlosti tokenů za minutu (TPM) 30k (180 RPM na základě Azure OpenAI) pro modely bez odůvodňování a 100 tisíc pro modely s odůvodňováním
Není k dispozici (nasazení bezserverového rozhraní API)		 Pro Azure modely OpenAI je výběr dostupný pro uživatele s rozsahy omezení rychlosti na základě typu nasazení (bezserverové rozhraní API, globální, globální standard atd.).
U nasazení bezserverového rozhraní API se toto nastavení abstrahuje.
Počet požadavků Dvě žádosti ve zkušební verzi pro každou hodinu (24 pokusů za den) bezserverová nasazení rozhraní API Azure OpenAI
Počet zkušebních běhů 14 dní s 24 zkušebními verzemi za den pro 336 spuštění bezserverová nasazení rozhraní API Azure OpenAI
Délka výzvy nebo kontextu Střední délka bezserverová nasazení rozhraní API Azure OpenAI
Počet zpracovaných tokenů (střední) Poměr 80:20 pro vstupní a výstupní tokeny, tj. 800 vstupních tokenů až 200 výstupních tokenů. bezserverová nasazení rozhraní API Azure OpenAI
Počet souběžných požadavků Jedna (požadavky se odesílají postupně po druhém) bezserverová nasazení rozhraní API Azure OpenAI
Dat Syntetické (vstupní výzvy připravené ze statického textu) bezserverová nasazení rozhraní API Azure OpenAI
Typ nasazení bezserverové rozhraní API Platí pouze pro Azure OpenAI
Streamování Pravda Platí pro nasazení bezserverového rozhraní API a Azure OpenAI. U modelů nasazených prostřednictvím spravovaných výpočetních prostředků nebo pro koncové body v případě, že streamování není podporované, je TTFT reprezentován jako metrika latence P50.
skladová jednotka (SKU) Standard_NC24ads_A100_v4 (24 jader, 220 GB paměti RAM, 64 GB úložiště) Platí jenom pro spravované výpočetní prostředky (k odhadu nákladů a metrik výkonu).

Výkon LLM a SLM se posuzuje v následujících metrikách:

Metrika Popis
Střední hodnota latence Průměrná doba zpracování požadavku v sekundách vypočítaná přes více požadavků Požadavek se odešle do koncového bodu každou hodinu po dobu dvou týdnů a vypočítá se průměr.
Latence P50 Latence mediánu (50. percentilu) 50% žádostí do této doby dokončeno.
Latence P90 90. percentilová latence. 90% požadavků do této doby dokončeno.
Latence P95 95. percentil zpoždění. 95% požadavků do této doby dokončeno.
Latence P99 99. percentil latence. 99% požadavků do této doby dokončeno.
Propustnost GTPS Generované tokeny za sekundu (GTPS) jsou počet výstupních tokenů, které se generují za sekundu od okamžiku odeslání požadavku do koncového bodu.
Propustnost TTPS Celkový počet tokenů za sekundu (TTPS) je počet zpracovaných tokenů za sekundu, včetně vstupní výzvy a vygenerovaných výstupních tokenů. U modelů, které nepodporují streamování, představuje čas na první token (ttft) hodnotu P50 latence (doba potřebná k přijetí odpovědi).
Latence TTFT Celkový čas na první token (TTFT) je doba potřebná k tomu, aby byl první token v odpovědi vrácen z koncového bodu, když je streamování povoleno.
Čas mezi tokeny Tato metrika je čas mezi přijatými tokeny.

Foundry shrnuje výkon pomocí:

Metrika Popis
Latence Průměrná doba k prvnímu tokenu. Nižší je lepší.
Propustnost Střední vygenerované tokeny za sekundu Vyšší je lepší.

V případě metrik výkonu, jako je latence nebo propustnost, poskytuje čas prvního tokenu a vygenerované tokeny za sekundu lepší představu o typickém výkonu a chování modelu. Čísla výkonu se pravidelně aktualizují, aby odrážela nejnovější konfigurace nasazení.

Srovnávací testy nákladů na jazykové modely

Srovnávací testy nákladů měří skutečné náklady pro spouštění jednotlivých modelů v datových sadách srovnávacích testů kvality, nikoli odhadované náklady na základě cen tokenů.

Náklady na srovnávací test se počítají pomocí:

  • Skutečný počet vstupů, odůvodnění a výstupních tokenů spotřebovaných během provádění srovnávacího testu
  • Konfigurace úsilí o odůvodnění specifická pro model, která se používá k vyhodnocení (obvykle high nebo xhigh).
  • Charakteristiky a složitost datových sad, které ovlivňují využívání tokenů a dobu běhu.

Na rozdíl od odhadů založených na poměru pevných tokenů tento přístup odráží skutečné koncové náklady na provoz srovnávacích úloh.

Jak interpretovat výsledky nákladů

  • Náklady jsou uváděny v USD na srovnávací test napříč standardními kvalitativními datovými sadami.
  • Hodnoty představují skutečné náklady na spuštění a umožňují přímé porovnání modelů.
  • Nižší hodnoty označují nákladově efektivnější výkon v sadě srovnávacích testů.

Srovnávání žebříčků scénářů

Tabulky výsledků scénáře seskupují datové sady srovnávacích testů podle běžných cílů hodnocení z reálného světa. Pomocí případu použití můžete rychle identifikovat silné a slabé stránky modelu. Každý scénář agreguje jednu nebo více datových sad veřejných srovnávacích testů.

V následující tabulce najdete případ použití ve sloupci Scénář a pak zkontrolujte související datové sady srovnávacích testů a výsledky. Následující tabulka shrnuje dostupné tabulky výsledků scénářů a jejich přidružené datové sady a popisy:

Scénář Datové sady Popis
Standardní škodlivé chování HarmBench (standardní) Míra úspěšnosti útoku na standardní škodlivé výzvy. Nižší je lepší. Viz Detekce škodlivého chování.
Kontextově škodlivé chování HarmBench (kontextový) Míra úspěšnosti útoku na kontextové škodlivé výzvy Nižší je lepší. Viz Detekce škodlivého chování.
Porušení autorských práv HarmBench (autorská práva) Míra úspěšnosti útoku pro výzvy k porušení autorských práv Nižší je lepší. Viz Detekce škodlivého chování.
Znalosti v citlivých doménách WMDP (biobezpečnost, chemické zabezpečení, kyberbezpečnost) Přesnost napříč třemi podmnožinami citlivých domén Vyšší přesnost označuje více znalostí citlivých schopností. Podívejte se na citlivé informace v doméně.
Detekce toxicity ToxiGen (anotováno) F1 skóre pro schopnost detekce toxického obsahu. Vyšší je lepší. Viz Detekce toxického obsahu.
Uvažování BIG-Bench hard (1000 podsample) Posouzení možností zdůvodnění Vyšší hodnoty jsou lepší.
Kódování BigCodeBench (pokyn), LiveBench (kódování), LiveCodeBench střední MBPPPlus Měří přesnost úloh souvisejících s kódem. Vyšší hodnoty jsou lepší.
Obecné znalosti MMLU-Pro (1K anglický podvýběr) 1 000-příkladový pouze anglický podvzorek MMLU-Pro.
Otázky a odpovědi Arena-Hard, GPQA (Diamond) Kontrola lidských preferencí pro záměrné klamání (Arena-Hard) a QA na úrovni absolventských studií (diamant GPQA). Vyšší hodnoty jsou lepší.
Matematika MATH (500 podsample) Měří matematické možnosti zdůvodnění jazykových modelů. Vyšší hodnoty jsou lepší.
Uzemnění TruthfulQA (MC1) Vyhodnocení ukotvenosti/pravdivosti jazykových modelů pomocí vícečetné volby. Vyšší hodnoty jsou lepší.

Srovnávací testy kvality vložených modelů

Index kvality vložených modelů je definován jako průměrné skóre přesnosti komplexní sady srovnávacích sad bezserverového rozhraní API, které cílí na načtení informací, clustering dokumentů a úlohy souhrnu.

Metrika Popis
Přesnost Přesnost je podíl správných předpovědí mezi celkovým počtem zpracovaných predikcí.
F1 skóre F1 Score je vážený průměr přesnosti a úplnosti, kde nejlepší hodnota je jedna (dokonalá přesnost a úplnost) a nejhorší je nula.
Střední průměrná přesnost (MAP) MAP vyhodnocuje kvalitu systémů hodnocení a doporučovačů. Měří význam navrhovaných položek a způsob, jakým systém umísťuje do horní části relevantnější položky. Hodnoty můžou být v rozsahu od nuly do jedné a čím vyšší je mapa, tím lépe systém umísťuje do seznamu relevantní položky.
Normalizovaný zvýhodněný kumulativní zisk (NDCG) NDCG vyhodnocuje schopnost algoritmu strojového učení řadit položky na základě relevance. Porovnává pořadí s ideálním pořadím, kde jsou všechny relevantní položky v horní části seznamu, kde k je délka seznamu při vyhodnocování kvality řazení. V těchto srovnávacích testech k=10 označených metrikou ndcg_at_10znamená, že se vyhodnocuje prvních 10 položek.
Přesnost Přesnost měří schopnost modelu správně identifikovat instance konkrétní třídy. Přesnost ukazuje, jak často je model strojového učení správný při předpovídání cílové třídy.
Spearmanova korelace Spearmanova korelace založená na kosinusové podobnosti se vypočítá prvním výpočtem kosinus podobnosti mezi proměnnými a následným hodnocením těchto skóre a použitím pořadí k výpočtu korelace Spearman.
Měření V Míra V je metrika použitá k vyhodnocení kvality clusteringu. Míra V se počítá jako harmonický průměr homogenity a úplnosti a zajišťuje rovnováhu mezi těmito dvěma hodnotami pro smysluplné skóre. Možná skóre leží mezi nulou a jedním, přičemž jedna znamená dokonale kompletní označení.

Výpočet skóre

Individuální skóre

Výsledky srovnávacích testů pocházejí z veřejných datových sad, které se běžně používají pro vyhodnocení jazykového modelu. Ve většině případů se data hostují v GitHub úložištích spravovaných tvůrci nebo kurátory dat. Vyhodnocovací kanály v oblasti foundry stahují data z původních zdrojů, extrahují podněty z jednotlivých ukázkových řádků, generují odpovědi modelu a poté vypočítávají relevantní metriky přesnosti.

Konstrukce výzvy dodržuje osvědčené postupy pro každou datovou sadu, jak je uvedeno v dokumentu, který představuje datové sady a oborové standardy. Ve většině případů každý podnět obsahuje několik ukázek, to znamená několik příkladů úplných otázek a odpovědí, aby byl model připraven na úkol. Počet snímků se liší podle datasetu a následuje metodologii uvedenou v původní publikaci každého datasetu. Kanály vyhodnocení vytvářejí snímky vzorkováním otázek a odpovědí z části dat uchovávané z vyhodnocení.

Omezení srovnávacích testů

Všechny srovnávací testy mají svá omezení, která byste měli zvážit při interpretaci výsledků:

  • Srovnávací testy kvality: Datové sady srovnávacích testů můžou být v průběhu času nasycené, protože modely se trénují nebo ladí s podobnými daty. Výsledky vyhodnocení se také můžou lišit v závislosti na konstrukci výzvy a počtu použitých příkladů s několika snímky.
  • Srovnávací testy výkonu: Metriky se shromažďují pomocí syntetických úloh s pevným poměrem tokenů vstupního a výstupního tokenu a nasazeními s jednou oblastí. Skutečný výkon se může lišit v závislosti na vzorech úloh, souběžnosti, oblasti a konfiguraci nasazení.
  • Srovnání nákladů: Odhady nákladů jsou založeny na poměru vstupních a výstupních tokenů a aktuálních cenách v době měření. Skutečné náklady závisí na vaší úloze a podléhají změnám cen.

Související obsah

  • Last updated on