Výkon prediktivního modelu
Po každém trénování vyhodnotí AI Builder kvalitu a přesnost nového modelu pomocí testovací datové sady. Na stránce souhrnu modelu se zobrazí výsledky trénování modelu. Tyto výsledky jsou vyjádřeny jako výkonnostní stupeň A, B, C nebo D.
Měření výkonu
Úroveň výkonu
Po každém trénování AI Builder zobrazí známku, která vám má usnadnit hodnocení přesnosti modelu. Rozhodnutí, jestli je model připravený na publikování, závisí na vašich jedinečných potřebách a okolnostech. AI Builder poskytuje následující známky výkonu, které vám při takovém individuálním rozhodování pomohou.
Jak interpretovat každou třídu
| Úroveň | Pokyny |
|---|---|
| A | I když tu může být stále prostor pro vylepšování modelu, jedná se o nejvyšší známku, kterou můžete dostat. |
| B | Model je ve většině případů správný. Lze ho ale ještě vylepšit? To záleží na jedinečných okolnostech, datech a požadavcích. |
| C | Tento model si vede o něco lépe než náhodný odhad. V některých aplikacích může být přijatelný, ale většinou je potřeba ho nadále upravovat a vylepšovat. |
| D | Něco není v pořádku. Model ale podává horší výkon, než bychom očekávali v rámci náhodného odhadu (model underfit). Nebo funguje tak dobře (na 100 % nebo téměř 100 %), že jste pravděpodobně získali datový sloupec, který má přímou vazbu na výsledek (nepřiměřeně dobrý model). |
- Více informací o modelech underfit
- Více informací o modelech overfit
Rozsah přesnosti se liší v závislosti na vašich datech
Pokud predikujete 2 nebo více výsledků, mohou být skutečné hodnoty přesnosti odpovídající výše uvedeným stupňům mohou být různé podle distribuce vašich historických dat. Tento rozdíl je způsobený tím, že když posunete základní hodnotu míry, změní se i míra vylepšení vůči této hodnotě.
Řekněme, že váš model předpovídá, jestli bude dodávka dodána včas. Pokud je vaše historická míra dodání včas 80%, skóre výkonu 92 by odpovídalo známce B. Pokud je ale vaše historická míra dodání včas 50%, 92 by odpovídalo známce A. Je to proto, že vylepšení z 50% na 92% je mnohem lepší než z 80 % na 92 % a mohli byste očekávat, že těmto procentuálním hodnotám se blíží i náhodný odhad.
Příklad binárních historických dat
Na tomto příkladu vidíte rozsahy přesnosti pro každou známku, kdy historická data obsahují různé míry dodání včas pro binární předpověď.
| Úroveň | Rozsah přesnosti pro historickou míru dodání včas 25 % | Rozsah přesnosti pro historickou míru dodání včas 50 % | Rozsah přesnosti pro historickou míru dodání včas 80 % | Rozsah přesnosti pro historickou míru dodání včas 95 % |
|---|---|---|---|---|
| A | 92,5 – <99,3 % | 90 – 98% | 93 – <99 % | 98,1 – <99,8 % |
| B | 81,3 – <92,5 % | 75 – <90 % | 84 – <93 % | 95,3 – <98,1 % |
| C | 66,3 – <81,3 % | 55 – <75 % | 71 – <84 % | 91,5 – <95,3 % |
| D | <66,3 % nebo ≥99,3 % | <55 % nebo ≥98 % | <71 % nebo ≥99 % | <91,5 % nebo ≥99,8 % |
Příklad historických dat s více výsledky
Míra přesnosti, která odpovídá každé třídě, se také může lišit, pokud předpovídáte více než 2 výsledky. Řekněme, že váš model předpovídá více než dvě možnosti doručení: brzy, včas nebo pozdě.
Rozsahy přesnosti pro každou třídu se mění, když se změní vaše historické sazby v čase.
| Úroveň | Brzy (33,3%) | Brzy (20%) | Brzy (10%) |
|---|---|---|---|
| Včas (33,3%) | Včas (40%) | Včas (80%) | |
| Pozdě (33,4%) | Pozdě (40%) | Pozdě (10%) | |
| A | 86,7 – <98,7 % | 87,2 – <98,7 % | 93,2 – <99,3 % |
| B | 66,7 – <86,7 % | 68,0 – <87,2 % | 83,0 – <93,2 % |
| C | 40,0 – <66,7 % | 42,4 – <68,0 % | 69,4 – <83,0 % |
| D | 33,3 – <40,0 % | 36,0 – <42,4 % | 66,0 – <69,4 % |
Příklad numerické predikce
U číselných predikcí AI Builder používá statistickou míru R-kvadrát k výpočtu stupně přesnosti vašich modelů. Následující tabulka ukazuje úrovně, které odpovídají jednotlivým úrovním:
| Úroveň | R na druhou |
|---|---|
| A | 85 % – <99 % |
| T | 60 % – <85 % |
| C | 10 % – <60 % |
| D | ≥99 % nebo <10 % |
Podrobnosti výkonu
Podrobnosti o trénování najdete výběrem možnosti Zobrazit podrobnosti v poli se známkou modelu. Na kartě Výkon jsou k dispozici následující informace:
Poznámka:
Informace o dalších funkcích plánovaných pro tuto oblast najdete na stránce s plány zpřístupnění nových funkcí.
- Skóre přesnosti
- R na druhou
Skóre přesnosti
AI Builder počítá skóre přesnosti vašeho modelu na základě výsledku předpovědi testovací datové sady. Před zahájením trénování rozdělí AI Builder vaši datovou sadu na samostatné datové sady pro trénování a testování. Po jeho dokončení aplikuje AI Builder model AI na testovací datovou sadu a následně vypočítá skóre přesnosti. Například: pokud má vaše testovací datová sada 200 řádků a AI Builder správně předpovídá 192 z nich, ukazuje AI Builder skóre přesnosti 96 procent.
Další informace najdete v tématu věnovaném vyhodnocení modelu.
R na druhou
U číselných predikcí AI Builder vypočítá r-kvadrát skóre po každém tréninku. Toto skóre měří „dobrou kondici“ vašeho modelu a používá se ke stanovení stupně výkonu vašeho modelu.
Řekněme, že odhadujete počet dní na přípravu, odeslání a dodání objednávky. Model předpovídá sadu čísel. Hodnota r na druhou je založena na vzdálenosti mezi předpovězenými hodnotami a skutečnými hodnotami ve vašich školicích datech. To se vyjadřuje jako číslo v rozsahu 0–100 %, kdy vyšší hodnoty znamenají, že předpovídaná hodnota je blíž k reálné hodnotě. Vyšší skóre obvykle znamená, že model má lepší výkon. Nezapomeňte ale, že skvělé nebo téměř dokonalé výsledky (nepřiměřeně dobré modely) obvykle ukazují na problém se školicími daty.
Na kartě Souhrn jsou k dispozici následující informace o výkonu:
- Datum trénování
- Zdroj dat
- Historický výsledek
- Seznam tabulek použitý k předpovědi
Vylepšení výkonu prediktivního modelu
Po natrénování a vyhodnocení je potřeba model upravit tak, abyste vylepšili jeho výkon. K tomu můžete zkusit některý z těchto kroků.
Kontrola chyb a problémů
- Pokud po dokončení trénování vidíte nějaké chyby, opravte je a model znovu natrénujte.
- V případě, že se žádné chyby nevyskytují, zkontrolujte podrobnosti trénování. Zkuste vyřešit co nejvíce problémů a potom model znovu natrénujte.
Kontrola hlavních vlivových faktorů
Po každém trénování se na stránce podrobností modelu zobrazí seznam hlavních vlivových faktorů. Ke všem sloupcům, které se při trénování použily, se váže skóre představující jejich vliv na trénování. Tato skóre se kombinuje tak, aby výsledná hodnota byla 100 procent.
Tímto způsobem můžete snáze zjistit, jestli se model natrénoval podle očekávání. Například pokud chcete předpovědět záměr online nakupujících a očekáváte Věk, produkt jako nejvlivnější sloupec, měli byste to vidět v seznamu nejvlivnějších sloupců na stránce podrobností modelu. Není-li tomu tak, může to znamenat, že trénování nepřineslo očekávaný výsledek. V takovém případě je potřeba buď zrušit výběr irelevantních nebo zavádějících sloupců a model znovu natrénovat, nebo si projít problémy s trénováním a zjistit tak další podrobnosti.
Přidejte další data
Minimální požadovaný počet trénovacích dat představuje 50 řádků, což ale neznamená, že těchto 50 datových řádků natrénuje vysoce prediktivní model. Pokuste se zajistit 1000 nebo více datových řádků se správnými popisky, které budou realisticky rozdělené mezi jednotlivé možnosti.
Kontrola distribuce dat
Pokud například používáte popisek se dvěma možnostmi Ano a Ne a většina datových řádků obsahuje v tomto sloupci jen Ano, je pro model těžké se z těchto dat učit. Zkuste mít možnosti v datech rozdělené tak, aby přibližně odrážely výsledné rozdělení, které očekáváte. Pokud například pracujete s datovými sloupci typu majitel_kočky a majitel_psa, použijte cca 50procentní distribuci dat. Pracujete-li ale s podvodnými transakcemi, zvolte více nevyváženou distribuci například 95procent až 5procent. Pokud si nejste jistí, jaké výsledky očekávat, vyhledejte si tyto informace v oborových standardech.
Přidání dalšího sloupce
Tuto možnost použijte například tehdy, když chcete předpovídat, kteří zákazníci se s větší pravděpodobností vrátí a koupí vaše produkty. Přidáním více sloupců můžete obohatit trénovací data. Příklad:
- Jak zákazník hodnotí produkt?
- Jak moc zákazník produkt používá?
- Jedná se o stávajícího zákazníka?
Zúžení vybraných sloupců na sloupce s relevantními informacemi
Je možné, že už máte velké množství trénovacích dat se správnými popisky a mnoha datovými sloupci. Proč ale model ještě pořád nefunguje dobře? Možná jste vybrali sloupce, které vytvářejí nežádoucí odchylku. Ujistěte se, že všechny vybrané sloupce ovlivňující výsledek jsou pro vaši předpověď relevantní. Výběr irelevantních nebo zavádějících sloupců zrušte.
Ověření dat
- Zkontrolujte, že datové sloupce nemají vysokou míru chybějících hodnot (větší 99 procent). Naplňte chybějící hodnoty výchozími daty nebo odeberte datový sloupec z trénování modelu.
- Pokud má nějaký datový sloupec vysokou korelaci s výsledkem predikce, odeberte jej z trénování modelu.