Vyhodnocení klasifikačních modelů
Přesnost trénování klasifikačního modelu je mnohem méně důležitá než to, jak dobře bude tento model fungovat při zadání nových, neviditelných dat. Nakonec vytrénujeme modely tak, aby se mohly používat na nových datech, která najdeme v reálném světě. Jakmile tedy natrénujeme klasifikační model, vyhodnotíme, jak funguje u sady nových, nezoznaných dat.
V předchozích lekcích jsme vytvořili model, který by předpověděl, jestli pacient měl cukrovku nebo ne na základě hladiny glukózy v krvi. Když se teď použijete na některá data, která nebyla součástí trénovací sady, získáme následující předpovědi.
| linka | y | ŷ |
|---|---|---|
| 83 | 0 | 0 |
| 119 | 1 | 1 |
| 104 | 0 | 0 |
| 105 | 0 | 1 |
| 86 | 0 | 0 |
| 109 | 1 | 1 |
Vzpomeňte si, že x odkazuje na hladinu glukózy v krvi, y odkazuje na to, zda jsou skutečně diabetici, a ŷ odkazuje na predikci modelu, zda jsou diabetici nebo ne.
Jen výpočet, kolik předpovědí bylo správné, je někdy zavádějící nebo příliš zjednodušené, abychom pochopili druhy chyb, které provede v reálném světě. Abychom získali podrobnější informace, můžeme výsledky tabulovat ve struktuře označované jako konfuzní matice, například takto:
Konfuzní matice zobrazuje celkový počet případů, kdy:
- Model predikoval hodnotu 0 a skutečný popisek je 0 (pravdivě záporné hodnoty, vlevo nahoře)
- Model predikovaný 1 a skutečný popisek je 1 (pravdivě pozitivní, vpravo dole)
- Model predikoval hodnotu 0 a skutečný popisek je 1 (falešně negativní hodnoty, vlevo dole)
- Model predikovaný 1 a skutečný popisek je 0 (falešně pozitivní, vpravo nahoře)
Buňky v konfuzní matici jsou často stínovány tak, aby vyšší hodnoty měly hlubší stín. To usnadňuje zobrazení silného diagonálního trendu z levého horního do pravého dolního rohu a zvýraznění buněk, kde jsou predikovaná hodnota a skutečná hodnota stejné.
Z těchto základních hodnot můžete vypočítat rozsah dalších metrik, které vám pomůžou vyhodnotit výkon modelu. Příklad:
- Přesnost: (TP+TN)/(TP+TN+FP+FN) – všechny předpovědi, kolik jich bylo správné?
- Vzpomeňte si: TP/(TP+FN) – ve všech případech, které jsou pozitivní, kolik model identifikoval?
- Přesnost: TP/(TP+FP) – všech případů, které model predikoval jako pozitivní, kolik skutečně pozitivních ?