Luokitusmallien arvioiminen
Luokitusmallin harjoittamisen tarkkuus on paljon vähemmän tärkeä kuin se, miten hyvin malli toimii, kun sille annetaan uusia, näkymättömiä tietoja. Loppujen lopuksi koulutamme malleja niin, että niitä voidaan käyttää uusissa tiedoissa, joita löydämme todellisesta maailmasta. Kun olemme harjoittaneet luokitusmallin, arvioimme, miten se suoriutuu uusille, näkymättomille tiedoille.
Edellisissä yksiköissä loimme mallin, joka ennustaa, onko potilaalla diabetes vai ei verensokerin perusteella. Nyt, kun otetaan käyttöön joitakin tietoja, jotka eivät kuulu koulutusjoukkoon, saamme seuraavat ennusteet.
| x | y | ŷ |
|---|---|---|
| 83 | 0 | 0 |
| 119 | 1 | 1 |
| 104 | 1 | 0 |
| 105 | 0 | 1 |
| 86 | 0 | 0 |
| 109 | 1 | 1 |
Muista, että x viittaa verensokeritasoon, y viittaa siihen, ovatko ne todella diabeetisiä, ja viittaa mallin ennusteeseen siitä, ovatko ne diabeetisiä vai eivät.
Se, kuinka monta ennustetta oli oikein, on joskus harhaanjohtavaa tai liian yksinkertaista ymmärtääksemme, millaisia virheitä se tekee todellisessa maailmassa. Tarkempien tietojen saamiseksi voimme tarkastella tuloksia taulukkomuodossa, jota kutsutaan sekaannusmatriisiksi, tällä tavalla:
Sekaannusmatriisi näyttää niiden tapausten kokonaismäärän, joissa:
- Malli ennusti 0:n ja todellinen otsikko on 0 (true-negatiiviset, vasemmassa yläkulmassa)
- Malli ennusti luvun 1 ja todellinen otsikko on 1 (true-positiiviset, alaoikealla)
- Malli ennusti 0:n ja todellinen otsikko on 1 (false-negatiivisia, alavasemmalla)
- Malli ennusti luvun 1 ja todellinen otsikko on 0 (false-positiiviset, oikea yläkulma)
Sekaannusmatriisin solut sävytetään usein niin, että suuremmilla arvoilla on syvempi sävy. Tämän ansiosta on helpompi nähdä vahva vino trendi vasemmasta yläkulmasta oikeaan alakulmaan korostamalla solut, joissa ennustettu arvo ja todellinen arvo ovat samat.
Näistä ydinarvoista voit laskea joukon muita mittareita, joiden avulla voit arvioida mallin suorituskykyä. Esimerkiksi:
- tarkkuuden: (TP + TN)/(TP + TN + FP + FN) - kuinka monta niistä oli oikein?
- Muista,: TP/(TP + FN) – kaikista tapauksista, joissa ovat positiivisia, kuinka monta malli tunnisti?
- Precision: TP/(TP + FP) – kaikista tapauksista, joiden malli on ennustanut olevan positiivisia, kuinka moni positiivinen?