Bewerten von Klassifizierungsmodellen
Die Trainingsgenauigkeit eines Klassifizierungsmodells ist lange nicht so wichtig wie die Funktionsweise dieses Modells bei neuen, unbekannten Daten. Schließlich trainieren wir Modelle so, dass sie für neue Daten verwendet werden können, die wir in der realen Welt finden. Nachdem wir also ein Klassifizierungsmodell trainiert haben, werden wir nun seine Leistung für eine Reihe neuer, unbekannter Daten bewerten.
In den vorherigen Einheiten haben wir ein Modell erstellt, mit dem sich anhand des Blutzuckerspiegels eines Patienten vorhersagen lässt, ob dieser Diabetes hat oder nicht. Wenn wir dieses Modell nun auf Daten anwenden, die nicht Teil des Trainingssatzes waren, erhalten wir die folgenden Vorhersagen.
| x | Y | ŷ |
|---|---|---|
| 83 | 0 | 0 |
| 119 | 1 | 1 |
| 104 | 1 | 0 |
| 105 | 0 | 1 |
| 86 | 0 | 0 |
| 109 | 1 | 1 |
Denken Sie daran, dass sich x auf den Blutzuckerspiegel, y auf den tatsächlichen Gesundheitszustand des Patienten (Diabetiker oder nicht) und ŷ auf die Vorhersage des Modells (Diabetiker oder nicht) bezieht.
Einfach zu berechnen, wie viele Vorhersagen richtig waren, ist manchmal irreführend oder allzu einfach, als dass wir uns ein Bild davon machen könnten, welche Arten von Fehlern in der realen Welt auftreten. Zur Gewinnung genauerer Informationen können wir die Ergebnisse in einer Tabellenstruktur darstellen, die als Konfusionsmatrix bezeichnet wird:
Die Konfusionsmatrix zeigt die Gesamtzahl der Fälle, in denen Folgendes gilt:
- Das Modell hat 0 vorhergesagt, und die tatsächliche Bezeichnung ist 0 (richtig negativ, oben links).
- Das Modell hat 1 vorhergesagt, und die tatsächliche Bezeichnung ist 1 (richtig positiv, unten rechts).
- Das Modell hat 0 vorhergesagt, und die tatsächliche Bezeichnung ist 1 (falsch negativ, unten links).
- Das Modell hat 1 vorhergesagt, und die tatsächliche Bezeichnung ist 0 (falsch positiv, oben rechts).
Die Zellen in einer Konfusionsmatrix werden häufig farblich hinterlegt, damit höhere Werte einen stärkeren Farbton haben. Dadurch ist es einfacher, einen starken diagonalen Trend von oben links nach unten rechts zu erkennen. Dabei werden die Zellen hervorgehoben, bei denen vorhergesagter und tatsächlicher Wert übereinstimmen.
Aus diesen Kernwerten können Sie verschiedene andere Metriken berechnen, die Ihnen helfen können, die Leistung des Modells zu bewerten. Beispiel:
- Genauigkeit: (RP+RN)/(RP+RN+FP+FN) – wie viele der Vorhersagen waren korrekt?
- Sensitivität: RP/(RP+FN) – wie viele der tatsächlich positiven Fälle hat das Modell ermittelt?
- Präzision: RP/(RP+FP) – wie viele der vorhergesagten positiven Fälle sind tatsächlich positiv?