Einführung
Sie können die Fehler Ihrer Klassifizierungsmodelle bewerten, zum Beispiel False-Negative- oder False-Positive-Ergebnisse. So finden Sie heraus, welche Fehler ein Modell macht. Sie erfahren jedoch nicht, wie die Modellleistung wäre, wenn geringfügige Anpassungen an dessen Entscheidungskriterien vorgenommen würden. Hier werden ROC-Kurven besprochen, die auf einer Wahrheitsmatrix basieren, jedoch detaillierte Informationen dazu liefern, wie Modelle noch mehr verbessert werden können.
Szenario:
In diesem Modul wird die Arbeit mit ROC-Kurven am folgenden Beispielszenario veranschaulicht und geübt.
Ihre Hilfsorganisation für die Lawinenrettung hat ein Machine Learning-Modell entwickelt, das erkennt, ob es sich bei von Lightweightsensoren erkannten Objekten um Wandernde oder Teile der Natur handelt, z. B. einen Baum oder Felsen. Auf diese Weise können Sie nachverfolgen, wie viele Personen sich auf dem Berg befinden, damit Sie im Fall einer Lawine wissen, ob ein Rettungsteam benötigt wird. Das Modell funktioniert schon gut, aber Sie fragen sich, ob Sie es noch weiter verbessern könnten. Intern muss das Modell eine binäre Entscheidung darüber treffen, ob ein Objekt ein Wanderer ist oder nicht. Diese basiert jedoch auf Wahrscheinlichkeiten. Kann dieser Entscheidungsprozess optimiert werden, um die Leistung zu verbessern?
Voraussetzungen
- Erfahrung mit Machine Learning-Modellen
Lernziele
In diesem Modul wird Folgendes thematisiert:
- Erstellen von ROC-Kurven
- Bewerten und Vergleichen von Modellen mithilfe von Kurven
- Optimieren eines Modells mithilfe von in Form von ROC-Kurven dargestellten Merkmalen