Leistung des Vorhersagemodells
Nach jedem Training verwendet AI Builder den Testdatensatz, um die Qualität und Passgenauigkeit des neuen Modells zu bewerten. Auf einer Übersichtsseite finden Sie das Trainingsergebnis Ihres Modells. Diese Ergebnisse werden als Leistungsstufe A, B, C oder D ausgedrückt.
Messen der Leistung
Leistungsklasse
Nach jeder Schulung zeigt AI Builder eine Bewertung an, mit der Sie die Genauigkeit Ihres Modells bewerten können. Die Entscheidung darüber, ob Ihr Modell veröffentlicht werden kann oder nicht, müssen Sie auf Grundlage Ihrer speziellen Anforderungen und Umstände treffen. AI Builder umfasst die folgenden Leistungsklassen, auf die Sie Ihre Entscheidung stützen können:
Wie man jede Klasse interpretiert
| Klasse | Anleitung |
|---|---|
| A | Vielleicht könnte das Modell noch verbessert werden, eine bessere Bewertung können Sie jedoch nicht mehr erhalten. |
| B | Das Modell liegt in vielen Fällen richtig. Könnte es noch verbessert werden? Das hängt von Ihren speziellen Umständen, Daten und Anforderungen ab. |
| C | Das Modell liefert Ergebnisse, die geringfügig genauer sind als eine Zufallsvorhersage. Für manche Anwendungen könnte das ausreichen, in den meisten Fällen würden Sie an so einem Modell jedoch noch weiter arbeiten und es weiter optimieren. |
| D | Hier stimmt etwas nicht. Ihr Modell schneidet entweder schlechter ab, als wir es von einer Zufallsvorhersage erwarten würden (unterqualifiziertes Modell). Oder, es funktioniert so gut (bei oder nahe 100%), dass Sie wahrscheinlich eine Datenspalte haben, die direkt mit dem Ergebnis korreliert (Overfit-Modell) . |
- Weitere Informationen zu unterqualifizierten Modellen
- Weitere Informationen zu überqualifizierten Modellen
Der Genauigkeitsbereich hängt von Ihren Daten ab
Wenn Sie zwei oder mehr Ergebnisse vorhersagen, können die tatsächlichen Genauigkeitsraten, die den oben genannten Klassen entsprechen, abhängig von der Datenverteilung Ihrer historischen Daten variieren. Dies liegt daran, dass sich die Verbesserung im Verhältnis zur Rate Ihrer bisherigen Daten ändert, wenn diese verändert werden.
Angenommen, mit Ihrem Modell soll die Pünktlichkeit einer Lieferung vorhersagt werden. Lag die Pünktlichkeit von Lieferungen in der Vergangenheit bei 80%, entspräche eine Leistungsbewertung von 92 der Leistungsklasse B. Betrug die Pünktlichkeit von Lieferungen jedoch nur 50%, entspräche eine Bewertung von 92 der Leistungsklasse A. Das liegt daran, dass 92 Prozent eine deutlich höhere Verbesserung im Vergleich zu 50Prozent ist, als 92Prozent im Vergleich zu 80 Prozent. Sie würden erwarten, dass eine zufällige Vorhersage in etwa diesen Prozentwerten entspricht.
Beispiel für binäre historische Daten
Das folgende Beispiel zeigt die Genauigkeitsspanne der einzelnen Klassen, wenn die Verlaufsdaten unterschiedliche Pünktlichkeitsraten für eine binäre Vorhersage enthalten.
| Klasse | Genauigkeitsspanne für eine bisherige Pünktlichkeitsrate von 25 % | Genauigkeitsspanne für eine bisherige Pünktlichkeitsrate von 50 % | Genauigkeitsspanne für eine bisherige Pünktlichkeitsrate von 80 % | Genauigkeitsspanne für eine bisherige Pünktlichkeitsrate von 95 % |
|---|---|---|---|---|
| A | 92.5 – <99.3 % | 90 – 98 % | 93 – <99 % | 98.1 – <99.8 % |
| B | 81.3 – <92.5 % | 75 – <90 % | 84 – <93 % | 95.3 – <98.1 % |
| K | 66.3 – <81.3 % | 55 – <75 % | 71 – <84 % | 91.5 – <95.3 % |
| D | <66,3 % oder 99,3 % ≥ | <55 % oder ≥98 % | <71 % oder ≥99 % | <91,5 % oder 99,8 % ≥ |
Beispiel für historische Daten mit mehreren Ergebnissen
Die Genauigkeitsraten, die jeder Klasse entsprechen, können auch variieren, wenn Sie mehr als zwei Ergebnisse vorhersagen. Angenommen, Ihr Modell sagt mehr als zwei Lieferoptionen voraus: früh, pünktlich oder spät.
Die Genauigkeitsbereiche für jede Note ändern sich, wenn sich Ihre historischen Pünktlichkeitsraten ändern.
| Klasse | Früh (33,3 %) | Früh (20 %) | Früh (10 %) |
|---|---|---|---|
| Pünktlich (33,3 %) | Pünktlich (40 %) | Pünktlich (80 %) | |
| Spät (33,4 %) | Spät (40 %) | Spät (10 %) | |
| A | 86.7 – <98.7 % | 87.2 – <98.7 % | 93.2 – <99.3 % |
| B | 66.7 – <86.7 % | 68.0 – <87.2 % | 83.0 – <93.2 % |
| C | 40.0 – <66.7 % | 42.4 – <68.0 % | 69.4 – <83.0 % |
| D | 33.3 – <40.0 % | 36.0 – <42.4 % | 66.0 – <69.4 % |
Beispiel für numerische Vorhersage
Für numerische Vorhersage verwendet AI Builder das statistische R-Quadrat-Maß, um die Genauigkeitsklasse Ihres Modells zu berechnen. Die folgende Tabelle zeigt die Klassen, die jeder Klasse entsprechen:
| Klasse | R-Quadrat |
|---|---|
| A | 85 % - <99 % |
| B | 60 % - <85 % |
| K | 10 % - <60 % |
| D | ≥99 % oder <10 % |
Leistungsdetails
Weitere Informationen zu Trainingsdetails erhalten Sie, wenn Sie im Bewertungsfeld des Modells auf Details anzeigen klicken. Auf der Registerkarte Leistung finden Sie die folgenden Informationen:
Notiz
Weitere Informationen zu zusätzlichen Features, die für diesen Bereich geplant sind, finden Sie unter Veröffentlichungspläne.
- Genauigkeitswert
- R-Quadrat
Genauigkeitswert
AI Builder berechnet den Genauigkeitswert für Ihr Modell basierend auf dem Vorhersageergebnis des Test-DataSets. Vor dem Training trennt der AI Builder Ihr DataSet in separate Trainings- und Testdatasets. Nach dem Training wendet der AI Builder Ihr KI-Modell auf das Test-DataSet an und berechnet anschließend den Genauigkeitswert. Zum Beispiel: Wenn Ihr Test-DataSet 200 Zeilen hat und AI Builder 192 von ihnen richtig vorhersagt, weist AI Builder eine Genauigkeit von 96 Prozent auf.
Weitere Informationen finden Sie unter Auswerten des Modells.
R-Quadrat
Für numerische Vorhersage berechnet AI Builder nach jedem Training ein R-Quadrat-Ergebnis. Diese Punktzahl misst die Anpassungsgüte Ihres Modells und wird verwendet, um den Leistungsgrad Ihres Modells zu bestimmen.
Angenommen, Sie möchten die Anzahl der Tage vorhersagen, die zum Ausführen, Versenden und Liefern einer Bestellung benötigt wird. Dabei generiert das Vorhersagemodell eine Reihe von Zahlen. Der R-Quadrat-Wert basiert auf den Unterschied zwischen den vorhergesagten und den tatsächlichen Werten Ihrer Trainingsdaten. Dieser Unterschied wird als eine Zahl zwischen 0 und 100 % ausgedrückt. Dabei gilt: Je größer die Zahl, desto näher liegt der vorhergesagte Wert am tatsächlichen Wert. Eine höhere Bewertung bedeutet in der Regel eine bessere Leistung des Modells. Denken Sie jedoch daran, dass eine optimale oder fast optimale Bewertung in der Regel auf ein Problem mit Ihren Trainingsdaten hinweist (überqualifizierte Modelle).
In der Registerkarte Zusammenfassung finden Sie die folgenden Leistungsinformationen:
- Trainingsdaten
- Datenquelle
- Historisches Ergebnis
- Tabellenliste für die Vorhersage
Verbessern der Leistung des Vorhersagemodells
Wenn Sie ein Modell trainiert und ausgewertet haben, ist es an der Zeit, seine Leistung zu verbessern. Im Anschluss finden Sie einige Maßnahmen, mit denen Sie die Prognosequalität des Modells erhöhen können:
Überprüfen von Fehlern und Problemen
- Beheben Sie nach dem Training eventuell auftretende Fehler und führen Sie ein erneutes Training des Modells durch.
- Überprüfen Sie die Trainingsdetails, wenn keine Fehler auftreten. Versuchen Sie, so viele Probleme wie möglich zu beheben, und führen Sie dann ein erneutes Training des Modells durch.
Überprüfen wichtigster Einflussfaktoren
Nach dem Training wird auf der Detailseite des Modells eine Liste der wichtigsten Einflussfaktoren angezeigt. Jede Spalte, die in der Schulung verwendet wird, hat eine Bewertung, um ihren Einfluss auf die Schulung darzustellen. Diese Bewertungen entsprechen zusammen 100 Prozent.
Dies hilft zu zeigen, ob Ihr Modell wie erwartet trainiert ist. Wenn Sie z. B. die Absicht von Online-Käufern vorhersagen wollen und Sie Alter, Produkt als einflussreichste Spalte erwarten, sollten Sie dies in der Liste der einflussreichsten Spalten auf der Seite mit den Modelldetails sehen. Andernfalls kann dies darauf hinweisen, dass das Trainingsergebnis nicht den Erwartungen entspricht. In diesem Fall können Sie entweder die irrelevanten oder irreführenden Spalten abwählen und das Modell neu trainieren, oder Sie überprüfen Ihre Trainingsausgaben, um weitere Details zu sehen.
Hinzufügen weiterer Daten
Die Mindestanforderung für Trainingsdaten liegt bei 50 Zeilen. Das bedeutet aber nicht, dass 50 Zeilen ein Modell mit hoher Vorhersageleistung trainieren können. Versuchen Sie es mit 1.000 oder mehr Zeilen, die korrekt gekennzeichnet sind und zwischen den Optionen eine realistische Verteilung aufweisen.
Überprüfen der Datenverteilung
Wenn Sie z. B. über die zwei Optionsbezeichnungen Ja oder Nein verfügen und die meisten Datenzeilen zeigen in dieser Spalte nur Ja an, dann kann das Modell nur schwer aus diesen Daten lernen. Versuchen Sie, die Optionen in Ihren Daten so zu verteilen, dass die Verteilung der Optionen dem entspricht, was Sie erwarten würden. Wenn Sie z. B. die Datenspalten für Katzenbesitzer und Hundebesitzer betrachten, sollten Sie eine Datenverteilung irgendwo um 50 Prozent verwenden. Wenn Sie nach betrügerischen Transaktionen suchen, verwenden Sie eine unausgeglichenere Verteilung, vielleicht 95% bis 5%. Wenn Sie nicht wissen, welche Werte Sie erwarten sollten, sehen Sie sich die entsprechenden Industriestandards an.
Weitere Spalten hinzufügen
Sie möchten beispielsweise voraussagen, welche Kunden wahrscheinlich zurückkehren und Ihre Produkte kaufen werden. Sie können weitere Spalten hinzufügen, um die Trainingsdaten reicher zu machen. Beispiel:
- Wie bewerten sie das Produkt?
- In welchem Umfang nutzen sie das Produkt?
- Handelt es sich um einen Bestandskunden?
Ausgewählte Spalten auf relevante Informationen eingrenzen
Möglicherweise haben Sie bereits eine Menge korrekt beschrifteter Trainingsdaten, mit vielen Datenspalten. Warum zeigt das Modell trotzdem keine gute Leistung? Es könnte sein, dass Sie Spalten auswählen, die zu unerwünschten Verzerrungen führen. Stellen Sie sicher, dass alle ausgewählten Spalten relevant sind, um das zu beeinflussen, was Sie vorhersagen möchten. Heben Sie die Auswahl irrelevanter oder irreführender Spalten auf.
Überprüfen von Daten
- Stellen Sie sicher, dass die Datenspalten keinen hohen Satz an fehlenden Werten aufweisen (größer als 99Prozent). Füllen Sie die fehlenden Werte mit Standarddaten auf oder entfernen Sie die Datenspalte aus dem Modelltraining.
- Wenn eine Datenspalte eine hohe Korrelation mit dem Ergebnis der Vorhersage hat, entfernen Sie die Datenspalte aus dem Modelltraining.