Trainieren und Bewerten Ihres Modells
Schulung und Auswertung Ihres Modells ist ein iterativer Prozess zum Hinzufügen von Daten und Bezeichnungen zu Ihrem Schulungsdatensatz, um das Modell genauer zu vermitteln. Um zu wissen, welche Arten von Daten und Bezeichnungen verbessert werden müssen, bietet Language Studio die Bewertung auf der Seite " Modelldetails anzeigen " im linken Bereich.
Einzelne Entitäten und Ihre Gesamtmodellbewertung werden in drei Metriken unterteilt, um zu erläutern, wie sie funktionieren und wo sie verbessert werden müssen.
| Maßeinheit | BESCHREIBUNG |
|---|---|
| Präzision | Das Verhältnis der erfolgreichen Entitätserkennungen zu allen versuchten Erkennungen. Eine hohe Punktzahl bedeutet, dass die Entität korrekt bezeichnet wird, solange sie erkannt wird. |
| Abruf | Das Verhältnis der erfolgreichen Entitätserkennungen zur tatsächlichen Anzahl von Entitäten im Dokument. Ein hoher Score bedeutet, dass die Entitäten einfach gefunden werden, unabhängig davon, ob sie richtig bezeichnet sind. |
| F1-Bewertung | Kombination aus Genauigkeit und Abruf in einer einzelnen Bewertungsmetrik |
Bewertungen sind sowohl pro Entität als auch für das Modell als Ganzes verfügbar. Möglicherweise stellen Sie fest, dass eine Entität gut bewertet ist, aber das gesamte Modell nicht.
So interpretieren Sie Metriken
Im Idealfall möchten wir, dass unser Modell sowohl in Präzision als auch im Rückruf gut bewertet wird, was bedeutet, dass die Entitätserkennung gut funktioniert. Wenn beide Metriken einen niedrigen Score aufweisen, bedeutet dies, dass das Modell Schwierigkeiten hat, Entitäten im Dokument zu erkennen, und wenn es die Entität extrahiert, ordnet es ihr nicht mit hoher Konfidenz die richtige Bezeichnung zu.
Wenn die Genauigkeit niedrig ist, aber der Rückruf hoch ist, bedeutet dies, dass das Modell die Entität gut erkennt, sie aber nicht als den richtigen Entitätstyp bezeichnet.
Wenn die Genauigkeit hoch ist, aber der Rückruf niedrig ist, bedeutet dies, dass das Modell die Entität nicht immer erkennt, aber wenn das Modell die Entität extrahiert, wird die richtige Bezeichnung angewendet.
Konfusionsmatrix
Auf derselben Seite Modellansicht-Details befindet sich eine weitere obere Registerkarte für die Konfusionsmatrix. Diese Ansicht bietet eine visuelle Tabelle aller Entitäten und deren Leistung, und sie bietet eine vollständige Ansicht des Modells und zeigt, wo es Schwächen aufweist.
Mit der Verwirrungsmatrix können Sie visuell ermitteln, wo Daten hinzugefügt werden sollen, um die Leistung Ihres Modells zu verbessern.