Uw model trainen en evalueren
Het trainen en evalueren van uw model is een iteratief proces voor het toevoegen van gegevens en labels aan uw trainingsgegevensset om het model nauwkeuriger te leren. Language Studio biedt scoren op de pagina Modeldetails weergeven in het linkerdeelvenster om te weten welke typen gegevens en labels moeten worden verbeterd.
Afzonderlijke entiteiten en uw algehele modelscore worden onderverdeeld in drie metrische gegevens om uit te leggen hoe ze presteren en waar ze moeten worden verbeterd.
| Metrisch | Omschrijving |
|---|---|
| Precisie | De verhouding van geslaagde entiteitsherkenningen tot alle geprobeerde herkenningen. Een hoge score betekent dat zolang de entiteit wordt herkend, deze juist is gelabeld. |
| Intrekken | De verhouding tussen geslaagde entiteitsherkenning en het werkelijke aantal entiteiten in het document. Een hoge score betekent dat de entiteit of entiteiten goed worden gevonden, ongeacht of deze het juiste label toewijst |
| F1-score | Combinatie van precisie en relevante overeenkomsten met één score metrische gegevens |
Scores zijn zowel per entiteit als voor het model als geheel beschikbaar. Mogelijk vindt u een entiteitsscore goed, maar het hele model niet.
Metrische gegevens interpreteren
Idealiter willen we dat ons model goed scoren in zowel precisie als relevante overeenkomsten, wat betekent dat de herkenning van entiteiten goed werkt. Als beide metrische gegevens een lage score hebben, betekent dit dat het model moeite heeft om entiteiten in het document te herkennen en wanneer deze entiteit wordt geëxtraheerd, wordt het niet met hoge betrouwbaarheid het juiste label toegewezen.
Als precisie laag is maar relevante overeenkomsten hoog is, betekent dit dat het model de entiteit goed herkent, maar niet labelt als het juiste entiteitstype.
Als precisie hoog is, maar relevante overeenkomsten laag is, betekent dit dat het model de entiteit niet altijd herkent, maar wanneer het model de entiteit extraheert, wordt het juiste label toegepast.
Verwarringsmatrix
Op dezelfde pagina met modeldetails weergeven bevindt zich een ander tabblad bovenaan voor de verwarringsmatrix. Deze weergave biedt een visuele tabel van alle entiteiten en hoe elke entiteit is uitgevoerd, waardoor een volledige weergave van het model wordt gegeven en waar het te kort komt.
Met de verwarringsmatrix kunt u visueel bepalen waar u gegevens kunt toevoegen om de prestaties van uw model te verbeteren.