Treinar e avaliar seu modelo
Treinar e avaliar seu modelo é um processo iterativo de adicionar dados e rótulos ao seu conjunto de dados de treinamento para ensinar o modelo com mais precisão. Para saber quais tipos de dados e rótulos precisam ser aprimorados, o Language Studio fornece pontuação na página Exibir detalhes do modelo no painel esquerdo.
As entidades individuais e a pontuação geral do modelo são divididas em três métricas para explicar como estão se saindo e onde precisam melhorar.
| Métrica | Descrição |
|---|---|
| Precisão | A proporção entre reconhecimentos de entidade bem-sucedidos e todos os reconhecimentos tentados. Uma pontuação alta significa que, desde que a entidade seja reconhecida, ela é rotulada corretamente. |
| Recall | A proporção de reconhecimentos de entidades bem-sucedidos em relação ao número total de entidades no documento. Uma pontuação alta significa que localiza bem a entidade ou entidades, independentemente de atribuir a elas o rótulo certo |
| Pontuação da F1 | Combinação de precisão e recall fornecendo uma só métrica de pontuação |
As pontuações estão disponíveis por entidade e para o modelo como um todo. Você pode perceber que uma entidade tem uma boa pontuação, mas o modelo como um todo não.
Como interpretar métricas
Idealmente, queremos que nosso modelo obtenha bons resultados tanto em precisão quanto em recall, o que significa que o reconhecimento de entidades funciona bem. Se ambas as métricas tiverem uma pontuação baixa, isso significa que o modelo está lutando para reconhecer entidades no documento e, quando extrai essa entidade, ele não atribui o rótulo correto com alta confiança.
Se a precisão for baixa, mas o recall for alto, isso significa que o modelo reconhece bem a entidade, mas não a rotula como o tipo de entidade correto.
Se a precisão estiver alta, mas o recall estiver baixo, significa que o modelo nem sempre reconhece a entidade, mas quando o modelo extrai a entidade, o rótulo correto é aplicado.
Matriz de confusão
Na mesma página Exibir detalhes do modelo, há outra guia na parte superior da Matriz de confusão. Essa exibição fornece uma tabela visual de todas as entidades e como cada uma delas desempenhou, oferecendo uma visão completa do modelo e onde ele está apresentando deficiências.
A matriz de confusão permite identificar visualmente onde adicionar dados para melhorar o desempenho do modelo.