Interpretar e melhorar os escores de precisão e confiança

Um escore de confiança indica probabilidade medindo o grau de certeza estatística de que o resultado extraído é detetado corretamente. A precisão estimada é calculada executando algumas combinações diferentes dos dados de treinamento para prever os valores rotulados. Neste artigo, aprenda a interpretar os escores de precisão e confiança e as práticas recomendadas para usar esses escores para melhorar os resultados de precisão e confiança.

Escores de confiança

Nota

• A confiança no nível de campo inclui pontuações de confiança de palavras com a versão 2024-11-30 (GA) da API para modelos personalizados.
• As pontuações de confiança para tabelas, linhas de tabela e células de tabela estão disponíveis a partir da versão 2024-11-30 (GA) da API para modelos personalizados.

Os resultados da análise do Document Intelligence retornam uma confiança estimada para palavras previstas, pares chave-valor, marcas de seleção, regiões e assinaturas. Atualmente, nem todos os campos do documento retornam uma pontuação de confiança.

A confiança de campo indica uma probabilidade estimada entre 0 e 1 de que a previsão esteja correta. Por exemplo, um valor de confiança de 0,95 (95%) indica que a previsão provavelmente está correta 19 de 20 vezes. Para cenários em que a precisão é crítica, a confiança pode ser usada para determinar se a previsão deve ser aceita automaticamente ou se a sinaliza para revisão humana.

Document Intelligence Studio
Modelo de fatura pré-construído analisado

Melhorar as pontuações de confiança

Após uma operação de análise, revise a saída JSON. Examine os confidence valores para cada resultado de chave/valor no pageResults nó. Você também deve olhar para a pontuação de confiança no readResults nó, que corresponde à operação de leitura de texto. A confiança dos resultados lidos não afeta a confiança dos resultados de extração de chave/valor, portanto, você deve verificar ambos. Aqui ficam algumas dicas:

• Se a pontuação de confiança do readResults objeto for baixa, melhore a qualidade dos documentos de entrada.

• Se a pontuação de confiança para o pageResults objeto for baixa, certifique-se de que os documentos que você está analisando são do mesmo tipo.

• Considere incorporar a revisão humana em seus fluxos de trabalho.

• Use formulários com valores diferentes em cada campo.

• Para modelos personalizados, use um conjunto maior de documentos de treinamento. Um conjunto de treinamento maior ensina seu modelo a reconhecer campos com maior precisão.

Pontuações de precisão para modelos personalizados

Nota

• Modelos neurais e generativos personalizados não fornecem pontuações de precisão durante o treino.

A saída de uma build operação de modelo personalizado (v3.0 e posteriores) ou train (v2.1) inclui a pontuação de precisão estimada. Essa pontuação representa a capacidade do modelo de prever com precisão o valor rotulado em um documento visualmente semelhante. A precisão é medida dentro de um intervalo de valores percentuais de 0% (baixo) a 100% (alto). É melhor atingir uma pontuação de 80% ou mais. Para casos mais sensíveis, como prontuários financeiros ou médicos, recomendamos uma pontuação próxima de 100%. Você também pode adicionar um estágio de revisão humana para validar fluxos de trabalho de automação mais críticos.

Modelo personalizado treinado pelo Document Intelligence Studio
(fatura)

Interpretar pontuações de precisão e confiança para modelos personalizados

Os modelos de modelo personalizados geram uma pontuação de precisão estimada quando treinados. Os documentos analisados com um modelo personalizado produzem uma classificação de confiança para campos extraídos. Ao interpretar a pontuação de confiança de um modelo personalizado, você deve considerar todas as pontuações de confiança retornadas do modelo. Vamos começar com uma lista de todas as pontuações de confiança.

• Pontuação de confiança de tipo de documento: A confiança de tipo de documento é um indicador de que o documento analisado se assemelha a documentos no conjunto de dados de treinamento. Quando a confiança do tipo de documento é baixa, é indicativo de variações estruturais ou de modelo no documento analisado. Para melhorar a confiança do tipo de documento, rotule um documento com essa variação específica e adicione-o ao seu conjunto de dados de treinamento. Uma vez que o modelo é retreinado, ele deve estar mais bem equipado para lidar com essa classe de variações.

• Confiança no nível de campo: Cada campo rotulado extraído tem uma pontuação de confiança associada. Esta pontuação reflete a confiança do modelo na posição do valor extraído. Ao avaliar os escores de confiança, você também deve olhar para a confiança de extração subjacente para gerar uma confiança abrangente para o resultado extraído. Avalie os resultados para OCR extração de texto ou marcas de seleção, dependendo do tipo de campo, para gerar uma pontuação de confiança composta para o campo.

• Pontuação de confiança de palavras Cada palavra extraída no documento tem uma pontuação de confiança associada. A pontuação representa a confiança da transcrição. A matriz de páginas contém uma matriz de palavras e cada palavra tem uma extensão associada e uma pontuação de confiança. Espadas do campo personalizado valores extraídos correspondem às extensões das palavras extraídas.

• Pontuação de confiança da marca de seleção: a matriz de páginas também contém uma matriz de marcas de seleção. Cada marca de seleção tem uma pontuação de confiança que representa a confiança da marca de seleção e da deteção do estado de seleção. Quando um campo rotulado tem uma marca de seleção, a seleção de campo personalizado combinada com a confiança da marca de seleção é uma representação precisa da precisão geral da confiança.

A tabela a seguir demonstra como interpretar as pontuações de precisão e confiança para medir o desempenho do seu modelo personalizado.

Precisão	Confiança	Result
Alto	Alto	• O modelo está a ter um bom desempenho com as teclas etiquetadas e formatos de documentos. • Você tem um conjunto de dados de treinamento equilibrado.
Alto	Baixo	• O documento analisado parece diferente do conjunto de dados de treino. • O modelo beneficiaria-se de um novo treino com pelo menos mais cinco documentos rotulados. • Esses resultados também podem indicar uma variação de formato entre o conjunto de dados de treinamento e o documento analisado. Considere adicionar um novo modelo.
Baixo	Alto	• Este resultado é muito improvável. • Para pontuações de baixa precisão, adicionar mais dados rotulados ou dividir documentos visualmente distintos em múltiplos modelos.
Baixo	Baixo	• Adicionar mais dados rotulados. • Dividir documentos visualmente distintos em múltiplos modelos.

Garanta alta precisão de modelo para modelos personalizados

As variações na estrutura visual dos documentos afetam a precisão do modelo. As classificações de precisão reportadas podem ser inconsistentes quando os documentos analisados diferem dos documentos utilizados na preparação. Tenha em conta que um conjunto de documentos pode parecer semelhante quando visto por humanos, mas parecer diferente para um modelo de IA. A seguir, está uma lista das melhores práticas para modelos de treinamento com a mais alta precisão. Seguir essas diretrizes deve produzir um modelo com maior precisão e escores de confiança durante a análise e reduzir o número de documentos sinalizados para revisão humana.

• Certifique-se de que todas as variações de um documento estão incluídas no conjunto de dados de preparação. As variações incluem diferentes formatos, por exemplo, PDFs digitais e digitalizados.

• Adicione pelo menos cinco amostras de cada tipo ao conjunto de dados de treinamento se você espera que o modelo analise ambos os tipos de documentos PDF.

• Separe tipos de documentos visualmente distintos para treinar modelos diferentes para modelos personalizados e modelos neurais.

  • Como regra geral, se você remover todos os valores inseridos pelo usuário e os documentos forem semelhantes, será necessário adicionar mais dados de treinamento ao modelo existente.
  • Se os documentos não forem semelhantes, divida os seus dados de preparação em pastas diferentes e prepare um modelo para cada variação. Em seguida, pode compor as diversas variações num único modelo.

• Certifique-se de que não tem rótulos estranhos.

• Certifique-se de que a rotulagem de assinatura e região não inclua o texto ao redor.

Confiança na tabela, linha e célula

Aqui estão algumas perguntas comuns que devem ajudar na interpretação das pontuações de tabela, linha e célula:

As células podem ter pontuações de confiança elevadas enquanto a linha tem uma pontuação de confiança baixa?

Os diferentes níveis de confiança da tabela (célula, linha e tabela) destinam-se a capturar a exatidão de uma previsão nesse nível específico. Uma célula corretamente prevista que pertence a uma linha com outras falhas possíveis teria alta confiança celular, mas a confiança da linha deve ser baixa. Da mesma forma, uma linha correta em uma tabela com desafios com outras linhas teria alta confiança de linha, enquanto a confiança geral da tabela seria baixa.

Como é que a fusão de células afeta as pontuações de confiança, tendo em conta a alteração no número de colunas identificadas?

Independentemente do tipo de tabela, a expectativa para as células fundidas é que tenham valores de confiança mais baixos. Além disso, a célula que está faltando (porque foi mesclada com uma célula adjacente) deve ter NULL valor com menor confiança também. O quão mais baixos esses valores podem ser depende do conjunto de dados de treinamento, a tendência geral de ambas as células mescladas e ausentes terem pontuações mais baixas deve se manter.

Qual é a pontuação de confiança para valores opcionais? Deves esperar que uma célula com um valor "NULL" tenha uma pontuação de confiança elevada, já que esse valor está ausente?

Se o seu conjunto de dados de treino for representativo da opcionalidade das células, ajuda o modelo a saber com que frequência um valor tende a aparecer no conjunto de treino e, assim, o que esperar durante a inferência. Este recurso é usado para calcular a confiança de uma previsão ou de não fazer nenhuma previsão (NULL). Você deve esperar um campo vazio com alta confiança para valores ausentes que estão principalmente vazios no conjunto de treinamento também.

As pontuações de confiança podem mudar se um campo opcional estiver ausente? Os índices de confiança refletem esta mudança?

Quando um valor está ausente numa linha, é atribuído à célula um NULL valor e uma confiança. Uma pontuação de confiança alta aqui deve significar que a previsão do modelo (de não haver um valor) tem mais probabilidade de estar correta. Em contrapartida, uma pontuação baixa deve sinalizar mais incerteza do modelo (e, portanto, a possibilidade de um erro, como o valor ser perdido).

Quais são as expectativas para o nível de confiança das células e das linhas ao extrair uma tabela de várias páginas, quando há uma divisão de linhas entre páginas?

Espere que a confiança da célula seja alta e a confiança na fila potencialmente inferior à das linhas que não estão divididas. A proporção de linhas divididas no conjunto de dados de treinamento pode afetar a pontuação de confiança. Em geral, uma linha dividida parece diferente das outras linhas da tabela (assim, o modelo tem menos certeza de que está correto).

Para tabelas que abrangem várias páginas, podemos assumir que as pontuações de confiança permanecem consistentes se as linhas terminarem e começarem claramente nos limites das páginas?

Como as linhas são semelhantes em forma e conteúdo, independentemente de onde estão no documento (ou em qual página), suas respetivas pontuações de confiança devem ser consistentes.

Qual é a melhor forma de utilizar os novos índices de confiança?

• Observe todos os níveis de confiança da tabela começando de cima a baixo: comece por verificar a confiança da tabela como um todo, aprofundando até o nível da linha e analise linhas individuais, e finalmente analise as confianças ao nível da célula. Dependendo do tipo de tabela, há algumas coisas importantes:

• Para tabelas fixas, a confiança no nível da célula já captura um pouco de informações sobre a correção das coisas. Isso significa que simplesmente passar por cima de cada célula e olhar para sua confiança pode ser suficiente para ajudar a determinar a qualidade da previsão. Para tabelas dinâmicas, os níveis devem ser construídos uns sobre os outros, por isso a abordagem de cima para baixo é mais importante.

Próximo passo

Saiba mais sobre modelos personalizados