Modelos personalizados compostos pelo Document Intelligence

Artigo
10/18/2024

Importante

As versões preliminares públicas da Informação de Documentos oferecem acesso antecipado a recursos que estão em desenvolvimento ativo. Recursos, abordagens e processos podem ser alterados, antes da Disponibilidade Geral (GA), com base nos comentários do usuário.
A versão de visualização pública das bibliotecas de clientes da Informação de Documentos usa como padrão a versão da API REST 2024-07-31-preview.
Atualmente, a versão de visualização pública 2024-07-31-preview só está disponível nas regiões do Azure a seguir. Observe que o modelo generativo personalizado (extração de campos do documento) no Estúdio de IA está disponível somente na região Centro-Norte dos EUA:
- Leste dos EUA
- Oeste dos EUA 2
- Oeste da Europa
- Centro-Norte dos EUA

Esse conteúdo se aplica a: v4.0 (versão prévia) | Versões prévias: v3.1 (GA) v3.0 (GA) v2.1 (GA)

Esse conteúdo se aplica a: v3.1 (GA) | Ultima versão: v4.0 (versão prévia) | Versões prévia: v3.0 v2.1

Esse conteúdo se aplica a: v3.0 (GA) | Ultimas versões: v4.0 (versão prévia) v3.1 | Versões prévia: v2.1

Esse conteúdo se aplica a: v2.1 | ais recente: v4.0 (versão prévia)

Importante

O comportamento da operação model compose está sendo alterado da api-version=2024-07-31-preview. A operação model compose v4.0 e posterior adiciona um classificador explicitamente treinado em vez de um classificador implícito para análise. Para ver a versão anterior do modelo composto, confira Modelos personalizados compostos v3.1. Se você estiver usando modelos compostos no momento, considere a possibilidade de atualizar para a implementação mais recente.

O que é um modelo composto?

Com os modelos compostos, você pode agrupar vários modelos personalizados em um modelo composto chamado com uma só ID de modelo. Por exemplo, seu modelo composto pode incluir modelos personalizados treinados para analisar suas ordens de compra de suprimentos, equipamentos e móveis. Em vez de tentar selecionar manualmente o modelo apropriado, você pode usar um modelo composto para determinar o modelo personalizado apropriado para cada análise e extração.

Alguns cenários exigem a classificação do documento primeiro e, em seguida, a análise do documento com o modelo mais adequado para extração dos campos do modelo. Esses cenários podem incluir aqueles em que um usuário carrega um documento, mas o tipo de documento não é explicitamente conhecido. Outro cenário pode ser quando vários documentos são digitalizados juntos em um só arquivo e o arquivo é enviado para processamento. Em seguida, seu aplicativo precisa identificar os documentos do componente e selecionar o melhor modelo para cada documento.

Nas versões anteriores, a operação model compose executava uma classificação implícita para decidir qual modelo personalizado representava melhor o documento enviado. A implementação 2024-07-31-preview da operação model compose substitui a classificação implícita das versões anteriores por uma etapa de classificação explícita e adiciona o roteamento condicional.

Benefícios da operação de composição do novo modelo

A nova operação model compose exige que você treine um classificador explícito e oferece vários benefícios.

Aprimoramento incremental contínuo. Você pode aprimorar a qualidade do classificador de maneira consistente adicionando mais amostras e aprimorando a classificação de maneira incremental. Esse ajuste garante que seus documentos sejam sempre encaminhados para o modelo certo para extração.
Controle total sobre o roteamento. Ao adicionar o roteamento baseado em confiança, você fornece um limite de confiança para o tipo de documento e a resposta de classificação.
Ignorar tipos específicos de documentos durante a operação. As implementações anteriores da operação model compose escolhiam o melhor modelo de análise para extração com base na pontuação de confiança, mesmo que as pontuações de confiança mais altas fossem relativamente baixas. Ao fornecer um limite de confiança ou não mapear explicitamente um tipo de documento conhecido da classificação para um modelo de extração, você pode ignorar tipos de documento específicos.
Analisar várias instâncias do mesmo tipo de documento. Quando emparelhada com a opção splitMode do classificador, a operação model compose pode detectar várias instâncias do mesmo documento em um arquivo e dividir o arquivo para processar cada documento de modo independente. O uso de splitMode permite o processamento de várias instâncias de um documento em uma só solicitação.
Suporte para recursos de complemento. Recursos de complemento como campos de consulta ou códigos de barras também pode ser especificados como parte dos parâmetros do modelo de análise.
O número máximo de modelos personalizados atribuídos foi expandido para 500. A nova implementação da operação model compose permite atribuir até 500 modelos personalizados treinados a um só modelo composto.

Como usar a composição de modelo

Comece coletando amostras de todos os documentos necessários, incluindo amostras com informações que devem ser extraídas ou ignoradas.
Treine um classificador organizando os documentos em pastas, em que os nomes das pastas são o tipo de documento que você pretende usar na definição de modelo composto.
Por fim, treine um modelo de extração para cada um dos tipos de documento que você pretende usar.
Depois que os modelos de classificação e extração forem treinados, use o Estúdio da Informação de Documentos, as bibliotecas de clientes ou a API REST para compor os modelos de classificação e extração em um modelo composto.

Use o parâmetro splitMode para controlar o comportamento de divisão de arquivos:

Nenhum. O arquivo inteiro é tratado como um só documento.
perPage. Cada página do arquivo é tratada como um documento separado.
auto. O arquivo é dividido automaticamente em documentos.

Cobrança e preços

Os modelos compostos são cobrados da mesma forma que os modelos personalizados individuais. O preço é baseado no número de páginas analisadas pelo modelo de análise downstream. A cobrança é baseada no preço de extração das páginas encaminhadas para um modelo de extração. Com a adição da classificação explícita, encargos são incorridos para a classificação de todas as páginas do arquivo de entrada. Para obter mais informações, confira a página de preços da Informação de Documentos.

Usar a operação de redação de modelo

Comece criando uma lista de todas as IDs de modelo que você deseja compor em um só modelo.
Componha os modelos em uma só ID de modelo usando o Estúdio, a API REST ou as bibliotecas de clientes.
Use a ID do modelo composto para analisar documentos.

Cobrança

Os modelos compostos são cobrados da mesma forma que os modelos personalizados individuais. O preço é baseado no número de páginas analisadas. A cobrança é baseada no preço de extração das páginas encaminhadas para um modelo de extração. Para obter mais informações, confira a página de preços da Informação de Documentos.

Não há alteração no preço da análise de um documento usando um modelo personalizado individual ou um modelo personalizado composto.

Recursos dos modelos compostos

Os modelos Custom template e custom neural podem ser compostos em um só modelo composto em várias versões de API.
A resposta inclui uma propriedade docType para indicar quais dos modelos compostos foram usados para analisar o documento.
No caso dos modelos custom template, o modelo composto pode ser criado usando variações de um modelo personalizado ou de tipos de formulário diferentes. Essa operação é útil quando formulários de entrada pertencem a um de vários modelos.
Para modelos custom neural, a melhor prática é adicionar todas as diferentes variações de um único tipo de documento em um único conjunto de dados de treinamento e treinar no modelo neural personalizado. A operação model compose é mais adequada para cenários em que você tenha documentos de diferentes tipos sendo enviados para análise.

Limites do modelo de composição

Com a operação model compose, você pode atribuir até 500 modelos a uma só ID de modelo. Se o número de modelos que quero redigir exceder o limite superior de um modelo composto, você poderá usar uma destas alternativas:
- Classifique os documentos antes de chamar o modelo personalizado. Você pode usar o Modelo de leitura e compilar uma classificação com base no texto extraído dos documentos e em certas frases usando fontes como código, expressões regulares ou pesquisa.
- Se você quiser extrair os mesmos campos de vários documentos estruturados, semiestruturados e não estruturados, considere usar o modelo neural personalizado de aprendizado profundo. Saiba mais sobre as diferenças entre o modelo padrão personalizado e o modelo neural personalizado.
Analisar um documento usando modelos compostos é idêntico a analisar um documento usando um modelo único. O resultado Analyze Document retorna uma propriedade docType que indica os modelos de componentes que você selecionou para analisar o documento.
Atualmente, a operação model compose só está disponível para modelos personalizados treinados com rótulos.

Compatibilidade de modelo composto

Tipo de modelo personalizado	Modelos treinados com v2.1 e v2.0	Modelo personalizado e modelos neurais v3.1 e v3.0	Modelo personalizado e modelos neurais v4.0 versão prévia	Modelos generativos personalizados v4.0 versão prévia
Modelos treinados com as versões 2.1 e v2.0	Sem suporte	Sem suporte	Sem suporte	Sem suporte
Modelo personalizado e modelos neurais v3.0 e v3.1	Sem suporte	Com suporte	Compatível	Sem suporte
Modelo personalizado e modelos neurais v4.0 versão prévia	Sem suporte	Com suporte	Compatível	Sem suporte
Modelos generativos personalizados v4.0 versão prévia	Sem suporte	Sem suporte	Sem suporte	Sem suporte

Para compor um modelo treinado com uma versão anterior da API (v2.1 ou anterior), treine um modelo com a API v3.0 usando o mesmo conjunto de dados rotulado. Essa adição garante que o modelo v2.1 possa ser composto por outros modelos.
Com modelos compostos usando a v2.1 da API continua a ter suporte, não exigindo atualizações.

Opções de desenvolvimento

A Informação de Documentos v4.0:2024-07-31-preview dá suporte às seguintes ferramentas, aplicativos e bibliotecas:

Recurso	Recursos
Modelo personalizado	• Estúdio da Informação de Documentos • API REST • SDK do C# • SDK do Java • SDK do JavaScript • SDK do Python
Modelo composto	• Estúdio da Informação de Documentos • API REST • SDK do C# • SDK do Java • SDK do JavaScript • SDK do Python

A Informação de Documentos v3.1:2023-07-31 (GA) dá suporte às seguintes ferramentas, aplicativos e bibliotecas:

Recurso	Recursos
Modelo personalizado	• Estúdio da Informação de Documentos • API REST • SDK do C# • SDK do Java • SDK do JavaScript • SDK do Python
Modelo composto	• Estúdio da Informação de Documentos • API REST • SDK do C# • SDK do Java • SDK do JavaScript • SDK do Python

A Informação de Documentos v3.0:2022-08-31 (GA) dá suporte às seguintes ferramentas, aplicativos e bibliotecas:

Recurso	Recursos
Modelo personalizado	• Estúdio da Informação de Documentos • API REST • SDK do C# • SDK do Java • SDK do JavaScript • SDK do Python
Modelo composto	• Estúdio da Informação de Documentos • API REST • SDK do C# • SDK do Java • SDK do JavaScript • SDK do Python

O Document Intelligence v2.1 dá suporte aos seguintes recursos:

Recurso	Recursos
Modelo personalizado	● Ferramenta de rotulagem do recurso Informação de Documentos • REST API • SDK da biblioteca de clientes • Contêiner do Docker da Informação de Documentos
Modelo composto	• Ferramenta de rotulagem do recurso Informação de Documentos • API REST • SDK do C# • SDK do Java • SDK do JavaScript • SDK do Python

Próximas etapas

Saiba como criar e compor modelos personalizados:

Criar um modelo personalizadoCompor modelos personalizados

Compartilhar via