Introdução à ferramenta Rotulagem de Exemplo da Informação de Documentos

  • Artigo

Este conteúdo se aplica ao:marca de seleção v2.1 da Informação de Documentosv2.1.

Dica

  • Para obter uma experiência aprimorada e modelos de qualidade avançada, experimente o Estúdio de Informação de Documentos v3.0.
  • O Studio v3.0 dá suporte a qualquer modelo treinado usando os dados rotulados da v2.1.
  • Você pode consultar o guia de migração de API para obter informações detalhadas sobre como migrar da v2.1 para a v3.0.
  • Confira nossos inícios rápidos da API REST ou do C#, Java, JavaScript ou do SDK para Python para começar a usar a versão v3.0.

A ferramenta Rotulagem de Exemplo da IA do Azure para Informação de Documentos é de software livre e permite testar os recursos mais recentes da Informação de Documentos e dos serviços de OCR (reconhecimento óptico de caracteres):

Pré-requisitos

Você precisa do seguinte para começar:

  • Uma assinatura do Azure – você pode criar uma gratuitamente

  • Um recurso de Inteligência de Documento ou serviços de IA do Azure. Quando tiver sua assinatura do Azure, crie um recurso de Informação de Documentos deserviço único ou de serviço múltiplo no portal do Azure para obter a chave e o ponto de extremidade. Use o tipo de preço gratuito (F0) para experimentar o serviço e atualizar mais tarde para um nível pago para produção.

    Dica

    Crie um recurso de serviços de IA do Azure se você planeja acessar vários serviços de IA do Azure em um único ponto de extremidade/chave. Somente para acesso ao Document Intelligence, crie um recurso do Document Intelligence. Observe que você precisará de um recurso de serviço único se pretende usar a autenticação do Microsoft Entra.

Criar um recurso da Informação de Documentos

Vá até o portal do Azure e criar um novo recurso de Informação de Documentos. No painel Criar, forneça as informações a seguir:

Detalhes do projeto Descrição
Assinatura Selecione a assinatura do Azure à qual o acesso foi concedido.
Grupo de recursos O grupo de recursos que contém seu recurso. Você pode criar um grupo ou adicioná-lo a um grupo pré-existente.
Região O local do recurso de serviços de IA do Azure. Locais diferentes podem introduzir latência, mas não têm impacto sobre a disponibilidade de runtime do seu recurso.
Nome Um nome descritivo para o seu recurso. É recomendável usar um nome descritivo, como, por exemplo, MyNameFormRecognizer.
Tipo de preços O custo do recurso depende de seu uso e do tipo de preço que você escolheu. Para obter mais informações, consulte a API detalhes de preços.
Examinar + criar Selecione o botão Examinar + criar para implantar seu recurso no portal do Azure.

Recuperar a chave e o ponto de extremidade

Quando o recurso de Informação de Documentos concluir a implantação, localize-o e selecione-o na lista Todos os recursos do portal. A chave e o ponto de extremidade estarão localizados na página Chave e Ponto de Extremidade do recurso, em Gerenciamento de Recursos. Salve ambos em um local temporário antes de continuar.

Captura de tela da localização das chaves e do ponto de extremidade no portal do Azure.

Analisar usando um modelo predefinido

A Informação de Documentos oferece vários modelos predefinidos para você escolher. Cada modelo tem o próprio conjunto de campos com suporte. O modelo a ser utilizado para a operação Analyze depende do tipo de documento a analisar. Aqui estão os modelos predefinidos com suporte no momento no serviço de Informação de Documentos:

  • Fatura: extrai texto, marcas de seleção, tabelas, pares chave-valor e informações de chave de faturas.
  • Recibo: extrai informações de texto e chave de recibos.
  • Documento de ID: extrai informações de texto e chave de licenças de driver e passaportes internacionais.
  • Cartão de visita: extrai informações de texto e chave de cartões de visita.

  1. Navegue até a Ferramenta de Exemplo da Informação de Documentos.

  2. Na página inicial da ferramenta de exemplos, selecione o bloco Usar modelo predefinido para obter dados.

    Captura de tela da operação de análise de resultados do modelo de layout.

  3. Selecione o Tipo de Formulário que deseja analisar no menu suspenso.

  4. Escolha um URL para o arquivo que você gostaria de analisar, usando as opções abaixo:

  5. No campo Origem , selecione URL no menu suspenso, cole a URL selecionada e selecione o botão Buscar.

    Captura de tela do menu suspenso do local de origem.

  6. No campo Ponto de extremidade do serviço Informação de Documentos, cole o ponto de extremidade obtido com a assinatura da Informação de Documentos.

  7. No campo chave, cole a chave obtida do recurso Informação de Documentos.

    Captura de tela do menu suspenso “select-form-type”.

  8. Selecione Executar análise. A ferramenta de rotulagem de exemplo da Informação de Documentos chamará a API predefinida Analisar e analisará o documento.

  9. Veja os resultados: confira os pares chave-valor extraídos, os itens de linha, o texto realçado extraído e as tabelas detectadas.

    Analisar Resultados do modelo de fatura da Informação de Documentos

  10. Baixe o arquivo de saída JSON para exibir os resultados detalhados.

    • O nó "readResults" contém cada linha de texto com seu respectivo posicionamento de retângulo delimitador na página.
    • O nó "selectionMarks" mostra cada marca de seleção (caixa de seleção, marca de rádio) e se seu status é selected ou unselected.
    • A seção "pageResults" inclui as tabelas extraídas. Para cada tabela, o índice de texto, de linha e de coluna, abrangência de linha e coluna, caixa delimitadora e mais são extraídos.
    • O campo "documentResults" contém as informações de pares chave/valor e as informações de itens de linha para as partes mais relevantes do documento.

Analisar Layout

A API de Layout da Informação de Documentos extrai texto, tabelas, marcas de seleção e informações de estrutura de documentos (PDF, TIFF) e imagens (JPG, PNG, BMP).

  1. Navegue até a Ferramenta de Exemplo da Informação de Documentos.

  2. Na home page da ferramenta de exemplos, selecione Usar layout para obter texto, tabelas e marcas de seleção.

    Configurações de conexão da ferramenta Layout da Informação de Documentos.

  3. No campo Ponto de extremidade do serviço Informação de Documentos, cole o ponto de extremidade obtido com a assinatura da Informação de Documentos.

  4. No campo chave, cole a chave obtida do recurso Informação de Documentos.

  5. No campo Origem, selecione URL no menu suspenso, cole a URL https://raw.githubusercontent.com/Azure-Samples/cognitive-services-REST-api-samples/master/curl/form-recognizer/layout-page-001.jpga seguir e selecione o botão Buscar.

  6. Selecione Executar Layout. A ferramenta de Rotulagem de Exemplo de Inteligência de Documento chama o Analyze Layout API e analisa o documento.

    Captura de tela do menu suspenso de layout.

  7. Exiba os resultados. Veja o texto realçado extraído, as marcas de seleção detectadas e as tabelas detectadas.

    Configurações de conexão da ferramenta de Informação de Documentos.

  8. Baixe o arquivo de saída JSON para exibir os resultados detalhados do Layout.

    • O nó readResults contém cada linha de texto com seu respectivo posicionamento de caixa delimitadora na página.
    • O nó selectionMarks mostra cada marca de seleção (caixa de seleção, marca de opção) e indica se o status está é selected ou unselected.
    • A seção pageResults inclui as tabelas extraídas. Para cada tabela, o índice de texto, de linha e de coluna, abrangência de linha e coluna, caixa delimitadora e mais são extraídos.

Treinar um modelo de formulário personalizado

Treine um modelo personalizado para analisar e extrair dados de formulários e documentos específicos para sua empresa. A API é um programa de aprendizado de máquina treinado para reconhecer campos de formulário em seu conteúdo distinto e extrair pares chave-valor e dados de tabela. Você precisa de cinco exemplos do mesmo tipo de formulário para começar e seu modelo personalizado pode ser treinado com ou sem conjuntos de dados rotulados.

Pré-requisitos para treinar um modelo de formulário personalizado

  • Um contêiner de blob do Armazenamento do Microsoft Azure que contém um conjunto de dados de treinamento. Verifique se todos os documentos de treinamento têm o mesmo formato. Se você tiver formulários em vários formatos, organize-os em subpastas com base no formato comum. Para esse projeto, é possível usar nossa amostra de conjunto de dados.

  • Se você não sabe como criar uma conta de armazenamento do Azure com um contêiner, siga o guia de início rápido do Armazenamento do Microsoft Azure no portal do Azure.

  • Configurar o CORS

    O CORS (Cross Origin Resource Sharing) precisa ser configurado em sua conta de armazenamento do Azure para que ela possa ser acessado pelo Document Intelligence Studio. Para configurar o CORS no portal do Azure, você precisará de acesso à guia CORS da sua conta de armazenamento.

    1. Selecione a guia CORS da conta de armazenamento.

      Captura de tela do menu de configuração do CORS no portal do Azure.

    2. Comece criando uma entrada do CORS no serviço Blob.

    3. Defina Origens permitidas como https://fott-2-1.azurewebsites.net.

      Captura de tela que mostra a configuração CORS para uma conta de armazenamento.

      Dica

      Você pode usar o caractere curinga '*' em vez de um domínio especificado para permitir que todos os domínios de origem façam solicitações por CORS.

    4. Selecione todas as oito opções disponíveis para Métodos permitidos.

    5. Aprove todos os Cabeçalhos permitidos e Cabeçalhos expostos inserindo um * em cada campo.

    6. Defina a Idade máxima como 120 segundos ou qualquer valor aceitável.

    7. Selecione o botão Salvar na parte superior da página e salve as alterações.

Usar a ferramenta de rotulagem de exemplo

  1. Navegue até a Ferramenta de Exemplo da Informação de Documentos.

  2. Na home page da ferramenta de exemplo, selecione Usar formulário personalizado para treinar um modelo com rótulos e obter pares de chave-valor.

    Treine um modelo personalizado.

  3. Selecionar Novo projeto

    Captura de tela da seleção de um novo prompt de projeto.

Criar um novo projeto

Configure os campos de Configurações de Projeto com os seguintes valores:

  1. Nome de exibição. Nomeie o projeto.

  2. Token de segurança. Cada projeto gera automaticamente um token de segurança que pode ser usado para criptografar/descriptografar configurações confidenciais do projeto. Encontre os tokens de segurança nas Configurações de Aplicativo selecione o ícone de engrenagem na parte inferior da barra de navegação esquerda.

  3. Conexão de origem. A ferramenta de rotulagem de exemplo se conecta a uma origem (os formulários carregados originais) e a um destino (os rótulos criados e os dados de saída). As conexões podem ser configuradas e compartilhadas entre projetos. Eles usam um modelo de provedor extensível para que você possa adicionar facilmente novos provedores de origem/destino.

    • Crie uma conexão, selecione o botão Adicionar conexão. Preencha os campos com os seguintes valores:
    • Nome de exibição. Dê um nome à conexão.
    • Descrição. Adicione uma breve descrição.
    • URL de SAS. Cole a URL da SAS (Assinatura de Acesso Compartilhado) para seu contêiner do Armazenamento de Blobs do Azure.

    • Para recuperar a URL do SAS para os dados de treinamento do modelo personalizado, acesse o recurso de armazenamento no portal do Azure e selecione a guia Gerenciador de Armazenamento. Navegue até o contêiner, clique com o botão direito do mouse e selecione Obter assinatura de acesso compartilhado. É importante obter o SAS para o contêiner, não para a conta de armazenamento em si. Verifique se as permissões de Leitura, Gravação, Exclusão e Lista estão marcadas e selecione Criar. Em seguida, copie o valor da seção URL para um local temporário. Deve ter o formato: https://<storage account>.blob.core.windows.net/<container name>?<SAS value>.

      Local da SAS.

  4. Caminho da pasta (opcional). Se os formulários de origem estão localizados em uma pasta no contêiner de blob, especifique o nome da pasta.

  5. Uri do Serviço de Informação de Documentos – URL do ponto de extremidade da Informação de Documentos.

  6. Key. Sua chave da Informação de Documentos.

  7. API-version. Mantenha o valor v2.1 (padrão).

  8. Descrição (opcional). Descreva seu projeto.

    Configurações de conexão

Rotular seus formulários

Nova página do projeto

Quando você cria ou abre um projeto, a janela principal do editor de marcas é aberta. O editor de marcas consiste em três partes:

  • Um painel de visualização redimensionável que contém uma lista rolável de formulários da conexão de origem.
  • O painel principal do editor, que permite a você aplicar marcas.
  • O painel do editor de marcas, que permite aos usuários modificar, bloquear, reordenar e excluir marcas.
Identificar texto e tabelas

Selecione Executar Layout nos documentos não visitados no painel à esquerda para obter as informações de layout de tabela e texto de cada documento. A ferramenta de rotulagem desenha caixas delimitadoras ao redor de cada elemento de texto.

A ferramenta de rotulagem também mostra quais tabelas foram extraídas automaticamente. Selecione o ícone de tabela/grade à esquerda do documento e veja a tabela extraída. Como o conteúdo da tabela é extraído automaticamente, não rotulamos o conteúdo da tabela, mas dependemos da extração automatizada.

Visualização de tabela na ferramenta de Rotulagem de Exemplo.

Aplicar rótulos ao texto

Depois, você criará marcas (rótulos) e as aplicará aos elementos de texto que o modelo deve analisar. Observe que o conjunto de dados de rótulo de exemplo inclui campos já rotulados; adicionamos outro campo.

Use o painel editor de marcas para criar uma marca que você gostaria de identificar:

  1. Selecione o sinal de mais + para criar uma marca.

  2. Insira o nome da marca "Total".

  3. Selecione Enter para salvar a marca.

  4. No editor principal, selecione o valor total dos elementos de texto realçados.

  5. Selecione a marca Total para aplicar ao valor ou pressione a tecla correspondente no teclado. As chaves de número são atribuídas como teclas de atalho para as 10 primeiras marcas. Você pode reordenar suas marcas usando os ícones de seta para cima e para baixo no painel do editor de marcas. Siga estas etapas para rotular todas as cinco formas no conjunto de dados de amostra:

    Dica

    Lembre-se das dicas a seguir quando estiver rotulando seus formulários:

    • Você só pode aplicar uma marca a cada elemento de texto selecionado.

    • Cada marca só pode ser aplicada uma vez por página. Se um valor aparecer várias vezes no mesmo formulário, crie marcas diferentes para cada instância. Por exemplo: "fatura n º 1", "fatura n º 2" e assim por diante.

    • As marcas não podem se estender por páginas.

    • Valores de rótulo como aparecem no formulário. Não tente dividir um valor em duas partes com duas marcas diferentes. Por exemplo, um campo de endereço deve ser rotulado com uma só marca, mesmo que abranja várias linhas.

    • Não inclua chaves nos campos marcados—apenas os valores.

    • Os dados da tabela devem ser detectados automaticamente e estarão disponíveis no arquivo JSON de saída final, na seção 'pageResults'. No entanto, se o modelo não conseguir detectar todos os dados da tabela, você pode rotular e treinar um modelo para detectar tabelas, confira Treinar um modelo personalizado | Rotular seus formulários

    • Use os botões à direita do + para pesquisar, renomear, reordenar e excluir as marcas.

    • Para remover uma marca aplicada sem excluir a marca em si, selecione o retângulo marcado na exibição de documento e selecione a tecla Delete.

Rotule os exemplos.

Treinar um modelo personalizado

Escolha o ícone Treinar no painel esquerdo e abra a página Treinamento. Selecione o botão Treinar para começar a treinar o modelo. Quando o processo de treinamento for concluído, você verá as seguintes informações:

  • ID do Modelo – a ID do modelo que foi criado e treinado. Cada chamada de treinamento cria um novo modelo com sua própria ID. Copie esta cadeia de caracteres para um local seguro. Você precisará dela se quiser fazer chamadas de previsão por meio da API REST ou da biblioteca de clientes.

  • Precisão Média – a precisão média do modelo. É possível aprimorar a precisão do modelo rotulando formulários adicionais e realizando novamente o treinando para criar outro modelo. Recomendamos começar rotulando os cinco formulários, analisando e testando os resultados e, se necessário, adicionando mais formulários conforme necessário.

  • A lista de marcas e a precisão estimada por marca. Para obter mais informações, confiraInterpretar e melhorar a precisão e a confiança.

    Ferramenta de exibição do treinamento.

Analisar um formulário personalizado

  1. Selecione o ícone Analyze na barra de navegação e teste seu modelo.

  2. Selecione Arquivo local de origem e procure um arquivo para selecionar no conjunto de dados de exemplo que você descompactou na pasta de teste.

  3. Escolha o botão Executar análise para obter os pares de chave/valor e as previsões de texto e tabelas para o formulário. A ferramenta aplica marcas nas caixas delimitadoras e relata a confiança de cada marca.

    Exibição de treinamento.

É isso! Você aprendeu como usar a ferramenta de exemplo da Informação de Documentos para modelos predefinidos, de layout e personalizados da Informação de Documentos. Você também aprendeu a analisar um formulário personalizado contendo dados rotulados manualmente.

Próximas etapas

Estúdio da Informação de Documentos