Introdução à ferramenta Document Intelligence Sample Labeling

  • Artigo

Este conteúdo aplica-se a:Marca de verificação do Document Intelligence v2.1v2.1.

Gorjeta

  • Para uma experiência melhorada e uma qualidade de modelo avançada, experimente o Document Intelligence v3.0 Studio.
  • O v3.0 Studio suporta qualquer modelo treinado com dados rotulados v2.1.
  • Você pode consultar o guia de migração de API para obter informações detalhadas sobre a migração da v2.1 para a v3.0.
  • Consulte nossos inícios rápidos da API REST ou C#, Java, JavaScript ou Python SDK para começar a usar a versão v3.0.

A ferramenta Azure AI Document Intelligence Sample Labeling é uma ferramenta de código aberto que permite testar os recursos mais recentes dos serviços de Inteligência de Documentos e Reconhecimento Ótico de Caracteres (OCR):

  • Analise documentos com a API de layout. Experimente a API de layout para extrair texto, tabelas, marcas de seleção e estrutura de documentos.

  • Analise documentos usando um modelo pré-construído. Comece com um modelo pré-criado para extrair dados de faturas, recibos, documentos de identidade ou cartões de visita.

  • Treine e analise um formulário personalizado. Use um modelo personalizado para extrair dados de documentos específicos para dados corporativos e casos de uso distintos.

Pré-requisitos

Você precisa do seguinte para começar:

  • Uma assinatura do Azure — você pode criar uma gratuitamente

  • Um recurso de serviços de IA do Azure ou Document Intelligence. Depois de ter sua assinatura do Azure, crie um recurso de Document Intelligence de serviço único ou multisserviço no portal do Azure para obter sua chave e ponto de extremidade. Você pode usar o nível de preço gratuito (F0) para experimentar o serviço e atualizar posteriormente para um nível pago para produção.

    Gorjeta

    Crie um recurso de serviços de IA do Azure se você planeja acessar vários serviços de IA do Azure em um único ponto de extremidade/chave. Apenas para acesso ao Document Intelligence, crie um recurso Document Intelligence. Observe que você precisará de um recurso de serviço único se pretender usar a autenticação do Microsoft Entra.

Criar um recurso de Inteligência Documental

Vá para o portal do Azure e crie um novo recurso de Document Intelligence . No painel Criar, forneça as seguintes informações:

Detalhes do projeto Description
Subscrição Selecione a assinatura do Azure à qual foi concedido acesso.
Grupo de recursos O grupo de recursos do Azure que contém seu recurso. Você pode criar um novo grupo ou adicioná-lo a um grupo pré-existente.
Região A localização do seu recurso de serviços de IA do Azure. Locais diferentes podem introduzir latência, mas não têm impacto na disponibilidade de tempo de execução do seu recurso.
Nome Um nome descritivo para o seu recurso. Recomendamos o uso de um nome descritivo, por exemplo , MyNameFormRecognizer.
Escalão de preço O custo do seu recurso depende do nível de preço que escolher e da sua utilização. Para obter mais informações, consulte os detalhes de preços da API.
Rever + criar Selecione o botão Rever + criar para implementar o seu recurso no portal do Azure.

Recuperar a chave e o ponto de extremidade

Quando o recurso Document Intelligence terminar de implantar, localize-o e selecione-o na lista Todos os recursos no portal. Sua chave e ponto de extremidade estarão localizados na página Chave e Ponto Final do recurso, em Gerenciamento de Recursos. Salve ambos em um local temporário antes de avançar.

Captura de ecrã das chaves e da localização do ponto de extremidade no portal do Azure.

Analise usando um modelo pré-construído

A Document Intelligence oferece vários modelos pré-construídos para escolher. Cada modelo tem seu próprio conjunto de campos suportados. O modelo a utilizar para a Analyze operação depende do tipo de documento a analisar. Aqui estão os modelos pré-construídos atualmente suportados pelo serviço Document Intelligence:

  • Fatura: extrai texto, marcas de seleção, tabelas, pares chave-valor e informações-chave de faturas.
  • Recibo: extrai texto e informações essenciais dos recibos.
  • Documento de identificação: extrai texto e informações importantes de carteiras de motorista e passaportes internacionais.
  • Cartão de visita: extrai texto e informações importantes de cartões de visita.

  1. Navegue até a Ferramenta de Exemplo de Inteligência de Documentos.

  2. Na página inicial da ferramenta de exemplo, selecione o bloco Usar modelo pré-criado para obter dados .

    Captura de tela do modelo de layout analisar a operação de resultados.

  3. Selecione o Tipo de formulário a ser analisado no menu suspenso.

  4. Escolha um URL para o arquivo que você gostaria de analisar a partir das opções abaixo:

  5. No campo Origem, selecione URL no menu suspenso, cole o URL selecionado e selecione o botão Buscar.

    Captura de ecrã do menu pendente da localização de origem.

  6. No campo Ponto de extremidade do serviço de Inteligência Documental, cole o ponto de extremidade obtido com sua assinatura do Document Intelligence.

  7. No campo chave, cole a chave obtida do recurso Document Intelligence.

    Captura de ecrã do menu pendente 'select-form-type'.

  8. Selecione Executar análise. A ferramenta Document Intelligence Sample Labeling chama a API Analyze Prebuilt e analisa o documento.

  9. Exibir os resultados - veja os pares chave-valor extraídos, itens de linha, texto realçado extraído e tabelas detetadas.

    Analise os resultados do modelo de fatura de inteligência documental

  10. Baixe o arquivo de saída JSON para visualizar os resultados detalhados.

    • O nó "readResults" contém todas as linhas de texto com seu respetivo posicionamento de caixa delimitadora na página.
    • O nó "selectionMarks" mostra cada marca de seleção (caixa de seleção, marca de rádio) e se seu status é selected ou unselected.
    • A seção "pageResults" inclui as tabelas extraídas. Para cada tabela, o índice de texto, linha e coluna, a abrangência de linha e coluna, a caixa delimitadora e muito mais são extraídos.
    • O campo "documentResults" contém informações de pares chave/valor e informações de itens de linha para as partes mais relevantes do documento.

Analisar o Esquema

A API de Layout do Azure Document Intelligence extrai texto, tabelas, marcas de seleção e informações de estrutura de documentos (PDF, TIFF) e imagens (JPG, PNG, BMP).

  1. Navegue até a Ferramenta de Exemplo de Inteligência de Documentos.

  2. Na home page da ferramenta de exemplo, selecione Usar layout para obter texto, tabelas e marcas de seleção.

    Configurações de conexão para a ferramenta Layout Document Intelligence.

  3. No campo Ponto de extremidade do serviço de Inteligência Documental, cole o ponto de extremidade obtido com sua assinatura do Document Intelligence.

  4. No campo chave, cole a chave obtida do recurso Document Intelligence.

  5. No campo Origem, selecione URL no menu suspenso, cole o seguinte URL https://raw.githubusercontent.com/Azure-Samples/cognitive-services-REST-api-samples/master/curl/form-recognizer/layout-page-001.jpge selecione o botão Buscar.

  6. Selecione Executar layout. A ferramenta Document Intelligence Sample Labeling chama o Analyze Layout API documento e o analisa.

    Captura de tela do menu suspenso de layout.

  7. Ver os resultados - veja o texto realçado extraído, as marcas de seleção detetadas e as tabelas detetadas.

    Configurações de conexão para a ferramenta Document Intelligence.

  8. Baixe o arquivo de saída JSON para exibir os resultados detalhados do layout.

    • O readResults nó contém todas as linhas de texto com seu respetivo posicionamento de caixa delimitadora na página.
    • O selectionMarks nó mostra cada marca de seleção (caixa de seleção, marca de rádio) e se seu status é selected ou unselected.
    • A pageResults secção inclui as tabelas extraídas. Para cada tabela, o índice de texto, linha e coluna, a abrangência de linha e coluna, a caixa delimitadora e muito mais são extraídos.

Treinar um modelo de formulário personalizado

Treine um modelo personalizado para analisar e extrair dados de formulários e documentos específicos para o seu negócio. A API é um programa de aprendizado de máquina treinado para reconhecer campos de formulário em seu conteúdo distinto e extrair pares chave-valor e dados de tabela. Você precisa de pelo menos cinco exemplos do mesmo tipo de formulário para começar e seu modelo personalizado pode ser treinado com ou sem conjuntos de dados rotulados.

Pré-requisitos para treinar um modelo de formulário personalizado

  • Um contêiner de blob de Armazenamento do Azure que contém um conjunto de dados de treinamento. Certifique-se de que todos os documentos de formação têm o mesmo formato. Se tiver formulários em vários formatos, organize-os em subpastas com base no formato comum. Para este projeto, você pode usar nosso conjunto de dados de exemplo.

  • Se você não souber como criar uma conta de armazenamento do Azure com um contêiner, siga o início rápido do Armazenamento do Azure para o portal do Azure.

  • Configurar o CORS

    O CORS (Cross Origin Resource Sharing) precisa ser configurado em sua conta de armazenamento do Azure para que possa ser acessado a partir do Document Intelligence Studio. Para configurar o CORS no portal do Azure, você precisa acessar a guia CORS da sua conta de armazenamento.

    1. Selecione a guia CORS para a conta de armazenamento.

      Captura de ecrã do menu de definição CORS no portal do Azure.

    2. Comece criando uma nova entrada CORS no serviço Blob.

    3. Defina as origens permitidas como https://fott-2-1.azurewebsites.net.

      Captura de tela que mostra a configuração do CORS para uma conta de armazenamento.

      Gorjeta

      Você pode usar o caractere curinga '*' em vez de um domínio especificado para permitir que todos os domínios de origem façam solicitações via CORS.

    4. Selecione todas as 8 opções disponíveis para métodos permitidos.

    5. Aprove todos os cabeçalhos permitidos e Expostos inserindo um * em cada campo.

    6. Defina a Idade Máxima para 120 segundos ou qualquer valor aceitável.

    7. Selecione o botão Salvar na parte superior da página e salve as alterações.

Usar a ferramenta Rotulagem de amostra

  1. Navegue até a Ferramenta de Exemplo de Inteligência de Documentos.

  2. Na página inicial da ferramenta de exemplo, selecione Usar formulário personalizado para treinar um modelo com rótulos e obter pares chave-valor.

    Treine um modelo personalizado.

  3. Selecionar novo projeto

    Captura de tela do prompt de seleção de um novo projeto.

Criar um novo projeto

Configure os campos Configurações do projeto com os seguintes valores:

  1. Nome a Apresentar. Atribua um nome ao seu projeto.

  2. Token de segurança. Cada projeto gera automaticamente um token de segurança que pode ser usado para criptografar/descriptografar configurações confidenciais do projeto. Você pode encontrar tokens de segurança nas Configurações do aplicativo selecionando o ícone de engrenagem na parte inferior da barra de navegação esquerda.

  3. Conexão de origem. A ferramenta Etiquetagem de Exemplo liga-se a uma origem (os formulários originais carregados) e a um destino (etiquetas criadas e dados de saída). As conexões podem ser configuradas e compartilhadas entre projetos. Eles usam um modelo de provedor extensível, para que você possa adicionar facilmente novos provedores de origem/destino.

    • Crie uma nova conexão, selecione o botão Adicionar conexão . Preencha os campos com os seguintes valores:
    • Nome a Apresentar. Nomeie a conexão.
    • Descrição. Adicione uma breve descrição.
    • URL SAS. Cole a URL de assinatura de acesso compartilhado (SAS) para seu contêiner de Armazenamento de Blob do Azure.

    • Para recuperar a URL SAS para seus dados de treinamento de modelo personalizado, vá para seu recurso de armazenamento no portal do Azure e selecione a guia Gerenciador de Armazenamento. Navegue até o contêiner, clique com o botão direito do mouse e selecione Obter assinatura de acesso compartilhado. É importante obter o SAS para seu contêiner, não para a conta de armazenamento em si. Verifique se as permissões Ler, Gravar, Excluir e Listar estão marcadas e selecione Criar. Em seguida, copie o valor na seção URL para um local temporário. Deve ter o formato: https://<storage account>.blob.core.windows.net/<container name>?<SAS value>.

      Localização SAS.

  4. Caminho da pasta (opcional). Se os formulários de origem estiverem localizados dentro de uma pasta no contêiner de blob, especifique o nome da pasta.

  5. Uri do Serviço de Inteligência Documental - URL do ponto de extremidade do Document Intelligence.

  6. Chave. A sua chave de Document Intelligence.

  7. Versão da API. Mantenha o valor v2.1 (padrão).

  8. Descrição (opcional). Descreva o seu projeto.

    Definições de ligação

Rotule seus formulários

Página do novo projeto

Quando você cria ou abre um projeto, a janela principal do editor de tags é aberta. O editor de tags consiste em três partes:

  • Um painel de visualização redimensionável que contém uma lista rolável de formulários da conexão de origem.
  • O painel principal do editor que permite aplicar tags.
  • O painel do editor de tags que permite aos usuários modificar, bloquear, reordenar e excluir tags.
Identificar texto e tabelas

Selecione Executar layout em documentos não visitados no painel esquerdo para obter as informações de layout de texto e tabela para cada documento. A ferramenta de etiquetagem desenha caixas delimitadoras em torno de cada elemento de texto.

A ferramenta de etiquetagem também mostra quais tabelas foram extraídas automaticamente. Selecione o ícone de tabela/grelha no lado esquerdo do documento e veja a tabela extraída. Como o conteúdo da tabela é extraído automaticamente, não rotulamos o conteúdo da tabela, mas confiamos na extração automatizada.

Visualização de tabela na ferramenta Etiquetagem de Exemplo.

Aplicar rótulos ao texto

Em seguida, crie tags (rótulos) e aplique-as aos elementos de texto que deseja que o modelo analise. Observe que o conjunto de dados Rótulo de Amostra inclui campos já rotulados; adicionamos outro campo.

Use o painel do editor de tags para criar uma nova tag que você gostaria de identificar:

  1. Selecione + o sinal de adição para criar uma nova tag.

  2. Digite o nome da tag "Total".

  3. Selecione Enter para salvar a tag.

  4. No editor principal, selecione o valor total dos elementos de texto realçados.

  5. Selecione a tag Total a ser aplicada ao valor ou pressione a tecla de teclado correspondente. As teclas numéricas são atribuídas como teclas de atalho para as primeiras 10 tags. Você pode reordenar suas tags usando os ícones de seta para cima e para baixo no painel do editor de tags. Siga estas etapas para rotular todos os cinco formulários no conjunto de dados de exemplo:

    Gorjeta

    Lembre-se das seguintes dicas ao rotular seus formulários:

    • Você só pode aplicar uma tag a cada elemento de texto selecionado.

    • Cada tag só pode ser aplicada uma vez por página. Se um valor aparecer várias vezes no mesmo formulário, crie tags diferentes para cada instância. Por exemplo: "invoice# 1", "invoice# 2" e assim por diante.

    • As tags não podem se estender pelas páginas.

    • Rotule os valores tal como aparecem no formulário; Não tente dividir um valor em duas partes com duas tags diferentes. Por exemplo, um campo de endereço deve ser rotulado com uma única etiqueta, mesmo que abranja várias linhas.

    • Não inclua chaves nos campos marcados, apenas os valores.

    • Os dados da tabela devem ser detetados automaticamente e estarão disponíveis no arquivo JSON de saída final na seção 'pageResults'. No entanto, se o modelo não conseguir detetar todos os dados da tabela, você também poderá rotular e treinar um modelo para detetar tabelas, consulte Treinar um modelo personalizado | Rotule seus formulários

    • Use os botões à direita do + para pesquisar, renomear, reordenar e excluir suas tags.

    • Para remover uma etiqueta aplicada sem eliminar a etiqueta em si, selecione o retângulo etiquetado na vista do documento e prima a tecla delete.

Rotule as amostras.

Preparar um modelo personalizado

Escolha o ícone Treinar no painel esquerdo e abra a página Treinamento. Em seguida, selecione o botão Train para começar a treinar o modelo. Quando o processo de treinamento for concluído, você verá as seguintes informações:

  • ID do modelo - O ID do modelo que foi criado e treinado. Cada chamada de treinamento cria um novo modelo com seu próprio ID. Copie essa cadeia de caracteres para um local seguro; você precisa dele se quiser fazer chamadas de previsão por meio da API REST ou da biblioteca do cliente.

  • Precisão média - A precisão média do modelo. Você pode melhorar a precisão do modelo rotulando mais formulários e treinando novamente para criar um novo modelo. Recomendamos começar rotulando cinco formulários, analisando e testando os resultados e, se necessário, adicionando mais formulários conforme necessário.

  • A lista de tags e a precisão estimada por tag. Para obter mais informações, consulteInterpretar e melhorar a precisão e a confiança.

    Ferramenta de visualização de treinamento.

Analisar um formulário personalizado

  1. Selecione o Analyze ícone na barra de navegação e teste o seu modelo.

  2. Selecione o arquivo Local de origem e procure um arquivo para selecionar no conjunto de dados de exemplo que você descompactou na pasta de teste.

  3. Escolha o botão Executar análise para obter pares de chave/valor, texto e previsões de tabelas para o formulário. A ferramenta aplica tags em caixas delimitadoras e relata a confiança de cada tag.

    Visão de treinamento.

Está feito! Você aprendeu a usar a ferramenta de exemplo Document Intelligence para modelos pré-construídos, de layout e personalizados do Document Intelligence. Você também aprendeu a analisar um formulário personalizado com dados rotulados manualmente.

Próximos passos

Estúdio de Inteligência de Documentação