Modelo de layout do Document Intelligence

Importante

• As versões de visualização pública do Document Intelligence fornecem acesso antecipado a recursos que estão em desenvolvimento ativo.
• Recursos, abordagens e processos podem mudar, antes da Disponibilidade Geral (GA), com base nos comentários dos usuários.
• A versão de visualização pública das bibliotecas de cliente do Document Intelligence usa como padrão a versão 2024-02-29-preview.
• A versão de pré-visualização pública 2024-02-29-preview está atualmente disponível apenas nas seguintes regiões do Azure:
• E.U.A. Leste
• Oeste dos EUA2
• Europa Ocidental

Este conteúdo aplica-se a:v4.0 (pré-visualização) | Versões anteriores:v3.1 (GA)v3.0 (GA)v2.1 (GA)

O modelo de layout do Document Intelligence é uma API avançada de análise de documentos baseada em aprendizado de máquina disponível na nuvem Document Intelligence. Ele permite que você pegue documentos em vários formatos e retorne representações de dados estruturados dos documentos. Combina uma versão melhorada das nossas poderosas capacidades de Reconhecimento Ótico de Carateres (OCR) com modelos de aprendizagem profunda para extrair texto, tabelas, marcas de seleção e estrutura do documento.

Análise de layout de documentos

A análise de layout da estrutura do documento é o processo de análise de um documento para extrair regiões de interesse e suas inter-relações. O objetivo é extrair texto e elementos estruturais da página para construir melhores modelos de compreensão semântica. Há dois tipos de funções em um layout de documento:

• Funções geométricas: texto, tabelas, figuras e marcas de seleção são exemplos de funções geométricas.
• Funções lógicas: títulos, títulos e rodapés são exemplos de funções lógicas de textos.

A ilustração a seguir mostra os componentes típicos em uma imagem de uma página de exemplo.

Opções de desenvolvimento

O Document Intelligence v4.0 (2024-02-29-preview, 2023-10-31-preview) suporta as seguintes ferramentas, aplicações e bibliotecas:

Caraterística	Recursos	Model ID
Modelo de layout	• Document Intelligence Studio • API REST • C# SDK • Python SDK • Java SDK • JavaScript SDK	layout pré-construído

Requisitos de entrada

• Para obter melhores resultados, forneça uma foto nítida ou uma digitalização de alta qualidade por documento.

• Formatos de ficheiro suportados:

  Modelo	PDF	Imagem: JPEG/JPG, PNG, BMP, TIFF, HEIF	Microsoft Office: Word (DOCX), Excel (XLSX), PowerPoint (PPTX) e HTML
  Lida	✔	✔	✔
  Esquema	✔	✔	✔ (2024-02-29-pré-visualização, 2023-10-31-pré-visualização)
  Documento Geral	✔	✔
  Pré-criado	✔	✔
  Extração personalizada	✔	✔
  Classificação personalizada	✔	✔	✔ (2024-02-29-pré-visualização)

• Para PDF e TIFF, até 2000 páginas podem ser processadas (com uma assinatura de nível gratuito, apenas as duas primeiras páginas são processadas).

• O tamanho do arquivo para analisar documentos é de 500 MB para a camada paga (S0) e 4 MB para a camada gratuita (F0).

• As dimensões da imagem devem estar entre 50 x 50 pixels e 10.000 px x 10.000 pixels.

• Se os seus PDFs forem bloqueados por uma palavra-passe, terá de remover o bloqueio antes da submetê-los.

• A altura mínima do texto a ser extraído é de 12 pixels para uma imagem de 1024 x 768 pixels. Esta dimensão corresponde a texto de cerca 8de -ponto a 150 pontos por polegada (DPI).

• Para treinamento de modelo personalizado, o número máximo de páginas para dados de treinamento é 500 para o modelo de modelo personalizado e 50.000 para o modelo neural personalizado.

  • Para treinamento de modelo de extração personalizado, o tamanho total dos dados de treinamento é de 50 MB para o modelo de modelo e 1G-MB para o modelo neural.

  • Para treinamento de modelo de classificação personalizado, o tamanho total dos dados de treinamento é 1GB de no máximo 10.000 páginas.

Introdução ao modelo de layout

Veja como os dados, incluindo texto, tabelas, cabeçalhos de tabelas, marcas de seleção e informações de estrutura são extraídos de documentos usando o Document Intelligence. Você precisa dos seguintes recursos:

• Uma assinatura do Azure — você pode criar uma gratuitamente.

• Uma instância de Document Intelligence no portal do Azure. Você pode usar o nível de preço gratuito (F0) para experimentar o serviço. Depois que o recurso for implantado, selecione Ir para o recurso para obter sua chave e o ponto de extremidade.

Nota

O Document Intelligence Studio está disponível com APIs v3.0 e versões posteriores.

Exemplo de documento processado com o Document Intelligence Studio

1. Na home page do Document Intelligence Studio, selecione Layout.

2. Pode analisar o documento de exemplo ou carregar os seus próprios ficheiros.

3. Selecione o botão Executar análise e, se necessário, configure as opções Analisar:

   

   Experimente o Document Intelligence Studio.

Idiomas e localidades suportados

Consulte a nossa página Suporte a idiomas — modelos de análise de documentos para obter uma lista completa dos idiomas suportados.

Extração de dados

O modelo de layout extrai texto, marcas de seleção, tabelas, parágrafos e tipos de parágrafo (roles) de seus documentos.

Nota

As versões 2024-02-29-preview, 2023-10-31-previewe posteriores suportam ficheiros Microsoft Office (DOCX, XLSX, PPTX) e HTML. Os seguintes recursos não são suportados:

• Não há ângulo, largura/altura e unidade com cada objeto de página.
• Para cada objeto detetado, não há polígono delimitador ou região delimitadora.
• O intervalo de páginas (pages) não é suportado como parâmetro.
• Nenhum lines objeto.

Páginas

A coleção pages é uma lista de páginas dentro do documento. Cada página é representada sequencialmente dentro do documento e inclui o ângulo de orientação que indica se a página é girada e a largura e altura (dimensões em pixels). As unidades de página na saída do modelo são calculadas como mostrado:

Formato do ficheiro	Unidade de página computada	Total de páginas
Imagens (JPEG/JPG, PNG, BMP, HEIF)	Cada imagem = 1 unidade de página	Total de imagens
PDF	Cada página no PDF = unidade de 1 página	Total de páginas no PDF
TIFF	Cada imagem no TIFF = 1 unidade de página	Total de imagens no TIFF
Palavra (DOCX)	Até 3.000 caracteres = 1 unidade de página, imagens incorporadas ou vinculadas não suportadas	Total de páginas de até 3.000 caracteres cada
Excel (XLSX)	Cada planilha = 1 unidade de página, imagens incorporadas ou vinculadas não suportadas	Total de planilhas
PowerPoint (PPTX)	Cada slide = 1 unidade de página, imagens incorporadas ou vinculadas não suportadas	Total de diapositivos
HTML	Até 3.000 caracteres = 1 unidade de página, imagens incorporadas ou vinculadas não suportadas	Total de páginas de até 3.000 caracteres cada

"pages": [
    {
        "pageNumber": 1,
        "angle": 0,
        "width": 915,
        "height": 1190,
        "unit": "pixel",
        "words": [],
        "lines": [],
        "spans": []
    }
]

Extrair páginas selecionadas de documentos

Para documentos grandes de várias páginas, use o pages parâmetro query para indicar números de página específicos ou intervalos de páginas para extração de texto.

Parágrafos

O modelo Layout extrai todos os blocos de texto identificados na paragraphs coleção como um objeto de nível superior em analyzeResults. Cada entrada nesta coleção representa um bloco de texto e inclui o texto extraído comocontente as coordenadas delimitadoras polygon . As span informações apontam para o fragmento de texto dentro da propriedade de nível content superior que contém o texto completo do documento.

"paragraphs": [
    {
        "spans": [],
        "boundingRegions": [],
        "content": "While healthcare is still in the early stages of its Al journey, we are seeing pharmaceutical and other life sciences organizations making major investments in Al and related technologies.\" TOM LAWRY | National Director for Al, Health and Life Sciences | Microsoft"
    }
]

Funções de parágrafo

A nova deteção de objeto de página baseada em aprendizado de máquina extrai funções lógicas, como títulos, cabeçalhos de seção, cabeçalhos de página, rodapés de página e muito mais. O modelo Document Intelligence Layout atribui determinados blocos de texto na paragraphs coleção com sua função ou tipo especializado previsto pelo modelo. Eles são melhor usados com documentos não estruturados para ajudar a entender o layout do conteúdo extraído para uma análise semântica mais rica. As seguintes funções de parágrafo são suportadas:

Papel previsto	Descrição	Tipos de ficheiros suportados
title	Os títulos principais da página	pdf, imagem, docx, pptx, xlsx, html
sectionHeading	Um ou mais subtítulos na página	pdf, imagem, docx, xlsx, html
footnote	Texto na parte inferior da página	pdf, imagem
pageHeader	Texto perto da borda superior da página	pdf, imagem, docx
pageFooter	Texto perto da borda inferior da página	pdf, imagem, docx, pptx, html
pageNumber	Número de página	pdf, imagem

{
    "paragraphs": [
                {
                    "spans": [],
                    "boundingRegions": [],
                    "role": "title",
                    "content": "NEWS TODAY"
                },
                {
                    "spans": [],
                    "boundingRegions": [],
                    "role": "sectionHeading",
                    "content": "Mirjam Nilsson"
                }
    ]
}

Texto, linhas e palavras

O modelo de layout de documento no Document Intelligence extrai texto de estilo impresso e manuscrito como lines e words. A styles coleção inclui qualquer estilo manuscrito para linhas, se detetado junto com as extensões apontando para o texto associado. Este recurso aplica-se aos idiomas manuscritos suportados.

Para Microsoft Word, Excel, PowerPoint e HTML, as versões de layout 2024-02-29-preview e 2023-10-31-preview extraem todo o texto incorporado como está. Os textos são extraídos sob a forma de palavras e parágrafos. Não há suporte para imagens incorporadas.

"words": [
    {
        "content": "While",
        "polygon": [],
        "confidence": 0.997,
        "span": {}
    },
],
"lines": [
    {
        "content": "While healthcare is still in the early stages of its Al journey, we",
        "polygon": [],
        "spans": [],
    }
]

Estilo manuscrito para linhas de texto

A resposta inclui classificar se cada linha de texto é de estilo de caligrafia ou não, juntamente com uma pontuação de confiança. Para obter mais informações. Consulte Suporte a idiomas manuscritos. O exemplo a seguir mostra um trecho JSON de exemplo.

"styles": [
{
    "confidence": 0.95,
    "spans": [
    {
        "offset": 509,
        "length": 24
    }
    "isHandwritten": true
    ]
}

Se você habilitar o recurso de complemento fonte/estilo, também obterá o resultado fonte/estilo como parte do styles objeto.

Marcas de seleção

O modelo Layout também extrai marcas de seleção de documentos. As marcas de seleção extraídas aparecem dentro da pages coleção para cada página. Eles incluem o delimitador polygon, confidence, e seleção state (selected/unselected). A representação de texto (ou seja, :selected: e :unselected) também é incluída como o índice inicial (offset) e length faz referência à propriedade de nível content superior que contém o texto completo do documento.

{
    "selectionMarks": [
        {
            "state": "unselected",
            "polygon": [],
            "confidence": 0.995,
            "span": {
                "offset": 1421,
                "length": 12
            }
        }
    ]
}

Tabelas

A extração de tabelas é um requisito fundamental para o processamento de documentos que contenham grandes volumes de dados normalmente formatados como tabelas. O modelo Layout extrai tabelas na pageResults seção da saída JSON. As informações extraídas da tabela incluem o número de colunas e linhas, a extensão da linha e a extensão da coluna. Cada célula com seu polígono delimitador é saída junto com informações se a área é reconhecida como um columnHeader ou não. O modelo suporta a extração de tabelas que são giradas. Cada célula da tabela contém o índice de linha e coluna e as coordenadas do polígono delimitador. Para o texto da célula, o modelo produz as span informações que contêm o índice inicial (offset). O modelo também produz o length conteúdo de nível superior que contém o texto completo do documento.

Nota

A tabela não é suportada se o arquivo de entrada for XLSX.

{
    "tables": [
        {
            "rowCount": 9,
            "columnCount": 4,
            "cells": [
                {
                    "kind": "columnHeader",
                    "rowIndex": 0,
                    "columnIndex": 0,
                    "columnSpan": 4,
                    "content": "(In millions, except earnings per share)",
                    "boundingRegions": [],
                    "spans": []
                    },
            ]
        }
    ]
}

Saída para formato de markdown

A API de layout pode gerar o texto extraído em formato de marcação. Use o outputContentFormat=markdown para especificar o formato de saída em markdown. O conteúdo de markdown é produzido como parte da content seção.

"analyzeResult": {
"apiVersion": "2024-02-29-preview",
"modelId": "prebuilt-layout",
"contentFormat": "markdown",
"content": "# CONTOSO LTD...",
}

Números

As figuras (gráficos, imagens) em documentos desempenham um papel crucial na complementação e valorização do conteúdo textual, fornecendo representações visuais que auxiliam na compreensão de informações complexas. O objeto figures detetado pelo modelo Layout tem propriedades principais como boundingRegions (os locais espaciais da figura nas páginas do documento, incluindo o número da página e as coordenadas do polígono que delineiam o limite da figura), spans (detalha as extensões de texto relacionadas à figura, especificando seus deslocamentos e comprimentos dentro do texto do documento. Esta ligação ajuda a associar a figura ao seu contexto textual relevante), elements (os identificadores de elementos de texto ou parágrafos dentro do documento que estão relacionados ou descrevem a figura) e caption se existirem.

{
    "figures": [
      {
        "boundingRegions": [],
        "spans": [],
        "elements": [
          "/paragraphs/15",
          ...
        ],
        "caption": {
          "content": "Here is a figure with some text",
          "boundingRegions": [],
          "spans": [],
          "elements": [
            "/paragraphs/15"
          ]
        }
      }
    ]
}

Secções

A análise hierárquica da estrutura documental é fundamental na organização, compreensão e processamento de documentos extensos. Essa abordagem é vital para segmentar semanticamente documentos longos para aumentar a compreensão, facilitar a navegação e melhorar a recuperação de informações. O advento da Geração Aumentada de Recuperação (RAG) na IA geradora de documentos ressalta a importância da análise hierárquica da estrutura de documentos. O modelo Layout suporta seções e subseções na saída, que identifica a relação de seções e objeto dentro de cada seção. A estrutura hierárquica é mantida em elements cada secção. Você pode usar a saída para o formato markdown para obter facilmente as seções e subseções em markdown.

{
    "sections": [
      {
        "spans": [],
        "elements": [
          "/paragraphs/0",
          "/sections/1",
          "/sections/2",
          "/sections/5"
        ]
      },
...
}

Próximos passos

• Saiba como processar seus próprios formulários e documentos com o Document Intelligence Studio.

• Conclua um início rápido do Document Intelligence e comece a criar um aplicativo de processamento de documentos na linguagem de desenvolvimento de sua escolha.