Modelo de layout do Document Intelligence

Este conteúdo aplica-se a: v3.1 (GA) | Última versão: v4.0 (pré-visualização) | Versões anteriores: v3.0 v2.1

O modelo de layout do Document Intelligence é uma API avançada de análise de documentos baseada em aprendizado de máquina disponível na nuvem Document Intelligence. Ele permite que você pegue documentos em vários formatos e retorne representações de dados estruturados dos documentos. Combina uma versão melhorada das nossas poderosas capacidades de Reconhecimento Ótico de Carateres (OCR) com modelos de aprendizagem profunda para extrair texto, tabelas, marcas de seleção e estrutura do documento.

Análise de layout de documentos

A análise de layout da estrutura do documento é o processo de análise de um documento para extrair regiões de interesse e suas inter-relações. O objetivo é extrair texto e elementos estruturais da página para construir melhores modelos de compreensão semântica. Há dois tipos de funções em um layout de documento:

• Funções geométricas: texto, tabelas, figuras e marcas de seleção são exemplos de funções geométricas.
• Funções lógicas: títulos, títulos e rodapés são exemplos de funções lógicas de textos.

A ilustração a seguir mostra os componentes típicos em uma imagem de uma página de exemplo.

Opções de desenvolvimento

O Document Intelligence v3.1 suporta as seguintes ferramentas, aplicativos e bibliotecas:

Caraterística	Recursos	Model ID
Modelo de layout	• Document Intelligence Studio • API REST • C# SDK • Python SDK • Java SDK • JavaScript SDK	layout pré-construído

Requisitos de entrada

• Formatos de ficheiro suportados:

  Modelo	PDF	Imagem: JPEG/JPG, PNG, BMP, TIFF, , HEIF	Microsoft Office: Word (DOCX), Excel (XLSX), PowerPoint (PPTX), HTML
  Lida	✔	✔	✔
  Esquema	✔	✔	✔ (2024-07-31-pré-visualização, 2024-02-29-pré-visualização, 2023-10-31-pré-visualização)
  Documento Geral	✔	✔
  Pré-criado	✔	✔
  Extração personalizada	✔	✔
  Classificação personalizada	✔	✔	✔ (2024-07-31-pré-visualização, 2024-02-29-pré-visualização)

• Para obter melhores resultados, forneça uma foto nítida ou uma digitalização de alta qualidade por documento.

• Para PDF e TIFF, até 2.000 páginas podem ser processadas (com uma assinatura de nível gratuito, apenas as duas primeiras páginas são processadas).

• O tamanho do arquivo para analisar documentos é de 500 MB para a camada paga (S0) e 4 MB para a camada gratuita (F0).

• As dimensões da imagem devem estar entre 50 pixels x 50 pixels e 10.000 pixels x 10.000 pixels.

• Se os seus PDFs forem bloqueados por uma palavra-passe, terá de remover o bloqueio antes da submetê-los.

• A altura mínima do texto a ser extraído é de 12 pixels para uma imagem de 1024 x 768 pixels. Esta dimensão corresponde a cerca 8 de texto pontual a 150 pontos por polegada (DPI).

• Para treinamento de modelo personalizado, o número máximo de páginas para dados de treinamento é 500 para o modelo de modelo personalizado e 50.000 para o modelo neural personalizado.

  • Para o treinamento do modelo de extração personalizado, o tamanho total dos dados de treinamento é de 50 MB para o modelo de modelo e 1 GB para o modelo neural.

  • Para treinamento de modelo de classificação personalizado, o tamanho total dos dados de treinamento é 1 GB com um máximo de 10.000 páginas. Para 2024-07-31-preview e posterior, o tamanho total dos dados de treinamento é 2 GB com um máximo de 10.000 páginas.

Introdução ao modelo de layout

Veja como os dados, incluindo texto, tabelas, cabeçalhos de tabelas, marcas de seleção e informações de estrutura são extraídos de documentos usando o Document Intelligence. Você precisa dos seguintes recursos:

• Uma assinatura do Azure — você pode criar uma gratuitamente.

• Uma instância de Document Intelligence no portal do Azure. Você pode usar o nível de preço gratuito (F0) para experimentar o serviço. Depois que o recurso for implantado, selecione Ir para o recurso para obter sua chave e o ponto de extremidade.

Nota

O Document Intelligence Studio está disponível com APIs v3.0 e versões posteriores.

Exemplo de documento processado com o Document Intelligence Studio

1. Na home page do Document Intelligence Studio, selecione Layout.

2. Pode analisar o documento de exemplo ou carregar os seus próprios ficheiros.

3. Selecione o botão Executar análise e, se necessário, configure as opções Analisar:

   

   Experimente o Document Intelligence Studio.

Idiomas e localidades suportados

Consulte a nossa página Suporte a idiomas — modelos de análise de documentos para obter uma lista completa dos idiomas suportados.

Extração de dados

O modelo de layout extrai texto, marcas de seleção, tabelas, parágrafos e tipos de parágrafo (roles) de seus documentos.

Nota

As versões 2024-02-29-preview, 2023-10-31-previewe posteriores suportam ficheiros Microsoft Office (DOCX, XLSX, PPTX) e HTML. Os seguintes recursos não são suportados:

• Não há ângulo, largura/altura e unidade com cada objeto de página.
• Para cada objeto detetado, não há polígono delimitador ou região delimitadora.
• O intervalo de páginas (pages) não é suportado como parâmetro.
• Nenhum lines objeto.

Páginas

A coleção pages é uma lista de páginas dentro do documento. Cada página é representada sequencialmente dentro do documento e .. /inclui o ângulo de orientação que indica se a página está girada e a largura e altura (dimensões em pixels). As unidades de página na saída do modelo são calculadas como mostrado:

Formato do ficheiro	Unidade de página computada	Total de páginas
Imagens (JPEG/JPG, PNG, BMP, HEIF)	Cada imagem = 1 unidade de página	Total de imagens
PDF	Cada página no PDF = unidade de 1 página	Total de páginas no PDF
TIFF	Cada imagem no TIFF = 1 unidade de página	Total de imagens no TIFF
Palavra (DOCX)	Até 3.000 caracteres = 1 unidade de página, imagens incorporadas ou vinculadas não suportadas	Total de páginas de até 3.000 caracteres cada
Excel (XLSX)	Cada planilha = 1 unidade de página, imagens incorporadas ou vinculadas não suportadas	Total de planilhas
PowerPoint (PPTX)	Cada slide = 1 unidade de página, imagens incorporadas ou vinculadas não suportadas	Total de diapositivos
HTML	Até 3.000 caracteres = 1 unidade de página, imagens incorporadas ou vinculadas não suportadas	Total de páginas de até 3.000 caracteres cada

Código de exemplo

# Analyze pages.
for page in result.pages:
    print(f"----Analyzing layout from page #{page.page_number}----")
    print(
        f"Page has width: {page.width} and height: {page.height}, measured with unit: {page.unit}"
    )

Veja exemplos no GitHub.

Saída

"pages": [
    {
        "pageNumber": 1,
        "angle": 0,
        "width": 915,
        "height": 1190,
        "unit": "pixel",
        "words": [],
        "lines": [],
        "spans": []
    }
]

Extrair páginas selecionadas de documentos

Para documentos grandes de várias páginas, use o pages parâmetro query para indicar números de página específicos ou intervalos de páginas para extração de texto.

Parágrafos

O modelo Layout extrai todos os blocos de texto identificados na paragraphs coleção como um objeto de nível superior em analyzeResults. Cada entrada nesta coleção representa um bloco de texto e .. /inclui o texto extraído comocontente as coordenadas delimitadoras polygon . As span informações apontam para o fragmento de texto dentro da propriedade de nível content superior que contém o texto completo do documento.

"paragraphs": [
    {
        "spans": [],
        "boundingRegions": [],
        "content": "While healthcare is still in the early stages of its Al journey, we are seeing pharmaceutical and other life sciences organizations making major investments in Al and related technologies.\" TOM LAWRY | National Director for Al, Health and Life Sciences | Microsoft"
    }
]

Funções de parágrafo

A nova deteção de objeto de página baseada em aprendizado de máquina extrai funções lógicas, como títulos, cabeçalhos de seção, cabeçalhos de página, rodapés de página e muito mais. O modelo Document Intelligence Layout atribui determinados blocos de texto na paragraphs coleção com sua função ou tipo especializado previsto pelo modelo. É melhor usar funções de parágrafo com documentos não estruturados para ajudar a entender o layout do conteúdo extraído para uma análise semântica mais rica. As seguintes funções de parágrafo são suportadas:

Papel previsto	Descrição	Tipos de ficheiros suportados
title	Os títulos principais da página	pdf, imagem, docx, pptx, xlsx, html
sectionHeading	Um ou mais subtítulos na página	pdf, imagem, docx, xlsx, html
footnote	Texto na parte inferior da página	pdf, imagem
pageHeader	Texto perto da borda superior da página	pdf, imagem, docx
pageFooter	Texto perto da borda inferior da página	pdf, imagem, docx, pptx, html
pageNumber	Número de página	pdf, imagem

{
    "paragraphs": [
                {
                    "spans": [],
                    "boundingRegions": [],
                    "role": "title",
                    "content": "NEWS TODAY"
                },
                {
                    "spans": [],
                    "boundingRegions": [],
                    "role": "sectionHeading",
                    "content": "Mirjam Nilsson"
                }
    ]
}

Texto, linhas e palavras

O modelo de layout de documento no Document Intelligence extrai texto de estilo impresso e manuscrito como lines e words. A styles coleção .. /inclui qualquer estilo manuscrito para linhas, se detetado junto com as extensões apontando para o texto associado. Este recurso aplica-se aos idiomas manuscritos suportados.

Para Microsoft Word, Excel, PowerPoint e HTML, as versões de layout 2024-02-29-preview e 2023-10-31-preview extraem todo o texto incorporado como está. Os textos são extraídos sob a forma de palavras e parágrafos. Não há suporte para imagens incorporadas.

Código de exemplo

# Analyze lines.
for line_idx, line in enumerate(page.lines):
    words = line.get_words()
    print(
        f"...Line # {line_idx} has word count {len(words)} and text '{line.content}' "
        f"within bounding polygon '{format_polygon(line.polygon)}'"
    )

    # Analyze words.
    for word in words:
        print(
            f"......Word '{word.content}' has a confidence of {word.confidence}"
        )

Veja exemplos no GitHub.

Saída

"words": [
    {
        "content": "While",
        "polygon": [],
        "confidence": 0.997,
        "span": {}
    },
],
"lines": [
    {
        "content": "While healthcare is still in the early stages of its Al journey, we",
        "polygon": [],
        "spans": [],
    }
]

Estilo manuscrito para linhas de texto

A resposta .. /inclui a classificação se cada linha de texto é de estilo manuscrito ou não, juntamente com uma pontuação de confiança. Para obter mais informações. Consulte Suporte a idiomas manuscritos. O exemplo a seguir mostra um trecho JSON de exemplo.

"styles": [
{
    "confidence": 0.95,
    "spans": [
    {
        "offset": 509,
        "length": 24
    }
    "isHandwritten": true
    ]
}

Se você habilitar o recurso de complemento fonte/estilo, também obterá o resultado fonte/estilo como parte do styles objeto.

Marcas de seleção

O modelo Layout também extrai marcas de seleção de documentos. As marcas de seleção extraídas aparecem dentro da pages coleção para cada página. Eles incluem o delimitador polygon, confidence, e seleção state (selected/unselected). A representação de texto (ou seja, :selected: e :unselected) também é incluída como o índice inicial (offset) e length faz referência à propriedade de nível content superior que contém o texto completo do documento.

Código de exemplo

# Analyze selection marks.
for selection_mark in page.selection_marks:
    print(
        f"Selection mark is '{selection_mark.state}' within bounding polygon "
        f"'{format_polygon(selection_mark.polygon)}' and has a confidence of {selection_mark.confidence}"
    )

Veja exemplos no GitHub.

Saída

{
    "selectionMarks": [
        {
            "state": "unselected",
            "polygon": [],
            "confidence": 0.995,
            "span": {
                "offset": 1421,
                "length": 12
            }
        }
    ]
}

Tabelas

A extração de tabelas é um requisito fundamental para o processamento de documentos que contenham grandes volumes de dados normalmente formatados como tabelas. O modelo Layout extrai tabelas na pageResults seção da saída JSON. Informações extraídas da tabela .. /inclui o número de colunas e linhas, a extensão da linha e a extensão da coluna. Cada célula com seu polígono delimitador é saída junto com informações se a área é reconhecida como um columnHeader ou não. O modelo suporta a extração de tabelas que são giradas. Cada célula da tabela contém o índice de linha e coluna e as coordenadas do polígono delimitador. Para o texto da célula, o modelo produz as span informações que contêm o índice inicial (offset). O modelo também produz o length conteúdo de nível superior que contém o texto completo do documento.

Aqui estão alguns fatores a serem considerados ao usar o recurso de extração de fardos do Document Intelligence:

• Os dados que você deseja extrair são apresentados como uma tabela e a estrutura da tabela é significativa?

• Os dados podem caber em uma grade bidimensional se os dados não estiverem em um formato de tabela?

• As suas tabelas abrangem várias páginas? Em caso afirmativo, para evitar ter que rotular todas as páginas, divida o PDF em páginas antes de enviá-lo para o Document Intelligence. Após a análise, pós-processe as páginas para uma única tabela.

• Consulte Campos tabulares se estiver criando modelos personalizados. As tabelas dinâmicas têm um número variável de linhas para cada coluna. As tabelas fixas têm um número constante de linhas para cada coluna.

Nota

• A análise de tabela não é suportada se o arquivo de entrada for XLSX.
• A partir de 2024-07-31-preview, as regiões delimitadoras de figuras e tabelas cobrem apenas o conteúdo principal e excluem legendas e notas de rodapé associadas.

Código de exemplo

# Analyze tables.
for table_idx, table in enumerate(result.tables):
    print(
        f"Table # {table_idx} has {table.row_count} rows and "
        f"{table.column_count} columns"
    )
    for region in table.bounding_regions:
        print(
            f"Table # {table_idx} location on page: {region.page_number} is {format_polygon(region.polygon)}"
        )
    for cell in table.cells:
        print(
            f"...Cell[{cell.row_index}][{cell.column_index}] has text '{cell.content}'"
        )
        for region in cell.bounding_regions:
            print(
                f"...content on page {region.page_number} is within bounding polygon '{format_polygon(region.polygon)}'"
            )

Veja exemplos no GitHub.

Saída

{
    "tables": [
        {
            "rowCount": 9,
            "columnCount": 4,
            "cells": [
                {
                    "kind": "columnHeader",
                    "rowIndex": 0,
                    "columnIndex": 0,
                    "columnSpan": 4,
                    "content": "(In millions, except earnings per share)",
                    "boundingRegions": [],
                    "spans": []
                    },
            ]
        }
    ]
}

Anotações (disponível apenas na 2023-02-28-preview API.)

O modelo Layout extrai anotações em documentos, como verificações e cruzes. A resposta .. /inclui o tipo de anotação, juntamente com uma pontuação de confiança e polígono delimitador.

    {
    "pages": [
    {
        "annotations": [
        {
            "kind": "cross",
            "polygon": [...],
            "confidence": 1
        }
        ]
    }
    ]
}

Próximos passos

• Saiba como processar seus próprios formulários e documentos com o Document Intelligence Studio.

• Conclua um início rápido do Document Intelligence e comece a criar um aplicativo de processamento de documentos na linguagem de desenvolvimento de sua escolha.

• Encontre mais exemplos no GitHub.