Что такое модель макета аналитики документов?

Это содержимое относится к:версии 4.0 (GA) | Предыдущие версии:v3.1 (GA)v3.0 (GA)v2.1 (GA)

Модель макета аналитики документов Azure — это расширенный API анализа документов на основе машинного обучения. Модель доступна в облаке Аналитики документов. Его можно использовать для принятия документов в различных форматах и возврата структурированных представлений данных документов. Модель объединяет расширенную версию мощных возможностей оптического распознавания символов (OCR) с моделями глубокого обучения для извлечения текста, таблиц, меток выделения и структуры документов.

Анализ макета структуры документа

Анализ структуры документов — это процесс анализа документа для извлечения интересующих регионов и их взаимосвязей. Цель состоит в том, чтобы извлечь текст и структурные элементы со страницы, чтобы создать более семантические модели. В макете документа есть два типа ролей:

• Геометрические роли: текст, таблицы, цифры и знаки выделения являются примерами геометрических ролей.
• Логические роли: заголовки, заголовки и нижние колонтитулы являются примерами логических ролей текста.

На следующем рисунке показаны типичные компоненты на изображении примера страницы.

Варианты разработки

Аналитика документов версии 4.0: 2024-11-30 (GA) поддерживает следующие средства, приложения и библиотеки.

Функция	Ресурсы	Идентификатор модели
Модель макета	• Аналитика документов• REST API • ПАКЕТ SDK • Пакет SDK • Пакет SDK для Java • Пакет SDK java для JavaScript	prebuilt-layout

Поддерживаемые языки

Полный список поддерживаемых языков см. в разделе " Поддержка языков: модели анализа документов".

Поддерживаемые типы файлов

Модель макета аналитики документов версии 4.0: 2024-11-30 (GA) поддерживает следующие форматы файлов:

Модель	Формат pdf	Изображение: JPEG/JPG, PNG, BMP, TIFF, HEIF	Office: Word (DOCX), Excel (XLS), PowerPoint (PPTX), HTML
Макет	✔	✔	✔

Требования к входным данным

• Фотографии и сканы: для получения наилучших результатов укажите одну чистую фотографию или высококачественную проверку на документ.
• PDF и TIFFs: для PDF-файлов и TIFFs можно обрабатывать до 2000 страниц. (С подпиской на бесплатный уровень обрабатываются только первые две страницы.)
• Блокировки паролей. Если pdf-файлы заблокированы паролем, необходимо удалить блокировку перед отправкой.
• Размер файла: размер файла для анализа документов составляет 500 МБ для платного уровня (S0) и 4 МБ для бесплатного уровня (F0).
• Размеры изображения: размеры изображения должны находиться в диапазоне от 50 пикселей до 10 000 пикселей x 10 000 пикселей.
• Высота текста: минимальная высота извлеченного текста составляет 12 пикселей для изображения 1024 x 768 пикселей. Это измерение соответствует примерно 8-точечным тексту в 150 точек на дюйм.
• Обучение пользовательской модели: максимальное количество страниц для обучающих данных составляет 500 для пользовательской модели шаблона и 50 000 для пользовательской нейронной модели.
• Обучение пользовательской модели извлечения: общий размер обучающих данных составляет 50 МБ для модели шаблона и 1 ГБ для нейронной модели.
• Обучение пользовательской модели классификации: общий размер обучающих данных составляет 1 ГБ, не более 10 000 страниц. Для 2024-11-30 (GA) общий размер обучающих данных составляет 2 ГБ с максимум 10 000 страниц.
• Типы файлов Office (DOCX, XLSX, PPTX): максимальная длина строки составляет 8 миллионов символов.

Дополнительные сведения об использовании модели, квотах и ограничениях служб см. в разделе "Ограничения службы".

Начало работы с моделью макета

Узнайте, как данные, включая текст, таблицы, заголовки таблиц, метки выделения и сведения о структуре, извлекаются из документов с помощью аналитики документов. Вам потребуются следующие ресурсы:

• Подписка Azure. Вы можете создать бесплатную учетную запись.

• Экземпляр Document Intelligence на портале Azure. Вы можете использовать бесплатную ценовую категорию (F0), чтобы попробовать службу. После развертывания ресурса выберите Перейти к ресурсу, чтобы получить ключ и конечную точку.

  

После получения ключа и конечной точки используйте следующие параметры разработки для создания и развертывания приложений аналитики документов.

REST API

• REST API аналитики документов
• Начало работы: Document Intelligence Studio

Клиентские библиотеки

• C# SDK
• Пакет SDK для Python
• пакет SDK для Java
• JavaScript

Document Intelligence Studio

• Document Intelligence Studio
• Начало работы: Document Intelligence Studio

Извлечение данных

Модель макета извлекает структурные элементы из документов. В оставшейся части этой статьи описаны следующие структурные элементы, а также рекомендации по их извлечению из входных данных документа:

• Страниц
• Пунктах
• Текст, строки и слова
• Метки выделения
• Таблицы
• Выходной ответ на markdown
• Цифра
• Сортовое железо

Запустите анализ образца документа макета в Studio Document Intelligence. Затем перейдите на вкладку результатов и получите доступ к полным выходным данным JSON.

Страницы

Коллекция pages — это список страниц в документе. Каждая страница представлена последовательно в документе и включает угол ориентации, указывающий, поворачивается ли страница, а также ширина и высота (измерения в пикселях). Единицы страницы в выходных данных модели вычисляются, как показано в следующей таблице.

Формат файла	Единица вычисляемой страницы	Всего страниц
Изображения (JPEG/JPG, PNG, BMP, HEIF)	Каждое изображение = 1 единица страницы.	Всего изображений
Формат pdf	Каждая страница в ФОРМАТЕ PDF = 1 единица страницы.	Всего страниц в PDF
Ссора	Каждое изображение в TIFF = 1 единица страницы.	Общее количество изображений в TIFF
Word (DOCX)	До 3000 символов = 1 единица страницы. Внедренные или связанные изображения не поддерживаются.	Общее количество страниц, каждая из которых содержит до 3000 символов
Excel (XLSX)	Каждый лист = 1 единица страницы. Внедренные или связанные изображения не поддерживаются.	Всего листов
PowerPoint (PPTX)	Каждый слайд = 1 единица страницы. Внедренные или связанные изображения не поддерживаются.	Всего слайдов
HTML	До 3000 символов = 1 единица страницы. Внедренные или связанные изображения не поддерживаются.	Общее количество страниц, каждая из которых содержит до 3000 символов

Пример кода

# Analyze pages.
for page in result.pages:
print(f"----Analyzing layout from page #{page.page_number}----")
print(f"Page has width: {page.width} and height: {page.height}, measured with unit: {page.unit}")

Просмотр примеров на сайте GitHub.

Выходные данные

"pages": [
    {
        "pageNumber": 1,
        "angle": 0,
        "width": 915,
        "height": 1190,
        "unit": "pixel",
        "words": [],
        "lines": [],
        "spans": []
    }
]

Извлечение выбранных страниц

Для больших документов с несколькими страницами используйте pages параметр запроса, чтобы указать определенные номера страниц или диапазоны страниц для извлечения текста.

Абзацы

Модель макета извлекает все определенные блоки текста в paragraphs коллекции как объект верхнего уровня в разделе analyzeResults. Каждая запись в этой коллекции представляет текстовый блок и включает извлеченный текст как content и ограничивающие polygon координаты. Сведения spans указывают на фрагмент текста в свойстве верхнего уровня content , содержающем полный текст документа.

"paragraphs": [
    {
        "spans": [],
        "boundingRegions": [],
        "content": "While healthcare is still in the early stages of its Al journey, we are seeing pharmaceutical and other life sciences organizations making major investments in Al and related technologies.\" TOM LAWRY | National Director for Al, Health and Life Sciences | Microsoft"
    }
]

Роли абзаца

Обнаружение нового объекта страницы на основе машинного обучения извлекает логические роли, такие как заголовки, заголовки разделов, заголовки страницы, нижние колонтитулы страницы и многое другое. Модель макета аналитики документов назначает определенные текстовые блоки в paragraphs коллекции с их специализированной ролью или типом, прогнозируемым моделью.

Рекомендуется использовать роли для абзацев с неструктурированными документами, чтобы понять структуру извлеченного контента для более глубокого семантического анализа. Поддерживаются следующие роли абзаца.

Прогнозируемая роль	Description	Поддерживаемые типы файлов
title	Основные заголовки на странице	PDF, Image, DOCX, PPTX, XLSX, HTML
sectionHeading	Одно или несколько подзаголовок на странице	PDF, Image, DOCX, XLSX, HTML
footnote	Текст в нижней части страницы	PDF, изображение
pageHeader	Текст по верхнему краю страницы	PDF, Image, DOCX
pageFooter	Текст по нижнему краю страницы	PDF, Image, DOCX, PPTX, HTML
pageNumber	Номер страницы	PDF, изображение

{
    "paragraphs": [
                {
                    "spans": [],
                    "boundingRegions": [],
                    "role": "title",
                    "content": "NEWS TODAY"
                },
                {
                    "spans": [],
                    "boundingRegions": [],
                    "role": "sectionHeading",
                    "content": "Mirjam Nilsson"
                }
    ]
}

Текст, строки и слова

Модель макета документа в Аналитике документов извлекает текст в виде и рукописного текста lineswords. Коллекция styles содержит любой рукописный стиль для строк, если он обнаружен, а также диапазоны, указывающие на связанный текст. Эта функция применяется к поддерживаемым языкам рукописного ввода.

Для Microsoft Word, Excel, PowerPoint и HTML модель макета Document Intelligence версии 4.0 2024-11-30 (GA) извлекает весь внедренный текст как есть. Тексты извлекаются как слова и абзацы. Внедренные образы не поддерживаются.

Пример кода

# Analyze lines.
if page.lines:
    for line_idx, line in enumerate(page.lines):
    words = get_words(page, line)
    print(
        f"...Line # {line_idx} has word count {len(words)} and text '{line.content}' "
        f"within bounding polygon '{line.polygon}'"
    )

    # Analyze words.
    for word in words:
        print(f"......Word '{word.content}' has a confidence of {word.confidence}")

Просмотр примеров на сайте GitHub.

Выходные данные

"words": [
    {
        "content": "While",
        "polygon": [],
        "confidence": 0.997,
        "span": {}
    },
],
"lines": [
    {
        "content": "While healthcare is still in the early stages of its Al journey, we",
        "polygon": [],
        "spans": [],
    }
]

Стиль рукописного текста для текстовых строк

Ответ включает, находится ли каждая текстовая строка в рукописном стиле или нет, а также оценка достоверности. Дополнительные сведения см. в разделе "Поддержка рукописного текста". В следующем примере показан пример фрагмента КОДА JSON.

"styles": [
{
    "confidence": 0.95,
    "spans": [
    {
        "offset": 509,
        "length": 24
    }
    "isHandwritten": true
    ]
}

Если включить возможность надстройки шрифта и стиля, вы также получите результат шрифта или стиля в рамках styles объекта.

Отметки выбора

Модель макета также извлекает метки выбора из документов. Извлеченные метки выделения отображаются в коллекции pages для каждой страницы. Сюда входят ограничивающие метки polygon, confidence и метки выделения state (selected/unselected). Текстовое представление (то есть :selected: и :unselected) также включается в качестве начального индекса (offset) и length ссылается на свойство верхнего уровня content , содержащее полный текст документа.

Пример кода

# Analyze selection marks.
if page.selection_marks:
    for selection_mark in page.selection_marks:
        print(
            f"Selection mark is '{selection_mark.state}' within bounding polygon "
            f"'{selection_mark.polygon}' and has a confidence of {selection_mark.confidence}"
        )

Просмотр примеров на сайте GitHub.

Выходные данные

{
    "selectionMarks": [
        {
            "state": "unselected",
            "polygon": [],
            "confidence": 0.995,
            "span": {
                "offset": 1421,
                "length": 12
            }
        }
    ]
}

Таблицы

Извлечение таблиц является ключевым требованием для обработки документов, содержащих большие объемы данных, обычно отформатированных в виде таблиц. Модель макета извлекает таблицы в pageResults разделе выходных данных JSON. Извлеченные сведения о таблице включают количество столбцов и строк, диапазон строк и диапазон столбцов.

Каждая ячейка с ограничивающим многоугольником выводится вместе с информацией о том, распознается columnHeader ли область как или нет. Модель поддерживает извлечение таблиц, которые поворачиваются. Каждая ячейка таблицы содержит индекс строки и столбца и координаты ограничивающего многоугольника. Для текста ячейки модель выводит span сведения, содержащие начальный индекс (offset). Модель также выводит length в содержимое верхнего уровня, которое содержит полный текст документа.

Ниже приведены некоторые факторы, которые следует учитывать при использовании возможности извлечения бэйла аналитики документов:

• Являются ли данные, которые вы хотите извлечь, представленными в виде таблицы, и является ли структура таблицы значимой?
• Может ли данные помещаться в двухмерную сетку, если данные не в формате таблицы?
• Охватывают ли таблицы несколько страниц? Если это так, чтобы избежать необходимости пометить все страницы, разбиение PDF на страницы перед отправкой в аналитику документов. После анализа обработайте страницы так, чтобы они оказались в одной таблице.
• Если вы создаете пользовательские модели, ознакомьтесь с табличными полями . Динамические таблицы имеют переменное количество строк для каждого столбца. Фиксированные таблицы имеют постоянное количество строк для каждого столбца.

Примечание.

Анализ таблиц не поддерживается, если входной файл — XLSX. Для 2024-11-30 (GA) ограничивающие области для фигур и таблиц охватывают только основное содержимое и исключают связанные подписи и сноски.

Пример кода

if result.tables:
    for table_idx, table in enumerate(result.tables):
        print(f"Table # {table_idx} has {table.row_count} rows and " f"{table.column_count} columns")
        if table.bounding_regions:
            for region in table.bounding_regions:
                print(f"Table # {table_idx} location on page: {region.page_number} is {region.polygon}")
        # Analyze cells.
        for cell in table.cells:
            print(f"...Cell[{cell.row_index}][{cell.column_index}] has text '{cell.content}'")
            if cell.bounding_regions:
                for region in cell.bounding_regions:
                print(f"...content on page {region.page_number} is within bounding polygon '{region.polygon}'")

Просмотр примеров на сайте GitHub.

Выходные данные

{
    "tables": [
        {
            "rowCount": 9,
            "columnCount": 4,
            "cells": [
                {
                    "kind": "columnHeader",
                    "rowIndex": 0,
                    "columnIndex": 0,
                    "columnSpan": 4,
                    "content": "(In millions, except earnings per share)",
                    "boundingRegions": [],
                    "spans": []
                    },
            ]
        }
    ]
}

Выходной ответ на формат Markdown

API макета может выводить извлеченный текст в формате Markdown. outputContentFormat=markdown Используйте для указания формата выходных данных в Markdown. Содержимое Markdown выводится в рамках content раздела.

Примечание.

Для версии 4.0 2024-11-30 (GA) представление таблиц изменяется на HTML-таблицы, чтобы включить отрисовку таких элементов, как объединенные ячейки и заголовки многороувных. Другое связанное изменение заключается в использовании символов флажка Юникода и ☐ для меток ☒ выделения вместо :selected: него :unselected:. Это обновление означает, что содержимое полей выделенной метки содержит :selected: , даже если их диапазоны относятся к символам Юникода в диапазоне верхнего уровня. Полное определение элементов Markdown см. в формате выходных данных Markdown.

Пример кода

document_intelligence_client = DocumentIntelligenceClient(endpoint=endpoint, credential=AzureKeyCredential(key))
poller = document_intelligence_client.begin_analyze_document(
    "prebuilt-layout",
    AnalyzeDocumentRequest(url_source=url),
    output_content_format=ContentFormat.MARKDOWN,
)

Просмотр примеров на сайте GitHub.

Выходные данные

PageHeader="This is the header of the document."

This is title
===
# 1\. Text
Latin refers to an ancient Italic language originating in the region of Latium in ancient Rome.
# 2\. Page Objects
## 2.1 Table
Here's a sample table below, designed to be simple for easy understand and quick reference.
| Name | Corp | Remark |
| - | - | - |
| Foo | | |
| Bar | Microsoft | Dummy |
Table 1: This is a dummy table
## 2.2. Figure
<figure>
<figcaption>

Figure 1: Here is a figure with text
</figcaption>

![](figures/0)
FigureContent="500 450 400 400 350 250 200 200 200- Feb"
</figure>

# 3\. Others
Al Document Intelligence is an Al service that applies advanced machine learning to extract text, key-value pairs, tables, and structures from documents automatically and accurately:
    :selected:
clear
    :selected:
precise
    :unselected:
vague
    :selected:
coherent
    :unselected:
Incomprehensible
Turn documents into usable data and shift your focus to acting on information rather than compiling it. Start with prebuilt models or create custom models tailored to your documents both on premises and in the cloud with the Al Document Intelligence studio or SDK.
Learn how to accelerate your business processes by automating text extraction with Al Document Intelligence. This webinar features hands-on demos for key use cases such as document processing, knowledge mining, and industry-specific Al model customization.
PageFooter="This is the footer of the document."
PageFooter="1 | Page"

Числа

Цифры (диаграммы и изображения) в документах играют важную роль в дополнении и улучшении текстового содержимого. Они предоставляют визуальные представления, помогающие понять сложную информацию. Объект figures , обнаруженный моделью макета, имеет такие ключевые свойства:

• boundingRegions: пространственные расположения фигуры на страницах документа, включая номер страницы и координаты многоугольника, которые описывают границу фигуры.
• spans: диапазоны текста, связанные с рисунком, указывающим их смещение и длину в тексте документа. Это соединение помогает при связывании фигуры с соответствующим текстовым контекстом.
• elements: идентификаторы текстовых элементов или абзацев в документе, которые связаны или описывают рисунок.
• caption: описание, если есть одно.

При output=figures указании во время начальной операции анализа служба создает обрезанные изображения для всех обнаруженных цифр, к которым можно получить доступ./analyeResults/{resultId}/figures/{figureId} Значением FigureId является идентификатор, включенный в каждый объект фигуры, после соглашения {pageNumber}.{figureIndex} о том, где figureIndex сбрасывается по одному на страницу.

Для версии 4.0 2024-11-30 (GA) ограничивающие области для фигур и таблиц охватывают только основное содержимое и исключают связанные субтитры и сноски.

Пример кода

# Analyze figures.
if result.figures:
    for figures_idx,figures in enumerate(result.figures):
        print(f"Figure # {figures_idx} has the following spans:{figures.spans}")
        for region in figures.bounding_regions:
            print(f"Figure # {figures_idx} location on page:{region.page_number} is within bounding polygon '{region.polygon}'")

Просмотр примеров на сайте GitHub.

Выходные данные

{
    "figures": [
        {
        "id": "{figureId}",
        "boundingRegions": [],
        "spans": [],
        "elements": [
            "/paragraphs/15",
            ...
        ],
        "caption": {
            "content": "Here is a figure with some text",
            "boundingRegions": [],
            "spans": [],
            "elements": [
            "/paragraphs/15"
            ]
        }
        }
    ]
}

Разделы

Анализ иерархической структуры документов является ключевым в организации, понимании и обработке обширных документов. Этот подход жизненно важен для семантического сегментирования длинных документов для повышения понимания, упрощения навигации и улучшения получения информации. Появление создания дополненного в документе поколения (RAG) подчеркивает важность иерархического анализа структуры документов.

Модель макета поддерживает разделы и подразделы в выходных данных, определяющие связь разделов и объектов в каждом разделе. Иерархическая структура поддерживается для elements каждого раздела. Вы можете использовать выходной ответ в формате Markdown , чтобы легко получить разделы и подразделы в Markdown.

Пример кода

document_intelligence_client = DocumentIntelligenceClient(endpoint=endpoint, credential=AzureKeyCredential(key))
poller = document_intelligence_client.begin_analyze_document(
    "prebuilt-layout",
    AnalyzeDocumentRequest(url_source=url),
    output_content_format=ContentFormat.MARKDOWN,
)

Просмотр примеров на сайте GitHub.

Выходные данные

{
    "sections": [
        {
        "spans": [],
        "elements": [
            "/paragraphs/0",
            "/sections/1",
            "/sections/2",
            "/sections/5"
        ]
        },
...
}

Связанный контент

• Узнайте, как обрабатывать собственные формы и документы с помощью Document Intelligence Studio.
• Завершите краткое руководство по анализу документов и создайте приложение для обработки документов на выбранном языке разработки.

• Дополнительные примеры см. на сайте GitHub.