你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

文档智能布局模型

重要

• 使用文档智能选公共预览版，可以提前使用目前正处于开发状态的功能。 在正式发布 (GA) 之前，根据用户反馈，功能、方法和流程可能会发生更改。
• 文档智能客户端库的公共预览版默认使用 REST API 版本 2024-07-31-preview。
• 公共预览版 2024-07-31-preview 目前仅在以下 Azure 区域中可用。 请注意，AI Studio 中的自定义生成式（文档字段提取）模型仅适用于美国中北部区域：
  • 美国东部
  • 美国西部 2
  • “西欧”
  • 美国中北部

此内容适用于： v4.0（预览版） | 先前版本： v3.1 (GA) v3.0 (GA) v2.1 (GA)

文档智能布局模型是一种基于机器学习的高级文档分析 API，在文档智能云中可用。 它使你能够使用各种格式的文档，并返回文档的结构化数据表示形式。 它结合了强大的增强版光学字符识别 (OCR) 功能与深度学习模型，能够提取文本、表、选择标记和文档结构。

文档布局分析 (v4)

文档结构布局分析是分析文档以提取感兴趣的区域及其相互关系的过程。 目标是从页面中提取文本和结构元素，以构建更好的语义理解模型。 文档布局中有两种类型的角色：

• 几何角色：文本、表、图形和选择标记是几何角色的示例。
• 逻辑角色：标题、标头和页脚是文本逻辑角色的示例。

下图显示了示例页图像中的典型组件。

开发选项 (v4)

文档智能 v4.0 (2024-07-31-preview) 支持以下工具、应用程序和库：

功能	资源	模型 ID
布局模型	• 文档智能工作室 • REST API • C# SDK • Python SDK • Java SDK • JavaScript SDK	预生成布局

输入要求 (v4)

• 支持的文件格式：

  型号	PDF	图像： JPEG/JPG、PNG、BMP、TIFF、HEIF	Microsoft Office： Word (DOCX)、Excel (XLSX)、PowerPoint (PPTX)、HTML
  读取	✔	✔	✔
  布局	✔	✔	✔（2024-07-31-preview、2024-02-29-preview、2023-10-31-preview）
  常规文档	✔	✔
  预生成	✔	✔
  自定义提取	✔	✔
  自定义分类	✔	✔	✔（2024-07-31-preview、2024-02-29-preview）

• 为获得最佳结果，请针对每个文档提供一张清晰的照片或高质量的扫描件。

• 对于 PDF 和 TIFF，最多可处理 2,000 页（对于免费层订阅，仅处理前两页）。

• 用于分析文档的文件大小对于付费 (S0) 层为 500 MB，对于免费 (F0) 层为 4 MB。

• 图像尺寸必须介于 50 像素 x 50 像素与 10,000 像素 x 10,000 像素之间。

• 如果 PDF 是密码锁定的文件，则必须先删除锁，然后才能提交它们。

• 对于 1024 x 768 像素的图像，要提取的文本的最小高度为 12 像素。 此尺寸对应于 150 点/英寸 (DPI) 的大约 8 号字文本。

• 对于自定义模型训练，自定义模板模型的训练数据最大页数为 500，自定义神经模型的训练数据最大页数为 50,000。

  • 对于自定义提取模型训练，模板模型的训练数据总大小为 50 MB，神经网络模型的训练数据总大小为 1 GB。

  • 对于自定义分类模型训练，训练数据总大小为 1 GB，上限为 10,000 页。 对于 2024-07-31-preview 及更高版本，训练数据总大小为 2 GB，上限为 10,000 页。

布局模型入门

了解如何使用文档智能从文档中提取数据，包括文本、表、表标题、选择标记和结构信息。 需要以下资源：

• Azure 订阅 - 你可以免费创建一个。

• Azure 门户中的文档智能实例。 可以使用免费定价层 (F0) 来试用该服务。 在部署资源后，选择“转到资源”以获取密钥和终结点。

  

注意

文档智能工作室提供 v3.0 API 及更高版本。

使用文档智能工作室处理的示例文档

1. 在文档智能工作室主页上，选择“布局”。

2. 可以分析示例文档或上传自己的文件。

3. 选择“运行分析”按钮，并根据需要配置“分析选项”：

   

   试用文档智能工作室。

支持的语言和区域设置 (ocr)

有关支持的语言的完整列表，请参阅语言支持 - 文档分析模型页。

数据提取 (v4)

布局模型从文档中提取文本、选择标记、表格、段落和段落类型 (roles)。

注意

版本 2024-02-29-preview、2023-10-31-preview 及更高版本支持 Microsoft Office（DOCX、XLSX、PPTX）和 HTML 文件。 不支持以下功能：

• 每个页面对象没有角度、宽度/高度和单位。
• 对于检测到的每个对象，没有边界多边形或边界区域。
• 页范围 (pages) 不支持作为参数。
• 无 lines 对象。

页面

页面集合是文档内页面的列表。 每个页面在文档中按顺序表示，../包括方向角度，表示页面是否旋转以及宽度和高度（以像素为单位）。 模型输出中的页面单位计算如下：

文件格式	计算页单位	全部页
图片（JPEG/JPG、PNG、BMP、HEIF）	每个图像 = 1 个页面单位	图像总数
PDF	PDF 中的每个页面 = 1 个页面单位	PDF 中的总页数
TIFF	TIFF 中的每个图像 = 1 个页面单位	TIFF 中的图像总数
Word (DOCX)	最多 3,000 个字符 = 1 个页面单位，不支持嵌入或链接的图像	每页最多 3,000 个字符的总页数
Excel (XLSX)	每个工作表 = 1 个页面单位，不支持嵌入或链接的图像	工作表总数
PowerPoint (PPTX)	每张幻灯片 = 1 个页面单位，不支持嵌入或链接的图像	幻灯片总数
HTML	最多 3,000 个字符 = 1 个页面单位，不支持嵌入或链接的图像	每页最多 3,000 个字符的总页数

代码示例

# Analyze pages.
for page in result.pages:
print(f"----Analyzing layout from page #{page.page_number}----")
print(f"Page has width: {page.width} and height: {page.height}, measured with unit: {page.unit}")

查看 GitHub 上的示例。

输出

"pages": [
    {
        "pageNumber": 1,
        "angle": 0,
        "width": 915,
        "height": 1190,
        "unit": "pixel",
        "words": [],
        "lines": [],
        "spans": []
    }
]

从文档中提取所选页面

对于较大的多页文档，请使用 pages 查询参数指示用于文本提取的特定页码或页面范围。

段落

布局模型将 paragraphs 集合中所有已识别的文本块提取为 analyzeResults 下的顶级对象。 此集合中的每个条目都表示一个文本块，../包含提取的文本 (content) 和边界 polygon 坐标。 span 信息指向包含文档全文的顶级 content 属性中的文本片段。

"paragraphs": [
    {
        "spans": [],
        "boundingRegions": [],
        "content": "While healthcare is still in the early stages of its Al journey, we are seeing pharmaceutical and other life sciences organizations making major investments in Al and related technologies.\" TOM LAWRY | National Director for Al, Health and Life Sciences | Microsoft"
    }
]

段落角色

新的基于机器学习的页面对象检测提取逻辑角色，如标题、节标头、页眉、页脚等。 文档智能布局模型为 paragraphs 集合中的某些文本块分配模型预测的特定角色或类型。 对于非结构化文档，最好使用段落角色来帮助了解所提取内容的布局，从而进行更丰富的语义分析。 支持以下段落角色：

预测角色	描述	支持的文件类型
title	页面中的主标题	pdf、image、docx、pptx、xlsx、html
sectionHeading	页面上的一个或多个子标题	pdf、image、docx、xlsx、html
footnote	页面底部附近的文本	pdf、image
pageHeader	页面顶部边缘附近的文本	pdf、image、docx
pageFooter	页面底部边缘附近的文本	pdf、image、docx、pptx、html
pageNumber	页码	pdf、image

{
    "paragraphs": [
                {
                    "spans": [],
                    "boundingRegions": [],
                    "role": "title",
                    "content": "NEWS TODAY"
                },
                {
                    "spans": [],
                    "boundingRegions": [],
                    "role": "sectionHeading",
                    "content": "Mirjam Nilsson"
                }
    ]
}

文本、行、字词

档智能中的文档布局模型将打印和手写样式文本提取为 lines 和 words。 styles 集合../包含任何手写的行样式（如果检测到的话）以及指向关联文本的跨度。 此功能适用于受支持的手写语言。

对于 Microsoft Word、Excel、PowerPoint 和 HTML，文档智能版本 2024-02-29-preview 和 2023-10-31-preview 布局模型按原样提取所有嵌入文本。 文本被提取为字词和段落。 不支持嵌入图像。

代码示例

# Analyze lines.
if page.lines:
    for line_idx, line in enumerate(page.lines):
    words = get_words(page, line)
    print(
        f"...Line # {line_idx} has word count {len(words)} and text '{line.content}' "
        f"within bounding polygon '{line.polygon}'"
    )

    # Analyze words.
    for word in words:
        print(f"......Word '{word.content}' has a confidence of {word.confidence}")

查看 GitHub 上的示例。

输出

"words": [
    {
        "content": "While",
        "polygon": [],
        "confidence": 0.997,
        "span": {}
    },
],
"lines": [
    {
        "content": "While healthcare is still in the early stages of its Al journey, we",
        "polygon": [],
        "spans": [],
    }
]

文本行的手写风格

响应../包含分类，说明每个文本行是否为手写体，同时包括置信度分数。 了解详细信息。 请参阅手写语言支持。 以下示例演示了一个示例 JSON 片段。

"styles": [
{
    "confidence": 0.95,
    "spans": [
    {
        "offset": 509,
        "length": 24
    }
    "isHandwritten": true
    ]
}

如果启用了字体/样式加载项功能，则还会获得作为 styles 对象的一部分的字体/样式结果。

选定标记

布局模型还从文档中提取选定标记。 提取的选定标记显示在每个页面的 pages 集合中。 它们包括边界 polygon、confidence 和选择 state (selected/unselected)。 文本表示形式（即 :selected: 和 :unselected）也会作为起始索引 (offset) 和 length 包含在内，后者引用了包含文档全文的顶级 content 属性。

代码示例

# Analyze selection marks.
if page.selection_marks:
    for selection_mark in page.selection_marks:
        print(
            f"Selection mark is '{selection_mark.state}' within bounding polygon "
            f"'{selection_mark.polygon}' and has a confidence of {selection_mark.confidence}"
        )

查看 GitHub 上的示例。

输出

{
    "selectionMarks": [
        {
            "state": "unselected",
            "polygon": [],
            "confidence": 0.995,
            "span": {
                "offset": 1421,
                "length": 12
            }
        }
    ]
}

表

提取表是处理包含大量数据（通常格式化为表）的文档的关键要求。 此布局模型提取 JSON 输出的 pageResults 节中的表。 提取的表信息../包括列数和行数、行跨度和列跨度。 系统会输出带有边界多边形的每个单元格，以及指明该区域是否识别为 columnHeader 的信息。 该模型支持提取旋转的表。 每个表单元格都包含行和列索引以及边界多边形坐标。 对于单元格文本，模型输出包含起始索引 (offset) 的 span 信息。 该模型还输出包含文档全文的顶级内容中的 length。

以下是使用文档智能包提取功能时要考虑的几个因素：

• 要提取的数据是否以表的形式呈现，该表的结构是否有意义？

• 如果数据不采用表格式，数据是否适合放入二维网格？

• 表是否跨越多个页面？ 如果是，请在将 PDF 发送到文档智能之前将其拆分为多个页面，这样就不必标记所有页面。 分析后，将页面后处理为单个表。

• 如果要创建自定义模型，请参阅表格字段。 对于每个列，动态表包含可变数量的行。 对于每个列，固定表包含恒定数量的行。

注意

• 如果输入文件为 XLSX，则不支持表分析。
• 从 2024-07-31-preview 开始，图形和表格的边界区域仅涵盖核心内容，不包括关联的标题和脚注。

代码示例

if result.tables:
    for table_idx, table in enumerate(result.tables):
        print(f"Table # {table_idx} has {table.row_count} rows and " f"{table.column_count} columns")
        if table.bounding_regions:
            for region in table.bounding_regions:
                print(f"Table # {table_idx} location on page: {region.page_number} is {region.polygon}")
        # Analyze cells.
        for cell in table.cells:
            print(f"...Cell[{cell.row_index}][{cell.column_index}] has text '{cell.content}'")
            if cell.bounding_regions:
                for region in cell.bounding_regions:
                print(f"...content on page {region.page_number} is within bounding polygon '{region.polygon}'")

查看 GitHub 上的示例。

输出

{
    "tables": [
        {
            "rowCount": 9,
            "columnCount": 4,
            "cells": [
                {
                    "kind": "columnHeader",
                    "rowIndex": 0,
                    "columnIndex": 0,
                    "columnSpan": 4,
                    "content": "(In millions, except earnings per share)",
                    "boundingRegions": [],
                    "spans": []
                    },
            ]
        }
    ]
}

输出为 Markdown 格式

布局 API 可以输出 Markdown 格式的提取文本。 使用 outputContentFormat=markdown 在 Markdown 中指定输出格式。 Markdown 内容作为 content 部分的一部分输出。

注意

从 2024-07-31-preview开始，表格的表示形式变更为 HTML 表，以便呈现合并单元格、多行标题等。另一项相关变更是使用 Unicode 复选框字符 ☒ 和 ☐（而不是 :selected: 和 :unselected:）来进行选择标记。 请注意，这意味着尽管选择标记字段的跨度指的是顶级跨度中的 Unicode 字符，但其内容仍将包含 :selected:。

代码示例

document_intelligence_client = DocumentIntelligenceClient(endpoint=endpoint, credential=AzureKeyCredential(key))
poller = document_intelligence_client.begin_analyze_document(
    "prebuilt-layout",
    AnalyzeDocumentRequest(url_source=url),
    output_content_format=ContentFormat.MARKDOWN,
)

查看 GitHub 上的示例。

输出

PageHeader="This is the header of the document." 

This is title
===
# 1\. Text
Latin refers to an ancient Italic language originating in the region of Latium in ancient Rome.
# 2\. Page Objects
## 2.1 Table
Here's a sample table below, designed to be simple for easy understand and quick reference.
| Name | Corp | Remark |
| - | - | - |
| Foo | | |
| Bar | Microsoft | Dummy |
Table 1: This is a dummy table
## 2.2. Figure
<figure>
<figcaption>

Figure 1: Here is a figure with text
</figcaption>

![](figures/0)
FigureContent="500 450 400 400 350 250 200 200 200- Feb" 
</figure>

# 3\. Others
Al Document Intelligence is an Al service that applies advanced machine learning to extract text, key-value pairs, tables, and structures from documents automatically and accurately:
    :selected:
clear
    :selected:
precise
    :unselected:
vague
    :selected:
coherent
    :unselected:
Incomprehensible
Turn documents into usable data and shift your focus to acting on information rather than compiling it. Start with prebuilt models or create custom models tailored to your documents both on premises and in the cloud with the Al Document Intelligence studio or SDK.
Learn how to accelerate your business processes by automating text extraction with Al Document Intelligence. This webinar features hands-on demos for key use cases such as document processing, knowledge mining, and industry-specific Al model customization.
PageFooter="This is the footer of the document." 
PageFooter="1 | Page" 

图形

文档中的图形（图表、图像）在补充和增强文本内容方面发挥着至关重要的作用，可提供有助于理解复杂信息的视觉表示形式。 布局模型检测到的图形对象具有如下关键属性：boundingRegions（图形在文档页上的空间位置，包括页码和勾画图形边界的多边形坐标）、spans（详细说明与图形相关的文本范围，指定它们在文档文本中的偏移量和长度。这种联系有助于将图形与其相关文本上下文相关联）、elements（文档中与图形相关的，或描述图形的文本元素或段落的标识符）和 caption（如果有）。

在初始分析操作期间指定了 output=figures 时，该服务会为可通过 /analyeResults/{resultId}/figures/{figureId} 访问的所有检测到的图形生成裁剪的图像。 FigureId 包含在每个图形对象中，遵循一个未记录的约定 {pageNumber}.{figureIndex}（其中，对于每个页面，figureIndex 均重置为 1）。

注意

从 2024-07-31-preview 开始，图形和表格的边界区域仅涵盖核心内容，不包括关联的标题和脚注。

代码示例

# Analyze figures.
if result.figures:
    for figures_idx,figures in enumerate(result.figures):
        print(f"Figure # {figures_idx} has the following spans:{figures.spans}")
        for region in figures.bounding_regions:
            print(f"Figure # {figures_idx} location on page:{region.page_number} is within bounding polygon '{region.polygon}'")

查看 GitHub 上的示例。

输出

{
    "figures": [
        {
        "id": "{figureId}",
        "boundingRegions": [],
        "spans": [],
        "elements": [
            "/paragraphs/15",
            ...
        ],
        "caption": {
            "content": "Here is a figure with some text",
            "boundingRegions": [],
            "spans": [],
            "elements": [
            "/paragraphs/15"
            ]
        }
        }
    ]
}

部分

分层文档结构分析对于组织、理解和处理大量文档至关重要。 此方法对于对长文档进行语义分段以增强理解、促进导航和改进信息检索至关重要。 文档生成 AI 中出现的检索增强生成 (RAG) 强调了分层文档结构分析的重要性。 布局模型支持输出中的部分和子部分，它标识部分和每个部分中对象的关系。 分层结构在每个部分的 elements 中维护。 可以使用输出为 Markdown 格式轻松获取 Markdown 中的部分和子部分。

代码示例

document_intelligence_client = DocumentIntelligenceClient(endpoint=endpoint, credential=AzureKeyCredential(key))
poller = document_intelligence_client.begin_analyze_document(
    "prebuilt-layout",
    AnalyzeDocumentRequest(url_source=url),
    output_content_format=ContentFormat.MARKDOWN,
)

查看 GitHub 上的示例。

输出

{
    "sections": [
        {
        "spans": [],
        "elements": [
            "/paragraphs/0",
            "/sections/1",
            "/sections/2",
            "/sections/5"
        ]
        },
...
}

文档智能布局模型是一种基于机器学习的高级文档分析 API，在文档智能云中可用。 它使你能够使用各种格式的文档，并返回文档的结构化数据表示形式。 它结合了强大的增强版光学字符识别 (OCR) 功能与深度学习模型，能够提取文本、表、选择标记和文档结构。

文档布局分析

文档结构布局分析是分析文档以提取感兴趣的区域及其相互关系的过程。 目标是从页面中提取文本和结构元素，以构建更好的语义理解模型。 文档布局中有两种类型的角色：

• 几何角色：文本、表、图形和选择标记是几何角色的示例。
• 逻辑角色：标题、标头和页脚是文本逻辑角色的示例。

下图显示了示例页图像中的典型组件。

开发选项

输入要求

布局模型入门

了解如何使用文档智能从文档中提取数据，包括文本、表、表标题、选择标记和结构信息。 需要以下资源：

• Azure 订阅 - 你可以免费创建一个。

• Azure 门户中的文档智能实例。 可以使用免费定价层 (F0) 来试用该服务。 在部署资源后，选择“转到资源”以获取密钥和终结点。

支持的语言和区域设置

有关支持的语言的完整列表，请参阅语言支持 - 文档分析模型页。

后续步骤

• 了解如何使用文档智能工作室来处理自己的表单和文档。

• 完成文档智能快速入门，并使用你选择的开发语言开始创建文档处理应用。

• 在 GitHub 上查找更多示例。