你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

撰写自定义模型

强调样式

此内容适用于:checkmarkv4.0 (GA) | 早期版本:blue-checkmarkv3.1 (GA)red-checkmarkv3.0(停用)red-checkmarkv2.1(停用)

此内容适用于:复选标记v3.1(GA) | 最新版本:紫色复选标记v4.0(GA) | 以前的版本:蓝色复选标记v3.0蓝色复选标记v2.1

此内容适用于:红色复选标记v3.0 (即将过时) | 最新版本:紫色复选标记v4.0 (GA)紫色复选标记v3.1 | 以前版本:蓝色复选标记v2.1 (即将过时)

此内容适用于:red-checkmarkv2.1 | 最新版本:blue-checkmarkv4.0(GA)

重要

api-version=2024-11-30 的模型撰写行为已更改(GA)。 有关详细信息,请参阅 组合的自定义模型。 以下行为 仅适用于 v3.1 和以前的版本

通过获取自定义模型的集合并将其分配给单个模型 ID 来创建组合模型。 最多可以将 200 个训练的自定义模型分配给单个组合模型 ID。 将文档提交到撰写模型时,该服务将执行分类步骤,以确定哪个自定义模型准确表示呈现用于分析的表单。 在训练多个模型并想要将它们分组以分析类似的窗体类型时,组合模型非常有用。 例如,组合模型可能包括训练以分析供应、设备和家具采购订单的自定义模型。 可以使用组合模型来确定每个分析和提取的相应自定义模型,而不是手动尝试选择适当的模型。

若要了解详细信息,请参阅 “组合”自定义模型

本文介绍如何创建和使用组合的自定义模型来分析表单和文档。

先决条件

若要开始,需要以下资源:

  • An Azure subscription。 可以创建免费的Azure订阅

  • 文档智能实例。 获得Azure订阅后,在Azure门户中创建文档智能资源以获取密钥和终结点。 如果有现有的文档智能资源,请直接导航到资源页。 可以使用免费定价层 (F0) 试用该服务,稍后升级到生产付费层。

    1. 部署资源后,选择“ 转到资源”。

    2. 从 Azure 门户复制 Keys 和 Endpoint 值,并将其粘贴到方便的位置,例如 Microsoft 记事本。 需要密钥和终结点值才能将应用程序连接到文档智能 API。

显示如何访问资源密钥和端点 URL 的静态照片。

提示

有关详细信息,请参阅 创建文档智能资源

  • Azure存储帐户。 如果您不知道如何创建 Azure 存储帐户,请按照 Azure 门户中的 Azure 存储快速入门操作。 可以使用免费定价层 (F0) 试用该服务,稍后升级到生产付费层。

创建自定义模型

首先,需要一组自定义模型进行组合。 可以使用文档智能工作室、REST API 或客户端库。 步骤如下:

组装训练数据集

生成自定义模型从建立训练数据集开始。 对于示例数据集,至少需要五个相同类型的已完成表单。 它们可以是不同的文件类型(jpg、png、pdf、tiff),并且同时包含文本和手写。 表单必须遵循文档智能的 输入要求

提示

遵循这些技巧来优化您的数据集以进行训练:

  • 如果可能,请使用基于文本的 PDF 文档,而不是基于图像的文档。 扫描的 PDF 作为图像进行处理。
  • 对于填充表单,请使用已填写其所有字段的示例。
  • 在每个字段中使用具有不同值的窗体。
  • 如果表单图像质量较低,请使用更大的数据集(例如 10-15 个图像)。

有关如何收集训练文档的提示,请参阅 “生成训练数据集 ”。

上传训练数据集

收集一组训练文档后,需要将训练数据加载到Azure blob 存储容器。

如果想使用手动标记的数据,必须上传与训练文档对应的 .labels.json 文件和 .ocr.json 文件。

训练自定义模型

使用标记的数据 训练模型 时,该模型使用监督式学习,使用你提供的带标签的表单提取感兴趣的值。 带标签的数据能生成性能表现更好的模型,并能够生成可以更好地处理带有无键值的复杂表单的模型。

文档智能使用 预生成的布局模型 API 来了解字样和手写文本元素的预期大小和位置,以及提取表。 然后,它使用用户指定的标签来了解文档中的键/值关联和表。 建议使用五种手动标记的相同类型(相同结构)形式来开始训练新模型。 然后,根据需要添加更多标记的数据,以提高模型准确性。 借助文档智能,训练模型可以使用监督式学习功能提取键值对和表。

若要创建自定义模型,请先配置项目:

  1. 在 Studio 主页中,从自定义模型卡中选择 “新建 ”。

  2. ➕ 使用 “创建项目 ”命令启动新的项目配置向导。

  3. 输入项目详细信息,选择Azure订阅和资源,以及包含数据的 Azure Blob 存储容器。

  4. 查看、提交设置并创建项目。

显示在 Document Intelligence Studio 中创建自定义项目的动画。

创建自定义模型时,可能需要从文档中提取数据集合。 集合可能显示为两种格式之一。 使用表作为视觉模式:

  • 给定字段集(列)中值(行)的动态或可变数量统计

  • 给定一组字段(列和/或行)的特定数值集合

请参阅 文档智能工作室:标记为表

创建组合模型

注意

create compose model 操作仅适用于 使用 标签训练的自定义模型。 尝试撰写未标记的模型将产生错误。

使用 创建撰写模型 操作,最多可以将 100 个训练的自定义模型分配给单个模型 ID。 使用组合模型分析文档时,文档智能首先对提交的表单进行分类,然后选择最佳匹配的已分配模型,并返回该模型的结果。 当传入表单可能属于多个模板之一时,此操作非常有用。

训练过程成功完成后,可以开始生成组合模型。 下面是创建和使用组合模型的步骤:

收集你的模型 ID

使用 文档智能工作室训练模型时,模型 ID 位于项目下的模型菜单中:

Document Intelligence Studio 中模型配置窗口的屏幕截图。

撰写自定义模型

  1. 选择自定义模型项目。

  2. 在项目中,选择 Models 菜单项。

  3. 从生成的模型列表中,选择要组合的模型。

  4. 从左上角选择 “撰写”按钮

  5. 在弹出窗口中,为您新撰写的模型命名,然后选择 撰写

  6. 操作完成后,新撰写的模型将显示在列表中。

  7. 模型准备就绪后,使用 Test 命令通过测试文档对其进行验证并观察结果。

分析文档

自定义模型分析操作要求你在调用文档智能系统时提供modelID。 你应该在你的应用程序中为 modelID 参数提供组合模型 ID。

Document Intelligence Studio 中组合模型 ID 的屏幕截图。

管理组合模型

可以在整个生命周期内管理自定义模型:

  • 测试和验证新文档。
  • 下载模型以在应用程序中使用。
  • 在模型生命周期完成后删除模型。

Document Intelligence Studio 中组合模型的屏幕截图

伟大! 你了解了创建自定义模型和组合模型的步骤,并在文档智能项目和应用程序中使用这些模型。

后续步骤

您可以尝试我们文档智能的快速入门教程之一:

C#

文档智能使用高级机器学习技术来检测和提取文档图像中的信息,并在结构化 JSON 输出中返回提取的数据。 借助文档智能,可以训练独立的自定义模型或组合自定义模型来创建组合模型。

  • 自定义模型。 借助文档智能自定义模型,可以从特定于企业的表单和文档分析和提取数据。 自定义模型针对不同的数据和用例进行训练。

  • 组合模型。 通过收集自定义模型并将其分配给包含表单类型的单个模型来创建组合模型。 将文档提交到撰写模型时,该服务将执行分类步骤,以确定哪个自定义模型准确表示呈现用于分析的表单。

本文介绍如何使用 文档智能示例标记工具REST API客户端库创建自定义模型和组合模型。

示例标记工具

尝试使用示例标记工具从自定义表单中提取数据。 需要以下资源:

在 Azure 门户中显示密钥和终结点位置的截图。

在文档智能 UI 中:

  1. 选择 使用自定义功能来训练带有标签的模型以获取键值对

“FOTT”工具的屏幕截图,选择自定义模型选项。

  1. 在下一个窗口中,选择“ 新建项目

“FOTT”工具的屏幕截图,选择新项目选项。

创建模型

生成、训练和使用自定义和组合模型的步骤如下:

组装训练数据集

生成自定义模型从建立训练数据集开始。 对于示例数据集,至少需要五个相同类型的已完成表单。 它们可以是不同的文件类型(jpg、png、pdf、tiff),并且同时包含文本和手写。 表单必须遵循文档智能的 输入要求

上传训练数据集

需要将训练数据加载到Azure blob 存储容器。 如果不知道如何创建带有容器的 Azure 存储帐户,请参阅 Azure 门户的 Azure 存储快速入门。 可以使用免费定价层 (F0) 试用该服务,稍后升级到生产付费层。

训练自定义模型

使用标记的数据集 训练模型 。 标记数据集依赖于预生成布局 API,但包括补充人工输入,例如特定标签和字段位置。 从标记训练数据至少五个相同类型的已完成表单开始。

使用标记的数据进行训练时,模型使用监督式学习来提取感兴趣的值,并使用你提供的带标签的表单。 带标签的数据能生成性能表现更好的模型,并能够生成可以更好地处理带有无键值的复杂表单的模型。

文档智能使用 布局 API 来了解字样和手写文本元素的预期大小和位置,以及提取表。 然后,它使用用户指定的标签来了解文档中的键/值关联和表。 我们建议在开始训练新模型时使用五种已手动标注的相同类型(相同结构)的表单。 根据需要添加更多标记的数据,以提高模型准确性。 文档智能使您可以训练模型,以便使用监督学习功能提取键值对和表格。

使用标签训练入门

[!VIDEO https://learn.microsoft.com/Shows/Docs-Azure/Azure-Form-Recognizer/player]

创建组合模型

注意

模型撰写仅适用于自定义模型,这些模型是使用标签训练的。 尝试撰写未标记的模型将产生错误。

使用模型撰写操作,可将最多 200 个训练的自定义模型分配给单个模型 ID。 使用组合模型 ID 调用“分析”时,文档智能会首先对提交的表单进行分类,选择最佳匹配的已分配模型,然后返回该模型的结果。 当传入表单可能属于多个模板之一时,此操作非常有用。

使用文档智能示例标记工具、REST API 或客户端库,按照步骤设置组合模型:

  1. 收集自定义模型 ID
  2. 撰写自定义模型

收集自定义模型 ID

训练过程成功完成后,将分配自定义模型 ID。 可以按如下所示获取模型 ID:

使用 文档智能示例标记工具训练模型时,模型 ID 位于“训练结果”窗口中:

训练结果窗口的屏幕截图。

撰写自定义模型

收集对应于单个窗体类型的自定义模型后,可以将它们组合到单个模型中。

使用 示例标记工具 可以快速开始训练模型并将其组合到单个模型 ID。

训练完成后,编写模型,如下所示:

  1. 在左侧栏菜单上,选择 “模型组合 ”图标(合并箭头)。

  2. 在主窗口中,选择要分配给单个模型 ID 的模型。 带有箭头图标的模型已是预先组成的模型。

  3. 从左上角选择 “撰写”按钮

  4. 在弹出窗口中,为您新撰写的模型命名,然后选择 撰写

操作完成后,新撰写的模型将显示在列表中。

模型撰写窗口的屏幕截图。

使用自定义或组合模型分析文档

自定义表单 分析 操作要求您在调用文档智能时提供 modelID。 可以为参数提供单个自定义模型 ID 或组合模型 ID modelID

  1. 在工具左窗格菜单上,选择 Analyze 图标 (灯泡)。

  2. 选择要分析的本地文件或图像 URL。

  3. 选择 “运行分析 ”按钮。

  4. 该工具在边界框中应用标记,并报告每个标记的置信度百分比。

文档智能工具分析自定义窗体窗口的屏幕截图。

通过分析不属于训练数据集的 表单来测试 新训练的模型。 根据报告的准确性,你可能希望进行进一步的训练来改进模型。 可以继续进一步训练以提高 结果

管理自定义模型

可以通过查看订阅下的所有自定义模型的列表、检索有关特定自定义模型的信息以及从帐户中删除自定义模型,从而在整个生命周期内管理自定义模型。

伟大! 你了解了创建自定义模型和组合模型的步骤,并在文档智能项目和应用程序中使用这些模型。

后续步骤

通过浏览 API 参考文档详细了解文档智能客户端库。