步骤 1. 使用Microsoft Syntex标识合同文件和提取数据

项目
02/14/2024

组织需要一种方法来识别和分类收到的许多文件中的所有合同文档。你还希望能够快速查看每个合同文件中 (标识的多个关键元素，例如，客户、 承包商和 费用金额) 。为此，可以使用 Syntex] 创建非结构化文档处理模型并将其应用于文档库。

过程概述

非结构化文档处理模型使用人工智能 (AI) 来自动分类文件和提取信息。这些类型的模型在从非结构化和半结构化文档中提取信息方面也是最佳选择，其中所需的信息未包含在表或窗体中，例如合同。

非结构化文档处理模型使用光学字符识别 (OCR) 技术扫描 PDF、图像和 TIFF 文件，无论是使用示例文件训练模型还是针对文档库中的文件运行模型。

首先，需要找到至少五个可用于“训练”模型的示例文件，以搜索特定于你尝试标识的内容类型的特征， (合同) 。
使用 Syntex 创建新的非结构化文档处理模型。使用示例文件，需要创建分类器。通过使用示例文件训练分类器，可以教它搜索特定于你在公司合同中看到的特征。例如，创建一个“说明” ，用于搜索合同中的特定字符串，例如 服务协议、 协议条款和赔偿。你甚至可以训练说明，以在文档的特定部分或位于其他字符串旁边查找这些字符串。如果认为已使用分类器所需的信息训练了分类器，则可以在示例文件集上测试模型，以了解其效率。测试后，如果需要，可以选择对说明进行更改，使其更高效。
在模型中，可以创建提取器，从每个协定中提取特定数据。例如，对于每个合同，你最关心的信息是客户是谁、承包商的姓名以及总成本。
成功创建模型后，将其应用于 SharePoint 文档库。将文档上传到文档库时，非结构化文档处理模型将运行，并将识别和分类与模型中定义的协定内容类型匹配的所有文件。分类为协定的所有文件将显示在自定义库视图中。这些文件还会显示提取器中定义的每个协定中的值。
如果你有合同的保留或安全要求，还可以使用模型来应用保留标签或敏感度标签，以防止在指定时间段内删除合同，或限制谁可以访问合同。

创建和训练模型的步骤

注意

对于这些步骤，可以使用合同管理解决方案资产存储库中的示例文件。此存储库中的示例包含模型文件和用于训练模型的文件。

创建协定模型

第一步是创建合同模型。

在内容中心，选择“ 新建>模型>教学方法”。
在“ 使用教学方法创建模型 ”窗格的“ 名称” 字段中，键入模型的名称。对于此合同管理解决方案，可以将模型 命名为“合同”。
选择"创建"。这将为该模型创建主页。

训练模型以对文件类型进行分类

为模型添加示例文件

至少需要添加五个作为合同文档的示例文件，以及一个不是合同文档的示例文件 (例如，工作) 语句。

在 “模型 > 协定 ”页上，在 “关键操作>”“添加示例文件”下，选择“ 添加文件”。
在 “选择模型的示例文件” 页上，打开“协定”文件夹，选择要使用的文件，然后选择“ 添加”。如果那里没有示例文件，请选择“ 上传 ”以添加它们。

将文件标记为正面或负面示例

在 “模型 > 协定 ”页上，在 “关键操作>分类文件和运行训练”下，选择“ 训练分类器”。
在 “模型 > 协定 > 协定分类器 ”页上，在第一个示例文件顶部的查看器中，你将看到询问该文件是否是你创建的合同模型示例的文本。如果是正例，请选择“是”。如果是反例，请选择“否”。
从左侧的 “已标记的示例 ”列表中，选择要用作示例的其他文件，并对其进行标记。

添加至少一个解释来训练分类器

在 “模型 > 协定 > 协定分类器 ”页上，选择“ 训练 ”选项卡。
在 “训练的文件 ”部分中，你将看到前面标记的示例文件的列表。从列表中选择一个正文件，将其显示在查看器中。
在 “说明 ”部分中，选择“ 新建 ”，然后选择“ 空白”。
在“创建说明”页面上：

a. 在 “名称” 字段中，键入解释 (的名称，例如“协议”) 。

b. 在 “说明类型 ”字段中，选择“ 短语列表”，因为添加文本字符串。

c. 在 “短语”列表 框中，键入字符串 (，例如“AGREEMENT”) 。如果字符串需要 区分大小写 ，则可以选择“区分大小写”。

d. 选择“ 保存并训练”。

测试模型

可以在以前未见过的示例文件上测试合同模型。这是可选的，但它可能是一种有用的最佳做法。

在 “模型 > 协定 > 协定分类器 ”页上，选择“ 测试 ”选项卡。这会在未标记的示例文件上运行模型。
在 “测试文件” 列表中，示例文件将显示并显示模型预测为正数还是负值。使用此信息以帮助确定分类器在文档识别中的有效性。
完成后，选择“ 退出训练”。

创建和训练提取程序

在“模型>协定”页上，在“创建和训练提取程序的关键操作>”下，选择“创建提取程序”。
在 “新建实体提取程序 ”面板的“ 新建名称” 字段中，键入提取程序的名称。例如 ，如果要从 每个协定中提取客户端名称，请将其命名为 Client。
完成操作后，选择“创建”。

标记要提取的实体

创建提取程序时，将打开提取程序页。此时，将看到示例文件的列表，并在查看器中显示列表中的第一个文件。

“客户端提取程序标记的示例”页的屏幕截图。

若要标记实体，请执行以下操作：

从查看器中，选择要从文件中提取的数据。例如，如果要提取 “客户端”，请突出显示第一个文件中的客户端值， (此示例中的 “最佳有机) ”，然后选择“ 保存”。你将在“标签”列下的“已标记示例”列表中看到文件中显示的值。
选择“ 下一个文件 ”以自动保存，并在查看器的列表中打开下一个文件。或选择“ 保存”，然后从“ 已标记的示例 ”列表中选择另一个文件。
在查看器中，重复步骤 1 和 2，然后重复步骤，直到将标签保存在所有文件中。

标记文件后，会显示一个通知横幅，通知你转到训练。可以选择标记更多文档或转到训练。

添加说明

可以创建一个说明，提供有关实体格式本身及其在示例文件中可能存在的变体的提示。例如，日期值可以采用多种不同的格式，例如：

10/14/2019
2019 年 10 月 14 日
星期一，2019 年 10 月 14 日

若要帮助确定 合同开始日期，可以创建说明。

在 “说明 ”部分中，选择“ 新建 ”，然后选择“ 空白”。
在“创建说明”页面上：

a. 在“ 名称” 字段中，键入说明 (的名称，例如日期) 。

b. 在 “说明类型 ”字段中，选择“ 短语列表”。

c. 在 “值” 字段中，提供示例文件中出现的日期变体。例如，如果你的日期格式显示为 0/00/0000，则可在文档中输入显示的任何变体，如：
- 0/0/0000
- 0/00/0000
- 00/0/0000
- 00/00/0000
选择“ 保存并训练”。

再次测试模型