使用 Power Automate 和 AI 生成器从对象提取文本

本文演示一种从图像中提取文本，以便可以在 SharePoint 中为这些文本编制索引和检索它们的解决方案。 使用 AI Builder 和 Azure AI 文档智能，可以配置 Power Automate 工作流以使用经过训练的模型从图像中提取文本。 配置工作流后，可以在文档中快速搜索嵌入在形状和对象中的有意义文本。

下载此体系结构的 Visio 文件。

1. 在 AI Builder 中训练一个对象检测模型，以识别用户指定的对象。
2. 新文档进入 SharePoint 文档库、OneDrive 或 Teams。
3. 该文档的到达会触发一个 Power Automate 事件。 该事件：
   1. 运行 AI Builder 模型。 AI Builder 返回一个 JSON 文件，其中包含任何指定对象的像素坐标。
   2. 将文档发送到文档智能，以进行完整的光学字符识别 (OCR) 扫描。 文档智能返回一个 JSON 文件，其中包含扫描的文本以及文本的像素坐标。
   3. 在 Azure Functions 中运行一个函数。 该函数分析 AI Builder 和文档智能输出文件中的像素坐标。 如果检测到的对象与扫描的文本相交，该函数将在 JSON 文件中返回匹配的数据。
   4. 将检测到的对象中的元数据或文本输入到文档库中。
4. 元数据在 SharePoint 搜索索引中捕获。
5. 用户使用 PnP Modern Search Web 部件搜索元数据。

• AI Builder 是 Microsoft Power Platform 的一项功能。 使用 AI Builder 可以训练模型以识别图像中的对象。 AI Builder 还提供用于进行对象检测的预生成模型。
• 文档智能 使用机器学习模型从文档中提取和分析表单字段、文本和表格。
• Power Automate 是 Microsoft Power Platform 无代码或低代码直观解决方案的一部分。 Power Automate 是一个联机工作流服务，可以自动完成各种应用和服务的操作。
• Azure Functions 是事件驱动的无服务器计算平台。 Azure Functions 在云中按需大规模运行。
• PnP Modern Search 解决方案是 Microsoft 365 新式 Web 部件中的一组 SharePoint。 使用这些工具，可以创建高度灵活且个性化的基于搜索的体验。

• Azure AI 服务可对文档执行完整的 OCR 扫描，并将生成的元数据存储在 SharePoint 中。
• SharePoint 可对文档运行 OCR 扫描，并将内容输出添加到索引以供检索。 使用搜索技术可以定位文档中的关键信息。
• 若要处理较大比率的文档，请考虑使用 Azure 逻辑应用来配置组件。 Azure 逻辑应用可以避免达到租户中的消耗量限制，并且经济高效。 有关详细信息，请参阅 Azure 逻辑应用。

原理图和工业示意图往往显示包含文本的对象。 手动扫描文档中的相关文本可能既费力又耗时。

用例包括：

• 包含各种对象类型的复杂工程原理图。 使用此解决方案，可以快速搜索示意图中的特定组件。 能够访问对象中嵌入的文本将有助于调查、揭露缺陷或查看召回和故障通知。
• 显示制造装配组件的工业示意图。 此解决方案可以迅速识别泵、阀门、自动开关和其他组件。 识别组件有助于执行预防性维护、隔离危险组件，并提高组织中风险管理的可见性。

本文由 Microsoft 维护， 它最初是由以下贡献者撰写的。

首席作者：

• Steve Pucelik | 高级专家

• 了解非常适合此解决方案的文档类型。 典型的文档包括原理图、制造控制过程，以及包含许多需要隔离的形状的示意图。 有关详细信息，请参阅 文档智能自定义模型。
• 熟悉 AI Builder 提供的功能。 有关详细信息，请参阅 Power Automate 中的 AI Builder 概述。
• 定义可以接收和处理元数据的信息体系结构。 有关详细信息，请参阅 Azure AI 搜索技能集。
• 有关该解决方案的工作原理及其是否适合你的用例的信息，请参阅从对象中提取文本。