共用方式為

使用 Power Automate 和 AI Builder 從物件擷取文字

AI Builder
Azure AI 文件智慧服務
Power Automate
Microsoft Power Platform
Azure Functions

本文提供從圖片擷取文字的解決方案，以便在 SharePoint 中編製索引和擷取。 藉由使用 AI Builder 和 Azure AI 文件智慧服務，您可以設定 Power Automate 工作流程，以使用定型的模型從圖片擷取文字。 設定工作流程之後，您可以快速搜尋檔中內嵌在圖形和物件中的有意義文字。

架構

使用 AI Builder 從物件中擷取文字的架構圖表。

下載此架構的 Visio 檔案。

Workflow

  1. 對象偵測模型會在 AI Builder 中定型，以辨識使用者指定的物件。
  2. 新文件會輸入 SharePoint 文件庫、OneDrive 或 Teams。
  3. 文件的抵達會觸發 Power Automate 事件。 該事件：
    1. 執行 AI Builder 模型。 AI Builder 會傳回 JSON 檔案，其中包含任何指定物件的像素座標。
    2. 將文件傳送至文件智慧服務，以進行完整的光學字元辨識 (OCR) 掃描。 文件智慧服務會傳回 JSON 檔案，其中包含已掃描的文字和文字像素座標。
    3. 在 Azure Functions 中執行函式。 函式會分析 AI Builder 和 Document Intelligence 輸出檔案中的像素座標。 如果偵測到的對象與掃描的文字交集，函式會傳回 JSON 檔案中的相符資料。
    4. 將偵測到物件的中繼資料或文字輸入文件庫。
  4. 中繼資料會在 SharePoint 搜尋索引中擷取。
  5. 使用者使用 PnP 新式搜尋網頁元件來搜尋中繼資料。

元件

  • AI Builder 是一項 Microsoft Power Platform 功能。 使用 AI Builder 將模型定型，以辨識圖片中的物件。 AI Builder 也提供預建模型來偵測物件。

  • 文件智慧服務工作室 會使用機器學習模型，從文件中擷取和分析表單欄位、文字和表格。

    備註

    使用文件智慧服務工作室之前，請先評估您的案例是否可在 Azure AI Foundry 內運作。 文件智慧服務工作室中的功能正在移轉至 Azure AI Foundry。 若要協助您選取入口網站體驗，請參閱 選擇正確的工作室體驗。

  • Power Automate 是 Microsoft Power Platform 無程式碼或低程式碼直覺式解決方案的一部分。 Power Automate 是線上工作流程服務，可在應用程式與服務間將操作自動化。

  • Azure Functions 是事件驅動的無伺服器計算平台。 Azure Functions 會隨選執行，並在雲端大規模執行。

  • PnP 新式搜尋解決方案是 Microsoft 365 新式 Web 組件中的一組 SharePoint。 藉由使用這些工具，您可以建立高度彈性且個人化的搜尋型體驗。

替代項目

  • Azure AI 文件智慧服務 可以對文件執行完整的 OCR 掃描，並將產生的中繼資料儲存在 SharePoint 中。
  • SharePoint 可以在文件上執行 OCR 掃描，並將內容輸出新增至索引以擷取。 使用搜尋技術將檔中的重要資訊設為目標。
  • 如果您想要處理高比率的檔，請考慮使用 Azure Logic Apps 來設定元件。 Azure Logic Apps 主要透過與專用工作流程引擎的整合，以及在不同定價層下執行的能力，來協助避免耗用量限制，而且符合成本效益。 如需詳細資訊，請參閱 Azure Logic Apps。

案例詳細資料

圖解和工業圖表通常有包含文字的物件。 手動掃描相關文字的檔可能很費時又費時。

潛在使用案例

使用案例包括：

  • 包含各種物件類型的複雜工程圖解圖。 藉由使用此解決方案，您可以快速搜尋圖表上的特定元件。 存取物件中的內嵌文字有助於調查、暴露短缺，或尋找召回和失敗通知。
  • 顯示製造元件中元件的工業圖表。 此解決方案會及時識別泵、閥、自動化開關和其他元件。 識別元件有助於預防維護、隔離危險元件，以及提高組織中風險管理的可見度。

參與者

本文由 Microsoft 維護。 原始投稿人如下。

主要作者：

下一步