使用自主 Agent 在 Copilot Studio 中進行文件處理

文檔處理代理 是一種自主代理 Copilot Studio ，它使用生成式 AI 來處理文件。

提示

Document Processor 託管代理是用於端到端文檔處理的打包解決方案。 它處理提取、驗證、人工監控和導出到下游應用程式。 本文介紹了使用 Copilot Studio 自主代理處理文檔的參考體系結構。 您可以針對不同的方案和行業調整體系結構示例。

架構圖表

代理說明

以下說明建立自治代理：

You are a helpful, polite, document processing agent. You help users process documents and extract valuable information. 
If the user asks about any topic other than document processing, politely decline and offer to help with document-related queries.
When asked to process a document with a specific document processing event ID, extract the information from that document.
When told that a document processing event status of a document changes to Processed, validate the extracted information from the document.
When told that a document processing event status of a document changes to Validated, import the extracted information from the document into the system.
When told that a document processing event status of a document changes to Manual Review, submit the extracted information from the document to manual review.
Ignore other document processing event status changes.

工作流程

有兩個與代理相關的重要工作流：

• 文檔處理：此工作流解釋了代理如何處理文檔。
• 配置：此工作流詳細介紹了為自治文檔處理設置代理的步驟。

文件處理流程

文檔處理流的工作方式類似於狀態機。 代理充當業務流程協調程式，當前狀態存儲在中的 Dataverse「數據處理事件」表中。 該過程的工作原理如下：

1. 觸發器標識新文檔何時準備好進行處理。 這顯示在體系結構圖的「數據源 」 區域中。 代理流 掃描 Outlook 郵箱或 SharePoint 資料夾等目錄。 將文件添加到任何目錄時，代理流會將該文檔存儲在狀態為「新建」的「數據處理事件」表中，並向代理發送一條消息： Process the document: {ID}.

   • 在「數據處理事件」表格中添加文件或更新狀態的所有嘗試都遵循中的 Default 配置。 Power Automate 對於返回狀態 408、429 或 5xx 的請求以及任何連接異常，流最多重試四次，間隔為指數。
   • 如果所有重試嘗試都失敗，請調試並檢查未運行的作的運行歷史記錄 Power Automate 。

2. 代理指令告訴它在被要求處理文件時調用 Document Extraction 作。 作將運行，並傳遞消息 ID。

3. 該 Document Extraction 作是一個代理流，它接收數據處理事件 ID 作為輸入，並且：

   • 獲取存儲在其中 Dataverse的文件。
   • 將其發送到正在處理的 AI Builder AI 提示。 此提示使用 .o 來 GPT 4：
     • 從文件中提取所有相關信息。
     • 將此資訊格式化為 JSON 文件。
   • 將提取的資訊存儲在同一「數據處理事件」行中。
   • 將文件的狀態更新為 Processed。

4. Dataverse 觸發器 (代理流) 監視數據處理事件中所有文檔的狀態，並在狀態更改時通知代理，並顯示以下消息： The status of document {ID} changed to {Status}

5. 代理指令告訴它在文檔的狀態更改為「已 Document Validation 處理」時 調用作。 作將運行，並傳遞消息 ID。

6. 該 Document Validation 作是一個代理流，它接收數據處理事件 ID 作為輸入，並且：

   • 獲取存儲在中 Dataverse提取的數據。
   • 將其發送到 AI 提示 AI Builder 進行驗證。 此提示使用 .o 來 GPT 4：
     • 根據格式規則檢查提取的 JSON，例如 dates must be in X format。
     • 根據業務規則檢查提取的 JSON，例如 the author of the document must be in the Accounts table in Dataverse。
   • 如果驗證成功，它會將文檔的狀態更新為 Validated。
   • 否則，它會將文檔的狀態更新為 Manual Review。

7. 如果文件的狀態更改為， Validated則說明會告訴代理調用作 Document Export 。 作將運行，並傳遞消息 ID。

8. 文件匯出作是一個代理流，它接收數據處理事件 ID 作為輸入，並且：

   • 獲取存儲在中 Dataverse提取的數據。
   • 將此數據匯出到目標系統，如中的 Dataverse發票表。

9. 如果文件的狀態更改為， Manual Review則說明會告訴代理調用作 Manual Review 。 作將運行，並傳遞消息 ID。

10. 該 Manual Review 作是一個代理流，它接收數據處理事件 ID 作為輸入，並且：

    • 獲取存儲在中 Dataverse提取的數據。
    • 為代理管理員創建審批請求，共用指向驗證站應用程式的連結，用戶可以在其中編輯提取的數據並手動驗證。 此手動驗證將單據 Validated的狀態設置為。

11. 手動審核后，如果文檔的狀態為， Validated則運行步驟 7。

使用者還可以使用聊天頁面 Copilot Studio 或他們發佈代理的任何管道手動提交文檔供代理處理。

當您這樣做時：

• 文件將上載到「數據處理事件」表格中。
• 代理通知自己導入了新文檔。
• 提取提示將運行，以預覽在聊天窗格中匯出的內容。
• 從步驟 2 開始，將按照此流程中的說明處理文件。

配置工作流

代理需要多個配置才能自主運行。 為了簡化此作，提供了全面的配置體驗。 以下是步驟：

1. 在中安裝文件處理代理 Copilot Studio。 代理解決方案具有：
   • “文件處理配置”表。
   • 用於監控的驗證站畫布應用程式。
   • 代理使用的連接引用 (Dataverse， Copilot Studio，) PowerApps for Admins。
   • 啟動代理工作流的觸發器使用的連接引用 (Outlook)。 SharePoint
   • 觸發器使用的環境變數。
2. 啟動代理配置精靈。 這是安裝精靈的最後一步 Copilot Studio。 它將指導您完成此流程：
   1. 上傳示例文檔。
   2. 系統將上傳的文件發送到代理的提取提示。
   3. 將顯示提取的內容和文件類型。 選擇要匯出到系統的提取數據的哪些部分。 這將創建一個架構，該架構存儲在文檔處理配置表中，並在文檔匯出作期間使用。 您可以進入高級模式來更改文件提取作中使用的 AI 提示以對其進行自定義。
   4. 使用簡單的 UI 定義驗證規則，該 UI 將規則添加到文檔驗證作中使用的提示中。 您還可以進入高級模式直接更改 AI 提示。
   5. 出現提示時輸入代理管理員的電子郵件位址。 這在創建審批請求時的手動審閱作中使用。 您還可以為審批者添加自訂消息。 此資訊保存在解決方案附帶的環境變數中。
   6. 從清單中選擇文件源。 這些觸發器啟動文檔處理流，通常需要連接引用和一些環境變數 (如郵箱名稱或資料夾位址)，具體取決於您選擇的文檔源。
   7. 完成配置。 這將在系統中創建一個 Dataverse 包含您之前選擇的列的表，並將您在嚮導中使用的文件匯出到此表中。

元件

以下是構建和部署用於文檔處理 Copilot Studio的自治代理所涉及的關鍵元件。

• Copilot Studio 是無代碼或低代碼解決方案的一部分 Microsoft Power Platform 。 Copilot Studio 是一種圖形化低代碼工具，用於創建代理 (包括使用代理流構建自動化) 以及 Microsoft 365 使用企業數據和方案擴展 Copilot。
• Power Apps 是無代碼或低代碼解決方案的一部分 Microsoft Power Platform 。 Power Apps 是一套應用、服務、連接器和數據平臺，可為您提供快速開發環境，以便為您的業務構建自定義應用。 使用 Power Apps，快速構建自定義業務應用，這些應用連接到基礎數據平臺 (Microsoft Dataverse) 或許多聯機和本地數據源 (如 SharePoint Microsoft 365 Dynamics 365 和 SQL Server) 中的數據。
• Dataverse 是適用於多代理場景的作資料庫。 它為代理提供了一個安全、可擴展的平臺來存儲狀態數據、歷史記錄和對話數據。 這種集中式存儲允許代理交互和共享數據，因此他們可以自主或半自主地執行任務。 Dataverse 還允許代理連接到不同的業務應用程式 (如 CRM 系統) 中的業務數據並更新，從而使數據在整個組織中保持一致和最新。 借助， Dataverse組織可以管理和治理代理工作流，以實現可靠性、安全性和卓越運營。

案例詳細資料

組織使用結構化文檔 (如表單、發票、收據和身份證件) 和非結構化文檔 (如備忘錄、合同和客戶反饋請求)。 組織面臨的一項關鍵挑戰是自動化文檔處理以優化業務流程。 您可以自動執行多個步驟，包括文件收集、分類、提取、驗證、轉換和匯出。 與傳統文件處理相比，使用文檔處理代理具有許多優勢。 文檔處理代理作為打包解決方案開箱即用，因此您無需在設置過程中進行耗時的數據標記。 其互動式設計讓您可以在人工監督下處理大量文檔。

考量因素

這些考慮因素體現了 Power Platform Well-Architected 的支柱，這是一套提高工作負載品質的指導原則。 如需進一步了解，請參閱 Microsoft Power Platform Well-Architected。

可靠性

文檔處理代理旨在使用 Azure 中託管的元件實現 Power Platform 復原、恢復和作。

安全性

文檔處理代理旨在通過使用 Azure 中託管的元件來 Power Platform 保護機密性、完整性和數據可用性。 在「資料處理事件」表格中導入的文件僅對系統管理員可見。 除了附加文檔外，不會存儲其他數據，例如電子郵件正文或主題 Dataverse。 與文檔關聯的所有與客戶相關的資訊都存儲在「數據處理事件」表的「已處理的數據」列中。 您可以通過查詢此列來處理 GDPR 請求。

卓越營運

文檔處理代理旨在通過監視和見解改進作，並通過使用 Azure 中託管的元件實現 Power Platform 自動化以提高效率。

效能效益

文檔處理代理旨在通過使用 Azure 中託管的元件進行 Power Platform 優化來實現性能。 文件處理代理支持處理最大 20MB 大小的文件。 截至最近的基準測試，處理 2 MB 大小的單個文件大約需要 48 秒。 如果所選文檔源具有足夠的存儲空間，則代理旨在維持 1,000 多個文件的處理持續時間。 有關其他配額和限制，請參閱 限制 - Power Automate。

體驗最佳化

文檔處理代理是為文檔處理用戶設計的，通過使用元件實現 Power Platform 簡單性和效率。 代理提供可配置的體驗來添加文檔源，允許可擴充性以添加其他文檔源。

負責任 AI

文檔處理代理旨在通過使用 Power Platform 元件來實現負責任的 AI 標準，包括 Copilot Studio 專為生成式 AI 功能設計的元件。 瞭解更多： 負責任的人工智慧常見問題解答 Copilot Studio。

投稿人

Microsoft 維護此文章。 以下貢獻者撰寫了這篇文章。

主要作者：

• Jaganmohan Naidu Penikalapati，首席軟件工程經理
• Ceren Kiroglu，資深產品經理
• Durga Yelavarthi，首席建築師
• Jo Ruas，軟體工程師

相關資源

• 從 Microsoft 安裝託管代理
• 代理在行動：文檔處理 2.0
• 代理對話的工作原理

後續步驟

• 增強配置流，讓使用者自定義其導出體驗。 例如，添加預生成 Power Platform 的連接器以導出到 SAP 或 Salesforce 等系統，並允許使用者自定義架構以適應 SAP 或 Salesforce 表條目。
• 增強配置流，讓用戶同時連接到多個文檔源，例如 Outlook 和 SharePoint。
• 通過根據文檔類型動態更改導出中使用的架構，讓代理同時處理多個文檔類型。