使用宣告式代理程式與 Microsoft 365 應用程式中的文件互動

在 Microsoft 365 應用程式的 Copilot 體驗中使用宣告式代理程式時,它們能夠與開啟的文件互動。 根據預設,代理程式可以讀取整個開啟的文件。 使用者只需向客服專員提供開啟文件的選定區段,客服專員可以將影像插入開啟的文件中。

本文涵蓋宣告式代理程式的文件互動,不支援 Word 或 PowerPoint 中的完整外掛程式套件。 如需更廣泛的外掛程式模型,請參閱 Microsoft 365 Copilot 的外掛程式。

注意

只有 Word 中支援存取文件選取範圍。 Word 和 PowerPoint 都支援存取整個開啟的文件並插入影像。

存取整份開啟的文件

當使用者在提示中參考開啟的文件時,文件的內容會自動新增至提示中,允許客服專員存取它,而無需進一步的使用者操作。 例如,使用者可以使用「摘要此文件」或「在此檔案中尋找任何動作項目」來提示客服專員。

文件格式

提供給代理的資訊格式因檔案類型而異。

對於 Word 文件,提供給代理程式的上下文完全由純文字內容組成,包括標題、正文段落和清單元素。 文件的邏輯流程透過順序分塊來保留,允許代理根據文字模式推斷文件結構。 不會擷取資料表、圖表、影像、頁面格式設定和樣式等非文字元素。 此類視覺物件的提及以及相鄰的中繼資料可作為上下文的一部分使用,但客服專員無法存取其實際內容。

對於 PowerPoint 簡報,提供給代理程式的內容包括所有可見的投影片標題、本文,以及表格和影像的扁平化描述 (若有的話)。 投影片流程和邏輯敘事是透過順序索引來維持的。 不會擷取影像、複雜圖表、背景設計、轉場、超連結和詳細演講者備忘稿等非文字元素。 因此,雖然代理可以對視覺元素的文字內容和高級描述進行推理,但它無法訪問富媒體、詳細的視覺佈局和結構化圖形數據。

在代理程式中使用開啟的文件

宣告式代理程式預設可以存取開啟的文件。 不需要對您的代理程式進行任何變更,即可啟用此功能的支援。

在 API 外掛程式中使用開啟的文件

如果您的代理程式包含 API 外掛程式 作為自訂動作,則代理程式會根據您的 API 描述和提供給代理程式的指示,決定要將開啟的文件量傳送至 API。 如需詳細資訊,請參閱 文件內容的 API 外掛程式考量。

Access 文件選取範圍

文件選取功能可讓使用者將開啟文件的目前選取區段提供給宣告式代理程式。 使用者可以詢問客服專員有關選取項目的資訊,或要求客服專員根據該選項採取行動。

例如,使用者正在處理職位描述文件,並想要在文件中新增 AI 產生的影像,以增加一些視覺吸引力。 使用者首先選取文件的一部分作為影像的上下文。 選取文件區段會啟用 Copilot 聊天窗格中的 [ 新增選取範圍 ] 按鈕。

顯示 [新增選取範圍] 選項的 Word 中的 Copilot 螢幕擷取畫面

使用者選取 [新增選取範圍 ],然後要求客服專員根據選取範圍 產生影像 。

Word 中的 Copilot 螢幕擷取畫面,顯示使用者提示,包括文件選取項目

代理程式會產生影像並回應使用者。

Word 中的 Copilot 螢幕擷取畫面,顯示產生的影像

在 Agent 中使用文件選取

宣告式代理程式預設可以存取文件選取範圍。 不需要對您的代理程式進行任何變更,即可啟用此功能的支援。

在 API 外掛程式中使用文件選取範圍

如果您的代理程式包含 API 外掛程式 作為自訂動作,則代理程式可以將文件選取範圍提供給 API。 代理程式會根據您的 API 規格翻譯文件選擇。

文件內容的 API 外掛程式考量

對於整個文件或使用者選擇,代理程式會決定如何以最佳方式將資料傳遞至 API 外掛程式。 您應該確定文件或使用者選取範圍已針對 API 適當翻譯。

  1. 首先測試您的代理程式,而不向代理程式新增任何特殊說明。 在大多數情況下,代理應該為您的 API 適當地翻譯文件內容或使用者選取項目,而無需任何額外的設定。
  2. 如果您的代理無法針對您的 API 正確轉譯,請在外掛程式資訊清單的 reasoning狀態物件 中新增指示,以指示代理程式選擇哪個表單。
  3. 測試各種選項,以驗證您的代理程式適當地處理不同類型和長度的內容。

以下是一些影響代理如何翻譯文件內容或使用者選擇的指示範例。 取得所需結果所需的實際指示取決於您的代理程式和 API。

逐字傳遞範例
You **MUST** pass the exact user's current selection without any modifications as part of the `text` param.
摘要/轉換範例
You **MUST** pass the short, summarized version of the user's current selection as `prompt`
instead of the entire selected document context.
結構化擷取範例
You **MUST** pass the structured version of the user's current selection as part of the `data` param.
You should get the required context from the user's current selection based on the user's query and
**MUST** structure the context in JSON format.

插入影像

影像插入功能可讓使用者將代理程式中的影像插入開啟的文件中。 影像可以插入目前游標位置、文件頂端或文件底部。

例如,從外部映像儲存庫擷取映像的代理程式可以向使用者顯示插入映像的按鈕。

Word 中的 Copilot 螢幕擷取畫面,其中顯示具有插入影像功能的代理程式

從代理程式插入影像

在宣告式代理程式中啟用影像插入需要使用 自適性卡片回應範本的 API 外掛程式。 [自適性卡片] 範本包含 Action.InsertImage 使用者選取以插入影像的動作。

{
  "type": "ActionSet",
  "actions": [
    {
      "type": "Action.InsertImage",
      "title": "Insert",
      "altText": "An image of people on the beach",
      "url": "https://contoso.com/images/beach.jpeg",
      // fallback MUST be set to "drop"
      "fallback": "drop",
      // Other valid values: "Top", "Bottom"
      "insertPosition": "Selection"
    }
  ]
}

注意

支援的影像類型為 .bmp、.gif、.jpeg、.jpg 和 .png。