為代理與代理流程新增獨立電腦使用工具（預覽）

[本文是發行前文件，可能會有所變動。]

獨立式電腦使用工具是 本機代理內的電腦使用工具 的模組化版本（由代理託管，並與代理綁定）。 你可以將其複製為代理的本機工具，或將其新增為代理流程中的節點。 透過使用此獨立工具，您可以創建、測試並管理與數位介面互動的 AI 自動化系統。 發布獨立電腦使用工具後，你可以在多個代理和代理流程中重複使用，提供一種集中管理複雜 UI 任務的方式。

透過使用獨立的電腦使用工具，您可以：

  • 建立模組化且可重複使用的自動化組件。
  • 根據自然語言指令執行智慧介面互動。
  • 透過定義允許的應用程式和網站來集中治理。
  • 透過高擬真度的工作階段重播和詳細的活動日誌監控執行情況。
  • 對於敏感或複雜的任務，導入人類參與的監督機制。

Important

本文包含 Microsoft Copilot Studio 預覽版文件，內容可能有所變更。

預覽功能不供生產時使用，而且可能功能受限。 這些功能是在正式發行前先行推出，讓您能夠搶先體驗並提供意見反應。

如果你正在打造一個準備好上線的代理程式，請參考 Microsoft Copilot Studio 概述。

建立一個獨立的電腦使用工具

Note

「電腦使用」作為獨立工具目前正陸續在支援的地區推出，可能尚未在你的地區提供。

  1. 在Copilot Studio中，選擇側邊欄的Tools。 工具 頁面會出現 。 在 工具頁面的「使用共享工具」了解更多。

  2. 選取 [新增工具]。 新 工具 面板會出現。

  3. 選取電腦使用。 設定頁面會出現， Designer 標籤聚焦在焦點中。

  4. 切換到 總覽 標籤。

    1. 在細節圖塊中選擇編輯。 螢幕上會出現 編輯電腦使用詳情 面板。

    2. 輸入工具名稱和描述。 這些細節幫助其他創作者了解何時該在流程中使用這個工具。

    3. 選取 [儲存]。

  5. 切換到 設計師 標籤。

    1. 選擇你想要的模型來使用這個工具。

    2. 輸入指令並定義參數。

  6. 設定完成後，選擇 發佈。 或者，如果你還沒準備好發佈這個工具，可以選擇 儲存草稿 。

設定一個獨立的電腦使用工具

設定獨立電腦使用工具的介面組織成三個分頁，幫助您管理自動化的生命週期與可觀察性。

Overview

「概覽」標籤就像工具的身份證。 使用此分頁來：

  • 管理工具的元資料，例如名稱與描述。
  • 查看目前的出版狀態。
  • 監控最近的執行，快速了解該工具在最近一次執行中的表現。

設計師

Designer 標籤是你建立工具邏輯的地方。

  • 模型：選擇驅動自動化的模型。
  • 指示：撰寫 AI 執行 UI 任務時所遵循的自然語言指引。
  • 測試：利用內建的沙盒執行指令，觀察 AI 即時反應。
  • 參數：定義輸入與輸出參數，以傳遞資料至工具或提取流程後續步驟的結果。
  • 儲存憑證：安全設定工具需要存取的網站或應用程式的認證。
  • 允許的網站與桌面應用程式：定義工具可互動的特定網站與應用程式的允許清單。
  • 人工監督：針對需要人工驗證或提供更多資訊的步驟，觸發人工介入通知。

Activity

活動分頁提供深度可觀察性，用於除錯與優化。 它列出了過去28天內的所有跑步紀錄。 每次執行時，你可以查看：

  • 會話重播：觀看 AI 與介面互動的錄影。
  • 截圖：檢視執行期間擷取的每張螢幕截圖。
  • 步驟日誌：查看工具執行的精確步驟順序。
  • 指標：分析執行時間與成功率。

整合行為

你可以在平台的不同部分使用電腦使用工具。 工具的行為取決於你如何加入它。

整合方法 行為 Lifecycle
新增至代理程式（作為本機工具） 該工具會複製到代理程式的本機工具中 獨立：對原本的獨立工具所做的變更，不會影響代理程式的版本。
將 Add 到 Agent Flow（作為節點） 該工具被稱作模組化節點。 連結：流程一律使用獨立式工具最新發佈的版本。

在客服流程中新增一個獨立的電腦使用工具

Important

  • 你只能在 代理流程中新增獨立的電腦使用工具。 你還不能把它們加入 工作流程 。
  • 代理流程只能存取 已發佈 的獨立電腦使用工具。 Agent 流程一律會觸發最新已發佈的版本。

  1. 在Copilot Studio中，選擇側邊欄的Flows。

  2. 選擇你想要的經紀人流程。 選取的代理流程會顯示「 概覽 」標籤。

  3. 切換到 設計師 標籤。

  4. 在代理流程中你想呼叫獨立電腦使用工具的點，選擇「 插入新動作 」圖示。 新增 動作 面板會出現。

  5. 在 AI 能力中，選擇 「執行電腦使用工具」。 「 執行電腦使用工具 」動作節點會出現在流程中。

  6. 如果你還沒有電腦使用連線，會出現 「建立新連線 」卡片：

    1. 對於 Connect，請選擇你想要的連線類型： 機器 或 託管瀏覽器。
    2. 提供所需資訊後選擇 「建立新」。

  7. 選擇你想要的電腦使用工具。

  8. 如果所選的電腦使用工具有輸入，請指定靜態或動態值。

Tip

在 「執行電腦使用工具 」動作節點中，你可以：

  • 請在電腦使用工具清單中選擇「建立」來建立新的電腦使用工具。
  • 若要編輯所選的電腦使用工具，請選擇 編輯。
  • 選擇「 重新整理 」圖示來刷新你的電腦使用工具清單。

在客服中新增一個獨立的電腦使用工具

Note

當你為代理人新增獨立的電腦使用工具時，你會在該代理人中建立獨立的副本。 獨立工具的更新不會影響代理程式的副本，反之亦然。

  • 摘自 工具 頁面：

    1. 在Copilot Studio中，選擇側邊欄的Tools。 工具 頁面會出現 。

    2. 選擇你想要的電腦使用工具旁邊的三個點（...），然後選擇 「加入到代理」。 新增至代理程式面板會出現。

    3. 選擇你想要 的代理人 並選擇 新增。 新增工具面板會顯示出來。

    4. 選取 [新增並設定]。 你工具本地副本的設定頁面會出現。

    5. 如果需要，修改設定後選擇 儲存。

    6. 回到你的代理程式的 工具 頁面，你會看到清單中包含你剛新增的電腦使用工具。

  • 來自 代理人 頁面：

    1. 在Copilot Studio中，選擇側邊欄的Agents。 隨即顯示 Agents 頁面。

    2. 選擇你想要的經紀人。

    3. 移至代理程式的 [工具] 頁面。

    4. 選取 [新增工具]。 新增工具面板會顯示出來。

    5. 選擇「 電腦使用工具 」篩選器。

    6. 選擇你想要的電腦使用工具，然後選擇 新增與設定。 你工具本地副本的設定頁面會出現。

    7. 如果需要，修改設定後選擇 儲存。

    8. 回到你的代理程式的 工具 頁面，你會看到清單中包含你剛新增的電腦使用工具。

常見問題

我應該在什麼時候使用獨立工具，什麼時候應該使用本地代理工具？

當你想為特定客服流程自動化建立單一真實來源，且多流程需要使用時，請使用 獨立的電腦使用工具 。 例如， 提交費用報告。 當自動化需要由代理程式本身控制的非確定性編排時，請使用 代理程式內的本機電腦操作工具（重複）。

這個工具如何處理安全和存取？

獨立工具採用兩層保護：

  • 憑證：用於登入資料的加密儲存。
  • 治理：一種硬性限制（允許清單），防止 AI 瀏覽未經授權的 URL 或應用程式，無論提供何種指示。

我可以看看 AI 在流程執行時做了什麼嗎？

Yes. 獨立工具的 活動 分頁會列出過去 28 天的會話錄音。 這些錄影會顯示 AI 執行的每一次點擊與按鍵，確保完全透明且更容易除錯。

為什麼我所在地區沒有某款型號？

Anthropic 模型目前未在中國提供。 中國用戶應該使用 OpenAI 模型。

相關內容

  • Last updated on