共用方式為

使用電腦自動化網頁和桌面應用程式 (預覽版)

[本文章是發行前版本文件，且隨時可能變更。]

電腦使用是 Copilot Studio 中的一項工具，讓你的客服人員能與 Windows 電腦互動並自動化任務。 透過選取按鈕、選擇選單，並在畫面上的欄位中輸入文字，可在網站和桌機版應用程式中使用。 用自然語言描述您想讓電腦做什麼，它會用虛擬滑鼠和鍵盤在您設定的電腦上執行該任務。 透過電腦使用，Agent 即使沒有 API 直接連接系統也能完成任務。 如果一個人可以使用應用程式或網站，那麼使用電腦也可以。 您可以利用電腦來完成自動化資料輸入、發票處理和資料擷取等任務。

重要

本文包含 Microsoft Copilot Studio 預覽文件，內容可能會有所變動。

預覽功能不供生產時使用，而且可能功能受限。 這些功能是在正式發行前先行推出，讓您能夠搶先體驗並提供意見反應。

如果你正在打造一個準備好上線的代理程式，請參考 Microsoft Copilot Studio 概述。

電腦使用由電腦使用 Agent (CUA) 提供，是一種結合視覺功能和進階推理以和圖形使用者介面 (GUI) 互動的 AI 模型。 因為它是由 AI 驅動的，所以它可以適應介面變化。 例如，當按鈕或螢幕變更時，工具會繼續工作，而不會中斷您的流程。 使用方式簡單。 只需在自然語言中描述您想要的內容。 您不需要撰寫程式碼。

觀看此影片以了解電腦使用工具如何讓 Agent 與 Web 應用程式互動。

需求

  • 此功能適用於區域設定為 United States 的環境。

  • 請確定您的代理程式 已啟用產生協調器 ，以使用計算機。

將電腦使用加入到您的 Agent

在 Copilot Studio 中，對於新代理或現有代理，請依照以下步驟加入電腦使用作為工具：

  1. 移至代理程式中的 [ 工具] 區段，然後選取 [新增工具]。

  2. 在 [新增工具 ] 對話方塊中，選取 [新增工具]。

  3. 選取電腦使用。

  4. 提供描述工具在電腦上應執行的任務的說明。 您會看到一些開始使用的指令範本。 若要深入瞭解如何以最佳方式撰寫電腦使用指示，請查看 電腦使用指示的最佳做法。

  5. 選取 [新增並設定]。

    • 在設定頁面，請設定以下四個欄位：

      • 名稱：輸入計算機使用工具的顯示名稱。 此名稱可協助您將它與您新增到 Agent 的其他工具區分開來。
      • 描述：輸入此工具用途的簡短描述，以及使用時機。 此文字可讓您的 Agent 知道何時使用此工具。
      • 模型：選擇用於執行電腦使用工具的模型。 目前支援的模型包括 OpenAI 的 Computer-Using Agent 以及 Anthropic 的 Claude Sonnet 4.5。

        注意

        Anthropic 的 Claude Sonnet 4.5 目前正在支援的地區陸續推出，可能尚未在你的地區推出。 請確保您的管理員 已啟用外部模型。

      • 指示：列出工具應執行的步驟，包括URL和應用程式名稱。 如需秘訣，請參閱 計算機使用指示的最佳做法。

  6. 審查設定頁面上可能相關的其他欄位和設定：

    • 輸入：使用輸入來定義每次計算機使用執行時變更的動態值。 例如，如果要在每次執行時，使用不同值填寫表單，則請為該欄位建立輸入。 在執行時刻，電腦會將指示與輸入值結合以完成任務。

    • 機器：選擇代理程式用來執行電腦作業的目標機器。 請參閱電腦使用設定，以了解根據需求選擇合適的機型。

      • 用重新整理更新機器清單。
      • 選擇 Manage machines 以開啟Power Automate入口網站中的機器管理頁面。
      • 選擇 See Machine details 以在入口網站Power Automate開啟機器詳情頁面。

    • 連線：使用此工具所使用的連線。 更新或建立新連線以更改所使用的憑證。

    • 使用憑證：指定電腦在執行時如何進行認證：

      • Maker 提供的憑證 （預設）：此選項使用製造商憑證，適用於自主代理。

      警告

      如果你 共用 一個帶有此設定的代理，任何使用該代理的人都可以在設定的機器上使用原始作者的存取權。

      • 終端使用者憑證：此選項使用與 Agent 互動者的憑證。 每個使用者都必須擁有電腦的存取認證。

    • 人類監督：如果電腦使用代理偵測到可能改變模型行為的潛在有害指令，應以電子郵件（Outlook）聯絡指定的人員。 每個 Agent 執行時，其活動都綁定於發起該 Agent 的使用者。 如果你選擇的審查者不是執行電腦代理的人，他們很可能看不到該活動，因為他們不是發起執行的人。 因此，他們無法妥善核實或執行該請求。 同時，確保收件人已獲授權，並具備處理此類請求所需的背景資訊。 回應時間限制定義了請求持續有效的時間。 過了這段時間，請求即告失效，若未收到回應，電腦使用執行即停止。 詳情請參閱人工監督。

    • 儲存的認證：定義電腦用來登入網站和應用程式的認證。 執行過程中若出現登錄提示，系統將安全地使用您在本節中為該網站或應用程式定義的任何憑證。 這些憑證的密碼值會儲存在 Power Platform 內部儲存（不需要設定），或是你提供的 Azure Key Vault。 學習如何在 Azure 入口網站建立金鑰保險庫中設定 Azure Key Vault。

      • 內部儲存選項：使用此選項，您可以在工具中設定憑證，無需預先設定。 機密資料會加密並儲存在 Power Platform 內部。 每項證件請提供以下細節：

        • 類型：根據你打算使用該憑證的表面，選擇網站或桌面應用程式
        • 使用者名稱：你用來登入目標網站或應用程式的使用者名稱。
        • 密碼：用於登入目標網站或應用程式的密碼值。

        注意

        所有網站及大多數 Windows 應用程式（WinForms、WPF、UWP、WinUI、Win32）都支援密碼欄位，涵蓋大多數客戶情境。 某些應用程式類型，如 Electron、Java、Unity、遊戲、命令列介面、Citrix 或其他虛擬化環境，可能不支援。

        • 登入網域 或 桌面應用程式名稱：輸入憑證的網域或應用程式名稱（例如 login.microsoft.com 或 Excel）。 登入網域時，務必驗證該網域，因為它可能與主網站網址不同。

      • Azure Key Vault 選項：使用此選項，您可以先在工具中輸入訂閱 ID、資源群組名稱和Key Vault名稱來設定憑證。 所有這些資訊皆可從您Key Vault的Overview頁面取得。

        • 若要使用 Azure Key Vault 機密與 Power Platform 進行整合，請按照以下步驟操作：

          • 包含保險庫的Azure訂閱必須註冊 PowerPlatform 資源提供者。
          • 建立環境變數的使用者必須擁有 Azure Key Vault 資源的適當權限。

        • 如果你還沒做過，請依照配置Azure Key Vault的步驟操作，然後提供以下細節：

          • 使用者名稱：你用來登入目標網站或應用程式的使用者名稱。
          • Azure secret name：儲存網站或應用程式密碼的Key Vault中秘密名稱。

          注意

          所有網站及大多數 Windows 應用程式（WinForms、WPF、UWP、WinUI、Win32）都支援密碼欄位，涵蓋大多數客戶情境。 某些應用程式類型，如 Electron、Java、Unity、遊戲、命令列介面、Citrix 或其他虛擬化環境，可能不支援。

          • 登入網域 或 桌面應用程式名稱：輸入憑證的網域或應用程式名稱（例如 login.microsoft.com 或 Excel）。 登入網域時，務必驗證該網域，因為它可能與主網站網址不同。

    • 存取控制：預設情況下，電腦使用可以在任何網站或應用程式上運作。 如果您想限制這種存取權限，請啟用存取控制，以定義電腦應限制使用的特定網址和桌面應用程式。 您可以設定網站和應用程式：

      • 網站：輸入主要網站位址（例如 example.com）。 該網站上的所有頁面都會自動包含在內。 您也可以用通配字元 (*) 來表示子網域。
        • 範例： www.contoso.com、 *.contoso.com、 contoso.com
      • 桌面應用程式：輸入應用程式產品名稱或進程名稱。 要找到它，按 Ctrl+Shift+Esc 開啟工作管理員。 然後檢查 Processes 標籤。
        • 範例：Microsoft Edge、msedge、Notepad。

      注意

      存取控制只防止模型對不在允許清單中的網站或應用程式採取行動。 這不會阻止模型開啟它們。 例如，如果允許清單中只有 microsoft.com 和 Microsoft Edge，模型仍可使用 Edge 搜尋列開啟 Bing。 然而，一旦 Bing 開啟，任何嘗試互動都會失敗，因為它不在允許清單中。

  7. 選取 [儲存]。

電腦使用測試

測試電腦使用是創作過程中的關鍵步驟。 輸入名稱、描述和指示並儲存工具之後，請選取 [ 測試 ] 以開始測試體驗。

經歷短時間載入後，將顯示測試體驗：

  • 左側面板顯示您的指示，以及工具的推理和操作過程的逐步記錄。
  • 右側面板會顯示您為電腦使用設定的電腦上動作的預覽。

當工作完成時，您會看到 測試已完成 訊息。 測試進行中時，您可以選取 [ 停止測試 ]，立即停止計算機上的所有動作。

如果結果不如您預期，請移至設定頁面並改進您的指示。 新增更多細節來改進正確性。 如需指引，請參閱 撰寫有效指示的最佳做法。

使用電腦來發佈代理人

先設定電腦使用權，然後發佈你的經紀人。 代理程式的執行方式取決於情境。 它可以是自主的，也可以是對話的：

  • 自主代理會自動運作並在背景執行任務。
  • 對話式代理讓使用者透過像 Microsoft Teams 這樣的管道互動。

電腦使用最適合自主代理程式，在沒有使用者互動的情況下，在背景執行任務。

您也可以將電腦應用在對話體驗中，但請記得以下幾點：

  • 如果您選取 [使用者驗證 ] 作為驗證設定，交談中與代理程序互動的每個使用者都需要計算機使用的有效認證。
  • 當該工具執行時，它會在聊天中共用電腦活動的推理訊息和螢幕截圖。

最佳作法

為了在當今數位環境中保持高生產力和安全，請依循電腦使用的最佳做法，尤其是在撰寫清晰的指示和保護電腦時。

最佳保護機器的做法

在設置讓 AI 能以自然語言執行任務的電腦機器時，請考慮以下安全建議：

安全建議 其他資訊
使用專用電腦以供電腦使用 指派專門用於電腦使用相關工作的特定隔離電腦。 此方法降低了來自無關軟體、惡意軟體或未經授權存取的交叉污染風險。 它讓您能更有效地控制設定、更新和監控。
將權限限制在您用於電腦活動的使用者帳戶上 設定用於電腦使用的使用者帳戶，以遵循最低權限原則 - 僅授與執行所需工具的必要權限。
限制網路存取權限僅限於特定可信網站的允許清單 僅允許 Web 存取至經過審查和信任的網域的預先定義清單。 例如，你可以使用 Microsoft Intune 設定 Microsoft Edge 的政策設定，並設定目標為用於計算機用途的機器。
限制特定桌機版應用程式的可用性 僅安裝並允許執行對預期 AI 工作流程至關重要的應用程式。 移除或停用對不必要軟體的存取。 例如，您可以 設定應用程控 來限制計算機上允許執行的應用程式。

電腦使用說明的最佳做法

您所寫的說明決定了電腦的使用效果。 具體、詳細的指示幫助電腦準確地完成工作。 可以將其視為向同事解釋一項任務。 清晰的逐步指引可協助確保成功。

編寫有效說明的提示：

  • 具體說明網站和應用程式。 永遠包括任何網站的完整 URL 以及工具應使用的任何應用程式的確切名稱。 舉例來說： 打開 https://www.microsoft.com 並前往「公司新聞」。

  • 明確說明相關動作。 如果你想完成某件事，就要明確表達——尤其是像是提交表單或發送電子郵件這類行動。 範例： 填寫表單後，選擇 提交。不需要徵求許可。

  • 分解複雜的互動。 對於 UI 導航可能更複雜的區域，請詳細解釋每個步驟。 範例： 選擇右上角的 「更多」 圖示。畫面會跳出下拉選單。打開後，選擇清單中的最後一項。

  • 對於較長的工作，請使用分步格式。 將長說明格式化為清單會更容易理解。

範例指示

瀏覽這些樣本指引以嘗試使用電腦，或將它們作為撰寫自己指引的參考。

情境 名字 描述 操作指南
發票處理 轉移並提交發票詳細資訊 將發票資料從 PDF 轉移並提交到另一個表單。 1. 移至 https://computerusedemos.blob.core.windows.net/web/Contoso/invoice-manager.html，將 [日期] 篩選設定為 [過去 24 小時]，然後開啟發票 PDF。
2.在新索引標籤中，開啟 https://computerusedemos.blob.core.windows.net/web/Contoso/index.html 表單，然後填寫該 PDF 中的數據。 提交發票表格，無需確認。
資料輸入 提交庫存項目 新增產品到庫存系統。 1. 移至 https://computerusedemos.blob.core.windows.net/web/Adventure/index.html。
2. 為以下每個項目提交一個新條目：
後變速器，RD-4821，50，42.75，Tailspin Toys
踏板組，PD-1738，80，19.99，北風貿易公司
煞車桿，BL-2975，35，14.50，Trey Research
鏈盤螺栓組，CB-6640，100，5.25，範阿斯戴爾有限公司
底部支架，BB-9320，60，24.90，順風貿易公司
資料擷取 查詢投資組合管理者和價值 取得投資組合的經理人名稱和價值。 1. 移至 https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html。
2. 找到「第四杯咖啡」列，並準確記錄投資組合經理人名稱和目前投資組合價值。
3. 傳回這兩個值作為最終輸出。

資料擷取的最佳做法

您可以利用電腦功能從網站或應用程式擷取資料，然後將資料傳給您的 Agent 或 Agent 內的其他工具。 要做到這點，只要在說明書中描述您想直接提取哪些資訊以便電腦使用即可。

如果您想用其他工具 (例如用電子郵件傳送)使用擷取的資料，請在 Agent 說明中指定需求，並確保兩個工具都加入 Agent。

舉例來說： 使用電腦擷取客戶資訊，並透過電子郵件將提取出的資料發送到財務投資組合儀表板。 在這種情況下，你的經紀人必須同時包含電腦使用工具和電子郵件工具。

以文字格式提取值

您可以指示電腦擷取特定數值並以純文字回傳。 例如，以下提示會為名為 Fourth Coffee 的客戶提取其投資組合經理與投資組合價值：

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
2. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
3. Return those two values as the final output.

Agent 只會回傳兩個請求的值作為文字。

以 JSON 形式擷取值

您也可以請電腦用 JSON 格式回傳擷取的資訊。 這種格式在您想把結構化資料傳給其他工具時很有用。 以下範例擷取所有與 Contoso 相關的投資組合列，並以正確格式化的 JSON 回傳：

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
*    Each top-level key is the client name
*    Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
*    Return only the JSON, with no additional text.

這種方法確保輸出是有結構的。

授權

雖然電腦使用仍處於預覽階段，但透過代理行動功能進行計費，計費率為五點 Copilot 點數。 欲了解更多資訊，請參閱 Microsoft Copilot Studio 計費率與管理。

每次電腦運行過程都依賴於一個執行一連串步驟的 AI 模型。 一個步驟可能包含一個或多個低階動作（例如點擊、輸入或導航）。 每一步消耗5 Copilot信用點。

例如，如果您設定電腦填寫網頁工時表，該行程可能會執行以下步驟：

  1. 啟動瀏覽器，並進入工時表入口網站。

  2. 選擇建立新的工時表。

  3. 填寫開始時間、結束時間和專案代碼欄位。

  4. 選取提交按鈕。

在這個例子中，電腦執行了4個步驟，總共消耗20個Copilot點數。

分享您的意見反應

你有關於電腦使用的意見反應嗎？ 請透過 computeruse-feedback@microsoft.com 告訴我們。

計算機使用工具的常見問題

  • Last updated on