共用方式為

透過電腦使用自動化 Web 和桌機版應用程式 (預覽版)

[本文章是發行前版本文件，且隨時可能變更。]

電腦使用是 Copilot Studio 中的一項工具，讓您的 Agent 能與 Windows 電腦互動並自動化任務。 透過選取按鈕、選擇選單，並在畫面上的欄位中輸入文字，可在網站和桌機版應用程式中使用。 用自然語言描述您想讓電腦做什麼，它會用虛擬滑鼠和鍵盤在您設定的電腦上執行該任務。 透過電腦使用，Agent 即使沒有 API 直接連接系統也能完成任務。 如果一個人可以使用應用程式或網站，那麼使用電腦也可以。 您可以利用電腦來完成自動化資料輸入、發票處理和資料擷取等任務。

重要

本文包含 Microsoft Copilot Studio 預覽版文件，內容可能有所變更。

預覽功能不供生產時使用，而且可能功能受限。 這些功能是在正式發行前先行推出，讓您能夠搶先體驗並提供意見反應。

如果您要建置生產就緒 Agent，請參閱 Microsoft Copilot Studio 概觀。

電腦使用由電腦使用 Agent (CUA) 提供，是一種結合視覺功能和進階推理以和圖形使用者介面 (GUI) 互動的 AI 模型。 因為它是由 AI 驅動的，所以它可以適應介面變化。 例如，當按鈕或螢幕變更時，工具會繼續工作，而不會中斷您的流程。 使用方式簡單。 只需在自然語言中描述您想要的內容。 您不需要撰寫程式碼。

觀看此影片以了解電腦使用工具如何讓 Agent 與 Web 應用程式互動。

需求

新增電腦使用到您的 Agent

在 Copilot Studio 中，新增或現有 Agent，請依照以下步驟加入電腦使用作為工具：

  1. 前往 Agent 中的工具區段，然後選擇新增工具。

  2. 在新增工具對話方塊中，選取 + 新工具。

  3. 選取電腦使用。

  4. 提供描述工具在電腦上應執行的任務的說明。 您會看到一些開始使用的指令範本。 想了解更多如何最佳撰寫電腦使用指令，請參閱電腦使用說明的最佳做法。

  5. 選擇電腦使用時會運行的機器。 您可以選擇使用託管瀏覽器，這是一台現成的機器，用於自動化對外網站的任務，或選擇一台可設定為電腦使用的 Windows 機器。 在電腦使用執行處配置了解更多。

  6. 選取 [新增並設定]。

    • 在設定頁面上，設定以下三個欄位：

      • 名稱：輸入電腦使用工具的顯示名稱。 此名稱可協助您將它與您新增到 Agent 的其他工具區分開來。
      • 描述提供簡短的描述，說明此工具的功能以及要在何時使用。 此文字可讓您的 Agent 知道何時使用此工具。
      • 指示：列出工具應執行的步驟，包括 URL 和應用程式名稱。 如需提示，請參閱電腦使用指示的最佳做法。

  7. 審查設定頁面上可能相關的其他欄位和設定：

    • 輸入：使用輸入定義每次電腦使用執行時，變更的動態值。 例如，如果要要在每次執行時，使用不同值填寫表單，則請為該欄位建立輸入。 在執行時，電腦使會用將您的指示與輸入值結合以完成工作。

    • 機器：選擇 Agent 用來執行電腦使用的目標機器。 請參閱電腦使用執行處配置，以了解根據需求選擇合適的機器類型。

      • 用重新整理更新機器清單。
      • 選擇管理機器以在 Power Automate 入口網站開啟機器管理頁面。
      • 選擇查看機器詳情以開啟 Power Automate 入口網站中的機器詳情頁面。

    • 連線：使用此工具所使用的連線。 更新或建立新連線以更改所使用的憑證。

    • 使用憑證：指定電腦在執行時如何進行認證：

      • Maker 提供的憑證 （預設）：此選項使用製造商憑證，適用於自主代理。

      警告

      如果你 共用 一個帶有此設定的代理，任何使用該代理的人都可以在設定的機器上使用原始作者的存取權。

      • 終端使用者憑證：此選項使用與 Agent 互動者的憑證。 每個使用者都必須擁有電腦的存取認證。

    • 人工監督：若電腦 Agent 偵測到可能改變模型行為的潛在有害指令，應透過電子郵件 (Outlook) 指定聯絡對象。 每個 Agent 執行時，其活動都綁定於發起該 Agent 的使用者。 如果你選擇的審查者不是執行電腦代理的人，他們很可能看不到該活動，因為他們沒有主動發起執行。 因此，他們無法妥善核實或執行該請求。 同時，確保收件人已獲授權，並具備處理此類請求所需的背景資訊。 回應時間限制定義了請求持續有效的時間。 過了這段時間，請求即告失效，若未收到回應，電腦使用執行即停止。 詳情請參閱人工監督。

    • 儲存憑證：定義電腦登入網站和應用程式所使用的憑證。 執行時若出現登入提示，電腦使用將安全使用本節中定義的該網站或應用程式憑證。 這些憑證的密碼值會儲存在 Power Platform 內部儲存（不需要設定），或是你提供的 Azure Key Vault 裡。 學習如何在使用 Azure 入口網站建立 Azure 金鑰保存庫。

      • 內部儲存選項：使用此選項，您可以在工具中設定憑證，無需預先設定。 機密資料會加密並儲存在 Power Platform 內部。 每項證件請提供以下細節：

        • 類型：根據你打算使用該憑證的表面，選擇網站或桌面應用程式
        • 使用者名稱：你用來登入目標網站或應用程式的使用者名稱。
        • 密碼：用於登入目標網站或應用程式的密碼值。

        注意

        所有網站及大多數 Windows 應用程式 (WinForms、WPF、UWP、WinUI、Win32) 都支援密碼欄位，涵蓋大多數客戶情境。 某些應用程式類型，如 Electron、Java、Unity、遊戲、命令列介面、Citrix 或其他虛擬化環境，可能不被支援。

        • 登入網域 或 桌面應用程式名稱：輸入憑證的網域或應用程式名稱（例如 login.microsoft.com 或 Excel）。 登入網域時，務必驗證該網域，因為它可能與主網站網址不同。

      • Azure Key Vault 選項：使用此選項，您可以先輸入訂閱 ID、資源群組名稱和 Key Vault 名稱，在工具中設定憑證。 所有這些資訊皆可從您金鑰保存庫的概覽頁面取得。

        • 要在 Power Platform 中使用 Azure 金鑰保存庫秘密：

          • 擁有保險庫的 Azure 訂閱必須註冊 PowerPlatform 資源提供者 。
          • 建立環境變數的使用者必須對 Azure Key Vault 資源擁有適當的權限。

        • 如果你還沒做，請依照 Azure Key Vault 設定 的步驟操作，然後提供以下細節：

          • 使用者名稱：你用來登入目標網站或應用程式的使用者名稱。
          • Azure 秘密名稱：存放網站或應用程式密碼的金鑰保存庫中的秘密名稱。

          注意

          所有網站及大多數 Windows 應用程式 (WinForms、WPF、UWP、WinUI、Win32) 都支援密碼欄位，涵蓋大多數客戶情境。 某些應用程式類型，如 Electron、Java、Unity、遊戲、命令列介面、Citrix 或其他虛擬化環境，可能不被支援。

          • 登入網域 或 桌面應用程式名稱：輸入憑證的網域或應用程式名稱（例如 login.microsoft.com 或 Excel）。 登入網域時，務必驗證該網域，因為它可能與主網站網址不同。

    • 存取控制：預設情況下，電腦使用可在任何網站或應用程式上運作。 如果您想限制這種存取權限，請啟用存取控制，以定義電腦應使用的具體網址和桌面應用程式。 您可以設定網站和應用程式：

      • 網站：輸入主網址 (例如 example.com)。 該網站上的所有頁面都會自動包含在內。 您也可以用通配字元 (*) 來表示子網域。
        • 範例：www.contoso.com、*.contoso.com、contoso.com
      • 桌面應用程式：輸入應用程式產品名稱或製程名稱。 要找到它，按 Ctrl+Shift+Esc 開啟工作管理員。 然後查看流程索引標籤。
        • 範例：Microsoft Edge，msedge，Notepad。

      注意

      存取控制僅防止模型對不在允許清單中的網站或應用程式採取行動。 這不會阻止模型開啟它們。 例如，如果只 microsoft.com 和 Microsoft Edge 在允許清單中，模型仍可使用 Edge 搜尋列開啟 Bing。 然而，一旦 Bing 被打開，任何嘗試互動都會失敗，因為它不在允許清單中。

  8. 選取儲存。

測試電腦使用

測試電腦使用是創作過程中的關鍵步驟。 輸入名稱、描述和指示，並儲存工具後，請選取測試以啟動測試體驗。

經歷短時間載入後，將顯示測試體驗：

  • 左側面板顯示你的指示，以及工具推理和動作的逐步記錄。
  • 右側面板會顯示您為電腦使用設定的電腦上動作的預覽。

當任務完成時，您會看到測試完成訊息。 在測試過程中，您可以選取停止測試以立即停止電腦上的所有動作。

如果結果不如您預期，請移至設定頁面並改進您的指示。 新增更多細節來改進正確性。 如需指引，請參閱撰寫有效指示的最佳做法。

使用電腦功能發佈 Agent

先設定電腦使用權，然後發佈你的經紀人。 Agent 的執行方式取決於情境。 它可以是自主的，也可以是對話的：

  • 自主 Agent 會自動執行並在後台執行工作。
  • 對話式 Agent 讓使用者透過像 Microsoft Teams 這樣的管道互動。

電腦使用最適合自主 Agent，在沒有使用者互動的情況下，在後台執行工作。

您也可以將電腦應用在對話體驗中，但請記得以下幾點：

  • 如果選取使用者驗證作為驗證設定，則在電腦使用的電腦中，每次使用者與 Agent 在交談中互動都需要有效的認證。
  • 當該工具執行時，它會在聊天中共用電腦活動的推理訊息和螢幕截圖。

最佳作法

為了在當今數位環境中保持高生產力和安全，請依循電腦使用的最佳做法，尤其是在撰寫清晰的指示和保護電腦時。

最佳保護機器的做法

在設置讓 AI 能以自然語言執行任務的電腦機器時，請考慮以下安全建議：

安全性建議 其他資訊
使用專用電腦以供電腦使用 指派專門用於電腦使用相關工作的特定隔離電腦。 此方法降低了來自無關軟體、惡意軟體或未經授權存取的交叉污染風險。 它讓您能更有效地控制設定、更新和監控。
將權限限制為您用於電腦使用的使用者帳戶 設定用於電腦使用的使用者帳戶，以遵循最低權限原則 - 僅授與執行所需工具的必要權限。
將 Web 存取限制為僅允許特定受信任網站的允許清單 僅允許 Web 存取至經過審查和信任的網域的預先定義清單。 例如，您可以用 Microsoft Intune設定 Microsoft Edge 的政策設定，針對用於電腦使用的機器。
限制特定桌機版應用程式的可用性 僅安裝並允許執行對預期 AI 工作流程至關重要的應用程式。 移除或停用對不必要軟體的存取。 例如，您可以設定應用程式控制項以限制允許哪些應用程式在電腦上執行。

電腦使用說明的最佳做法

您所寫的說明決定了電腦的使用效果。 具體、詳細的指示可協助電腦使用準確完成工作。 可以將其視為向同事解釋一項任務。 清晰的逐步指引可協助確保成功。

編寫有效說明的提示：

  • 具體說明網站和應用程式。 永遠包括任何網站的完整 URL 以及工具應使用的任何應用程式的確切名稱。 舉例來說： 打開 https://www.microsoft.com 並前往「公司新聞」。

  • 明確說明相關動作。 如果你想完成某件事，就要明確表達——尤其是像是提交表單或發送電子郵件這類行動。 範例： 填寫表單後，選擇 提交。不需要徵求許可。

  • 分解複雜的互動。 對於 UI 導航可能更複雜的區域，請詳細解釋每個步驟。 範例： 選擇右上角的 「更多」 圖示。畫面會跳出下拉選單。打開後，選擇清單中的最後一項。

  • 對於較長的工作，使用逐步格式。 將長說明格式化為清單會更容易理解。

樣本指示

瀏覽這些樣本指示以嘗試電腦使用或將它們用作撰寫自己參考的依據。

案例 名字 描述 指示
發票處理 轉移並提交發票詳細資訊 將發票資料從 PDF 轉移並提交到另一個表單。 1. 移至 https://computerusedemos.blob.core.windows.net/web/Contoso/invoice-manager.html, 將日期篩選條件設定為過去 24 小時，然後打開發票 PDF。
2. 在新的索引標籤中，開啟 https://computerusedemos.blob.core.windows.net/web/Contoso/index.html 並使用該 PDF 中的資料填寫表單。 提交發票表格，無需確認。
資料輸入 提交庫存項目 新增產品到庫存系統。 1. 移至 https://computerusedemos.blob.core.windows.net/web/Adventure/index.html。
2. 為以下每個項目提交一個新輸入：
後變速器，RD-4821，50，42.75，Tailspin Toys
踏板組，PD-1738，80，19.99，羅斯文貿易公司
煞車桿，BL-2975，35，14.50，Trey Research
鏈輪片螺栓組合，CB-6640，100，5.25，範阿斯戴爾有限公司
底部支架，BB-9320，60，24.90，順風貿易公司
資料擷取 查找投資組合管理者和值 取得投資組合的經理人名稱和價值。 1. 移至 https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html。
2. 找到「第四杯咖啡」列，並準確記錄投資組合經理人名稱和目前投資組合價值。
3. 傳回這兩個值作為最終輸出。

資料擷取的最佳實務

你可以利用電腦功能從網站或應用程式擷取資料，然後將資料傳給你的代理人或代理人內的其他工具。 要做到這點，只要在說明書中描述你想直接提取 哪些資訊以便電腦使用即可。

如果你想用其他工具（例如用電子郵件傳送）使用擷取的資料，請在 代理說明 中指定需求，並確保兩個工具都加入代理。

舉例來說： 使用電腦擷取客戶資訊，並透過電子郵件將提取出的資料發送到財務投資組合儀表板。 在這種情況下，你的經紀人必須同時包含電腦使用工具和電子郵件工具。

擷取值作為文字

你可以指示電腦擷取特定數值並以純文字回傳。 例如，以下提示為客戶 Fourth Coffee 提取投資組合經理與投資組合價值：

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
2. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
3. Return those two values as the final output.

代理程式只會回傳兩個請求的值作為文字。

以 JSON 形式萃取值

你也可以請電腦用 JSON 格式回傳擷取的資訊。 這種格式在你想把結構化資料傳給其他工具時很有用。 以下範例擷取所有與 Contoso 相關的投資組合列，並以正確格式化的 JSON 回傳：

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
*    Each top-level key is the client name
*    Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
*    Return only the JSON, with no additional text.

這種方法確保輸出是有結構的。

授權

在電腦使用仍為預覽階段時，它會使用 Agent 操作功能計費，費率為五個 Copilot 點數。 欲了解更多資訊，請參閱 Microsoft Copilot Studio 計費率與管理。

每次電腦使用運行可以執行多個操作，每個操作花費五個 Copilot 點數。

例如，如果您設定電腦使用來填寫 Web 型的工時記錄表單，則每次它被觸發時，都會執行以下動作：

  1. 啟動瀏覽器。

  2. 導航到時程表入口網站。

  3. 選擇建立新的時間表。

  4. 填寫開始時間表單欄位。

  5. 填寫結束時間表單欄位。

  6. 填寫專案代碼表單欄位。

  7. 選取提交按鈕。

在這個例子中，電腦執行了七個動作，總共消耗了 35 則訊息。

分享您的意見反應

你有關於電腦使用的意見反應嗎？ 請透過 computeruse-feedback@microsoft.com 告訴我們。

電腦使用工具的常見問題集

  • Last updated on