這份常見問題集 (FAQ) 說明您在 Copilot Studio Agent 中新增電腦操作工具時，應了解的功能、使用方式、限制與安全防護措施。
什麼是電腦操作工具？
電腦操作是可新增至 Copilot Studio Agent 的工具，旨在自動化網站和應用程式上的工作。 您以自然語言提供工作描述，工具就會據此自動執行滑鼠點選與鍵盤動作。 例如，您可以指示該工具打開 PDF 並使用其內容填寫 Web 表單。 此工具會以視覺方式解讀畫面，並執行必要的點選與按鍵動作，模擬人類的互動方式。
警告
電腦操作是強大的工具，可自動執行網站與電腦應用程式間的互動，但也伴隨重要的安全考量。 在某些情況下，AI 可能因指示不明確或畫面上出現非預期的內容，而採取非預期的動作。 這些動作可能會影響裝置、資料或已連線帳戶的安全性，包括存取個人、財務或企業系統的權限。
電腦操作工具可以做什麼？
電腦操作工具會處理畫面的像素資料以理解畫面上的內容，並使用虛擬滑鼠點選與鍵盤輸入來執行工作。 此工具可以管理多步驟工作流程、處理非預期的情況，並動態因應畫面變化。它可以在不需要專用 API 的情況下，執行各種數位工作，例如瀏覽網站與填寫表單。
電腦操作工具會依循以下三個步驟的反覆循環：
感知：擷取螢幕擷取畫面，以視覺方式了解電腦畫面的目前狀態。
推理：透過思維鏈方法評估目前狀態、先前的動作與螢幕擷取畫面，藉此有效調整其動作。
動作：執行點選、輸入或捲動等動作，直到工作完成或需要使用者進一步輸入為止。
電腦操作工具的預期用途為何？
電腦操作工具旨在透過虛擬滑鼠與鍵盤，自動執行使用者與網站及應用程式間的互動。 在無法使用 API 的情境中特別實用。
電腦操作工具是如何評估的？ 用來衡量效能的計量是什麼？
電腦操作工具在設計、開發及部署階段，皆使用實際情境進行嚴謹的評估。 評估方法包括研究、影響研究，以及跨不同情境的測試，藉此衡量準確度、使用者信任度與實用性。 系統會定期監控質化與量化指標，以維持高效能與良好的使用者體驗。 此工具也會遵循既定的 SLA，以確保其可用性。
電腦操作工具有哪些限制？ 使用者在使用系統時，該如何將電腦操作工具限制的影響降到最低？
電腦操作是一項新技術，具有已知的安全風險與功能限制。 我們允許您用來進行實驗。 此早期階段功能可自動執行部分以電腦為基礎的工作，但效能會因使用案例而有很大差異。 若要有效且負責任地使用此功能，請先了解其目前的限制。
已知限制
- 成功率因工作而異：此工具在以網頁為基礎的工作上表現最佳 (成功率約 80%)，但在電腦應用程式上則明顯下降 (成功率約 35%)。
- 效能不穩定：同一項工作可能因視覺或時間差異，而產生不同的結果。
- 特定 UI 控制項的操作困難：電腦操作在與非標準或動態介面元素 (例如下拉式清單、日期選擇器或自訂 Widget) 互動時，可能會遇到困難。
- 循環與卡住狀態：在某些情況下，當畫面與預期不符或以無法預測的方式變化時，Agent 可能會陷入循環或卡住。
- 複雜工作的挑戰：此工具雖然適合處理簡單的動作，但在處理精細的圖形介面或涉及複雜文字操作的工作時，可能會遇到困難。
-
不適用於敏感或高風險使用案例：此工具不適用於：
- 在招募、醫療保健或財務等敏感領域中提供建議或評分
- 進行財務交易
- 有害的動作，例如垃圾內容或不實資訊
- 在未經適當授權的情況下，將資料分享至組織外部
如何將限制降到最低
為了提升可靠性，您應在設定工作時提供清楚、詳細的指示，以減少錯誤並提高工作成功率。
什麼是人工監督功能？
重要
使用電腦操作的 Agent 可能會遇到有害或惡意的指示，這類指示通常稱為提示注入攻擊，也就是隱藏在螢幕擷取畫面、網頁或其他輸入內容中的命令，企圖以非預期的方式影響其動作。 若要降低這些風險，請在受信任的隔離環境中執行電腦操作，並在執行任何指示前套用嚴謹的驗證檢查。
電腦操作的執行過程可能會遇到含糊不清或缺少資訊的情況。 例如，必要的值不存在，或有多種合理的解讀方式。 在這類情況下，人工監督功能可讓使用電腦操作的 Agent 暫停執行，並向已授權且已設定的人工審查者發出釐清要求。 審查者可以透過電子郵件回覆，或在 Copilot Studio 中使用 Agent 的執行活動地圖回覆。 使用電腦操作的 Agent 收到回覆後，會從地圖上暫停的步驟繼續執行。
可靠性與限制
產品主導的評估顯示，人工監督功能大致上會依預期運作，但仍可能失敗，或出現使用者未預期的行為。 由於釐清要求是由機率性的模型行為所觸發，因此在使用者希望暫停的每種情況下，未必都會觸發。 在不需要暫停時，也可能會觸發。 您不應仰賴釐清要求做為安全防護機制，或做為系統在繼續執行前一定會要求人工輸入的保證。
並非自訂規則強制執行機制
人工監督要求不保證會強制執行您定義的規則、原則或限制。 您應針對各種可能的情境套用更多合適的控管措施 (例如：清楚的指示、受限的環境、最低權限帳戶、允許清單，以及其他作業安全防護措施)，而不要仰賴釐清要求來提供資訊或防止非預期的動作。
哪些作業因素與設定，能有效且負責任地使用電腦操作工具？
提供清楚、詳細的使用者指示時，電腦操作工具的表現最佳。 使用者應提供有關網站或應用程式互動的精確提示，以提升工作執行期間的可靠性與準確度。 若要提高可見度與控管能力，請在工具設定頁面中指派一或多位已授權的審查者，以啟用人工監督。 當模型偵測到可能為惡意的指示時，這些審查者會收到通知，以驗證並決定是否要繼續或停止執行。
我該如何針對電腦操作工具提供意見反應？
對電腦操作工具有意見反應？ 傳送電子郵件至 computeruse-feedback@microsoft.com。