這些常見問題（FAQ）提供關於功能、使用方式、限制及您在 Copilot Studio 代理中加入電腦使用工具時應注意的防護措施的見解。
什麼是電腦使用工具？
Computer use 是一個你可以加入 Copilot Studio 代理程式的工具，設計用來自動化網站和應用程式上的任務。 你提供自然語言的任務描述，工具會自動完成滑鼠點擊和鍵盤輸入動作。 例如，你可以指示工具打開一份 PDF，並利用其中內容填寫網頁表單。 此工具會以可視化方式解譯螢幕，並執行必要的點擊和擊鍵，模擬人為互動。
警告
計算機使用是功能強大的工具，可將網站和桌面應用程式的互動自動化，但也隨附重要的安全性考慮。 在某些情況下，AI 可能會採取非預期的動作，因為螢幕上有模棱兩可的指示或非預期的內容。 這些動作可能會影響裝置、數據或連線帳戶的安全性，包括存取個人、財務或企業系統。
計算機使用工具能做什麼？
用於電腦操作的工具處理螢幕像素數據以理解螢幕上的內容，並透過虛擬滑鼠點擊和鍵盤輸入來執行任務。 該工具能管理多步驟工作流程、處理突發情境，並能動態適應螢幕變化。 它能執行多種數位任務，如瀏覽網站和填寫表單，無需專業 API。
計算機使用工具會遵循以三個步驟為基礎的反覆迴圈：
感知：它會擷取螢幕快照，以可視化方式了解電腦畫面的目前狀態。
推理：它會透過思考鏈結方法來評估目前的狀態、先前的動作和螢幕快照，讓其能夠有效地調整其動作。
動作：它會執行像是按兩下、輸入或捲動等動作，直到工作完成或需要進一步的使用者輸入為止。
這個電腦使用工具的預期用途是什麼？
電腦操作工具旨在透過虛擬滑鼠與鍵盤，自動執行使用者與網站及應用程式間的互動。 在無法使用 API 的情境中特別實用。
計算機使用工具的情況是如何評估的？ 哪些計量可用來測量效能?
計算機使用工具在整個設計、開發和部署階段中，都使用真實世界的案例進行嚴格評估。 評估方法包括研究、影響研究，以及不同情境下的測試，以衡量準確性、使用者信任度與實用性。 為維持高效能與正面使用者體驗，團隊定期監控質性與量化指標。 團隊也透過遵守既定的服務等級協議（SLA）確保工具的可用性。
計算機使用工具的限制為何？ 使用者在使用系統時，如何減少電腦使用工具限制的影響？
計算機使用是一種新技術，具有已知的安全性風險和功能限制。 團隊讓你可以用它進行實驗。 這個早期功能可自動化特定計算機型工作，不過其效能會因使用案例而有所不同。 要有效且負責任地使用它，要了解其目前的限制。
已知的限制
效能會因任務和應用而異。 可靠性取決於任務複雜度、介面設計及應用程式行為。
對介面與時序變化敏感。 版面變更、載入延遲或意外對話都可能對同一任務產生不同結果。
某些控制項難以操作。 非標準或動態介面元素，如下拉選單、日期選擇器和自訂小工具，互動起來可能具有挑戰性。
可能會重複動作或卡住。 突如其來的螢幕狀態可能導致客服人員循環或停止進度。
複雜任務的挑戰。 涉及詳細圖形介面或複雜文字操作的任務，可能不如簡單操作可靠。
不適用於敏感或高風險的使用情境。 例如，這個工具並非為：
- 在敏感領域如招聘、醫療保健或財務領域提供推薦或評分。
- 進行財務交易。
- 有害行為，例如垃圾訊息或錯誤資訊。
- 未經適當授權，將資料分享到組織外部。
如何最小化限制
為提升可靠性，在配置任務時提供清晰且詳盡的指示，以減少錯誤並提升任務成功率。
什麼是人類監督功能？
Important
電腦使用代理可能會遇到有害或惡意指令，通常稱為提示注入攻擊，其中螢幕截圖、網頁或其他輸入中的隱藏命令試圖以意想不到的方式影響操作。 為了降低這些風險，請在受信任、隔離的環境中操作電腦使用，並在執行任何指令之前應用強大的驗證檢查。
電腦操作的執行過程可能會遇到含糊不清或缺少資訊的情況。 例如，必要的值不存在，或有多種合理的解讀方式。 在這些情況下， 人工監督 功能允許使用電腦的代理暫停執行，並向授權且設定好的人類審查者發出澄清請求。 審查者可以透過電子郵件，或在 Copilot Studio 中使用代理程式的執行活動對應圖來回覆。 使用電腦的代理程式接收到回應後，會從地圖上暫停的步驟處繼續執行。
可靠性與限制
產品主導的評估顯示，人工監督功能大致上會依預期運作，但仍可能失敗，或出現使用者未預期的行為。 由於釐清要求是由機率性的模型行為所觸發，因此在使用者希望暫停的每種情況下，未必都會觸發。 即使在不需要暫停時，它們也可能會被觸發。 你不應該將釐清請求視為安全保障，也不能視作系統一定會先徵求人工輸入才能繼續的保證。
這不是自訂規則的執行機制
請求人工監督並不保證會強制執行你所訂定的規則、政策或限制。 您應針對各種可能的情境套用更多合適的控管措施 (例如：清楚的指示、受限的環境、最低權限帳戶、允許清單，以及其他作業安全防護措施)，而不要仰賴釐清要求來提供資訊或防止非預期的動作。
哪些作因素和設定允許有效且負責任的計算機使用工具？
提供清楚且詳細的使用者指示時，計算機使用工具會執行最佳效能。 用戶應該提供網站或應用程式互動的精確提示，以提高工作執行期間的可靠性和精確度。 若要增加可見度和控制，請在工具設定頁面中指派一或多個授權檢閱者，以啟用人工監督。 當模型偵測到潛在的惡意指令時，這些檢閱者會收到通知，以驗證並決定是否要繼續或停止執行。
如何在計算機使用工具上提供意見反應？
您對電腦使用工具有任何意見嗎？ 電子郵件 computeruse-feedback@microsoft.com。