什麼是計算機使用工具
電腦使用是可新增至 Copilot Studio Agent 的工具，旨在自動化網站和應用程式上的工作。 使用者會以自然語言提供工作描述，此工具會據以自動執行滑鼠點擊和鍵盤動作。 例如，您可以指示工具開啟 PDF，並使用其內容填寫 Web 窗體。 此工具會以可視化方式解譯螢幕，並執行必要的點擊和擊鍵，模擬人為互動。
警告
計算機使用是功能強大的工具，可將網站和桌面應用程式的互動自動化，但也隨附重要的安全性考慮。 在某些情況下，AI 可能會採取非預期的動作，因為螢幕上有模棱兩可的指示或非預期的內容。 這些動作可能會影響裝置、數據或連線帳戶的安全性，包括存取個人、財務或企業系統。
計算機使用工具能做什麼？
用於電腦操作的工具處理螢幕像素數據以理解螢幕上的內容，並透過虛擬滑鼠點擊和鍵盤輸入來執行任務。 此工具可以管理多步驟工作流程、處理非預期的案例，以及動態適應屏幕變更，使其執行各種數位工作，例如瀏覽網站和填寫表單，而不需要特殊 API。
計算機使用工具會遵循以三個步驟為基礎的反覆迴圈：
感知：它會擷取螢幕快照，以可視化方式了解電腦畫面的目前狀態。
推理：它會透過思考鏈結方法來評估目前的狀態、先前的動作和螢幕快照，讓其能夠有效地調整其動作。
動作：它會執行像是按兩下、輸入或捲動等動作，直到工作完成或需要進一步的使用者輸入為止。
計算機使用工具的用途為何？
計算機使用工具旨在透過虛擬滑鼠和鍵盤將使用者與網站和應用程式的互動自動化，特別適用於無法使用 API 的案例。
計算機使用工具的情況是如何評估的？ 哪些計量可用來測量效能？
計算機使用工具在整個設計、開發和部署階段中，都使用真實世界的案例進行嚴格評估。 評估方法包括不同案例的研究、影響研究和測試，以測量精確度、使用者信任和實用性。 定性和量化計量都會定期受到監視，以維持高效能和正面的用戶體驗。 工具的可用性也會藉由遵守已建立的 SLA 來確保。
計算機使用工具的限制為何？ 使用者如何在使用系統時將計算機使用工具限制的影響降到最低？
計算機使用是一種新技術，具有已知的安全性風險和功能限制。 我們允許您用來進行實驗。 這個早期功能可自動化特定計算機型工作，不過其效能會因使用案例而有所不同。 若要有效且負責任地使用它，請瞭解其目前的限制：
已知的限制
- 成功率因工作而異：此工具在 Web 型工作上表現最佳（約 80 個% 成功），但在傳統型應用程式上大幅下降（約 35 個% 成功）。
- 效能不一致：相同的工作可能會根據視覺效果或時間變更而產生不同的結果。
- 某些UI控件的困難：計算機使用可能會有與非標準或動態介面元素互動的困難，例如下拉式清單、日期選擇器或自定義小工具。
- 迴圈和停滯狀態：在某些情況下，當畫面不符合預期或變更無法預測時，代理程式會進入迴圈或停滯。
- 複雜工作的挑戰：雖然對簡單動作有效，但此工具可能在處理詳細圖形介面或涉及複雜文字操作的工作時遇到挑戰。
-
不適用於敏感性或高風險的使用案例：此工具不適用於：
- 在敏感性網域中推薦或評分，例如招聘、醫療保健或財務
- 進行財務交易
- 有害動作，例如垃圾郵件或錯誤資訊
- 未經適當授權，在組織外部共享數據
如何最小化限制
若要改善可靠性，用戶應該在設定工作時提供清楚、詳細的指示。 這有助於減少錯誤並增加工作成功率。
對潛在惡意指令的人工監督
電腦使用代理可能會遇到有害或惡意指令，通常稱為提示注入攻擊，其中螢幕截圖、網頁或其他輸入中的隱藏命令試圖以意想不到的方式影響操作。 為了降低這些風險，請在受信任、隔離的環境中操作電腦使用，並在執行任何指令之前應用強大的驗證檢查。
人工監督允許授權審查者驗證標記為潛在有害或惡意的操作，從而增加了更多的可見性和控制力。 當偵測到此類風險時，電腦會暫停執行並通知指定審查員，由他們決定是否繼續或停止運行。 電腦使用代理執行的安全檢查可能由一個回應、輸入或截圖觸發，或由多個此類上下文觸發。 安全檢查旨在促使人工審查，避免電腦使用代理人採取可能不可逆或未經允許的行動，但執行檢查時仍可能犯錯。 例如，電腦使用代理可能無法偵測到某些動作，或在安全問題不關時會提示審查。 安全檢查無法取代負責任的設計與代理人指導。
此功能會提示審查可能不可逆或未經允許的行為，但目前不支援一般確認請求、缺失資訊提示或其他安全檢查。
哪些作因素和設定允許有效且負責任的計算機使用工具？
提供清楚且詳細的使用者指示時，計算機使用工具會執行最佳效能。 用戶應該提供網站或應用程式互動的精確提示，以提高工作執行期間的可靠性和精確度。 若要增加可見度和控制，請在工具設定頁面中指派一或多個授權檢閱者，以啟用人工監督。 當模型偵測到潛在的惡意指令時，這些檢閱者會收到通知，以驗證並決定是否要繼續或停止執行。
如何在計算機使用工具上提供意見反應？
您對電腦使用工具有任何意見嗎？ 電子郵件 computeruse-feedback@microsoft.com。