这些常见问题（常见问题解答）提供有关将计算机使用工具添加到 Copilot Studio 代理时应注意的功能、用法、限制和安全措施的见解。
计算机使用工具是什么？
Computer use是一种可添加到Copilot Studio 代理的工具，旨在自动执行网站和应用程序上的任务。 你以自然语言提供任务说明，该工具相应地自动执行鼠标单击和键盘作。 例如，你可以指示工具打开一个PDF，并利用其内容填写网页表单。 该工具直观地解释屏幕并执行必要的单击和击键，模拟人工交互。
警告
计算机使用是一种功能强大的工具，可自动执行网站和桌面应用程序的交互，但也附带了重要的安全注意事项。 在某些情况下，由于屏幕上的不明确说明或意外内容，AI可能会采取非预期的行动。 这些作可能会影响设备、数据或连接的帐户的安全性，包括访问个人、财务或企业系统。
计算机工具可以做什么？
计算机使用工具处理屏幕像素数据以了解屏幕内容，并使用虚拟鼠标单击和键盘输入执行任务。 该工具可以管理多步骤工作流程，处理意外情形，并动态适应屏幕变化。 它可以执行多种数字任务，如浏览网站和填写表单，无需专用 API。
计算机使用工具遵循基于三个步骤的迭代循环：
感知：它捕获屏幕截图，直观地了解计算机屏幕的当前状态。
推理：它通过思维链方法评估当前状态、以前的动作和屏幕截图，从而能够有效地调整其动作。
动作：它执行单击、键入或滚动等动作，直到任务完成或需要进一步的用户输入。
计算机使用工具的预期用途是什么？
计算机使用工具旨在通过虚拟鼠标和键盘自动与网站和应用程序交互。 在 API 不可用的情况下，它特别有用。
计算机使用工具是如何被评估的？ 哪些指标用于度量性能？
计算机使用工具在整个设计、开发和部署阶段通过实际场景进行了严格评估。 评估方法包括研究、影响研究和不同场景测试，以衡量准确性、用户信任度和实用性。 为了保持高绩效和积极的用户体验，团队定期监控定性和定量指标。 团队还通过遵守既定的SLA确保工具的可用性。
计算机使用工具的限制是什么？ 用户如何在使用该系统时最大限度地减少计算机使用工具限制的影响？
计算机使用是一种新技术，具有已知的安全风险和功能限制。 团队让你能够用它进行尝试。 此早期功能可实现某些基于计算机的任务的自动化，尽管其性能因用例而异。 要有效且负责任地使用它，要了解其当前的局限性。
已知的限制
性能因任务和应用而异。 可靠性取决于任务复杂度、接口设计和应用行为。
对接口和时序变化敏感。 布局变化、加载延迟或意外对话都可能导致同一任务的不同结果。
某些控件使用困难。 非标准或动态界面元素，如下拉菜单、日期选择器和自定义小部件，交互起来可能很有挑战性。
可能会重复操作或卡住。 意外的屏幕状态可能导致代理陷入循环或无法继续推进。
复杂任务的挑战。 涉及详细图形界面或复杂文本操作的任务可能不如简单操作可靠。
不适用于敏感或高风险的使用场景。 例如，该工具并非为以下用途设计：
- 在招聘、医疗或金融等敏感领域推荐或评分。
- 进行金融交易。
- 有害行为，如垃圾信息或虚假信息。
- 未经适当授权在组织外部分享数据。
如何最大程度地减少限制
为了提高可靠性，在配置任务时提供清晰详尽的说明，以减少错误并提高任务成功率。
什么是人工监督功能？
Important
计算机使用代理可能会遇到有害或恶意指令，通常称为提示注入攻击，其中屏幕截图、网页或其他输入中的隐藏命令试图以意想不到的方式影响作。 为了降低这些风险，请在受信任且隔离的环境中使用计算机，并在执行任何指令之前应用强大的验证和检查措施。
计算机使用任务的运行过程可能会遇到歧义或信息缺失。 例如，不存在必需的值或多个解释是合理的。 在这些情况下， 人工监督 功能允许计算机使用代理暂停执行，并向授权和配置的人工审阅者发出澄清请求。 审阅者可以通过电子邮件回复，或在 Copilot Studio 中使用该代理的运行活动图进行回复。 使用计算机的智能体收到响应后，会从流程图中之前暂停的步骤继续执行。
可靠性和限制
以产品为导向的评估表明，人工监督功能通常能够如预期那样运行，但有时也可能失效，或表现出用户可能意想不到的行为。 由于澄清请求是由概率模型行为触发的，因此在某个人希望暂停的每个情况下，它们可能不会触发。 在不需要暂停时，它们也可能触发。 不应依赖澄清请求作为安全故障保护或保证系统不会始终在执行某操作前请求人工输入。
不是自定义规则强制机制
对人工监督的请求不能保证强制实施定义的规则、策略或约束。 应该针对每种可能情况采用更多适当的控制措施（例如：明确的说明、受限环境、最小权限账户、允许名单以及其他操作保障措施），而不是依靠澄清请求来提供信息或防止不希望发生的操作。
哪些作因素和设置允许有效和负责任的使用计算机使用工具？
提供清晰和详细的用户说明时，计算机使用工具的性能最佳。 用户应提供有关网站或应用程序交互的精确提示，以提高任务执行期间的可靠性和准确性。 为了增加可见性和控制力，请通过在工具配置页面中分配一个或多个授权审阅者来启用人工监督。 当模型检测到潜在的恶意指令时，这些审阅者会收到通知以验证并决定是继续还是停止运行。
如何提供有关计算机使用工具的反馈意见？
对计算机使用工具有反馈意见吗？ 电子邮件 computeruse-feedback@microsoft.com。