在 Power Automate 桌面版中运行时使用 Copilot 进行修复的常见问题解答

这些常见问题(FAQ)描述了 Power Automate 桌面版中运行时使用 Copilot 修复功能对人工智能的影响。

什么是运行时使用 Copilot 修复功能?

在 Power Automate 桌面版中,一个常见问题是在运行时执行 UI 和 Web 自动化操作期间无法找到 UI 元素。 为了解决此问题,此功能使 Power Automate 桌面版能够使用 Copilot 功能在故障中自动查找所需的 UI 元素。 这样,执行继续,自动化成功完成,实现所需的目标。

在运行时使用 Copilot 修复功能可以做什么?

该特定功能使用户能够在运行时使用 Copilot 自动修复 UI 和浏览器自动化相关问题。 具体地说:

  • 当桌面流作为云端流的一部分以有人参与或无人参与模式通过 Power Automate 门户执行时(使用操作“运行使用 Power Automate 桌面版构建的流”),并且 UI/浏览器自动化操作即将失败,因为找不到要与之交互的 UI 元素,则应用该功能。
  • Power Automate 桌面版提供 UI 元素(无效)的一个或多个旧选择器以及相应窗口/窗格/Web 选项卡中包含的所有 UI 元素的层次结构树的 Copilot 输入。
  • Copilot 在提供的层次结构树中查找 UI 元素,并将 UI 元素 ID(树中的唯一标识符)作为输出。
  • Power Automate 桌面版为指示的 UI 元素生成新的选择器并修复旧的选择器。
  • 使用新的、已修复的、选择器执行操作,并继续执行流。
  • 用户既可以只在特定执行环境中使用修复后的选择器,也可以将修复后的选择器保存起来,以便将来执行。

系统的预期用途是什么?

  1. 即使相关 UI 元素的一个或多个选择器无效,也可以执行 UI/浏览器自动化操作。
  2. UI 元素的选择器可以自动修复,并由用户保存,它可以提高特定流未来执行的成功率。

如何评估运行时使用 Copilot 修复功能? 哪些指标用于衡量表现?

在设计、开发和发布的每个阶段,都根据真实应用场景对 Power Automate 桌面版中的此功能进行了评估。 结合研究和业务影响研究,我们评估了有关助手的各种定量和定性指标,包括其准确性、有用性和 AI 服务信任度。 我们有一套强大的指标来衡量模型的性能和最终的客户体验。 我们遵循该功能的 SLA,以确保它始终可供您使用。 对于您可以提交反馈的每个人工智能输出,我们跟踪 UI 体验中存在的好评和差评手势的遥测。

“在运行时向用户建议修复”功能有哪些限制? 用户在使用系统时如何最大程度地减少“在运行时向用户建议修复”功能限制的影响?

  • 此功能目前在位于美国的环境中预览,并且仅支持英语。
  • 此功能目前仅适用于工作或学校帐户。
  • 此功能仅指通过 Power Automate 门户作为云端流的一部分执行的有人参与或无人参与执行(使用操作“运行使用 Power Automate 桌面版构建的流”)。
  • 此功能只能修复由于现有选择器无效而无法找到 UI 元素的情况,这意味着在执行 UI/浏览器自动化操作时无法在屏幕中成功找到该元素。
  • 该功能只能解决叶级 UI 元素的问题 - 不会处理无效屏幕的选择器。
  • 通知窗口有一个等待用户与之交互的特定时间窗口。 窗口关闭后,修复不会应用,操作也会失败。
  • 您可以通过管理中心或桌面流的属性窗口,在 Power Automate 桌面版中完全禁用该功能。

哪些操作因素和设置允许有效和负责任地使用 Power Automate 桌面版中的功能?

  • 作为云端流的一部分,系统仅在通过 Power Automate 门户组件的桌面流的有人参与和无人参与执行中可用(使用操作“运行使用 Power Automate 桌面版构建的流”)。
  • 可以在 Power Platform 管理中心关闭特定桌面流(通过其属性)或整个环境的功能。
  • 通知窗口指示建议是使用 AI 生成的。
  • 当 Copilot 建议用户界面元素及其修复选择器时,用户必须同意才能使建议生效。 用户有资格拒绝,并手动修复问题(通过在屏幕中手动指示相应的用户界面元素)或执行失败。
  • 如果用户为特定 UI 元素保存生成的的经过修复的选择器,他们可以在任何时间点编辑或删除选择器。