使用 UI 元素进行自动化

  • 项目

桌面流利用 UI 元素与应用程序和网页进行交互，无需借助图像识别和绝对坐标。 UI 元素在大多数 UI 自动化和浏览器自动化操作中用作输入，可以识别窗口和网页上的特定元素。

UI 元素

部署 UI 自动化或浏览器自动化操作时，您可能需要提供 UI 元素作为输入。 要添加新的 UI 元素，您可以直接从操作属性或通过流设计器的 UI 元素窗格来完成。

这些操作组中的每一个都接受不同类型的 UI 元素。 UI 自动化操作接受桌面 UI 元素，而浏览器自动化操作接受 Web UI 元素。

“按下窗口中的按钮”操作中可用 UI 元素的屏幕截图。

要将新的 UI 元素添加到您的流中，请通过操作或 UI 元素窗格添加新的 UI 元素，突出显示相应的元素，然后按 Ctrl + 左键单击。 选择完成后，选择完成。

一个突出显示的元素的屏幕截图。

任何捕获的 UI 元素都将添加到 UI 元素窗格中。 要访问 UI 元素窗格，请选择流设计器右侧的 UI 元素选项卡。

UI 元素选项卡的屏幕截图。

元素可以通过 UI 元素选项卡的排序选项按字母顺序排序。要删除所有未在任何操作中使用的 UI 元素，选择排序选项旁边的圆点图标，然后选择删除未使用的 UI 元素。

要重命名或删除 UI 元素，右键单击相应项并选择相应的功能。

要查找特定 UI 元素在流中的使用位置，右键单击它并选择查找使用情况。 结果将显示使用此 UI 元素的所有操作。 双击结果以在工作区上突出显示操作。

UI 元素窗格的屏幕截图。

UI 元素类型

桌面流根据其来源支持两种类型的 UI 元素：桌面 UI 元素和 Web UI 元素。

桌面 UI 元素可以从任何 Windows 应用程序中捕获，包括浏览器的非网页部分，如地址栏。

您可以将这些 UI 元素用作 UI 自动化操作中的输入，来指示您要与之交互的组件。 UI 自动化操作的 UI 元素选取器显示并允许您仅捕获桌面 UI 元素。

重要提示

用户可以通过 UI 自动化操作的 UI 元素选取器从网页中捕获元素。 但是，它们的选择器将代表桌面元素，而不是 Web 元素。

Web UI 元素可以从网页中捕获，其仅用于浏览器自动化操作。

浏览器自动化操作仅接受从网页捕获的 UI 元素。 因此，从桌面应用程序捕获的现有 UI 元素不会显示在这些操作的 UI 元素选取器中。

要查找有关桌面和 Web 自动化的更多信息，请参阅自动化桌面流和自动化 Web 流。

网页的 UI 元素

要从网页中捕获 UI 元素，您需要安装适当的浏览器扩展。 您可以在使用浏览器并管理扩展中找到有关支持的浏览器和所需扩展的详细信息。

区分桌面与 Web UI 元素

UI 元素窗格显示不同的视觉指示，以帮助用户快速识别桌面和 Web UI 元素。

UI 元素窗格中的 UI 元素类型视觉指示的屏幕截图。

捕获过程中也会显示相同的图标，让您可以在保存之前确认元素的类型。

捕获期间 UI 元素类型视觉指示的屏幕截图。

检查 UI 元素类型的另一种方法是查看其选择器。 桌面 UI 元素通常将桌面作为其父元素，而 Web UI 元素将网页作为根元素。

桌面 UI 元素选择器的屏幕截图。

浏览器窗口中的 UI 元素

浏览器 (1) 的应用程序部分应该使用桌面 UI 元素自动化。 例如，您可以使用 UI 自动化操作与地址栏或选项卡进行交互。

另一方面，浏览器 (2) 中加载的网页应该使用 Web UI 元素和浏览器自动化操作自动化。

在记录期间，记录器会自动区分浏览器应用程序区域和网页，并生成相应的 UI 元素和操作。

Microsoft Edge 窗口的屏幕截图，突出显示浏览器应用程序和网页区域。

由于其固有的限制，与拖放 web UI 元素的交互可能无法按预期运行。 一种解决方法是，通过在 UI element 参数中选择添加 UI 元素，通过 UI 自动化组的操作打开 UI 元素选择器，从而捕获网页中的桌面 UI 元素。 捕获的 UI 元素属于桌面类型，可以在 Drag and drop UI element in window 操作中使用。 请记住，桌面 UI 元素只能在 Power Automate 桌面版的 UI 自动化操作组的操作中使用。 值得注意的是，网页中的桌面 UI 元素不像其 web 版本那样可靠，并且受制于浏览器应用程序的细节，例如浏览器的版本。

UI 元素属性

所有 UI 元素都由一个或多个选择器组成，这些选择器可以精确定位与 Power Automate 交互的 UI 或 Web 组件。

备注

用户可以为一个 UI 元素创建多个选择器。 每当选择器失败时，Power Automate 会按照定义的顺序使用以下选择器。

要管理 UI 元素的选择器，右键单击该元素并选择编辑。 此选项会打开选择器构建器，您可以在其中使用视觉对象或文本编辑器编辑选择器。

每个选择器由多个元素组成，表示应用程序或网页中 UI 元素的分层结构。 属性对每个元素进行唯一描述，将它与其他元素区分开。

视觉对象选择器构建器的屏幕截图。

所有选择器都以默认的易记名称显示，便于访问。 要重命名选择器，右键单击它的名称，选择重命名。

当您编辑具有多个选择器的 UI 元素时，您可以通过右键单击它并选择禁用来将其禁用。 此功能在测试过程中非常有用。

选择器的重命名和禁用选项的屏幕截图。

编辑选择器后，按保存应用已实施的更改。 保存会在一个步骤中应用所有选择器中的更改。

您可以在构建自定义选择器中找到有关选择器以及如何手动构建选择器的详细信息。

带有基于文本的选择器的 UI 元素

除了生成 UI 元素选择器的默认方式外，Power Automate 还支持根据元素的文本值创建选择器。

对于处理桌面应用程序或网页中始终带有特定文本的元素的自动化方案，此功能很有用。 基于这些文本的选择器对于应用程序或网页结构未来可能发生的变化更加可靠和有弹性。

仅在使用 UI 元素选择器（UI 元素窗格或浏览器/UI 自动化操作）捕获 UI 元素时，才能生成基于文本的选择器。 在记录期间不能。

要使用基于文本的选择器捕获 UI 元素，请打开 UI 元素选择器，右键单击所需元素，然后选择基于文本捕获。

“基于文本捕获”选项的屏幕截图。

然后，一个包含两个字段的新窗口将出现在您的屏幕上：

  • 文本值字段保留元素的文本作为建议的值。 您可以将此值更改为硬编码值或变量。
  • 您可以将运算符字段设置为各种运算符以调整选择器的功能。

选择捕获将在 UI 元素存储库中添加带有适当的基于文本的选择器的 UI 元素。

“创建基于文本的选择器”对话框的屏幕截图。

基于文本的选择器使用捕获元素的名称属性进行桌面自动化，使用文本 属性进行浏览器自动化。 它们仅适用于本身包含文本值的 UI 元素。

换句话说，它们可用于具有包含值的 Name 或 Text 属性的 UI 元素。 它们不适用于不包含此类文本值的元素，即使它们的结构中包含带有文本的子元素。

备注

对于 SAP 应用程序，基于文本的选择器使用文本 属性，而不是它们通常在桌面自动化中使用的名称属性。 SAP 自动化使用基于 ID 属性的默认选择器可以更高效地工作。

已知问题和限制

  • 如果选择添加 UI 元素，请将鼠标悬停在整个窗口上，并选择基于文本捕获 UI 元素，系统将生成默认选择器。 除了名称之外，此选择器还包括流程属性。

  • 变量和等于以外的运算符的组合会生成一个选择器，此选择器显示在自定义文本编辑器中而不是视觉对象生成器中。 这一功能避免了现有的限制，即上述组合在可视化生成器中不起作用。