管理 UI 元素和图像

已完成

自动执行任务通常需要与第三方软件、应用程序窗口、网页或其他屏幕元素交互。 为了标识此类元素,有关这些元素的信息将存储在流中 – 控件(用于与 UI 元素和网页交互)和图像(可用于与图像识别相关的操作中)。

这两种元素都位于设计器窗口的右上角;选择合适的选项卡之一将打开各自的元素列表:

UI 元素和图像选项卡的屏幕截图。

UI 元素

Power Automate 桌面版使用 UI 元素标识应用程序窗口及其组件。

例如,假设流必须选择一个单元格,并且将其中的文本加粗。 要实现本功能,您需要提取两个 UI 元素,一个用于单元格,一个用于粗体按钮。

在 UI 元素选项卡中,选择添加 UI 元素以启动 Power Automate 桌面版用于提取 UI 元素的工具。 当您使用光标悬停在元素上时,它会自动突出显示。

在单击时按下 Ctrl 按钮将捕获突出显示的元素。 在本示例中,您需要提取两个 UI 元素,一个用于粗体按钮,一个用于单元格。

已选择单元格和粗体按钮的“跟踪会话”窗口的屏幕截图。

捕获所有必需元素后,按完成。 捕获的元素将在 UI 元素窗格中可见。

包含单元格和粗体按钮的 UI 元素的 UI 元素窗格的屏幕截图。

添加两个按窗口中的按钮操作,然后选择您在前面步骤中捕获的 UI 元素。

“按窗口中的按钮”操作属性对话框的屏幕截图。

选择适当的 UI 元素后,将操作配置为分别按单元格和按钮。

已填写“按窗口中的按钮”操作属性的屏幕截图。

图像

与 UI 元素一样,图像可以添加到流中,并用于相关操作中。

单击捕获新图像按钮时,光标将更改,使用户能够选择要详细提取的图像:

具有十字线的捕获图像光标的屏幕截图。

为图像提供名称后,它可以在图像识别操作中使用,例如将鼠标移至图像

“将鼠标移至图像”操作属性对话框的屏幕截图。

已选择粘贴图标的弹出操作属性控件存储库的屏幕截图。

已添加粘贴图标图像的“将鼠标移至图像”操作属性对话框的屏幕截图。

因此,配置后,该操作将在显示屏上搜索匹配的图像,然后将鼠标光标移至该图像。