通过

记录桌面流

Power Automate 允许您通过复制要自动化的任务来自动设计桌面流。

记录桌面和 Web 流

要记录自动化桌面和/或 Web 应用程序的流：

  1. 创建一个新桌面流，然后在流设计器的工具栏中选择记录器。

    记录器按钮的屏幕截图。

  2. 在记录器窗口中选择记录，然后开始在相应的应用程序或网页中执行所需的操作。

    记录按钮的屏幕截图。

    记录器跟踪与 UI 元素相关的鼠标和键盘活动，并分别记录每个操作。 在每个记录会话期间，记录器可以生成 UI 和浏览器自动化操作。

    备注

    在录制过程中对 UI 元素执行左键或右键点击时，高亮显示器会显示等待操作提示，指示您等待录制器完成录制并插入操作。

    一些已记录的步骤的屏幕截图。

    要查看特定元素的可用操作，右键单击该元素打开它的上下文菜单。 可用选项取决于选定元素的性质。

    记录上下文菜单的屏幕截图。

  3. 记录流程完成后，选择完成将记录的步骤转换为桌面流操作。 生成的 UI 和 Web 自动化操作中使用的所有 UI 元素都会自动添加到 UI 元素窗格中。 您可以在使用 UI 元素进行自动化中查找有关 UI 元素的详细信息。

    已记录流的生成的操作的屏幕截图。

若要临时暂停记录流程，请选择暂停。 要向记录的操作添加注释，选择添加注释。

注释按钮的屏幕截图。

使用桌面应用程序时选择捕获模式

记录器现在支持捕获 UI 自动化（UIA）和 Microsoft Active Accessibility（MSAA）选择器。 您可以根据要自动化的应用程序选择适当的选择器类型，方法是打开记录器中的“捕获模式”菜单并选择“UIA”或“MSAA”。 记录器的捕获菜单选项的屏幕截图。

  • UI 自动化 (UIA) 是 Microsoft 推出的现代无障碍框架，用于替代 MSAA。 它是自动执行大多数 Windows 应用程序的推荐技术，尤其是那些使用较新的 UI 框架（如 WPF、WinForms 和通用 Windows 平台（UWP））构建的应用程序。 UIA 在自动化方案中提供更强大、更详细的元素信息、改进的层次结构和更高的可靠性。 尽可能使用 UIA 捕获模式，以获得更好的性能、可维护性和跨现代桌面应用程序的支持。
  • Microsoft Active Accessibility (MSAA) 是早于 UIA 的较旧辅助技术。 它主要用于不公开 UIA 元素的旧应用程序，例如使用 VB6 或经典 Win32 等技术构建的旧 Windows 应用程序。 虽然 MSAA 提供的细节和结构比 UIA 少，但它对于在 UIA 不可用的环境中实现自动化至关重要。 当面向不通过 UIA 公开其 UI 组件的旧应用程序或自定义构建的应用程序时，请使用 MSAA 捕获模式。

复制拖放步骤

记录器支持与拖放鼠标指针相关的步骤；因此，记录器可以生成调整窗口大小和移动窗口这样的操作。 但是，当前不支持拖放窗口的 UI 元素操作。

处理下拉列表

使用记录器自动执行桌面和 Web 应用程序时，您可能需要处理下拉列表。

每次选择下拉列表时，Power Automate 记录器都会显示自定义屏幕，帮助您选择所需的值。 此自定义屏幕根据下拉列表是否为多选允许您选择一个或多个值。

在运行时，Power Automate 会自动选择定义的值，然后选择确定按钮。

下拉列表的自定义屏幕的屏幕截图。

启动 Web 浏览器

要在记录 Web 流的同时启动 Web 浏览器实例，您可以根据自动化场景使用三种不同的方法。

第一种方法是选择记录器对话右侧的点图标，然后启动新 Web 浏览器。 您可以在 Microsoft Edge、Google Chrome、Mozilla Firefox 和 Microsoft Internet Explorer 之间进行选择。

选择合适的浏览器后，记录器会自动检测加载的网页，并相应地配置启动浏览步骤。

启动新 Web 浏览器选项的屏幕截图。

启动浏览器的另一种方法是在已经打开的 Web 浏览器中开始记录。 记录器将自动检测加载的页面并创建启动浏览器操作。

启动浏览器的最后一种方法是通过桌面、开始菜单、任务栏上的快捷方式或文件夹手动启动。 如果您采用此方法，记录器将生成单击浏览器快捷方式并启动浏览器的 UI 自动化操作。

处理网页上的日期和颜色选择器

与下拉列表一样，Power Automate 记录器会显示自定义屏幕，帮助您处理网页上的日期和颜色选择器。

当您与日期选择器交互时，记录器会打开一个文本字段，您可以在其中以指定格式插入所需的日期。

以下 HTML 输入类型会出现自定义屏幕：

  • 日期
  • datetime-local
  • 月
  • 时间
  • 周

日期选择器自定义屏幕的屏幕截图。

同样，当您与颜色选择器交互时，记录器会打开一个文本字段，您可以在其中填充所需的颜色十六进制代码。

颜色选择器自定义屏幕的屏幕截图。

使用输入法编辑器 (IME) 添加文本

输入法编辑器 (IME) 是软件组件，允许用户输入使用标准 QWERTY 键盘无法轻松表示的语言的文本。 用户可以键入键的组合，IME 将生成一个字符或与一组击键匹配的候选字符列表。

Power Automate 桌面版支持在流记录过程中使用 IME。 若要使用 IME 填充文本字段：

  1. 右键单击文本字段，然后在显示的菜单上选择填充文本字段。

    填充文本字段菜单选项的屏幕截图。

  2. 使用 IME 使用所需文本填充弹出对话框。

    “使用 IME 添加文本”对话的屏幕截图。

  3. 选择添加文本在记录器窗口中生成相应的步骤。

    从桌面记录器中的 IME 生成的文本的屏幕截图。

基于图像的记录

在某些情况下，记录器可能不会记录不符合相应技术要求的特定应用程序中的操作。 这些应用程序可能无法显示其辅助功能 API 或具有阻止记录流程的其他技术限制。

作为记录流的另一种方式，Power Automate 桌面版提供基于图像的记录。 基于图像的记录使用图像识别和 OCR 定位屏幕上的特定元素并提取文本。

要使用图像记录流：

  1. 创建一个新桌面流，然后在流设计器的工具栏中选择记录器。

    记录器按钮的屏幕截图。

  2. 选择记录器对话右侧的点图标，然后启用图像记录。 启用此选项后，选择记录开始使用图像识别记录操作。

    图像记录按钮的屏幕截图。

    单击元素后，图像将自动捕获，并使用默认的可编辑名称进行保存。 若要预览捕获的图像，请将鼠标指针悬停在图像上或选择预览图标。

    预览图像按钮的屏幕截图。

使用基于图像的记录提取文本

若要在使用图像记录时提取文本值：

  1. 在屏幕上执行右键单击，然后选择从图像中提取文本。

    “从图像中提取文本”选项的屏幕截图。

  2. 等待提示您选择文本区域的弹出消息。

    提示用户选择文本区域的消息的屏幕截图。

  3. 选择将使用 Tesseract OCR 引擎从中提取文本的文本区域。

    所选文本区域的屏幕截图。

  4. 等待提示您选择定位点区域的弹出消息。

    提示用户选择定位点区域的消息的屏幕截图。

  5. 选择不应更改的定位点区域，例如字段旁边的标签。

    定位点文本区域的屏幕截图。

记录与生成桌面流

完成记录后，您可以手动编辑通过记录器创建的任何操作。 在已在开发的桌面流中使用记录器向流中添加记录的步骤。

备注

使用记录器创建流的主干。 某些简单的任务可能不需要进一步编辑；但是大多数记录的任务应进行修改以达到最佳效果。 某些类型的操作（如条件和循环）无法记录。 此外，记录中可能有应该删除的冗余操作。

已知问题和限制

  • 问题：记录器可能无法记录 Windows 开始菜单或系统托盘中的所有步骤。

    解决方法：无

  • 问题：在运行通过基于图像的记录创建的流时，单击可能会被发送到错误的位置。

    解决方法：通过流设计器编辑自动生成的操作将鼠标移至图像，并减少高级设置中的容差参数。

  • 问题：使用记录器发送右键单击后出现的从图像中提取文本弹出窗口可能会隐藏在应用程序的弹出窗口后面。

    解决方法：将右键单击发送到屏幕上的另一个位置。

  • 问题：不会记录通过基于图像的记录发送到最大化 RDP 窗口的任何击键。

    解决方法：调整 RDP 窗口的大小，以便它不会覆盖整个屏幕。