Automatizar el uso de elementos de la interfaz de usuario

Los flujos de escritorio usan elementos de interfaz de usuario para interactuar con aplicaciones y páginas web, por lo que no necesitan usar el reconocimiento de imágenes ni las coordenadas absolutas. La mayoría de las acciones de automatización de la interfaz de usuario y de automatización del explorador usan elementos de interfaz de usuario como entrada para identificar elementos específicos en ventanas y páginas web.

Elementos de interfaz de usuario

Al implementar una acción de automatización de la interfaz de usuario o de automatización del explorador, es posible que tenga que proporcionar un elemento de interfaz de usuario como entrada. Para agregar un nuevo elemento de interfaz de usuario, puede agregarlo directamente desde las propiedades de la acción o a través del panel elementos de la interfaz de usuario del diseñador de flujo.

Cada uno de estos grupos de acciones acepta un tipo diferente de elementos de la interfaz de usuario. Las acciones de automatización de la interfaz de usuario aceptan elementos de la interfaz de usuario del escritorio, mientras que las acciones de automatización de explorador aceptan elementos de la interfaz de usuario web.

Para agregar un nuevo elemento de la interfaz de usuario a su flujo, agregue un nuevo elemento de la interfaz de usuario a través de una acción o el panel de elementos de la interfaz de usuario, resalte el elemento correspondiente y presione Ctrl + clic izquierdo. Cuando finalice la selección, seleccione Hecho.

Nota

El selector de elementos de la interfaz de usuario admite la captura de selectores de Automatización de la interfaz de usuario (UIA), la vista sin procesar de Automatización de la interfaz de usuario v3 (UIA3 Raw) y Microsoft Active Accessibility (MSAA) cuando se trabaja con elementos de la interfaz de usuario de escritorio. De forma predeterminada, el selector funciona en modo UIA. Puede cambiar el modo de captura mediante el menú situado en la esquina superior derecha del selector de elementos de la interfaz de usuario. Seleccione MSAA para trabajar con aplicaciones heredadas que no expongan selectores de UIA, o UIA3 Raw cuando necesite exponer y capturar todas las capas intermedias del árbol de automatización Raw. Al habilitar el modo MSAA o UIA3 Raw, aparece un banner en el selector de elementos de la interfaz de usuario para indicar que está capturando selectores MSAA o UIA3 Raw respectivamente. Para obtener más información sobre la diferencia entre los selectores UIA, UIA3 Raw y MSAA, consulte Tipos de elementos de interfaz de usuario.

Los elementos de la interfaz de usuario capturados se agregarán al panel de elementos de la interfaz. Para acceder al panel de elementos de la interfaz de usuario, seleccione la pestaña Elementos de la interfaz de usuario en el lado derecho del diseñador de flujo.

Puede ordenar elementos alfabéticamente a través de la opción Ordenar de la pestaña Elementos de la interfaz de usuario. Para quitar todos los elementos de la interfaz de usuario que no se usan en ninguna acción, seleccione el icono de puntos situado junto a la opción Ordenar y, a continuación, Quite los elementos de la interfaz de usuario sin usar.

Para cambiar el nombre o eliminar un elemento de la interfaz de usuario, haga clic con el botón derecho en el elemento correspondiente y seleccione la función adecuada.

Para buscar dónde se usa un elemento de interfaz de usuario específico en el flujo, haga clic con el botón derecho en él y seleccione Buscar usos. Los resultados muestran todas las acciones que usan este elemento de interfaz de usuario. Haga doble clic en un resultado para resaltar la acción en el área de trabajo.

Tipos de elementos de interfaz de usuario

Los flujos de escritorio admiten dos tipos de elementos de interfaz de usuario en función de su origen: elementos de interfaz de usuario de escritorio y elementos de interfaz de usuario web.

Puede capturar elementos de interfaz de usuario de escritorio desde cualquier aplicación de Windows, incluidos los componentes que no son páginas web de exploradores, como la barra de direcciones. En los elementos de la interfaz de usuario de escritorio, se admiten tres tipos de selectores:

• Selectores de Automatización de la interfaz de usuario (UIA)

  UIA es el marco de accesibilidad moderno introducido por Microsoft para reemplazar MSAA. Es la tecnología recomendada para automatizar la mayoría de las aplicaciones Windows, especialmente las compiladas con marcos de interfaz de usuario más recientes, como WPF, WinForms y Plataforma universal de Windows (UWP). UIA ofrece información de elementos más sólida y detallada, estructuras de jerarquía mejoradas y mayor confiabilidad en escenarios de automatización.

  Use selectores de UIA siempre que sea posible para mejorar el rendimiento, la capacidad de mantenimiento y la compatibilidad en las aplicaciones de escritorio modernas.

• Selectores de Microsoft Active Accessibility (MSAA)

  MSAA es una tecnología de accesibilidad más antigua que predepone la UIA. Se usa principalmente para aplicaciones heredadas que no exponen elementos UIA, como aplicaciones de Windows antiguas compiladas con tecnologías como VB6 o Win32 clásico. Aunque MSAA proporciona menos detalles y estructura que UIA, es esencial para habilitar la automatización en entornos en los que UIA no está disponible.

  Use selectores de MSAA al dirigirse a aplicaciones heredadas o personalizadas que no exponen sus componentes de interfaz de usuario a través de UIA.

• Selectores sin procesar de UIA3

  UIA3 Raw es un modo de captura avanzado basado en Automatización de la interfaz de usuario que usa el marco UIA3 para acceder al árbol de elementos de interfaz de usuario sin filtrar y sin procesar. A diferencia de los selectores UIA estándar, que se basan en una vista de control refinada de la aplicación, UIA3 Raw expone todos los elementos de la jerarquía de la interfaz de usuario, incluidos los componentes intermedios, no interactivos y de nivel de marco.

  Este modo es especialmente útil para automatizar aplicaciones con estructuras de interfaz de usuario complejas o no estándar, como controles representados personalizados, aplicaciones basadas en Electron o casos en los que los elementos no son accesibles a través de selectores de UIA estándar. UIA3 Raw puede revelar niveles adicionales de la jerarquía y propiedades que de otro modo no están disponibles, lo que permite una selección más precisa en situaciones complejas.

  Utilice selectores Raw de UIA3 cuando los selectores UIA no puedan capturar ni identificar elementos de manera fiable, o cuando se requiera un acceso más profundo a la estructura de la interfaz de usuario de la aplicación.

El selector de elementos de la interfaz de usuario en las acciones de automatización de la interfaz de usuario le permite capturar solo los elementos de la interfaz de usuario de escritorio. Un menú de modo de captura en la esquina superior derecha del selector le permite seleccionar entre los modos UIA, UIA3 Raw y MSAA. De forma predeterminada, el selector usa UIA, pero puede cambiar a UIA3 Raw para escenarios avanzados o MSAA al automatizar aplicaciones heredadas. Un mensaje visible en el selector indica cuándo está activo un modo no predeterminado.

El panel elementos de la interfaz de usuario muestra los elementos capturados, con un indicador que muestra si los elementos se capturaron mediante UIA, UIA3 Raw o MSAA. Este indicador le ayuda a identificar el tipo de selector usado para cada elemento del flujo.

Importante

Puede capturar elementos de páginas web mediante el selector de elementos de interfaz de usuario de las acciones de automatización de la interfaz de usuario. Sin embargo, sus selectores representan elementos de escritorio, no elementos web.

Puede capturar elementos de la interfaz de usuario web de páginas web y usarlos solo en acciones de automatización del explorador.

Las acciones de automatización del explorador aceptan exclusivamente elementos de la interfaz de usuario capturados de páginas web. Por lo tanto, el selector de elementos de la interfaz de usuario de estas acciones no muestra los elementos de interfaz de usuario existentes capturados desde aplicaciones de escritorio.

Para más información sobre la automatización de escritorio y web, consulte Automatización de flujos de escritorio y Automatización de flujos web.

Elementos de la interfaz de usuario para páginas web

Para capturar un elemento de la interfaz de usuario de una página web, debe instalar la extensión de navegador adecuada. Para obtener más información sobre los exploradores admitidos y la extensión necesaria, consulte Uso de exploradores y administración de extensiones.

Distinguir los elementos de escritorio de los de la interfaz de usuario web

En el panel de elementos de la interfaz de usuario se muestran indicaciones visuales distintivas que le ayudarán a reconocer rápidamente la diferencia entre los elementos de la interfaz de usuario de escritorio y web.

Al capturar un elemento de escritorio, aparece el icono de escritorio. Al capturar un elemento web, aparece el icono web. De este modo, se confirma el tipo de elemento antes de guardarlo.

Otro método para verificar el tipo de un elemento de la interfaz de usuario es revisar sus selectores. Los elementos de la interfaz de escritorio suelen tener el escritorio como elemento principal, mientras que los elementos de la interfaz de usuario web tienen una página web como elemento principal.

Elementos de interfaz de usuario en las ventanas del explorador

Automatice la parte de la aplicación de un explorador (1) mediante elementos de la interfaz de usuario de escritorio. Por ejemplo, use acciones de automatización de la interfaz de usuario para interactuar con la barra de direcciones o las pestañas.

Por otro lado, automatice las páginas web cargadas dentro del explorador (2) mediante elementos de interfaz de usuario web y acciones de automatización del explorador.

Durante la grabación, la grabadora distingue automáticamente el área de aplicación del explorador de las páginas web y genera los elementos y acciones de la interfaz de usuario adecuados.

Es posible que las interacciones con elementos de la interfaz de usuario web de arrastrar y colocar no funcionen como se esperaba debido a sus limitaciones inherentes. Como solución alternativa, capture elementos de la interfaz de usuario del escritorio en una página web abriendo el selector de elementos de la interfaz de usuario mediante una acción del grupo de automatización de la interfaz de usuario, seleccionando Agregar elemento de la interfaz de usuario dentro del parámetro UI element. El elemento de interfaz de usuario capturado es de tipo escritorio y se puede utilizar en la acción Drag and drop UI element in window. Tenga en cuenta que solo puede usar elementos de la interfaz de usuario de escritorio en acciones del grupo de acciones de automatización de la interfaz de usuario de Power Automate para escritorio. Es importante tener en cuenta que los elementos de la interfaz de usuario del escritorio en las páginas web no son tan confiables como sus contrapartes web y están sujetos a los detalles de la aplicación del navegador, como la versión del navegador.

Propiedades de elementos de la interfaz de usuario

Todos los elementos de la interfaz de usuario constan de uno o más selectores que identifican el componente de interfaz de usuario o web que interactúa con Power Automate.

Nota

Los usuarios puede crear varios selectores para un elemento de interfaz de usuario. Cada vez que un selector falla, Power Automate utiliza el siguiente selector en el orden definido.

Para administrar los selectores de un elemento de interfaz de usuario, haga clic con el botón derecho en el elemento y seleccione Editar. Esta opción abre el generador de selectores, donde se pueden editar los selectores con un editor visual o de texto.

Cada selector consta de varios elementos que representan la estructura jerárquica del elemento de la interfaz de usuario en la aplicación o página web. Los atributos describen cada elemento de manera única y lo distinguen de otros elementos.

Todos los selectores se muestran con un nombre descriptivo predeterminado que los hace fácilmente accesibles. Para cambiar el nombre de un selector, haga con el botón secundario en su nombre y seleccione Cambiar nombre.

Al editar un elemento de interfaz de usuario con varios selectores, puede deshabilitar un selector haciendo clic con el botón derecho en él y seleccionando Deshabilitar. Esta funcionalidad puede ser útil durante las pruebas.

Después de editar los selectores, seleccione Guardar para aplicar los cambios. Al guardar se aplican los cambios en todos los selectores en un solo paso.

Para obtener más información sobre los selectores y cómo compilarlos manualmente, consulte Compilación de un selector personalizado.

Elementos de interfaz de usuario con selectores basados en texto

Además del método predeterminado para generar selectores para elementos de interfaz de usuario, Power Automate admite la creación de selectores basados en el valor de texto de un elemento.

Esta característica es útil para escenarios de automatización que manejan elementos en aplicaciones de escritorio o páginas web que siempre incluyen textos específicos. Los selectores basados en estos textos son más fiables y resistentes a posibles cambios futuros en la estructura de la aplicación o la página web.

Solo puede generar selectores basados en texto al capturar elementos de la interfaz de usuario mediante el selector de elementos de la interfaz de usuario (panel de elementos de la interfaz de usuario o acciones de automatización del explorador o de la interfaz de usuario). No se pueden generar durante la grabación.

Para capturar un elemento de interfaz de usuario con un selector basado en texto, abra el selector de elementos de la interfaz de usuario, haga clic con el botón derecho en el elemento deseado y seleccione Capturar basado en texto.

A continuación, aparece una nueva ventana con dos campos en la pantalla:

• El campo Valor de texto contiene el texto del elemento como un valor propuesto. Puede cambiar este valor por un valor codificado o una variable.
• Puede establecer el campo Operador en varios operadores para ajustar la funcionalidad del selector.

Al seleccionar Capturar , se agrega el elemento de interfaz de usuario con el selector basado en texto adecuado en el repositorio de elementos de la interfaz de usuario.

Los selectores basados en texto utilizan el atributo Nombre del elemento capturado para la automatización del escritorio y el atributo Texto para la automatización de explorador. Están disponibles solo para los elementos de la interfaz de usuario que contienen un valor de texto.

En otras palabras, están disponibles para elementos de la interfaz de usuario con un atributo Nombre o Texto que incluye un valor. No están disponibles para los elementos que no contienen este valor de texto, incluso si tienen elementos secundarios con texto en su estructura.

Nota

Para la aplicación de SAP, los selectores basados en texto usan el atributo Texto en lugar del atributo Nombre, que generalmente usan en la automatización de escritorio. La automatización de SAP funciona de manera más eficiente con selectores predeterminados basados en el atributo Id.

Problemas y limitaciones conocidos

• Si selecciona Agregar elemento de interfaz de usuario, mantenga el puntero sobre una ventana y elija capturar un elemento de interfaz de usuario por texto, el proceso genera un selector predeterminado. Este selector incluye el atributo Process junto con Name.

• Cuando se usa una variable con un operador distinto de Igual a, el editor de texto personalizado muestra el selector en lugar del generador de objetos visuales. Esta funcionalidad evita una limitación que hace que la combinación anterior no sea funcional en el generador visual.