Automatizar usando elementos da interface do usuário

Os fluxos de área de trabalho usam elementos de interface do usuário para interagir com aplicativos e páginas da Web, portanto, eles não precisam usar o reconhecimento de imagem ou coordenadas absolutas. A maioria das ações de automação da interface do usuário e da automação do navegador usa elementos de interface do usuário como entrada para identificar elementos específicos em janelas e páginas da Web.

Elementos da interface de usuário

Ao implantar uma ação de automação de interface do usuário ou automação do navegador, talvez seja necessário fornecer um elemento de interface do usuário como entrada. Para adicionar um novo elemento de interface do usuário, você pode adicioná-lo diretamente das propriedades de ação ou por meio do painel de elementos da interface do usuário do designer de fluxo.

Cada um desses grupos de ação aceita um tipo diferente de elementos de interface do usuário. As ações de automação da interface do usuário aceitam elementos da interface do usuário da área de trabalho, enquanto as ações de automação do navegador aceitam elementos da interface do usuário da web.

Para adicionar um novo elemento de interface do usuário ao seu fluxo, adicione um novo elemento de interface do usuário por meio de uma ação ou, no painel de elementos de interface do usuário, realce o respectivo elemento e pressione Ctrl + clique com o botão esquerdo. Quando a seleção terminar, selecione Concluído.

Observação

O seletor de elementos de Interface de Usuário permite capturar seletores da Automação de Interface de Usuário (UIA), da exibição Bruta da Automação de Interface de Usuário v3 (UIA3 Bruta) e do Microsoft Active Accessibility (MSAA) ao trabalhar com elementos de Interface de Usuário da área de trabalho. Por padrão, o seletor opera no modo UIA. Você pode alterar o modo de captura usando o menu localizado no canto superior direito do seletor de elementos da interface do usuário. Selecione MSAA para direcionar aplicativos herdados que não expõem seletores UIA ou UIA3 Raw quando precisar expor e capturar todas as camadas intermediárias na árvore de automação bruta. Quando você ativa o modo MSAA ou UIA3 Bruta, um banner é exibido no seletor de elementos da UI para indicar que você está capturando seletores de MSAA ou seletores de UIA3 Bruta, respectivamente. Para obter mais informações sobre a diferença entre seletores UIA, UIA3 Raw e MSAA, consulte os tipos de elemento de interface do usuário.

Todos os elementos da UI capturados são adicionados ao painel de elementos da interface do usuário. Para acessar o painel de elementos da interface do usuário, selecione a guia Elementos da interface do usuário à direita do designer de fluxo.

Você pode classificar elementos em ordem alfabética por meio da opção Classificar da guia elementos da interface do usuário. Para remover todos os elementos da interface do usuário que não são usados em nenhuma ação, selecione o ícone de ponto ao lado da opção Classificar e remova elementos de interface do usuário não utilizados.

Para renomear ou excluir um elemento da interface de usuário, clique com o botão direito do mouse no respectivo item e selecione a função apropriada.

Para localizar onde um elemento de interface do usuário específico é usado no fluxo, clique com o botão direito do mouse nele e selecione Localizar usos. Os resultados exibem todas as ações que usam esse elemento de interface do usuário. Clique duas vezes em um resultado para realçar a ação no espaço de trabalho.

Tipos de elemento de interface do usuário

Os fluxos de desktop oferecem suporte a dois tipos de elementos da interface do usuário, de acordo com a origem: elementos da interface do usuário de desktop e elementos da interface do usuário da Web.

Você pode capturar elementos da interface do usuário da área de trabalho de qualquer aplicativo do Windows, incluindo componentes de navegadores que não fazem parte da página da Web, como a barra de endereços. Nos elementos da interface do usuário da área de trabalho, há suporte para três tipos de seletores:

• seletores de Automação da Interface do Usuário (UIA)

  O UIA é a estrutura de acessibilidade moderna introduzida pelo Microsoft para substituir o MSAA. É a tecnologia recomendada para automatizar a maioria dos aplicativos Windows, especialmente aqueles criados com estruturas de interface do usuário mais recentes, como WPF, WinForms e Plataforma Universal do Windows (UWP). O UIA oferece informações de elementos mais robustas e detalhadas, estruturas de hierarquia aprimoradas e maior confiabilidade em cenários de automação.

  Use seletores UIA sempre que possível para melhor desempenho, manutenção e suporte em aplicativos de área de trabalho modernos.

• Seletores do Microsoft Active Accessibility (MSAA)

  O MSAA é uma tecnologia de acessibilidade mais antiga que antecede o UIA. Ele é usado principalmente para aplicativos herdados que não expõem elementos UIA, como aplicativos de Windows mais antigos criados com tecnologias como VB6 ou Win32 clássico. Embora o MSAA forneça menos detalhes e estrutura do que o UIA, é essencial para habilitar a automação em ambientes em que o UIA não está disponível.

  Use seletores MSAA ao direcionar aplicativos herdados ou personalizados que não expõem seus componentes de interface do usuário por meio da UIA.

• Seletores brutos do UIA3

  UIA3 Raw é um modo de captura avançado baseado em Automação da Interface do Usuário que usa a estrutura UIA3 para acessar a árvore de elementos de interface do usuário bruta e não filtrada. Ao contrário dos seletores UIA padrão, que dependem de uma exibição de controle refinada do aplicativo, o UIA3 Raw expõe todos os elementos na hierarquia da interface do usuário, incluindo componentes intermediários, não interativos e de nível de estrutura.

  Esse modo é particularmente útil para automatizar aplicativos com estruturas de interface do usuário complexas ou não padrão, como controles renderizados personalizados, aplicativos baseados em Electron ou casos em que os elementos não são acessíveis por meio de seletores UIA padrão. O UIA3 Raw pode revelar camadas de hierarquia e propriedades adicionais que não estão disponíveis de outra forma, permitindo direcionamento mais preciso em cenários desafiadores.

  Use seletores UIA3 Raw quando os seletores UIA não puderem capturar ou identificar elementos de forma confiável ou quando for necessário acesso mais profundo à estrutura da interface do usuário do aplicativo.

O seletor de elementos da interface do usuário nas ações de automação de UI permite capturar apenas elementos de UI do desktop. Um menu do modo de captura no canto superior direito do seletor permite que você selecione entre os modos UIA, UIA3 Raw e MSAA. Por padrão, o seletor usa UIA, mas você pode alternar para UIA3 Raw para cenários avançados ou para MSAA ao automatizar aplicativos legados. Uma mensagem visível no seletor indica quando um modo não padrão está ativo.

O painel de elementos da interface do usuário exibe elementos capturados, com um indicador mostrando se os elementos foram capturados usando UIA, UIA3 Raw ou MSAA. Esse indicador ajuda a identificar o tipo de seletor usado para cada elemento em seu fluxo.

Importante

Você pode capturar elementos de páginas da Web usando o seletor de elementos de Interface de Usuário das ações de automação da Interface de Usuário. No entanto, seus seletores representam elementos da área de trabalho, não elementos da Web.

Você pode capturar elementos da interface do usuário da Web de páginas da Web e usá-los somente em ações de automação do navegador.

As ações de automação do navegador aceitam exclusivamente elementos de interface do usuário capturados de páginas da Web. Portanto, o seletor de elementos da interface de usuário dessas ações não exibe elementos existentes da interface de usuário capturados de aplicativos de área de trabalho.

Para obter mais informações sobre a área de trabalho e a automação da Web, consulte Automatizar fluxos de área de trabalho e automatizar fluxos da Web.

Elementos de interface do usuário para páginas da Web

Para capturar um elemento de interface do usuário de uma página da Web, você precisa instalar a extensão de navegador apropriada. Para obter mais informações sobre navegadores com suporte e a extensão necessária, consulte Usar navegadores e gerenciar extensões.

Distinguir a área de trabalho dos elementos da interface de usuário da Web

O painel de elementos da interface do usuário mostra indicações visuais distintas para ajudá-lo a reconhecer rapidamente a diferença entre elementos da interface do usuário da Web e da área de trabalho.

Quando você captura um elemento da área de trabalho, o ícone da área de trabalho é exibido. Quando você captura um elemento da Web, o ícone da Web é exibido. Dessa forma, você confirma o tipo de elemento antes de salvá-lo.

Outro método para verificar o tipo de um elemento de interface do usuário é revisar os seletores. Os elementos de interface do usuário da área de trabalho costumam ter a área de trabalho como elemento pai, enquanto os elementos de interface do usuário da Web têm uma página da Web como elemento raiz.

Elementos da interface do usuário em janelas do navegador

Automatize a parte do aplicativo de um navegador (1) usando elementos de interface de usuário da área de trabalho. Por exemplo, use ações de automação da interface do usuário para interagir com a barra de endereços ou as abas.

Por outro lado, automatize as páginas da Web carregadas dentro do navegador (2) usando elementos da interface do usuário da Web e ações de automação do navegador.

Durante a gravação, o gravador distingue automaticamente a área do aplicativo do navegador das páginas da Web e gera os elementos e ações de interface do usuário apropriados.

As interações com elementos de interface de usuário da web de arrastar e soltar podem não funcionar conforme o esperado devido às suas limitações inerentes. Como solução alternativa, capture elementos de Interface de Usuário da área de trabalho em uma página da Web abrindo o seletor de elementos de Interface de Usuário por meio de uma ação do grupo de automação de IU selecionando Adicionar elemento de Interface de Usuário dentro do parâmetro UI element. O elemento de UI capturado é do tipo desktop e pode ser usado na ação Drag and drop UI element in window. Tenha em mente que você pode usar elementos de Interface de Usuário da área de trabalho apenas em ações do grupo de ações de automação de Interface de Usuário do Power Automate para desktop. É importante observar que os elementos da UI de desktop em páginas da Web não são tão confiáveis ​​quanto seus equivalentes na Web e estão sujeitos aos detalhes do aplicativo do navegador, como a versão do navegador.

Propriedades de elementos da interface do usuário

Todos os elementos da interface do usuário consistem em um ou mais seletores que identificam a interface do usuário ou o componente da Web com o qual o Power Automate interage.

Observação

Os usuários podem criar vários seletores para um elemento da interface do usuário. Sempre que um seletor falha, o Power Automate usa o seletor a seguir na ordem definida.

Para gerenciar os seletores de um elemento de interface do usuário, clique com o botão direito do mouse nele e selecione Editar. Esta opção abre o construtor de seletores, onde você pode editar os seletores com um editor visual ou de texto.

Cada seletor consiste em vários elementos que representam a estrutura hierárquica do elemento de interface do usuário no aplicativo ou página da Web. Os atributos descrevem cada elemento de forma única e o distinguem de outros elementos.

Todos os seletores são exibidos com um nome amigável padrão que os torna facilmente acessíveis. Para renomear um seletor, clique com o botão direito do mouse no nome e selecione Renomear.

Ao editar um elemento de interface do usuário com vários seletores, você pode desabilitar um seletor clicando nele com o botão direito do mouse e selecionando Desabilitar. Essa funcionalidade pode ser útil durante o teste.

Depois de editar os seletores, selecione Salvar para aplicar as alterações. Ao salvar, as alterações são aplicadas em todos os seletores de uma só vez.

Para obter mais informações sobre seletores e como compilá-los manualmente, consulte Criar um seletor personalizado.

Elementos da interface do usuário com seletores baseados em texto

Além do método padrão para gerar seletores para elementos de interface do usuário, Power Automate dá suporte à criação de seletores com base no valor de texto de um elemento.

Esse recurso é útil para cenários de automação que manipulam elementos em aplicativos de desktop ou páginas da Web que sempre vêm com textos específicos. Os seletores baseados nesses textos são mais confiáveis e resilientes a possíveis alterações futuras na estrutura do aplicativo ou da página da Web.

Você pode gerar seletores baseados em texto somente ao capturar elementos da interface do usuário usando o seletor de elementos da interface do usuário (painel de elementos da interface do usuário ou ações de automação de navegador/interface do usuário). Você não pode gerá-los durante a gravação.

Para capturar um elemento de interface do usuário com um seletor baseado em texto, abra o seletor de elementos da interface do usuário, clique com o botão direito do mouse no elemento desejado e selecione Capturar com base no texto.

Em seguida, uma nova janela com dois campos aparece na tela:

• O campo Valor de texto contém o texto do elemento como um valor proposto. Você pode alterar esse valor para um valor codificado ou uma variável.
• Você pode definir o campo Operador para vários operadores para ajustar a funcionalidade do seletor.

Selecionar Capture adiciona ao repositório de elementos da interface do usuário o elemento da interface do usuário com o seletor baseado em texto apropriado.

Os seletores baseados em texto usam o atributo Nome do elemento capturado para automação da área de trabalho e o atributo Texto para automação do navegador. Eles estão disponíveis apenas para elementos de interface do usuário que contêm um valor de texto.

Em outras palavras, eles estão disponíveis para elementos de UI com um atributo Name ou Text que inclui um valor. Eles não estão disponíveis para elementos que não possuem esse valor textual, mesmo que tenham elementos filhos que contenham texto em sua estrutura.

Observação

Para o aplicativo SAP, os seletores baseados em texto usam o atributo Texto em vez do atributo Nome que geralmente usam na automação de desktop. A automação SAP funciona de forma mais eficiente com seletores padrão baseados no atributo ID.

Limitações e problemas conhecidos

• Se você selecionar Adicionar elemento de interface do usuário, passar o mouse sobre uma janela e optar por capturar um elemento de interface do usuário por texto, o processo gerará um seletor padrão. Esse seletor inclui o atributo Processo junto com o Nome.

• Quando você usa uma variável com um operador diferente de Igual a, o editor de texto personalizado exibe o seletor em vez do construtor visual. Essa funcionalidade evita uma limitação que torna a combinação acima não funcional no construtor visual.