Автоматизация с использованием элементов пользовательского интерфейса

Потоки рабочего стола используют элементы пользовательского интерфейса для взаимодействия с приложениями и веб-страницами, поэтому им не нужно использовать распознавание изображений или абсолютные координаты. Большинство действий автоматизации пользовательского интерфейса и службы автоматизации браузера используют элементы пользовательского интерфейса в качестве входных данных для идентификации определенных элементов в окнах и веб-страницах.

Элементы пользовательского интерфейса

При развертывании действия автоматизации пользовательского интерфейса или службы автоматизации браузера может потребоваться предоставить элемент пользовательского интерфейса в качестве входных данных. Чтобы добавить новый элемент пользовательского интерфейса, его можно добавить непосредственно из свойств действия или в области элементов пользовательского интерфейса конструктора потоков.

Каждая из этих групп действий принимает различные типы элементов пользовательского интерфейса. Действия автоматизации пользовательского интерфейса принимают элементы пользовательского интерфейса, захваченные из классических приложений, а действия браузерной автоматизации принимают элементы пользовательского интерфейса, захваченные с веб-страниц.

Чтобы добавить новый элемент пользовательского интерфейса в поток, добавьте новый элемент пользовательского интерфейса с помощью действия или панели элементов пользовательского интерфейса, выделите соответствующий элемент и нажмите Ctrl + щелчок левой кнопкой мыши. По завершении выбора выберите Готово.

Заметка

Средство выбора элементов пользовательского интерфейса поддерживает захват селекторов автоматизации пользовательского интерфейса (UIA), необработанного представления автоматизации пользовательского интерфейса v3 (UIA3 Raw) и Microsoft Active Accessibility (MSAA) при работе с элементами интерфейса настольных приложений. По умолчанию средство выбора работает в режиме UIA. Режим записи можно изменить с помощью меню, расположенного в правом верхнем углу средства выбора элементов пользовательского интерфейса. Выберите MSAA для работы с устаревшими приложениями, которые не поддерживают селекторы UIA, или UIA3 Raw, если нужно отображать и захватывать все промежуточные уровни в дереве автоматизации Raw. Когда вы включаете режим MSAA или режим UIA3 Raw, в средстве выбора элементов пользовательского интерфейса появляется баннер, указывающий, что вы захватываете селекторы MSAA или UIA3 Raw соответственно. Дополнительные сведения о различиях между селекторами UIA, UIA3 Raw и MSAA см. в разделе "Типы элементов пользовательского интерфейса".

Все захваченные элементы пользовательского интерфейса добавляются в область элементов пользовательского интерфейса. Чтобы получить доступ к панели элементов пользовательского интерфейса, выберите вкладку элементов пользовательского интерфейса в правой части конструктора потоков.

Элементы можно сортировать в алфавитном порядке с помощью параметра "Сортировка " вкладки элементов пользовательского интерфейса. Чтобы удалить все элементы пользовательского интерфейса, которые не используются в любом действии, выберите значок точек рядом с параметром "Сортировка " и удалите неиспользуемые элементы пользовательского интерфейса.

Чтобы переименовать или удалить элемент пользовательского интерфейса, щелкните правой кнопкой мыши соответствующий элемент и выберите соответствующую функцию.

Чтобы найти, где используется определенный элемент пользовательского интерфейса в потоке, щелкните его правой кнопкой мыши и выберите "Найти использование". Результаты отображают все действия, использующие этот элемент пользовательского интерфейса. Дважды щелкните результат, чтобы выделить действие в рабочей области.

Типы элементов пользовательского интерфейса

Потоки рабочего стола поддерживают два типа элементов пользовательского интерфейса в зависимости от источника: элементы пользовательского интерфейса рабочего стола и веб-элементы пользовательского интерфейса.

Элементы пользовательского интерфейса рабочего стола можно записывать из любого приложения Windows, включая компоненты браузеров, отличные от веб-страниц, например адресную строку. В элементах пользовательского интерфейса рабочего стола поддерживаются три типа селекторов:

• Селекторы автоматизации пользовательского интерфейса (UIA)

  UIA — это современная платформа специальных возможностей, представленная Microsoft и пришедшая на смену MSAA. Это рекомендуемая технология для автоматизации большинства Windows приложений, особенно созданных с помощью новых платформ пользовательского интерфейса, таких как WPF, WinForms и Universal Windows Platform (UWP). UIA предлагает более надежные и подробные сведения об элементах, улучшенные структуры иерархии и большую надежность в сценариях автоматизации.

  Используйте селекторы UIA, когда это возможно для повышения производительности, удобства обслуживания и поддержки в современных классических приложениях.

• селекторы Microsoft Active Accessibility (MSAA)

  MSAA — это более ранняя технология специальных возможностей, появившаяся до UIA. Он в основном используется для устаревших приложений, которые не предоставляют элементы UIA, такие как старые приложения Windows, созданные с помощью технологий, таких как VB6 или классическая версия Win32. Хотя MSAA предоставляет менее подробные сведения и структуру, чем UIA, важно включить автоматизацию в средах, где UIA недоступна.

  Используйте селекторы MSAA при работе с устаревшими или приложениями собственной разработки, которые не предоставляют доступ к своим компонентам пользовательского интерфейса через UIA.

• Необработанные селекторы UIA3

  UIA3 Raw — это расширенный режим записи на основе модель автоматизации пользовательского интерфейса, использующий платформу UIA3 для доступа к необработанным нефильтрованным дереве элементов пользовательского интерфейса. В отличие от стандартных селекторов UIA, которые полагаются на уточненное представление элемента управления приложения, UIA3 Raw предоставляет все элементы в иерархии пользовательского интерфейса, включая промежуточные, неинтерактивные и компоненты уровня платформы.

  Этот режим особенно полезен для автоматизации приложений со сложными или нестандартными структурами пользовательского интерфейса, такими как настраиваемые элементы управления, приложения на основе электронных данных или случаи, когда элементы не доступны через стандартные селекторы UIA. UIA3 Raw может выявить дополнительные уровни иерархии и свойства, которые в противном случае недоступны, что обеспечивает более точный целевой объект в сложных сценариях.

  Используйте необработанные селекторы UIA3, если селекторы UIA не могут надежно записывать или определять элементы, а также когда требуется более глубокий доступ к структуре пользовательского интерфейса приложения.

Средство выбора элементов пользовательского интерфейса в действиях автоматизации пользовательского интерфейса позволяет записывать только элементы пользовательского интерфейса рабочего стола. Меню режима захвата в правом верхнем углу инструмента выбора позволяет выбрать между режимами UIA, UIA3 Raw и MSAA. По умолчанию средство выбора использует UIA, но вы можете переключиться на UIA3 Raw для расширенных сценариев или MSAA при автоматизации устаревших приложений. В средстве выбора отображается сообщение, указывающее на то, что активен режим, отличный от режима по умолчанию.

В области элементов пользовательского интерфейса отображаются захваченные элементы с индикатором того, были ли элементы захвачены с помощью UIA, UIA3 Raw или MSAA. Этот индикатор помогает определить тип селектора, используемый для каждого элемента в потоке.

Внимание

Вы можете захватывать элементы с веб-страниц с помощью средства выбора элементов UI в действиях автоматизации UI. Однако их селекторы представляют элементы рабочего стола, а не веб-элементы.

Элементы веб-интерфейса можно записывать на веб-страницах и использовать их только в действиях службы автоматизации браузера.

Действия по автоматизации браузеров принимают исключительно элементы пользовательского интерфейса, захваченные с веб-страниц. Поэтому средство выбора элементов пользовательского интерфейса для этих действий не отображает существующие элементы пользовательского интерфейса, захваченные из настольных приложений.

Дополнительные сведения о классической и веб-автоматизации см. в разделе "Автоматизация классических потоков " и "Автоматизация веб-потоков".

Элементы пользовательского интерфейса для веб-страниц

Чтобы захватить элемент пользовательского интерфейса с веб-страницы, вам необходимо установить соответствующее расширение для браузера. Дополнительные сведения о поддерживаемых браузерах и требуемом расширении см. в разделе "Использование браузеров и управление расширениями".

Отличие классических элементов пользовательского интерфейса от элементов пользовательского интерфейса для веб-страниц

В области элементов пользовательского интерфейса отображаются отличительные визуальные признаки, помогающие быстро распознавать разницу между элементами рабочего стола и веб-интерфейса.

При захвате элемента рабочего стола появится значок рабочего стола. При захвате веб-элемента появится значок веб-сайта. Таким образом, перед сохранением элемента подтвердите тип элемента.

Другой способ проверить тип элемента пользовательского интерфейса — просмотреть его селекторы. Элементы пользовательского интерфейса для классических приложений обычно имеют рабочий стол в качестве родительского элемента, в то время как элементы пользовательского интерфейса для веб-страниц имеют веб-страницу в качестве корневого элемента.

Элементы пользовательского интерфейса в окнах браузера

Автоматизируйте часть приложения браузера (1) с помощью элементов пользовательского интерфейса рабочего стола. Например, используйте действия автоматизации пользовательского интерфейса для взаимодействия с адресной строкой или вкладками.

С другой стороны, автоматизируйте загруженные веб-страницы в браузере (2) с помощью элементов веб-интерфейса и действий автоматизации браузера.

Во время записи средство записи автоматически различает область приложения браузера от веб-страниц и создает соответствующие элементы и действия пользовательского интерфейса.

Взаимодействие с элементами веб-интерфейса, поддерживающими перетаскивание, может работать не так, как ожидается, из-за присущих им ограничений. В качестве обходного пути захватите элементы пользовательского интерфейса рабочего стола на веб-странице, открыв средство выбора элементов пользовательского интерфейса с помощью действия группы автоматизации пользовательского интерфейса, выбрав Добавить элемент пользовательского интерфейса в параметре UI element. Захваченный элемент пользовательского интерфейса относится к типу рабочего стола и может использоваться в действии Drag and drop UI element in window. Помните, что можно использовать элементы пользовательского интерфейса рабочего стола только в действиях группы действий автоматизации пользовательского интерфейса Power Automate для настольных компьютеров. Важно отметить, что элементы пользовательского интерфейса рабочего стола на веб-страницах не так надежны, как их веб-аналоги, и зависят от деталей приложения браузера, таких как версия браузера.

Свойства элементов пользовательского интерфейса

Все элементы пользовательского интерфейса состоят из одного или нескольких селекторов, определяющих пользовательский интерфейс или веб-компонент, с которыми взаимодействует Power Automate.

Заметка

Пользователи могут создавать несколько селекторов для элемента пользовательского интерфейса. Если селектор не срабатывает, Power Automate использует следующий селектор в заданном порядке.

Чтобы управлять селекторами элемента пользовательского интерфейса, щелкните элемент правой кнопкой мыши и выберите Изменить. Этот параметр вызывает конструктор селекторов, где селекторы можно редактировать с помощью визуального или текстового редактора.

Каждый селектор состоит из нескольких элементов, представляющих иерархическую структуру элемента пользовательского интерфейса в приложении или веб-странице. Атрибуты каждого элемента однозначно описывают его и отличают от других элементов.

Все селекторы отображаются с понятным именем по умолчанию, что делает их легко доступными. Чтобы переименовать селектор, щелкните его имя правой кнопкой мыши и выберите Переименовать.

При редактировании элемента пользовательского интерфейса с несколькими селекторами можно отключить селектор, щелкнув его правой кнопкой мыши и выбрав "Отключить". Эта функция может быть полезна во время тестирования.

После редактирования селекторов нажмите кнопку "Сохранить ", чтобы применить изменения. Сохранение применяет изменения во всех селекторах за один шаг.

Дополнительные сведения о селекторах и их создании вручную см. в разделе "Создание пользовательского селектора".

Элементы пользовательского интерфейса с селекторами на основе текста

Помимо метода по умолчанию для создания селекторов для элементов пользовательского интерфейса, Power Automate поддерживает создание селекторов на основе текстового значения элемента.

Эта функция полезна для сценариев автоматизации, которые обрабатывают элементы в классических приложениях или веб-страницах, которые всегда содержат определенный текст. Селекторы, основанные на этих текстах, более надежны и устойчивы к возможным будущим изменениям в структуре приложения или веб-страницы.

Селекторы на основе текста можно создавать только при захвате элементов пользовательского интерфейса с помощью средства выбора элементов пользовательского интерфейса (область элементов пользовательского интерфейса или действия службы автоматизации пользовательского интерфейса или браузера). Их невозможно создать во время записи.

Чтобы записать элемент пользовательского интерфейса с текстовым селектором, откройте средство выбора элементов пользовательского интерфейса, щелкните правой кнопкой мыши нужный элемент и выберите " Захват" на основе текста.

Затем на экране появится новое окно с двумя полями:

• Поле Текстовое значение содержит текст элемента в качестве предлагаемого значения. Вы можете изменить это значение на жестко закодированное значение или переменную.
• Вы можете установить в поле Оператор различные операторы, чтобы настроить функциональность селектора.

При выборе элемента Capture добавляется элемент пользовательского интерфейса с соответствующим текстовым селектором в репозитории элементов пользовательского интерфейса.

Селекторы на основе текста используют атрибут Имя захваченного элемента для автоматизации рабочего стола и атрибут Текст для автоматизации браузера. Они доступны только для элементов пользовательского интерфейса, которые сами содержат текстовое значение.

Другими словами, они доступны для элементов пользовательского интерфейса с атрибутом Name или Text, который включает значение. Они недоступны для элементов, которые не содержат такого текстового значения, даже если они имеют дочерние элементы с текстом в их структуре.

Заметка

Для приложения SAP текстовые селекторы используют атрибут Текст вместо атрибута Имя, который обычно используется для автоматизации рабочего стола. Автоматизация SAP работает более эффективно с селекторами по умолчанию на основе атрибута ИД.

Известные проблемы и ограничения

• Если вы выберете Добавить элемент пользовательского интерфейса, наведете указатель мыши на окно и выберете захват элемента пользовательского интерфейса по тексту, то процесс создаст селектор по умолчанию. Этот селектор включает атрибут Process вместе с Name.

• При использовании переменной с оператором, отличным от Equal, пользовательский текстовый редактор отображает селектор вместо визуального построителя. Эта функция позволяет избежать ограничения, которое делает приведенное выше сочетание нефункциональным в визуальном построителе.