Автоматизація з використанням елементів інтерфейсу
Потоки робочого столу використовують елементи інтерфейсу користувача для взаємодії з програмами та веб-сторінками, не вдаючись до розпізнавання зображень та абсолютних координат. Елементи інтерфейсу користувача використовуються як вхідні дані в більшості дій з автоматизації інтерфейсу користувача та браузера та ідентифікують конкретні елементи у вікнах та на веб-сторінках.
Елементи інтерфейсу користувача
Під час розгортання дії автоматизації інтерфейсу користувача або браузера вам може знадобитися надати елемент інтерфейсу користувача як вхідні дані. Щоб додати новий UI-елемент, ви можете зробити це безпосередньо з властивостей дії або через панель UI-елементів дизайнера ланцюжків.
Кожна з цих груп дій приймає різні типи елементів інтерфейсу користувача. Дії з автоматизації інтерфейсу користувача приймають елементи інтерфейсу робочого столу, а дії з автоматизації браузера приймають елементи веб-інтерфейсу.
Щоб додати новий UI-елемент до ланцюжка, додайте новий UI-елемент через дію або панель UI-елементів, виділіть відповідний елемент і натисніть Ctrl + клацання лівою кнопкою миші. Коли вибір буде завершено, виберіть «Готово».
Будь-які захоплені елементи інтерфейсу користувача будуть додані на панель елементів інтерфейсу. Щоб отримати доступ до панелі елементів інтерфейсу, виберіть вкладку «Елементи інтерфейсу» в правій частині конструктора ланцюжків.
Елементи можна сортувати в алфавітному порядку за допомогою опції «Сортування» на вкладці « Елементи інтерфейсу». Щоб видалити всі елементи інтерфейсу користувача, які не використовуються в жодній дії, виберіть піктограму крапок поруч із параметром «Сортування», а потім « Видалити невикористані елементи інтерфейсу».
Щоб перейменувати або видалити елемент інтерфейсу, клацніть правою кнопкою миші на відповідному елементі та виберіть відповідну функцію.
Щоб знайти, де в ланцюжку використовується певний елемент інтерфейсу, натисніть на нього правою кнопкою миші та виберіть Знайти використання. У результатах відобразяться всі дії, які використовують цей елемент інтерфейсу. Двічі клацніть на результаті, щоб виділити дію в робочому середовищі.
Типи елементів інтерфейсу користувача
Потоки робочого столу підтримують два типи елементів інтерфейсу залежно від їх джерела: елементи інтерфейсу робочого столу та елементи веб-інтерфейсу.
Елементи інтерфейсу робочого стола можна захопити з будь-якої програми Windows, включно з невеб-сторінковою частиною браузера, наприклад з адресного рядка.
Ви можете використовувати ці елементи інтерфейсу користувача як вхідні дані в діях автоматизації інтерфейсу користувача, щоб вказати компонент, з яким ви хочете взаємодіяти. Засіб вибору елементів інтерфейсу користувача дій автоматизації інтерфейсу користувача відображає та дозволяє захоплювати лише елементи інтерфейсу користувача робочого столу.
Важливо
Користувачі можуть захоплювати елементи з веб-сторінок за допомогою засобу вибору елементів інтерфейсу користувача для дій автоматизації інтерфейсу користувача. Однак їх селектори будуть представляти елементи робочого столу, а не веб-елементи.
Елементи веб-інтерфейсу можуть бути захоплені з веб-сторінок і використовуватися тільки в діях автоматизації браузера.
Дії автоматизації браузера приймають виключно елементи інтерфейсу користувача, взяті з веб-сторінок. Таким чином, наявні елементи інтерфейсу користувача, отримані з десктопних програм, не відображаються в засобі вибору елементів інтерфейсу цих дій.
Щоб дізнатися більше про автоматизацію настільних комп’ютерів і веб-сторінок, перегляньте статті Автоматизація потоків робочого столу та Автоматизація веб-потоків.
Елементи інтерфейсу користувача для веб-сторінок
Щоб захопити елемент інтерфейсу користувача з веб-сторінки, вам потрібно встановити відповідне розширення для браузера. Додаткову інформацію про підтримувані браузери та необхідне розширення можна знайти в статті Використання веб-переглядачів і керування розширеннями.
Відрізнити десктоп від елементів веб-інтерфейсу
На панелі елементів інтерфейсу відображаються характерні візуальні індикації, які допомагають користувачам швидко розпізнавати елементи робочого столу та веб-інтерфейсу.
Ті самі іконки також відображаються під час зйомки, тому ви можете підтвердити тип елемента ще до його збереження.
Ще одним методом перевірки типу елемента інтерфейсу користувача є перегляд його селекторів. Елементи інтерфейсу робочого столу зазвичай мають робочий стіл як батьківський елемент, тоді як елементи веб-інтерфейсу мають веб-сторінку як кореневий елемент.
Елементи інтерфейсу користувача у вікнах браузера
Прикладна частина браузера (1) повинна бути автоматизована за допомогою елементів інтерфейсу робочого столу. Наприклад, ви можете використовувати дії автоматизації інтерфейсу користувача для взаємодії з адресним рядком або вкладками.
З іншого боку, завантажені веб-сторінки в браузері (2) повинні бути автоматизовані за допомогою елементів веб-інтерфейсу та дій з автоматизації браузера.
Під час запису реєстратор автоматично відокремить область додатків браузера від веб-сторінок і згенерує відповідні елементи інтерфейсу користувача та дії.
Взаємодія з елементами веб-інтерфейсу може працювати не так, як очікувалося, через притаманні їм обмеження. Щоб обійти цю проблему, захопіть елементи інтерфейсу користувача робочого столу на веб-сторінці, відкривши засіб вибору елементів інтерфейсу за допомогою дії групи автоматизації інтерфейсу користувача, вибравши параметр Додати елемент інтерфейсу користувача в межах UI element параметра. Захоплений елемент інтерфейсу користувача має десктопний тип і може бути використаний Drag and drop UI element in window у дії. Майте на увазі, що елементи інтерфейсу робочого столу можна використовувати лише в діях групи Power Automate дій автоматизації інтерфейсу користувача для робочого столу. Важливо зазначити, що елементи інтерфейсу робочого столу на веб-сторінках не такі надійні, як їхні веб-аналоги, і залежать від деталей програми браузера, таких як версія браузера.
Властивості елементів інтерфейсу користувача
Усі елементи інтерфейсу користувача складаються з одного або кількох селекторів, які точно визначають інтерфейс користувача або веб-компонент, з яким Power Automate взаємодіє.
Нотатка
Користувачі можуть створити кілька селекторів для елемента інтерфейсу користувача. Кожного разу, коли селектор зазнає невдачі, Power Automate використовується наступний селектор у визначеному порядку.
Щоб керувати селекторами елемента інтерфейсу, клацніть його правою кнопкою миші та виберіть «Редагувати». Ця опція відкриває конструктор селекторів, де ви можете редагувати селектори за допомогою візуального або текстового редактора.
Кожен селектор складається з декількох елементів, що представляють ієрархічну структуру елемента інтерфейсу користувача в додатку або на веб-сторінці. Атрибути описують кожен елемент унікально та відрізняють його від інших елементів.
Усі селектори відображаються зі зручною за замовчуванням назвою, що робить їх легко доступними. Щоб перейменувати селектор, клацніть правою кнопкою миші на його назві та виберіть пункт Перейменувати .
Коли ви редагуєте елемент інтерфейсу користувача з декількома селекторами, ви можете вимкнути селектор, клацнувши на ньому правою кнопкою миші та вибравши Вимкнути. Цей функціонал може бути корисним під час тестування.
Після редагування селекторів натисніть Зберегти , щоб застосувати внесені зміни. Збереження застосовує зміни у всіх селекторах за один крок.
Докладнішу інформацію про селектори та про те, як збирати їх вручну, можна знайти у статті Збирання нетипового селектора.
Елементи інтерфейсу користувача з текстовими селекторами
Окрім стандартного способу генерації селекторів елементів інтерфейсу, Power Automate підтримує створення селекторів на основі текстового значення елемента.
Ця функція корисна для сценаріїв автоматизації, які обробляють елементи в класичних програмах або на веб-сторінках, які завжди супроводжуються певними текстами. Селектори, засновані на цих текстах, більш надійні і стійкі до можливих майбутніх змін в структурі додатку або веб-сторінки.
Генерація текстових селекторів доступна лише під час захоплення елементів інтерфейсу за допомогою засобу вибору елементів інтерфейсу (панель елементів інтерфейсу користувача або дії з автоматизації браузера/інтерфейсу). Під час запису вона недоступна.
Щоб захопити елемент інтерфейсу користувача за допомогою текстового селектора, відкрийте засіб вибору елементів інтерфейсу, клацніть правою кнопкою миші потрібний елемент і виберіть «Захоплення на основі тексту».
Потім на екрані з’явиться нове вікно з двома полями:
- Поле «Текстове значення» містить текст елемента як запропоноване значення . Ви можете змінити це значення на жорстко закодоване значення або змінну.
- Ви можете встановити поле Operator на різні оператори, щоб налаштувати функціональність селектора.
Вибір Capture додасть елемент UI з відповідним текстовим селектором у репозиторії елементів інтерфейсу.
Текстові селектори використовують атрибут Name захопленого елемента для автоматизації робочого столу та атрибут Text для автоматизації браузера. Вони доступні лише для елементів інтерфейсу, які самі містять текстове значення.
Іншими словами, вони доступні для елементів інтерфейсу користувача з атрибутом «Ім’я» або «Текст», який містить значення. Вони недоступні для елементів, які не мають такого текстового значення, навіть якщо вони мають дочірні елементи з текстом у структурі.
Нотатка
У застосунку SAP текстові селектори використовують атрибут «Текст» замість атрибута « Ім’я », який вони зазвичай використовують для автоматизації робочого столу. Автоматизація SAP ефективніше працює з селекторами за замовчуванням на основі атрибута ID .
Відомі проблеми й обмеження
Якщо ви виберете «Додати елемент інтерфейсу», наведете курсор миші на все вікно та вирішите захопити елемент інтерфейсу на основі тексту, буде створено селектор за замовчуванням. Цей селектор включає атрибут Process , окрім Name.
Комбінація змінної та оператора, відмінного від Qual, генерує селектор, який відображається у власному текстовому редакторі замість візуального конструктора. Ця функціональність дозволяє уникнути існуючого обмеження, яке робить наведену вище комбінацію нефункціональною у візуальному конструкторі.