Rejestrowanie przepływów pulpitu

Power Automate umożliwia automatyczne projektowanie przepływów pulpitu poprzez replikowanie zadań, które chcesz zautomatyzować.

Nagrywanie przepływów pulpitu i przepływów internetowych

Aby nagrać przepływ automatyzujący aplikacje klasyczne i/lub internetowe:

1. Utwórz nowy przepływ pulpitu i wybierz opcję Rejestrator na pasku narzędzi projektanta przepływów.

   

2. Wybierz opcję Nagraj w oknie rejestratora i rozpocznij wykonywanie żądanych akcji w odpowiedniej aplikacji lub na stronie internetowej.

   

   Rejestrator pozwala śledzić działanie myszy i klawiatury w stosunku do elementów interfejsu użytkownika i rejestruje każdą akcję oddzielnie. Podczas każdej sesji nagrywania rejestrator może tworzyć zarówno akcje automatyzacji interfejsu użytkownika, jak i przeglądarki.

   Notatka

   Gdy podczas nagrywania klikniesz lewym lub prawym przyciskiem myszy element interfejsu użytkownika, zakreślacz wyświetli komunikat Czekaj na działanie, instruując Cię, aby poczekać, aż rejestrator zarejestruje i wstawi działanie.

   

   Aby wyświetlić dostępne akcje dla określonego elementu, kliknij go prawym przyciskiem myszy, aby otworzyć menu kontekstowe. Dostępne opcje zależą od charakteru wybranego elementu.

   

3. Po zakończeniu przetwarzania nagrania wybierz przycisk Gotowe, aby przekonwertować zarejestrowane kroki na akcje przepływu pulpitu. Wszystkie elementy UI użyte w wygenerowanym UI i akcjach automatyzacji stron internetowych są automatycznie dodawane do panelu elementów UI. Więcej informacji na temat elementów UI można znaleźć w Automatyzacja z wykorzystaniem elementów UI.

   

Aby tymczasowo wstrzymać proces rejestrowania, wybierz opcję Wstrzymaj. Aby dodać komentarz do zarejestrowanych akcji, wybierz opcję Dodaj komentarz.

Wybieranie trybu przechwytywania podczas pracy z aplikacjami komputerowymi

Rejestrator obsługuje teraz przechwytywanie selektorów UI Automation (UIA) i Microsoft Active Accessibility (MSAA). Możesz wybrać odpowiedni typ selektora w zależności od automatyzowanej aplikacji, otwierając menu Tryb przechwytywania w rejestratorze i wybierając UIA lub MSAA.

• UI Automation (UIA) to nowoczesny system ułatwień dostępu wprowadzony przez Microsoft w celu zastąpienia MSAA. Jest to zalecana technologia automatyzowania większości aplikacji systemu Windows, zwłaszcza tych utworzonych przy użyciu nowszych struktur interfejsu użytkownika, takich jak WPF, WinForms i Platforma Uniwersalna Systemu Windows (UWP). UIA oferuje bardziej niezawodne i szczegółowe informacje o elementach, ulepszone struktury hierarchiczne i większą niezawodność w scenariuszach automatyzacji. Używaj trybu przechwytywania UIA, gdy tylko jest to możliwe, aby uzyskać lepszą wydajność, łatwość konserwacji i obsługę w nowoczesnych aplikacjach komputerowych.
• Microsoft Active Accessibility (MSAA) to starsza technologia ułatwień dostępu, która poprzedza UIA. Jest on używany głównie w przypadku starszych aplikacji, które nie uwidaczniają elementów UIA, takich jak starsze aplikacje systemu Windows utworzone przy użyciu technologii takich jak VB6 lub klasyczny Win32. Chociaż MSAA zapewnia mniej szczegółów i struktury niż UIA, jest to niezbędne do włączenia automatyzacji w środowiskach, w których UIA nie jest dostępne. Użyj trybu przechwytywania MSAA w przypadku ukierunkowania na starsze lub niestandardowe aplikacje, które nie uwidaczniają swoich składników interfejsu użytkownika za pośrednictwem UIA.

Replikuj kroki przeciągania i upuszczania

Rejestrator obsługuje kroki związane z przeciąganiem i upuszczaniem wskaźnika myszy; z tego powodu będzie on generować akcje, takie jak Zmień rozmiar okna i Przenieś okno. Obecnie jednak element Przeciągnij i upuść element interfejsu użytkownika akcji okna nie jest obsługiwany.

Obsługa list rozwijanych

Podczas automatyzowania aplikacji klasycznych i internetowych za pomocą rejestratora może być konieczna obsługa list rozwijanych.

Rejestrator Power Automate wyświetla niestandardowy ekran za każdym razem, gdy wybierzesz listę rozwijaną i pomaga Ci wybrać żądane wartości. Ten niestandardowy ekran pozwala wybrać jedną lub więcej wartości w zależności od tego, czy lista rozwijana jest wielokrotnego wyboru.

W czasie wykonywania usługa Power Automate automatycznie wybiera zdefiniowane wartości i wybiera przycisk OK.

Uruchamianie przeglądarki internetowej

Aby uruchomić wystąpienie przeglądarki internetowej podczas rejestrowania przepływów internetowych, można stosować trzy różne podejścia oparte na scenariuszu automatyzacji.

Pierwsza metoda polega na wybraniu ikony kropek po prawej stronie okna dialogowego rejestratora, a następnie opcji Uruchom nową przeglądarkę internetową. Można wybierać między przeglądarkami Microsoft Edge, Google Chrome, Mozilla Firefox i Microsoft Internet Explorer.

Po wybraniu odpowiedniej przeglądarki rejestrator automatycznie wykrywa załadowaną stronę internetową i odpowiednio skonfiguruje krok uruchamiania przeglądania.

Alternatywnym sposobem uruchomienia przeglądarki jest rozpoczęcie rejestrowania w już otwartej przeglądarce internetowej. Rejestrator automatyczne wykrywa załadowaną stronę i tworzy akcję uruchamiania przeglądarki.

Ostatnią metodą uruchomienia przeglądarki jest ręczne uruchomienie za pomocą skrótu na pulpicie, w menu Start, na pasku zadań lub w folderze. Po wdrożeniu tego podejścia rejestrator generuje akcje automatyzacji interfejsu użytkownika, które wybierają skrót przeglądarki i ją uruchamiają.

Obsługa s wyboru dat i kolorów na stronach sieci Web

Podobnie jak listy rozwijane, rejestrator Power Automate wyświetla niestandardowe ekrany, które ułatwiają obsługę selektorów dat i kolorów na stronach internetowych.

W przypadku interakcji z s pickerem daty otwierane jest pole tekstowe, w którym można wstawić żądaną datę w określonym formacie.

Ekran niestandardowy zostanie wyświetlony dla następujących typów danych wejściowych HTML:

• data
• data i godzina — lokalne
• miesiąca
• time
• tydz.

Podobnie podczas interakcji z próbnikiem kolorów rejestrator otwiera pole tekstowe, w którym można wypełnić żądany kod szesnastkowy koloru.

Dodawanie tekstu za pomocą IME (Input Method Editor)

Input Method Editors (IME) to składniki oprogramowania umożliwiające użytkownikom wprowadzanie tekstu w językach, których nie można łatwo przedstawiać na standardowej klawiaturze QWERTY. Użytkownicy mogą wpisywać kombinacje klawiszy, a program IME wygeneruje znak lub listę znaków różnych typów, które będą zgodne kombinacją.

Usługa Power Automate dla komputerów stacjonarnych w trakcie procedury rejestrowania przepływu obsługuje korzystanie z edytorów IME. Aby wypełnić pole tekstowe przy użyciu IME:

1. Kliknij prawym przyciskiem myszy pole tekstowe i w wyświetlonym menu wybierz polecenie Wypełnij pole tekstowe.

   

2. Żądany tekst zostanie wypełniony w oknie dialogowym za pomocą edytora IME.

   

3. Wybierz opcję Dodaj tekst, aby wygenerować odpowiedni krok w oknie Rejestrator.

   

Nagranie oparte na obrazie

W niektórych przypadkach analiza może nie rejestrować akcji w określonych aplikacjach, które nie spełniają odpowiednich wymagań technicznych. Te aplikacje mogą nie ujawniać swojego interfejsu dostępności API lub mieć inne ograniczenia techniczne blokowane przez proces rejestracji.

Jako alternatywny sposób rejestrowania przepływów, usługa Power Automate dla komputerów stacjonarnych zapewnia nagrywanie oparte na obrazie. Do znalezienia określonych elementów na ekranie i wyodrębnienia tekstu na podstawie obrazu jest używane rozpoznawanie obrazów i rozpoznawanie OCR.

Aby rejestrować przepływy przy użyciu obrazów:

1. Utwórz nowy przepływ pulpitu i wybierz opcję Rejestrator na pasku narzędzi projektanta przepływów.

   

2. Wybierz ikonę kropek po prawej stronie okna dialogowego rejestratora, a następnie włącz rejestrowanie obrazów. Po włączeniu tej opcji należy wybrać opcję Nagraj, aby rozpocząć rejestrowanie z użyciem rozpoznawania obrazów.

   

   Po kliknięciu elementu obraz jest automatycznie przechwytywany i zapisywany z domyślną edytowalna nazwą. Aby wyświetlić podgląd przechwyconego obrazu, ustaw kursor lub wybierz ikonę podglądu.

   

Wyodrębnianie tekstu przy użyciu rejestrowania opartego na obrazach

Aby wyodrębnić wartość tekstową podczas używania rejestrowania obrazów:

1. Prawym przyciskiem myszy kliknij ekran i wybierz polecenie Wyodrębnij tekst ze obrazu.

   

2. Zaczekaj na wyskakujące okienko z monitem o wybranie obszaru tekstowego.

   

3. Wybierz obszar tekstu, z którego będzie wyodrębniony tekst przy użyciu aparatu Tesseract OCR.

   

4. Zaczekaj na wyskakujące okienko z monitem o wybranie obszaru zakotwiczenia.

   

5. Wybierz obszar zakotwiczenia, który ma się nie zmieniać, np. etykieta obok pola.

   

Nagrywanie a budowanie przepływu na pulpicie

Po zakończeniu rejestrowania można ręcznie edytować wszystkie akcje utworzone za pośrednictwem urządzenia. Użyj rejestratora w środowisku pulpitu, który jest już opracowywany, aby dodać do niego zarejestrowane kroki.

Uwaga

Użyj rejestratora, aby utworzyć szkielet przepływu. Niektóre proste zadania mogą nie wymagać dalszej edycji, jednak większość nagranych zadań należy zmodyfikować, aby uzyskać optymalne wyniki. Pewne typy akcji, takie jak warunki i pętle, nie mogą być rejestrowane. Ponadto mogą istnieć zbędne akcje w nagraniu, które powinny zostać usunięte.

Znane problemy i ograniczenia

• Problem: rejestrator może nie nagrać wszystkich kroków z menu Start systemu Windows lub paska zadań.

  Obejścia: brak

• Problem: podczas uruchamiania przepływu utworzonego przy użyciu rejestrowania opartego na obrazach kliknięcie może zostać wysłane w niewłaściwe miejsce.

  Obejścia: edytuj automatycznie wygenerowaną akcję Przenieś mysz na obraz za pośrednictwem projektanta przepływów i zmniejsz parametr tolerancji w ustawieniach zaawansowanych.

• Problem: wyskakujące okienko Wyodrębnianie tekstu z obrazu, które pojawia się po wysłaniu kliknięcia prawym przyciskiem myszy przy użyciu rejestratora, może ukryć się za wyskakującym okienkiem aplikacji.

  Obejścia: wyślij kliknięcie prawym przyciskiem myszy do innego miejsca na ekranie.

• Problem: żadne naciśnięcia klawiszy wysyłane do zmaksymalizowanego okna RDP za pośrednictwem rejestrowania opartego na obrazach nie są nagrywane.

  Obejścia: zmiana rozmiaru okna RDP tak, aby nie zakrywało pełnego ekranu.