Záznam desktopových toků

Power Automate vám umožňuje automaticky navrhovat desktopové toky replikací úkolů, které chcete automatizovat.

Záznam desktopových a webových toků

Chcete-li zaznamenat tok, který automatizuje desktopové nebo webové aplikace:

1. Vytvořte nový desktopový tok a vyberte Záznamník na panelu nástrojů návrháře toku.

   

2. Vyberte Záznam v okně záznamníku a začněte provádět požadované akce v příslušné aplikaci nebo webové stránce.

   

   Záznamník sleduje aktivitu myši a klávesnice ve vztahu k prvkům uživatelského rozhraní a zaznamenává každou akci samostatně. Během každé relace nahrávání může záznamník generovat akce uživatelského rozhraní i automatizace prohlížeče.

   Poznámka:

   Když během nahrávání kliknete levým nebo pravým tlačítkem na prvek uživatelského rozhraní, zvýrazňovač zobrazí zprávu Počkat na akci, která vám dá pokyn, abyste počkali, až záznamník nahraje a vloží akci.

   

   Chcete-li zobrazit dostupné akce pro konkrétní prvek, klikněte na něj pravým tlačítkem a otevřete jeho kontextovou nabídku. Dostupné možnosti závisí na povaze vybraného prvku.

   

3. Po dokončení procesu záznamu volbou Hotovo převeďte zaznamenané kroky na akce desktopových toků. Všechny prvky uživatelského rozhraní použité ve vygenerovaném uživatelském rozhraní a akcích automatizace webu se automaticky přidají do podokna prvků uživatelského rozhraní. Více informací o prvcích uživatelského rozhraní najdete v části Automatizace pomocí prvků uživatelského rozhraní.

   

Chcete-li proces nahrávání dočasně pozastavit, vyberte Pozastavit. Chcete-li přidat komentář k zaznamenaným akcím, vyberte Přidat komentář.

Výběr režimu snímání při práci s desktopovými aplikacemi

Záznamník teď podporuje zachytávání selektorů UIA (UIA) i Microsoft Active Accessibility (MSAA). Můžete zvolit vhodný typ selektoru na základě aplikace, kterou automatizujete, otevřením nabídky Režim snímání v záznamníku a výběrem buď UIA, nebo MSAA.

• Automatizace uživatelského rozhraní (UIA) je moderní architektura přístupnosti, kterou Microsoft zavedl, aby nahradila MSAA. Jedná se o doporučenou technologii pro automatizaci většiny aplikací pro Windows, zejména těch, které jsou vytvořeny pomocí novějších architektur uživatelského rozhraní, jako jsou WPF, WinForms a Universal Windows Platform (UWP). UIA nabízí robustnější a podrobnější informace o prvcích, vylepšené hierarchické struktury a větší spolehlivost ve scénářích automatizace. Kdykoli je to možné, používejte režim snímání UIA pro lepší výkon, udržovatelnost a podporu napříč moderními desktopovými aplikacemi.
• Microsoft Active Accessibility (MSAA) je starší technologie přístupnosti, která předcházela UIA. Používá se primárně pro starší aplikace, které nezpřístupňují prvky UIA, jako jsou starší aplikace Windows vytvořené pomocí technologií, jako je VB6 nebo klasický Win32. I když rozhraní MSAA poskytuje méně podrobností a struktury než UIA, je nezbytné pro umožnění automatizace v prostředích, kde UIA není k dispozici. Režim zachytávání rozhraní MSAA použijte při cílení na starší nebo vlastní aplikace, které nezpřístupňují své komponenty uživatelského rozhraní prostřednictvím UIA.

Replikace kroků přetažení

Záznamník podporuje kroky související s přetažením ukazatele myši; záznamník tedy může generovat akce, například Změnit velikost okna a Přesunout okno. Aktuálně nicméně není podporována akce Přetáhnout prvek uživatelského rozhraní okna.

Zacházení s rozevíracími seznamy

Při automatizaci desktopových a webových aplikací pomocí záznamníku možná budete muset zpracovat rozevírací seznamy.

Záznamník Power Automate zobrazí vlastní obrazovku pokaždé, když vyberete rozevírací seznam, a pomůže vám vybrat požadované hodnoty. Tato uživatelská obrazovka umožňuje vybrat jednu nebo více hodnot v závislosti na tom, zda je rozevírací seznam vícenásobný.

Za běhu Power Automate automaticky vybere definované hodnoty a vybere tlačítko OK.

Spustit webový prohlížeč

Chcete-li spustit instanci webového prohlížeče při zaznamenávání webových toků, můžete použít tři různé přístupy založené na scénáři automatizace.

První metodou je vybrat ikonu teček na pravé straně dialogu záznamníku a poté Spustit nový webový prohlížeč. Můžete si vybrat mezi Microsoft Edge, Google Chrome, Mozilla Firefox a Microsoft Internet Explorer.

Po výběru správného prohlížeče záznamník automaticky detekuje načtenou webovou stránku a podle toho nakonfiguruje krok spouštění procházení.

Alternativním způsobem spuštění prohlížeče je spuštění nahrávání v již otevřeném webovém prohlížeči. Záznamník automaticky rozpozná načtenou stránku a vytvoří spouštěcí akci prohlížeče.

Poslední metodou, jak spustit prohlížeč, je ruční spuštění prostřednictvím jeho zástupce na ploše, v nabídce Start, na hlavním panelu nebo ve složce. Pokud implementujete tento přístup, záznamník vygeneruje akce automatizace uživatelského rozhraní, které kliknou na zástupce prohlížeče a spustí ho.

Práce s výběrem data a barvy na webových stránkách

Stejně jako rozbalovací seznamy záznamník Power Automate zobrazuje vlastní obrazovky, které vám pomohou zvládnout výběr data a barvy na webových stránkách.

Když komunikujete s nástrojem pro výběr data, záznamník otevře textové pole, do kterého můžete vložit požadované datum v určeném formátu.

Vlastní obrazovka se zobrazí pro následující typy vstupu HTML:

• datum
• datetime-local
• měs
• čas
• t

Podobně, když komunikujete s nástrojem pro výběr barvy, záznamník otevře textové pole, do kterého můžete zadat požadovaný hexadecimální kód barvy.

Přidání textu pomocí editorů IME (Input Method Editor)

Editory IME (Input Method Editors) jsou softwarové komponenty, které uživatelům umožňují zadávat text v jazycích, které na standardní klávesnici QWERTY nelze snadno zobrazit. Uživatelé mohou psát kombinace kláves a IME vygenerují znak nebo seznam kandidátních znaků, které odpovídají sadě stisků kláves.

Power Automate pro desktopy podporuje použití editorů IME během postupu zaznamenávání toku. Naplnění textového pole pomocí editoru IME:

1. Klikněte pravým tlačítkem na textové pole a vyberte Vyplnit textové pole v zobrazené nabídce.

   

2. Vyplňte rozbalovací dialog požadovaným textem pomocí editoru IME.

   

3. Vyberte Přidat text k vygenerování příslušného kroku v oknu Záznamník.

   

Záznam na základě obrazu

V některých případech nemusí rekordér zaznamenat akce ve specifických aplikacích, které nesplňují příslušné technické požadavky. Tyto aplikace nemusí vystavovat své API přístupnosti nebo mohou mít jiná technická omezení, která blokují proces nahrávání.

Jako alternativní způsob zaznamenávání toků nabízí Power Automate pro desktopy záznam na základě obrázku. Záznam založený na obrazu využívá rozpoznávání obrazu a OCR k vyhledání konkrétních prvků na obrazovce a extrakci textu.

Chcete-li zaznamenat toky pomocí obrázků:

1. Vytvořte nový desktopový tok a vyberte Záznamník na panelu nástrojů návrháře toku.

   

2. Vyberte ikonu teček na pravé straně dialogového okna záznamníku a poté ji povolte Záznam obrazu. Po povolení této možnosti vyberte Záznam pro zahájení nahrávání akcí pomocí rozpoznávání obrazu.

   

   Po kliknutí na prvek se snímek automaticky pořídí a uloží se s výchozím upravitelným názvem. Chcete-li zobrazit náhled zachyceného obrázku, umístěte kurzor myši nebo vyberte ikonu náhledu.

   

Extrahování textu pomocí záznamu založeného na obrázcích

Postup extrahování textové hodnoty při záznamu obrazu:

1. Proveďte kliknutí pravým tlačítkem myši na obrazovce a vyberte Extrahovat text z obrázku.

   

2. Počkejte na vyskakovací zprávu, která vás vyzve k výběru textové oblasti.

   

3. Vyberte textovou oblast, ze které bude text extrahován pomocí stroje Tesseract OCR.

   

4. Počkejte na vyskakovací zprávu, která vás vyzve k výběru oblasti ukotvení.

   

5. Vyberte oblast ukotvení, u níž se neočekává, že se změní, například štítek vedle pole.

   

Záznam vs vytvoření desktopového toku

Po dokončení záznamu můžete ručně upravit jakékoli akce vytvořené pomocí rekordéru. Pomocí záznamníku v desktopovém toku, který je již ve vývoji, přidejte zaznamenané kroky.

Poznámka:

Pomocí záznamníku vytvořte páteř svého toku. Některé jednoduché úkoly nemusí vyžadovat další úpravy, nicméně většina zaznamenaných úkolů by měla být upravena, aby bylo dosaženo optimálních výsledků. Některé typy akcí, jako jsou podmínky a smyčky, nelze zaznamenat. V záznamu mohou být také nadbytečné akce, které by měly být odstraněny.

Známé problémy a omezení

• Problém: Záznamník nemusí zaznamenat všechny kroky z nabídky Start nebo systémové lišty Windows.

  Řešení: Žádné

• Problém: Při spuštění toku vytvořeného prostřednictvím záznamu založeného na obrázku může být kliknutí odesláno na nesprávné místo.

  Řešení: Upravte automaticky vygenerovanou akci Přesunout myš na obrázek prostřednictvím návrháře toku a snižte parametr Tolerance v Pokročilém nastavení.

• Problém: Vyskakovací okno Extrahovat text z obrázku, které se objeví po odeslání kliknutí pravým tlačítkem pomocí záznamníku, se může skrývat za vyskakovacím oknem aplikace.

  Řešení: Klikněte pravým tlačítkem myši na jiné místo na obrazovce.

• Problém: Žádné stisky kláves odeslané do maximalizovaného okna RDP prostřednictvím záznamu založeného na obrázku se nezaznamenávají.

  Řešení: Změňte velikost okna RDP tak, aby nepokrývalo celou obrazovku.