Desktop-Flows aufzeichnen

Mit Power Automate Desktop können Sie Desktop-Flows automatisch entwerfen, indem Sie die Aufgabe replizieren, die Sie automatisieren möchten.

Desktop-Flows und Web-Flows aufzeichnen

So zeichnen Sie einen Flow auf, der Desktop- und/oder Webanwendungen automatisiert:

1. Erstellen Sie einen neuen Desktop-Flow und wählen Sie Rekorder in der Symbolleiste des Flow-Designers.

   

2. Wählen Sie Aufzeichnen im Rekorder-Fenster und führen Sie die gewünschten Aktionen in der entsprechenden Anwendung oder Webseite aus.

   

   Der Rekorder verfolgt die Maus- und Tastaturaktivitäten in Bezug auf die Elemente der Benutzeroberfläche und zeichnet jede Aktion separat auf. Während jeder Aufzeichnungssitzung kann der Rekorder sowohl UI- als auch Browser-Automatisierungsaktionen erzeugen.

   Anmerkung

   Wenn Sie während der Aufzeichnung mit der linken oder rechten Maustaste auf ein UI-Element klicken, zeigt der Textmarker Warten Sie auf Aktion Meldung an, die Sie anweist, zu warten, bis der Rekorder die Aktion aufzeichnet und einfügt.

   

   Um die verfügbaren Aktionen für ein bestimmtes Element anzuzeigen, klicken Sie mit der rechten Maustaste darauf, um das Kontextmenü zu öffnen. Die verfügbaren Optionen hängen von der Art des ausgewählten Elements ab.

   

3. Wenn der Aufzeichnungsprozess abgeschlossen ist, wählen Sie Fertig aus, um die aufgezeichneten Schritte in Desktop-Flow-Aktionen zu konvertieren. Alle in den generierten UI- und Webautomatisierungsaktionen verwendeten UI-Elemente werden automatisch dem UI-Elemente-Bereich hinzugefügt. Weitere Informationen zu Benutzeroberflächenelementen finden Sie in Mithilfe von Elementen der Benutzeroberfläche automatisieren.

   

Um den Datensatz vorübergehend anzuhalten, wählen Sie Pause. Um einen Kommentar zu den aufgezeichneten Aktionen hinzuzufügen, wählen Sie Kommentar hinzufügen.

Auswählen eines Aufnahmemodus bei der Arbeit mit Desktop-Anwendungen

Der Rekorder unterstützt jetzt die Erfassung sowohl der UIA- als auch der MSAA-Selektoren (Microsoft Active Accessibility). Sie können den entsprechenden Auswahltyp basierend auf der Anwendung, die Sie automatisieren möchten, auswählen, indem Sie das Menü Aufnahmemodus im Rekorder öffnen und entweder UIA oder MSAA auswählen.

• UI-Automatisierung (UIA) ist das moderne Framework für Barrierefreiheit, das von Microsoft eingeführt wurde, um MSAA zu ersetzen. Es handelt sich um die empfohlene Technologie für die Automatisierung der meisten Windows-Anwendungen, insbesondere solcher, die mit neueren Benutzeroberflächenframeworks wie WPF, WinForms und der universellen Windows-Plattform (UWP) erstellt wurden. UIA bietet robustere und detailliertere Elementinformationen, verbesserte Hierarchiestrukturen und mehr Zuverlässigkeit in Automatisierungsszenarien. Verwenden Sie, wann immer möglich, den UIA-Erfassungsmodus, um eine bessere Leistung, Wartbarkeit und Unterstützung für moderne Desktopanwendungen zu erzielen.
• Microsoft Active Accessibility (MSAA) ist eine ältere Barrierefreiheitstechnologie, die UIA vorausgeht. Es wird hauptsächlich für Legacy-Anwendungen verwendet, die keine UIA-Elemente verfügbar machen, z. B. ältere Windows-Anwendungen, die mit Technologien wie VB6 oder dem klassischen Win32 erstellt wurden. MSAA bietet zwar weniger Details und Struktur als UIA, ist aber unerlässlich, um die Automatisierung in Umgebungen zu ermöglichen, in denen UIA nicht verfügbar ist. Verwenden Sie den MSAA-Erfassungsmodus, wenn Sie auf ältere oder benutzerdefinierte Anwendungen abzielen, die ihre Benutzeroberflächenkomponenten nicht über UIA verfügbar machen.

Replizieren Sie Drag-and-Drop-Schritte

Der Rekorder unterstützt Schritte im Zusammenhang mit dem Ziehen und Ablegen des Mauszeigers; Daher kann der Rekorder Aktionen wie Fenstergröße ändern und Fenster verschieben generieren. Allerdings ist die Drag-and-Drop-UI-Element eines Fensters Aktion jedoch derzeit nicht unterstützt.

Behandeln Sie Dropdown-Listen

Bei der Automatisierung von Desktop- und Webanwendungen mit dem Rekorder müssen Sie möglicherweise auch Dropdownlisten verarbeiten.

Der Power Automate Rekorder zeigt jedes Mal, wenn Sie eine Dropdown-Liste auswählen, einen benutzerdefinierten Bildschirm an und hilft Ihnen bei der Auswahl der gewünschten Werte. Auf diesem benutzerdefinierten Bildschirm können Sie einen oder mehrere Werte auswählen, je nachdem, ob es sich bei der Dropdown-Liste um eine Mehrfachauswahl handelt.

Während der Laufzeit wählt Power Automate automatisch die definierten Werte und wählt die OK Schaltfläche aus.

Starten Sie einen Webbrowser

Um eine Webbrowser-Instanz zu starten, während Sie Web Flows aufzeichnen, können Sie je nach Automatisierungsszenario drei verschiedene Ansätze verwenden.

Die erste Methode besteht darin, das Symbol mit den Punkten auf der rechten Seite des Schreiberdialogs zu wählen und dann Neuen Webbrowser starten. Sie haben die Wahl zwischen Microsoft Edge, Google Chrome, Mozilla Firefox und Microsoft Internet Explorer.

Nach der Auswahl des richtigen Browsers erkennt der Rekorder die geladene Webseite automatisch und konfiguriert dann den startenden Browsingschritt entsprechend.

Eine Alternative ist, die Aufzeichnung in einem bereits geöffneten Webbrowser zu starten. Der Rekorder erkennt automatisch die geladene Seite und erstellt dann einen Datensatz zum Starten der Browseraktion.

Die letzte Methode zum Starten eines Browsers besteht darin, ihn manuell über seine Verknüpfung auf dem Desktop, im Startmenü, in der Taskleiste oder in einem Ordner zu starten. Wenn Sie diesen Ansatz implementieren, generiert der Datensatz UI-Automatisierungsaktionen, die die Browserverknüpfung auswählt und diese startet.

Behandeln Sie Datums- und Farbwähler auf Webseiten

Wie Dropdown-Listen zeigt der Power Automate Recorder benutzerdefinierte Bildschirme an, die Ihnen bei der Handhabung von Datums- und Farbwählern auf Webseiten helfen.

Wenn Sie mit einer Datumsauswahl interagieren, öffnet der Rekorder ein Textfeld, in das Sie das gewünschte Datum im angegebenen Format einfügen können.

Der benutzerdefinierte Bildschirm wird für die folgenden HTML-Eingabetypen angezeigt:

• date
• datetime-local
• Monat
• Uhrzeit
• Woche

Wenn Sie mit einem Farbauswähler interagieren, öffnet der Rekorder ein Textfeld, in das Sie das gewünschte Datum im gewünschten Hex-Code eingeben können.

Fügen Sie Text mit Input Method Editors (IMEs) hinzu.

Eingabemethoden-Editoren (IMEs) sind Softwarekomponenten, die es Benutzern ermöglichen, Text in Sprachen einzugeben, die auf einer Standard-QWERTZ-Tastatur nicht einfach dargestellt werden können. Benutzer können Tastenkombinationen eingeben, und die IMEs generieren ein Zeichen oder eine Liste von Kandidatenzeichen, die mit der festgelegten Tastenkombination übereinstimmen.

Power Automate für Desktop unterstützt die Verwendung von IMEs während der Aufzeichnung von Flows. So füllen Sie ein Textfeld mit einem IME aus:

1. Klicken Sie mit der rechten Maustaste auf Textfeld ausfüllen auf dem angezeigten Menü.

   

2. Füllen Sie das Popup-Dialogfeld mit dem gewünschten Text aus, indem Sie einen IME verwenden.

   

3. Wählen Sie Text hinzufügen, um den entsprechenden Schritt im Fenster Recorder zu erzeugen.

   

Bildbasierte Datensätze

Bei bestimmten Anwendungen, die nicht die entsprechenden technischen Voraussetzungen erfüllen, kann es vorkommen, dass der Rekorder keine Aktionen aufzeichnet. Dies kann daran liegen, dass diese Anwendungen ihre Barrierefreiheits-API nicht offenlegen oder andere technische Einschränkungen aufweisen, die den Aufzeichnungsvorgang blockieren.

Als Alternative für die Aufzeichnung von Flows bietet Power Automate für Desktop eine bildbasierte Aufzeichnung. Die bildbasierte Aufzeichnung verwendet Bilderkennung und OCR, um bestimmte Elemente auf dem Bildschirm zu lokalisieren und Text zu extrahieren.

So zeichnen Sie Flows mit Bildern auf:

1. Erstellen Sie einen neuen Desktop-Flow und wählen Sie Rekorder in der Symbolleiste des Flow-Designers.

   

2. Wählen Sie das Symbol mit den Punkten auf der rechten Seite des Recorder-Dialogs und aktivieren Sie dann Bildaufzeichnung. Nachdem Sie diese Option aktiviert haben, wählen Sie Aufzeichnen, um die Aufzeichnung von Datensätzen mithilfe der Bilderkennung zu starten.

   

   Wenn Sie auf ein Element klicken, wird automatisch ein Bild erfasst und mit einem editierbaren Standardnamen gespeichert. Um eine Vorschau des aufgenommenen Bildes zu erhalten, bewegen Sie den Mauszeiger oder wählen Sie das Symbol Vorschau.

   

Extrahieren Sie Text mit bildbasierten Datensätzen

So extrahieren Sie einen Textwert mit der Bildaufzeichnung:

1. Führen Sie einen Rechtsklick auf den Bildschirm aus und wählen Sie Text aus Bild extrahieren.

   

2. Warten Sie auf eine Popup-Nachricht, die Sie dazu auffordert, einen Textbereich auszuwählen.

   

3. Wählen Sie den Textbereich, aus dem der Text mit Hilfe der Tesseract OCR-Engine extrahiert werden soll.

   

4. Warten Sie auf eine Popup-Nachricht, die Sie auffordert, einen Ankerbereich auszuwählen.

   

5. Wählen Sie einen Ankerbereich, der sich voraussichtlich nicht ändern wird, z.B. das Label neben einem Feld.

   

Aufzeichnen vs. Erstellen eines Desktop-Flows

Sie können alle durch den Datensatz erstellten Aktionen manuell bearbeiten, sobald die Aufzeichnung abgeschlossen ist. Verwenden Sie den Rekorder in einem Desktop Flow, der sich bereits in der Entwicklung befindet, um die aufgezeichneten Schritte hinzuzufügen.

Notiz

Verwenden Sie den Rekorder, um das Grundgerüst Ihres Flows zu erstellen. Bestimmte einfache Aufgaben erfordern möglicherweise keine weitere Bearbeitung, die meisten aufgezeichneten Aufgaben sollten jedoch geändert werden, um optimale Ergebnisse zu erzielen. Bestimmte Arten von Aktionen, wie z.B. Bedingungen und Schleifen, können nicht aufgezeichnet werden. Möglicherweise gibt es auch überflüssige Aktionen in einem Datensatz, die entfernt werden sollten.

Bekannte Probleme und Einschränkungen

• Problem: Der Rekorder nimmt möglicherweise nicht alle Schritte aus dem Windows Startmenü oder der Taskleiste auf.

  Abhilfen: Keine

• Problem: Bei der Ausführung eines Flows, der durch die bildbasierte Aufzeichnung erstellt wurde, wird der Klick möglicherweise an die falsche Stelle gesendet.

  Abhilfen: Bearbeiten Sie die automatisch generierte Aktion Maus zum Bild bewegen über den Flow Designer und verringern Sie den Parameter Toleranz in den Erweiterten Einstellungen.

• Problem: Das Popup-Fenster Text aus Bild extrahieren, das nach dem Senden eines Rechtsklicks über den Rekorder erscheint, ist möglicherweise hinter dem Popup-Fenster der Anwendung verborgen.

  Abhilfen: Senden Sie den Rechtsklick an eine andere Stelle auf dem Bildschirm.

• Problem: Alle Tastenanschläge, die über eine bildbasierte Aufzeichnung an ein maximiertes RDP-Fenster gesendet werden, werden nicht aufgezeichnet.

  Abhilfen: Ändern Sie die Größe des RDP-Fensters so, dass es nicht den gesamten Bildschirm verdeckt.