Desktop-Flows aufzeichnen

Mit Power Automate Desktop können Sie Desktop-Flows automatisch entwerfen, indem Sie die Aufgabe replizieren, die Sie automatisieren möchten.

Desktop-Flows und Web-Flows aufzeichnen

So zeichnen Sie einen Flow auf, der Desktop- und/oder Webanwendungen automatisiert:

  1. Erstellen Sie einen neuen Desktop-Flow und wählen Sie Rekorder in der Symbolleiste des Flow-Designers.

    Screenshot der Schaltfläche Datensatz.

  2. Wählen Sie Aufzeichnen im Rekorder-Fenster und führen Sie die gewünschten Aktionen in der entsprechenden Anwendung oder Webseite aus.

    Screenshot der Schaltfläche Datensatz.

    Der Rekorder verfolgt die Maus- und Tastaturaktivitäten in Bezug auf die Elemente der Benutzeroberfläche und zeichnet jede Aktion separat auf. Während jeder Aufzeichnungssitzung kann der Rekorder sowohl UI- als auch Browser-Automatisierungsaktionen erzeugen.

    Notiz

    Wenn Sie während der Aufzeichnung mit der linken oder rechten Maustaste auf ein UI-Element klicken, zeigt der Textmarker Warten Sie auf Aktion Meldung an, die Sie anweist, zu warten, bis der Rekorder die Aktion aufzeichnet und einfügt.

    Screenshot von einigen aufgezeichneten Schritten.

    Um die verfügbaren Aktionen für ein bestimmtes Element anzuzeigen, klicken Sie mit der rechten Maustaste darauf, um das Kontextmenü zu öffnen. Die verfügbaren Optionen hängen von der Art des ausgewählten Elements ab.

    Screenshot des Kontextmenüs der Aufnahme.

  3. Wenn der Aufzeichnungsprozess abgeschlossen ist, wählen Sie Fertig aus, um die aufgezeichneten Schritte in Desktop-Flow-Aktionen zu konvertieren. Alle in den generierten UI- und Webautomatisierungsaktionen verwendeten UI-Elemente werden automatisch dem UI-Elemente-Bereich hinzugefügt. Weitere Informationen zu Benutzeroberflächenelementen finden Sie in Mithilfe von Elementen der Benutzeroberfläche automatisieren.

    Screenshot der generierten Aktionen des aufgezeichneten Flows.

Um den Datensatz vorübergehend anzuhalten, wählen Sie Pause. Um einen Kommentar zu den aufgezeichneten Aktionen hinzuzufügen, wählen Sie Kommentar hinzufügen.

Screenshot der Schaltfläche Kommentar.

Replizieren Sie Drag-and-Drop-Schritte

Der Rekorder unterstützt Schritte im Zusammenhang mit dem Ziehen und Ablegen des Mauszeigers; Daher kann der Rekorder Aktionen wie Fenstergröße ändern und Fenster verschieben generieren. Allerdings ist die Drag-and-Drop-UI-Element eines Fensters Aktion jedoch derzeit nicht unterstützt.

Behandeln Sie Dropdown-Listen

Beim Automatisieren von Desktop- und Webanwendungen mit dem Rekorder müssen Sie möglicherweise Dropdown-Listen handhaben.

Der Power Automate Rekorder zeigt jedes Mal, wenn Sie eine Dropdown-Liste auswählen, einen benutzerdefinierten Bildschirm an und hilft Ihnen bei der Auswahl der gewünschten Werte. Auf diesem benutzerdefinierten Bildschirm können Sie einen oder mehrere Werte auswählen, je nachdem, ob es sich bei der Dropdown-Liste um eine Mehrfachauswahl handelt.

Während der Laufzeit wählt Power Automate automatisch die definierten Werte und wählt die OK Schaltfläche aus.

Screenshot eines benutzerdefinierten Bildschirms für eine Dropdown-Liste.

Starten Sie einen Webbrowser

Um eine Webbrowser-Instanz zu starten, während Sie Web Flows aufzeichnen, können Sie je nach Automatisierungsszenario drei verschiedene Ansätze verwenden.

Die erste Methode besteht darin, das Symbol mit den Punkten auf der rechten Seite des Schreiberdialogs zu wählen und dann Neuen Webbrowser starten. Sie haben die Wahl zwischen Microsoft Edge, Google Chrome, Mozilla Firefox und Microsoft Internet Explorer.

Nach der Auswahl des richtigen Browsers erkennt der Rekorder die geladene Webseite automatisch und konfiguriert dann den startenden Browsing-Schritt entsprechend.

Screenshot der Option Neuen Webbrowser starten.

Eine Alternative ist, die Aufzeichnung in einem bereits geöffneten Webbrowser zu starten. Der Rekorder erkennt automatisch die geladene Seite und erstellt einen Datensatz zum Starten der Browseraktion.

Die letzte Methode zum Starten eines Browsers besteht darin, ihn manuell über seine Verknüpfung auf dem Desktop, im Startmenü, in der Taskleiste oder in einem Ordner zu starten. Wenn Sie diesen Ansatz implementieren, generiert der Datensatz UI-Automatisierungsaktionen, die auf die Browserverknüpfung klicken und diese starten.

Behandeln Sie Datums- und Farbwähler auf Webseiten

Wie Dropdown-Listen zeigt der Power Automate Recorder benutzerdefinierte Bildschirme an, die Ihnen bei der Handhabung von Datums- und Farbwählern auf Webseiten helfen.

Wenn Sie mit einer Datumsauswahl interagieren, öffnet der Rekorder ein Textfeld, in das Sie das gewünschte Datum im angegebenen Format einfügen können.

Der benutzerdefinierte Bildschirm wird für die folgenden HTML-Eingabetypen angezeigt:

  • date
  • datetime-local
  • Monat
  • Uhrzeit
  • Woche

Screenshot des benutzerdefinierten Bildschirms für die Datumsauswahl.

Wenn Sie mit einem Farbauswähler interagieren, öffnet der Rekorder ein Textfeld, in das Sie das gewünschte Datum im gewünschten Hex-Code eingeben können.

Screenshot des Farbwählers des benutzerdefinierten Bildschirms.

Fügen Sie Text mit Input Method Editors (IMEs) hinzu.

Eingabemethoden-Editoren (IMEs) sind Softwarekomponenten, die es Benutzern ermöglichen, Text in Sprachen einzugeben, die auf einer Standard-QWERTZ-Tastatur nicht einfach dargestellt werden können. Benutzer können Tastenkombinationen eingeben, und die IMEs generieren ein Zeichen oder eine Liste von Kandidatenzeichen, die mit der festgelegten Tastenkombination übereinstimmen.

Power Automate für Desktop unterstützt die Verwendung von IMEs während der Aufzeichnung von Flows. So füllen Sie ein Textfeld mit einem IME aus:

  1. Klicken Sie mit der rechten Maustaste auf Textfeld ausfüllen auf dem angezeigten Menü.

    Screenshot der Menüoption Textfeld im Fenster ausfüllen.

  2. Füllen Sie das Popup-Dialogfeld mit dem gewünschten Text aus, indem Sie einen IME verwenden.

    Screenshot des Dialogs Text hinzufügen mit IME.

  3. Wählen Sie Text hinzufügen, um den entsprechenden Schritt im Fenster Recorder zu erzeugen.

    Screenshot des generierten Textes aus einem IME im Desktop-Rekorder.

Bildbasierte Datensätze

In einigen Fällen kann es vorkommen, dass der Rekorder Aktionen in bestimmten Anwendungen, die nicht die entsprechenden technischen Voraussetzungen erfüllen, nicht erfasst. Es kann sein, dass diese Anwendungen ihre Barrierefreiheit-API nicht offenlegen oder andere technische Einschränkungen haben, die den Aufzeichnungsvorgang blockieren.

Als Alternative für die Aufzeichnung von Flows bietet Power Automate für Desktop eine bildbasierte Aufzeichnung. Die bildbasierte Aufzeichnung verwendet Bilderkennung und OCR, um bestimmte Elemente auf dem Bildschirm zu lokalisieren und Text zu extrahieren.

So zeichnen Sie Flows mit Bildern auf:

  1. Erstellen Sie einen neuen Desktop-Flow und wählen Sie Rekorder in der Symbolleiste des Flow-Designers.

    Screenshot der Schaltfläche Datensatz.

  2. Wählen Sie das Symbol mit den Punkten auf der rechten Seite des Recorder-Dialogs und aktivieren Sie dann Bildaufzeichnung. Nachdem Sie diese Option aktiviert haben, wählen Sie Aufzeichnen, um die Aufzeichnung von Datensätzen mithilfe der Bilderkennung zu starten.

    Screenshot der Schaltfläche Bilddatensatz.

    Wenn Sie auf ein Element klicken, wird automatisch ein Bild erfasst und mit einem editierbaren Standardnamen gespeichert. Um eine Vorschau des aufgenommenen Bildes zu erhalten, bewegen Sie den Mauszeiger oder wählen Sie das Symbol Vorschau.

    Screenshot der Schaltfläche Vorschau eines Bildes.

Extrahieren Sie Text mit bildbasierten Datensätzen

So extrahieren Sie einen Textwert mit der Bildaufzeichnung:

  1. Führen Sie einen Rechtsklick auf den Bildschirm aus und wählen Sie Text aus Bild extrahieren.

    Screenshot der Option Text aus Bild extrahieren.

  2. Warten Sie auf eine Popup-Nachricht, die Sie auffordert, einen Textbereich auszuwählen.

    Screenshot der Nachricht, die den Benutzer auffordert, einen Textbereich auszuwählen.

  3. Wählen Sie den Textbereich, aus dem der Text mit Hilfe der Tesseract OCR-Engine extrahiert werden soll.

    Screenshot eines ausgewählten Textbereichs.

  4. Warten Sie auf eine Popup-Nachricht, die Sie auffordert, einen Ankerbereich auszuwählen.

    Screenshot der Nachricht, die den Benutzer auffordert, einen Ankerbereich auszuwählen.

  5. Wählen Sie einen Ankerbereich, der sich voraussichtlich nicht ändern wird, z.B. das Label neben einem Feld.

    Screenshot eines Ankertextbereichs.

Aufzeichnen vs. Erstellen eines Desktop-Flows

Sie können alle durch den Datensatz erstellten Aktionen manuell bearbeiten, sobald die Aufzeichnung abgeschlossen ist. Verwenden Sie den Rekorder in einem Desktop Flow, der sich bereits in der Entwicklung befindet, um die aufgezeichneten Schritte hinzuzufügen.

Notiz

Verwenden Sie den Rekorder, um das Grundgerüst Ihres Flows zu erstellen. Bestimmte einfache Aufgaben erfordern möglicherweise keine weitere Bearbeitung, die meisten Datensätze sollten jedoch geändert werden, um optimale Ergebnisse zu erzielen. Bestimmte Arten von Aktionen, wie z.B. Bedingungen und Schleifen, können nicht aufgezeichnet werden. Möglicherweise gibt es auch überflüssige Aktionen in einem Datensatz, die entfernt werden sollten.

Bekannte Probleme und Einschränkungen

  • Problem: Der Rekorder nimmt möglicherweise nicht alle Schritte aus dem Windows Startmenü oder der Taskleiste auf.

    Abhilfen: Keine

  • Problem: Beim Ausführen eines Flows, der durch bildbasierte Aufzeichnung erstellt wurde, kann der Klick an die falsche Stelle gesendet werden.

    Abhilfen: Bearbeiten Sie die automatisch generierte Aktion Maus zum Bild bewegen über den Flow Designer und verringern Sie den Parameter Toleranz in den Erweiterten Einstellungen.

  • Problem: Das Popup-Fenster Text aus Bild extrahieren, das nach dem Senden eines Rechtsklicks über den Rekorder erscheint, kann sich hinter dem Popup-Fenster der Anwendung verstecken.

    Abhilfen: Senden Sie den Rechtsklick an eine andere Stelle auf dem Bildschirm.

  • Problem: Alle Tastenanschläge, die über eine bildbasierte Aufzeichnung an ein maximiertes RDP-Fenster gesendet werden, werden nicht aufgezeichnet.

    Abhilfen: Ändern Sie die Größe des RDP-Fensters so, dass es nicht den gesamten Bildschirm verdeckt.