UI-Elemente und Bilder verwalten

  • 8 Minuten

Die Automatisierung von Aufgaben erfordert normalerweise die Interaktion mit Software von Drittanbietern, Anwendungsfenstern, Webseiten oder anderen Elementen auf dem Bildschirm. Um solche Elemente zu identifizieren, werden Informationen zu diesen in einem Flow gespeichert – Steuerelemente, die zur Interaktion mit UI-Elementen und Webseiten herangezogen werden, sowie Bilder, die für Aktionen zur Bilderkennung verwendet werden können.

Beide befinden sich oben rechts im Designerfenster. Durch Auswahl einer der entsprechenden Registerkarten wird die jeweilige Liste der Elemente geöffnet:

Screenshot der Registerkarten „UI-Elemente“ und „Bilder“

UI-Elemente

UI-Elemente werden von Power Automate für Desktop verwendet, um Anwendungsfenster und deren Komponenten zu identifizieren.

Nehmen Sie beispielsweise an, ein Flow muss eine Zelle auswählen und den Text darin fett formatieren. Sie müssen zwei UI-Elemente extrahieren, eines für die Zelle und eines für die Schaltfläche „Fett“, um diese Funktionalität zu erreichen.

Wählen Sie auf der Registerkarte „UI-Elemente“ die Option UI-Element hinzufügen aus, um das Toll zu starten, mit dem Power Automate für Desktop UI-Elemente extrahiert. Wenn Sie mit dem Cursor über ein Element fahren, wird es automatisch hervorgehoben.

Durch Klicken bei gedrückter STRG-Taste wird das hervorgehobene Element erfasst. Für dieses Beispiel müssen Sie ein UI-Element für die Schaltfläche „Fett“ und eines für die Zelle erfassen.

Screenshot des Fensters „Verfolgungssitzung“ mit der Zelle und der ausgewählten Schaltfläche „Fett“

Wenn alle erforderlichen Elemente erfasst sind, drücken Sie Fertig. Die erfassten Elemente werden im Bereich „UI-Elemente“ angezeigt.

Screenshot des Bereichs der UI-Elemente der Zelle und der Schaltfläche „Fett“

Fügen Sie zwei Aktionen Schaltfläche im Fenster drücken hinzu, und wählen Sie die UI-Elemente aus, die Sie in den vorherigen Schritten erfasst haben.

Screenshot des Dialogfelds der Aktionseigenschaften zu „Schaltfläche im Fenster drücken“

Nachdem Sie die entsprechenden UI-Elemente ausgewählt haben, werden Aktionen konfiguriert, um auf die Zelle oder die Schaltfläche zu klicken.

Screenshot des Dialogfelds der ausgefüllten Aktionseigenschaften zu „Schaltfläche im Fenster drücken“

Bilder

Bilder können ebenso wie UI-Elemente dem Flow hinzugefügt und in verwandten Aktionen verwendet werden.

Durch Klicken auf die Schaltfläche Neues Bild erfassen ändert sich der Cursor, sodass Benutzer ein Bild auswählen können, das detailliert extrahiert werden soll:

Screenshot des Cursors zum Erfassen des Bildes mit Fadenkreuzen

Nachdem das Bild einen Namen erhalten hat, kann es in Bilderkennungsaktionen wie Maus zu Bild bewegen verwendet werden:

Screenshot des Dialogfelds mit den Aktionseigenschaften „Maus zu Bild bewegen“

Screenshot des Popups des Steuerungs-Repositorys für Aktionseigenschaften mit ausgewähltem Symbol „Einfügen“

Screenshot des Dialogfelds mit den Aktionseigenschaften „Maus zu Bild bewegen“ mit dem durch das Symbol „Hinzufügen“ hinzugefügten Bild

Wenn die Aktion auf diese Weise konfiguriert wird, sucht sie nach einem passenden Bild in der Anzeige und bewegt dann den Mauszeiger darauf.