Automatisering ved hjælp af UI-elementer

Desktopflows bruger elementer i brugergrænsefladen til at interagere med programmer og websider, så de ikke behøver at bruge billedgenkendelse eller absolutte koordinater. De fleste handlinger til automatisering af brugergrænsefladen og browserautomatisering bruger elementer i brugergrænsefladen som input til at identificere bestemte elementer på vinduer og websider.

Elementer i brugergrænsefladen

Når du udruller en handling til automatisering af brugergrænsefladen eller browserautomatisering, skal du muligvis angive et element i brugergrænsefladen som input. Hvis du vil tilføje et nyt element i brugergrænsefladen, kan du tilføje det direkte fra handlingsegenskaberne eller via ruden elementer i brugergrænsefladen i flowdesigneren.

Hver af disse handlingsgrupper accepterer forskellige kategorier af elementer på brugergrænsefladen. Handlinger til automatisering af brugergrænsefladen accepterer elementer på brugergrænsefladen på skrivebordet, mens browserautomatiseringshandlinger accepterer elementer på brugergrænsefladen på internettet.

Hvis du vil føje et nyt brugergrænsefladeelement til flowet, skal du vælge at tilføje et nyt brugergrænsefladeelement via en handling eller ruden med elementer på brugergrænsefladen, fremhæve det pågældende element og trykke på Ctrl + venstreklikke. Når markeringen er fuldført, skal du vælge Udført.

Bemærk

Brugergrænsefladeelementvælgeren understøtter hentning af UI Automation (UIA), Rå visning af UI Automation v3 (UIA3 Raw) og MSAA-vælgere (Microsoft Active Accessibility), når du arbejder med elementer i brugergrænsefladen på skrivebordet. Som standard fungerer vælgeren i UIA-tilstand. Du kan ændre hentningstilstanden ved hjælp af den menu, der er placeret i øverste højre hjørne af elementvælgeren for brugergrænsefladen. Vælg MSAA for at målrette ældre programmer, der ikke viser UIA-vælgere, eller UIA3 Raw, når du har brug for at vise og registrere alle mellemliggende lag i rå automatiseringstræet. Når du aktiverer MSAA- eller UIA3 Raw-tilstand, vises der et banner i vælgeren til elementer i brugergrænsefladen for at angive, at du henholdsvis registrerer MSAA eller UIA3 Raw-vælgere. Du kan få flere oplysninger om forskellen mellem UIA, UIA3 Raw og MSAA-vælgere under Elementtyper for brugergrænseflade.

Alle hentede elementer i brugergrænsefladen føjes til ruden elementer i brugergrænsefladen. Du kan få adgang til ruden med elementer på brugergrænsefladen ved at vælge fanen Elementer i brugergrænsefladen i højre side af flowdesigneren.

Du kan sortere elementer alfabetisk via indstillingen Sortér under fanen Elementer i brugergrænsefladen. Hvis du vil fjerne alle elementer i brugergrænsefladen, der ikke bruges i nogen handling, skal du vælge ikonet prikker ud for indstillingen Sortér og derefter Fjerne elementer i brugergrænsefladen, der ikke bruges.

Hvis du vil omdøbe eller slette et element på brugergrænsefladen, skal du højreklikke på det pågældende element og vælge den rette funktion.

Hvis du vil finde ud af, hvor et bestemt element i brugergrænsefladen bruges i flowet, skal du højreklikke på det og vælge Find forbrug. Resultaterne viser alle de handlinger, der bruger dette element i brugergrænsefladen. Dobbeltklik på et resultat for at fremhæve handlingen i arbejdsområdet.

Elementtyper for brugergrænseflade

Skrivebordsforløb understøtter to typer brugergrænsefladeelementer, der er baseret på kilden: elementer på brugergrænsefladen på skrivebordet og elementer på brugergrænsefladen på internettet.

Du kan hente elementer i brugergrænsefladen på skrivebordet fra et hvilket som helst Windows program, herunder ikke-websidekomponenter i browsere, f.eks. adresselinjen. I elementer i brugergrænsefladen på skrivebordet understøttes tre typer selektorer:

• UI Automation(UIA)-selektorer

  UIA er den moderne struktur for tilgængelighed, der introduceres af Microsoft til at erstatte MSAA. Det er den anbefalede teknologi til automatisering af de fleste Windows programmer, især dem, der er bygget med nyere brugergrænsefladerammer, f.eks. WPF, WinForms og Universal Windows Platform (UWP). UIA tilbyder mere robuste og detaljerede elementoplysninger, forbedrede hierarkistrukturer og større pålidelighed i automatiseringsscenarier.

  Brug UIA-selektorer, når det er muligt, for at opnå bedre ydeevne, vedligeholdelse og support på tværs af moderne skrivebordsprogrammer.

• Microsoft Active Accessibility(MSAA)-vælgere

  MSAA er en ældre tilgængelighedsteknologi, der går forud for UIA. Det bruges primært til ældre programmer, der ikke fremviser UIA-elementer, f.eks. ældre Windows programmer, der er bygget med teknologier som VB6 eller klassisk Win32. Selvom MSAA indeholder færre detaljer og struktur end UIA, er det vigtigt for at aktivere automatisering i miljøer, hvor UIA ikke er tilgængelig.

  Brug MSAA-selektorer, når du målretter ældre eller brugerdefinerede programmer, der ikke viser deres komponenter i brugergrænsefladen, via UIA.

• UIA3 Råvælgere

  UIA3 Raw er en avanceret UI Automation-baseret hentningstilstand, der bruger UIA3-strukturen til at få adgang til det rå, ufiltrerede brugergrænsefladeelementtræ. I modsætning til UIA-standardvælgere, der er afhængige af en raffineret kontrolvisning af programmet, fremviser UIA3 Raw alle elementer i hierarkiet for brugergrænsefladen, herunder mellemliggende, ikke-interaktive komponenter og komponenter på strukturniveau.

  Denne tilstand er især nyttig til automatisering af programmer med komplekse eller ikke-standardstrukturer for brugergrænsefladen, f.eks. brugerdefinerede gengivede kontrolelementer, Elektron-baserede apps eller tilfælde, hvor elementer ikke er tilgængelige via UIA-standardvælgere. UIA3 Raw kan vise yderligere hierarkilag og egenskaber, der ellers ikke er tilgængelige, hvilket muliggør mere præcis målretning i udfordrende scenarier.

  Brug UIA3 Råvælgere, når UIA-vælgere ikke pålideligt kan registrere eller identificere elementer, eller når der kræves dybere adgang til programmets brugergrænsefladestruktur.

Med valg af brugergrænsefladeelement i handlinger til automatisering af brugergrænsefladen kan du kun hente elementer i brugergrænsefladen på skrivebordet. Med en menu til hentningstilstand i øverste højre hjørne af vælgeren kan du vælge mellem UIA-, UIA3 Raw- og MSAA-tilstande. Som standard bruger vælgeren UIA, men du kan skifte til UIA3 Raw til avancerede scenarier eller MSAA, når du automatiserer ældre programmer. En synlig meddelelse i vælgeren angiver, hvornår en ikke-standardtilstand er aktiv.

Ruden Elementer i brugergrænsefladen viser hentede elementer med en indikator, der viser, om elementerne blev hentet ved hjælp af UIA, UIA3 Raw eller MSAA. Denne indikator hjælper dig med at identificere den selektortype, der bruges til hvert element i dit flow.

Vigtigt

Du kan hente elementer fra websider via valg af brugergrænsefladeelement for handlinger til automatisering af brugergrænsefladen. Men deres selektorer repræsenterer skrivebordselementer, ikke webelementer.

Du kan hente elementer i brugergrænsefladen på internettet fra websider og kun bruge dem i browserautomatiseringshandlinger.

Handlinger til browserautomatisering accepterer udelukkende elementer i brugergrænsefladen, der er indlæst fra websider. Derfor viser vælgeren af elementer i brugergrænsefladen for disse handlinger ikke eksisterende elementer i brugergrænsefladen, der er hentet fra skrivebordsprogrammer.

Du kan få flere oplysninger om skrivebords- og webautomatisering under Automatiser skrivebordsflow og Automatiser webflows.

Elementer på brugergrænsefladen til websider

Hvis du vil hente et element på brugergrænsefladen fra en webside, skal du installere den relevante browserudvidelse. Du kan få flere oplysninger om understøttede browsere og den påkrævede udvidelse under Brug browsere og administrer udvidelser.

Skelne mellem skrivebord og elementer på webbrugergrænsefladen

Ruden Elementer i brugergrænsefladen viser karakteristiske visuelle indikationer, der hjælper dig med hurtigt at genkende forskellen mellem elementer i brugergrænsefladen på skrivebordet og på internettet.

Når du henter et skrivebordselement, vises skrivebordsikonet. Når du henter et webelement, vises webikonet. På denne måde kan du bekræfte elementtypen, før du gemmer den.

En anden metode til at kontrollere typen af et element på brugergrænsefladen er at gennemse vælgerne. Skrivebordselementer i brugergrænsefladen har som regel skrivebordet som det overordnede element, mens webelementer i brugergrænsefladen har en webside som rodelement.

Elementer på brugergrænsefladen i browservinduer

Automatiser programdelen af en browser (1) ved hjælp af elementer i brugergrænsefladen på skrivebordet. Brug f.eks. handlinger til automatisering af brugergrænsefladen til at interagere med adresselinjen eller fanerne.

På den anden side kan du automatisere de indlæste websider i browseren (2) ved hjælp af elementer i brugergrænsefladen på internettet og handlinger til automatisering af browsere.

Under optagelsen skelner optageren automatisk browserprogrammet fra websiderne og genererer de relevante elementer og handlinger i brugergrænsefladen.

Interaktioner med træk og slip web-UI-elementer fungerer muligvis ikke som forventet på grund af deres iboende begrænsninger. Som en løsning kan du registrere elementer i brugergrænsefladen på skrivebordet på en webside ved at åbne UI-elementvælgeren gennem en handling fra UI-automatiseringsgruppen ved at vælge Tilføj brugergrænsefladeelement i UI element-parameter. Det registrerede UI-element er af skrivebordstypen og kan bruges i Drag and drop UI element in window-handlingen. Vær opmærksom på, at du kun kan bruge elementer i brugergrænsefladen på skrivebordet i handlinger i handlingsgruppen til automatisering af brugergrænsefladen i Power Automate til stationære computere. Det er vigtigt at bemærke, at UI-skrivebordselementer på websider ikke er så pålidelige som deres web-modstykker og er underlagt browserapplikationsdetaljer som f.eks. browserens version.

Egenskaber for elementer på brugergrænsefladen

Alle elementer på brugergrænsefladen består af en eller flere vælgere, der angiver den brugergrænseflade eller webkomponent, som Power Automate kommunikerer med.

Bemærk

Brugere kan oprette flere vælgere for et element i brugergrænsefladen. Når det ikke lykkes at få en vælger, anvender Power Automate følgende vælger i den definerede rækkefølge.

Hvis du vil administrere vælgerne for et element på brugergrænsefladen, skal du højreklikke på elementet og vælge Rediger. Når du vælger denne indstilling, vises vælgergeneratoren, hvor vælgeren kan redigeres med en visuel editor.

Hver vælger består af flere elementer, der repræsenterer den hierarkiske struktur af brugergrænsefladeelementet i programmet eller på websiden. Attributterne for et element beskriver det entydigt og skiller det ud fra andre elementer i det samme program.

Alle vælgere vises med et fuldt standardnavn, der gør dem let tilgængelige. Hvis du vil omdøbe en vælger, skal du højreklikke på navnet på den og vælge Omdøb.

Når du redigerer et brugergrænsefladeelement med flere selektorer, kan du deaktivere en selektor ved at højreklikke på det og vælge Deaktiver. Denne funktion kan være nyttig under testen.

Når du har redigeret selektorerne, skal du vælge Gem for at anvende ændringerne. Når du gemmer, anvendes ændringerne i alle vælgerne i et enkelt trin.

Du kan få flere oplysninger om selektorer, og hvordan du bygger dem manuelt, under Opret en brugerdefineret selektor.

Elementer på brugergrænsefladen med tekstbaserede vælgere

Ud over standardmetoden til generering af selektorer til elementer i brugergrænsefladen understøtter Power Automate oprettelse af selektorer baseret på et elements tekstværdi.

Denne funktion er nyttig i automatiseringsscenarier, der håndterer elementer i skrivebordsprogrammer eller websider, der altid kommer med bestemte tekster. Vælgere på baggrund af disse tekster er mere pålidelige og fleksible over for mulige fremtidige ændringer i program- eller websidestrukturen.

Du kan kun generere tekstbaserede selektorer, når du henter elementer i brugergrænsefladen ved hjælp af elementvælgeren for brugergrænsefladen (ruden elementer i brugergrænsefladen eller handlinger til automatisering af browser/brugergrænseflade). Du kan ikke generere dem under optagelsen.

Hvis du vil hente et brugergrænsefladeelement med en tekstbaseret vælger, skal du åbne vælgeren til brugergrænsefladeelementet, højreklikke på det ønskede element og vælge Hent baseret på tekst.

Derefter vises der et nyt vindue med to felter på skærmen:

• Feltet Tekstværdi indeholder elementets tekst som en foreslået værdi. Du kan ændre denne værdi til en hardcoded værdi eller en variabel.
• Du kan angive feltet Operator til forskellige operatorer for at justere funktionaliteten for vælgeren.

Hvis du vælger Hent , tilføjes brugergrænsefladeelementet med den korrekte tekstbaserede selektor i lageret med elementer i brugergrænsefladen.

Tekstbaserede vælgere bruger attributten Navn på det databaserede element til automatisering af skriveborde og tekstattributten til browserautomatisering. De er kun tilgængelige for elementer på brugergrænsefladen, der selv indeholder en tekstværdi.

Med andre ord er de tilgængelige for UI-elementer med en Navn- eller Tekst-attribut, der indeholder en værdi. De er ikke tilgængelige for elementer, der ikke indeholder en sådan tekstværdi, selvom de har underordnede elementer med tekst i deres struktur.

Bemærk

Til SAP-programmet bruger tekstbaserede vælgere attributten Tekst i stedet for den navneattribut, de som regel bruger på skrivebordsautomatisering. SAP-automatisering fungerer mere effektivt med standardvælgere baseret på id-attributten .

Kendte problemer og begrænsninger

• Hvis du vælger Tilføj brugergrænsefladeelement, holder markøren over et vindue og vælger at hente et brugergrænsefladeelement efter tekst, genererer processen en standardvælger. Denne selektor indeholder attributten Proces sammen med Navn.

• Når du bruger en variabel med en anden operator end Lig med, viser den brugerdefinerede teksteditor vælgeren i stedet for Visual Builder. Denne funktionalitet undgår en begrænsning, der gør ovenstående kombination ikke-funktionsfri i Visual Builder.