Automatisere web- og skrivebordsapps ved hjælp af computerbrug (forhåndsversion)

[Denne artikel er til dokumentationen til den foreløbige udgivelse. Der kan forekomme ændringer.]

Computerbrug er et værktøj i Copilot Studio, der gør det muligt for din agent at interagere med og automatisere opgaver på en Windows computer. Det fungerer med websteder og skrivebordsapps ved at vælge knapper, vælge menuer og indtaste tekst i felter på skærmen. Beskriv i et naturligt sprog, hvad computeren skal bruge til at udføre, og den udfører opgaven på en computer, du har konfigureret ved hjælp af en virtuel mus og et virtuelt tastatur. Med computerbrug kan agenter udføre opgaver, selv når der ikke er nogen API til at oprette direkte forbindelse til systemet. Hvis en person kan bruge en app eller et websted, kan computerbrug også gøre det. Du kan bruge computerbrug til opgaver som automatiseret dataindtastning, fakturabehandling og udtrækning af data.

Vigtigt

Denne artikel indeholder Microsoft Copilot Studio eksempeldokumentation og kan ændres.

Prøveversionsfunktionerne er ikke beregnet til produktionsformål og kan have begrænset funktionalitet. Disse funktioner er tilgængelige før en officiel udgivelse, så du kan få tidlig adgang og give feedback.

Hvis du bygger en produktionsklar agent, skal du se Microsoft Copilot Studio Overview.

Computerbrug er drevet af Computer-Using Agents (CUA), en AI-model, der kombinerer visionsfunktioner med avanceret ræsonnement for at interagere med grafiske brugergrænseflader (GUI'er). Fordi den er AI-drevet, tilpasser den sig grænsefladeændringer. Når knapper eller skærmbilleder f.eks. ændres, fortsætter værktøjet med at fungere uden at afbryde flowet. Det er nemt at bruge. Bare beskriv hvad du vil have på naturligt sprog. Du behøver ikke at skrive kode.

Se denne video for at få mere at vide om, hvordan computerbrugsværktøjet giver en agent mulighed for at interagere med et webprogram.

Krav

• Funktionen er tilgængelig for miljøer, hvor området er angivet til United States.

• Sørg for, at din agent har aktiveret den generative orchestrator til brug af computeren.

Føj computerbrug til din agent

På en ny agent eller en eksisterende agent i Copilot Studio skal du tilføje computerbrug som et værktøj ved at følge disse trin:

1. Gå til afsnittet Værktøjer i din agent, og vælg Tilføj værktøj.

2. Vælg Nyt værktøj i dialogboksen Tilføj værktøj.

3. Vælg Computerbrug.

4. Angiv den vejledning, der beskriver den opgave, som værktøjet skal udføre på computeren. Du kan se nogle instruktionsskabeloner til at komme i gang med. Du kan få mere at vide om, hvordan du bedst skriver instruktioner til computerbrug, ved at se de bedste fremgangsmåder for at få instruktioner til computerbrug.

5. Vælg Tilføj og konfigurer.

   • På konfigurationssiden konfigureres disse fire felter:

     • Navn: Angiv det viste navn for computerbrugsværktøjet. Dette navn hjælper dig med at skelne det fra andre værktøjer, du føjer til din agent.
     • Beskrivelse: Angiv en kort beskrivelse af, hvad dette værktøj gør, og hvornår det skal bruges. Denne tekst fortæller din agent, hvornår du skal bruge dette værktøj.
     • Model: Vælg den model, der bruges til at køre computerværktøjet. Nuværende understøttede modeller inkluderer OpenAIs Computer-Using Agent og Anthropics Claude Sonnet 4.5.

       Bemærk

       Anthropics Claude Sonnet 4.5 er i øjeblikket ved at blive rullet ud i understøttede regioner og er måske endnu ikke tilgængelig i din region. Sørg for, at din administrator har aktiveret eksterne modeller.

     • Instruktioner: Angiv de trin, værktøjet skal udføre, herunder URL-adresser og programnavne. Du kan finde tip under Bedste fremgangsmåder for at få instruktioner til computerbrug.

6. Gennemse disse andre felter og indstillinger på konfigurationssiden, der kan være relevante:

   • Input: Brug Input til at definere dynamiske værdier, der ændres, hver gang computeren bruger kørsler. Hvis du f.eks. vil udfylde en formular med en anden værdi ved hver kørsel, skal du oprette et input til det pågældende felt. På udførelsestidspunktet kombinerer computerbrug dine instruktioner med inputværdierne for at fuldføre opgaven.

   • Computer: Vælg den destinationscomputer, som agenten bruger til at køre computerbrug. Se Konfigurer, hvor computerbrug kører for at få flere oplysninger om, hvordan du vælger den rigtige computertype baseret på dine krav.

     • Brug Opdater til at opdatere computerlisten.
     • Vælg Administrer maskiner for at åbne siden til maskinadministration på Power Automate portal.
     • Vælg Se computeroplysninger for at åbne siden med computeroplysninger på Power Automate portal.

   • Forbindelse: Forbindelse, der bruges til dette værktøj. Opdater eller opret en ny forbindelse for at ændre de anvendte legitimationsoplysninger.

   • Legitimationsoplysninger, der skal bruges: Angiv, hvordan computeren bruger godkendelser under udførelse:

     • Producentens oplysninger (standard): Denne mulighed bruger producentens legitimationsoplysninger og er egnet til autonome agenter.

     Advarsel!

     Hvis du deler en agent med denne indstilling, kan alle, der bruger den, handle med den oprindelige forfatters adgang på den konfigurerede maskine.

     • Slutbrugerlegitimationsoplysninger: Denne indstilling bruger legitimationsoplysningerne for den person, der interagerer med agenten. Hver bruger skal have adgangslegitimationsoplysninger til maskinen.

   • Human supervision: Angiv, hvem der skal kontaktes via mail (Outlook), hvis computerbrugsagenten registrerer potentielt skadelige instruktioner, der kan ændre modelfunktionsmåden. Hver agent kører, og dens aktivitet er knyttet til den bruger, der startede den. Hvis du vælger en revisor, der ikke er den person, der kører computerbrugsagenten, ser de sandsynligvis ikke aktiviteten, fordi de ikke har initieret kørslen. De kan derfor ikke bekræfte eller reagere korrekt på anmodningen. Sørg også for, at modtageren er godkendt og har den nødvendige kontekst til at håndtere sådanne anmodninger. Svartidsgrænsen definerer, hvor længe anmodningen forbliver aktiv. Efter denne periode udløber anmodningen, og computerens kørsel stopper, hvis der ikke modtages noget svar. Se Menneskelig overvågning for at få flere oplysninger.

   • Gemte legitimationsoplysninger: Definer de legitimationsoplysninger, som computeren bruger til at logge på websteder og programmer. Hvis der vises en logon-prompt under udførelse, bruger computerbrug sikkert de legitimationsoplysninger, du har defineret i dette afsnit for det pågældende websted eller program. Adgangskodeværdierne for disse legitimationsoplysninger gemmes enten i det interne lager i Power Platform (der kræves ingen konfiguration) eller i en Azure Key Vault, du angiver. Få mere at vide om, hvordan du opretter en Azure Key Vault i Opret en key vault ved hjælp af Azure-portalen.

     • Intern lagermulighed: Med denne mulighed kan du konfigurere legitimationsoplysninger i værktøjet uden nogen forudkonfiguration. Hemmeligheder krypteres og gemmes internt i Power Platform. For hver legitimation skal følgende oplysninger gives:

       • Type: vælg mellem Website og Desktop-app afhængigt af, hvilken surface du planlægger at bruge denne legitimation
       • Brugernavn: det brugernavn, du bruger til at logge ind på den pågældende hjemmeside eller applikation.
       • Adgangskode: adgangskodeværdien, der bruges til at logge ind på målwebsitet eller applikationen.

       Bemærk

       Adgangskodefelter understøttes på alle websteder og de fleste Windows programmer (WinForms, WPF, UWP, WinUI, Win32), som dækker de fleste kundescenarier. Nogle apptyper, f.eks. Electron, Java, Unity, spil, kommandolinjegrænseflader, Citrix eller andre virtualiserede miljøer, understøttes muligvis ikke.

       • Login-domæne eller Desktop-appnavn: domænet eller applikationsnavnet, hvor du indtaster legitimationsoplysningerne (for eksempel login.microsoft.com eller Excel). For login-domænet skal du sørge for at verificere dette domæne, da det kan afvige fra hovedsidens URL.

     • Azure Key Vault indstilling: Med denne indstilling kan du konfigurere legitimationsoplysninger i værktøjet ved først at angive abonnements-id,ressourcegruppenavn og Key Vault navn. Alle disse oplysninger er tilgængelige på siden Overview i din Key Vault.

       • Sådan bruger du Azure Key Vault hemmeligheder med Power Platform:

         • Det Azure abonnement, der har vault'en, skal have PowerPlatform-ressourceudbyderen registreret.
         • Den bruger, der opretter miljøvariablen, skal have de nødvendige tilladelser til den Azure Key Vault ressource.

       • Hvis du ikke allerede har gjort det, skal du følge trinnene i Configure Azure Key Vault og derefter angive følgende oplysninger:

         • Brugernavn: det brugernavn, du bruger til at logge ind på den pågældende hjemmeside eller applikation.
         • Azure hemmelighedsnavn: navnet på hemmeligheden i Key Vault, der gemmer adgangskoden til webstedet eller softwaren.

         Bemærk

         Adgangskodefelter understøttes på alle websteder og de fleste Windows programmer (WinForms, WPF, UWP, WinUI, Win32), som dækker de fleste kundescenarier. Nogle apptyper, f.eks. Electron, Java, Unity, spil, kommandolinjegrænseflader, Citrix eller andre virtualiserede miljøer, understøttes muligvis ikke.

         • Login-domæne eller Desktop-appnavn: domænet eller applikationsnavnet, hvor du indtaster legitimationsoplysningerne (for eksempel login.microsoft.com eller Excel). For login-domænet skal du sørge for at verificere dette domæne, da det kan afvige fra hovedsidens URL.

   • Adgangskontrol: Computerbrug kan som standard fungere på et hvilket som helst websted eller program. Hvis du vil begrænse denne adgang, skal du aktivere adgangskontrol for at definere de specifikke URL-adresser og skrivebordsprogrammer, som computerbrug skal begrænses til. Du kan konfigurere både websteder og programmer:

     • Websteder: Angiv hovedwebstedsadressen (f.eks. example.com). Alle sider på dette websted medtages automatisk. Du kan også bruge jokertegn (*) til underdomæner.
       • Eksempler: www.contoso.com, , *.contoso.comcontoso.com
     • Desktopprogrammer: Angiv programproduktnavnet eller procesnavnet. Tryk på Ctrl+Skift+Esc for at finde den for at åbne Jobliste. Kontrollér derefter fanen Processer .
       • Eksempler: Microsoft Edge, msedge, Notepad.

     Bemærk

     Adgangskontrol forhindrer kun modellen i at udføre handlinger på hjemmesider eller applikationer, der ikke er på tilladelseslisten. Det forhindrer ikke modellen i at åbne dem. Hvis det f.eks. kun er microsoft.com og Microsoft Edge, der er på listen over tilladte, kan modellen stadig bruge søgelinjen Edge til at åbne Bing. Men når Bing først er åbnet, mislykkes ethvert forsøg på at interagere med det, fordi det ikke er på tilladelseslisten.

7. Vælg Save.

Test computerbrug

Test af computerbrug er et vigtigt trin i oprettelsesrejsen. Når du har angivet et navn, en beskrivelse og en vejledning og gemt værktøjet, skal du vælge Test for at starte testoplevelsen.

Efter en kort indlæsningsperiode vises testoplevelsen:

• Venstre panel viser dine instruktioner og en trin-for-trin log over værktøjets ræsonnement og handlinger.
• Det højre panel viser et eksempel på handlingerne på den maskine, du indstillede til computerbrug.

Når opgaven er fuldført, får du vist meddelelsen Test fuldført . Mens testen er i gang, kan du vælge Stop test for straks at stoppe alle handlinger på computeren.

Hvis resultatet ikke er, som du forventer, skal du gå til konfigurationssiden og finjustere instruktionerne. Tilføj flere detaljer for at forbedre nøjagtigheden. Du kan finde en vejledning i bedste praksis for at skrive effektive instruktioner.

Publicer en agent med computerbrug

Opsæt computerbrug, og udgiv derefter din agent. Hvordan din agent kører afhænger af scenariet. Det kan være autonomt eller samtalebaseret:

• Autonome agenter kører automatisk og udfører opgaver i baggrunden.
• Samtaleagenter giver brugerne mulighed for at interagere via kanaler som Microsoft Teams.

Computerbrug fungerer bedst for autonome agenter, der udfører opgaver i baggrunden uden brugerinteraktion.

Du kan også anvende computerbrug i samtaleoplevelser, men vær opmærksom på følgende:

• Hvis du vælger Brugergodkendelse som godkendelsesindstilling, skal hver bruger, der interagerer med agenten i en samtale, have gyldige legitimationsoplysninger for den computer, der bruges af computeren.
• Når værktøjet kører, deler det ræsonnementsmeddelelser og skærmbilleder af maskinens aktivitet i chatten.

Bedste praksis

For at forblive produktiv og sikker i nutidens digitale miljøer skal du følge bedste praksis for computerbrug, især når du skriver klare instruktioner og sikrer maskiner.

Bedste praksis for sikring af maskiner

Når du konfigurerer computere til computerbrug, der gør det muligt for AI at udføre opgaver ved hjælp af et naturligt sprog, skal du overveje disse sikkerhedsanbefalinger:

Sikkerhedsanbefaling	Flere oplysninger
Brug dedikerede maskiner til computerbrug	Tildel specifikke, isolerede maskiner udelukkende til opgaver, der involverer computerbrug. Denne fremgangsmåde reducerer risikoen for krydsforurening fra ikke-relateret software, malware eller uautoriseret adgang. Det giver dig mulighed for at styre konfigurationer, opdateringer og overvågning mere effektivt.
Begræns tilladelser til den brugerkonto, du bruger til computerbrug	Indstil brugerkontoen til computerbrug for at følge princippet om mindste rettigheder - giv kun de tilladelser, der er nødvendige for at køre de nødvendige værktøjer.
Begræns webadgang til en tilladelsesliste over specifikke betroede hjemmesider	Tillad kun webadgang til en foruddefineret liste over kontrollerede og pålidelige domæner. Du kan f.eks. konfigurere Microsoft Edge politikindstillinger med Microsoft Intune de destinationscomputere, der bruges til computerbrug.
Begræns adgangen til bestemte skrivebordsapps	Installer og tillad kun udførelse af programmerne, der er vigtige for de tilsigtede AI-arbejdsprocesser. Fjern eller deaktiver adgang til unødvendig software. Du kan f.eks. konfigurere Application Control til at begrænse, hvilke programmer der må køre på computeren.

Bedste fremgangsmåder for instruktioner til computerbrug

De instruktioner, du skriver, bestemmer, hvor godt computerbrug fungerer. Specifikke, detaljerede instruktioner hjælper computerbrug med at fuldføre opgaver nøjagtigt. Tænk på det som at forklare en opgave til en kollega. Klar, trinvis vejledning hjælper med at sikre succes.

Tips til at skrive effektive instruktioner:

• Vær specifik omkring websteder og programmer. Medtag altid den fulde URL på ethvert websted og det nøjagtige navn på ethvert program, værktøjet skal bruge. Eksempel: Åbn https://www.microsoft.com og gå til 'Firmanyheder'.

• Angiv klart relevante handlinger. Hvis du vil have noget gjort, så sig det eksplicit—især handlinger som at indsende en formular eller sende en e-mail. Eksempel: Når du har udfyldt formularen, vælger du Send. Der er ikke behov for at spørge om tilladelse.

• Nedbryd komplekse interaktioner. For områder, hvor brugergrænsefladen kan være mere kompleks at navigere i, skal du forklare hvert trin i detaljer. Eksempel: Vælg Mere-ikonet i øverste højre hjørne. En dropdown dukker op. Når den åbner, vælg det sidste punkt på listen.

• Brug trinvis formatering til længere opgaver. Lange instruktioner er nemmere at følge, når du formaterer dem som en liste.

Eksempel på instruktion

Udforsk disse eksempelinstruktioner for at afprøve computerbrug, eller brug dem som reference til at skrive din egen.

Scenarie	Navn	Beskrivelse	Vejledninger
Fakturabehandling	Overfør og send fakturaoplysninger	Overfør fakturadata fra en PDF-fil, og send dem til en anden formular.	1. Gå til https://computerusedemos.blob.core.windows.net/web/Contoso/invoice-manager.html, angiv datofilteret til Seneste 24 timer, og åbn pdf-faktura. 2. Åbn og udfyld formularen med dataene fra pdf-filen på en ny fane https://computerusedemos.blob.core.windows.net/web/Contoso/index.html . Indsend fakturaformularen, ingen bekræftelse nødvendig.
Dataindtastning	Indsend lagervarer	Føj produkter til lagersystemet.	1. Gå til https://computerusedemos.blob.core.windows.net/web/Adventure/index.html. 2. Indsend en ny post for hvert af følgende punkter: Baggearskifter, RD-4821, 50, 42.75, Tailspin Toys Pedalsæt, PD-1738, 80, 19.99, Northwind Traders Bremsehåndtag, BL-2975, 35, 14.50, Trey Research Kæde boltsæt, CB-6640, 100, 5.25, VanArsdel, Ltd. Krankboks, BB-9320, 60, 24.90, Tailwind Traders
Dataudtræk	Slå porteføljeforvalter og værdi op	Få forvalternavnet og værdien for en portefølje.	1. Gå til https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html. 2. Find rækken for Fourth Coffee og registrer Portfolio Manager-navnet og den aktuelle porteføljeværdi nøjagtigt som vist. 3. Returner disse to værdier som det endelige output.

Bedste fremgangsmåder til udtrækning af data

Du kan bruge computerbrug til at udtrække data fra websteder eller programmer og derefter overføre disse data til din agent eller til andre værktøjer i agenten. For at gøre dette skal du blot beskrive, hvilke oplysninger du vil udtrække direkte i instruktionerne til computerbrug.

Hvis du vil bruge de udtrukne data med et andet værktøj (f.eks. sende dem via mail), skal du angive dette behov i agentens instruktioner og sørge for, at begge værktøjer føjes til agenten.

Eksempel: Brug computerbrug til at udtrække kundeoplysninger til det finansielle porteføljedashboard og send de udtrukne data via e-mail. I dette tilfælde skal din agent inkludere både computerværktøjet og e-mailværktøjet.

Udtræk værdier som tekst

Du kan instruere computerbrug til at udtrække bestemte værdier og returnere dem som almindelig tekst. For eksempel udtrækker følgende prompt porteføljeforvalteren og porteføljeværdien for kunden, Fourth Coffee:

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
2. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
3. Return those two values as the final output.

Agenten returnerer kun de to ønskede værdier som tekst.

Udtræk værdier som JSON

Du kan også bede computerbrug om at returnere udpakkede oplysninger i JSON-format. Dette format er nyttigt, når du vil overføre strukturerede data til et andet værktøj. I følgende eksempel udtrækkes alle oversigtsrækker, der er relateret til Contoso, og de returneres som korrekt formateret JSON:

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
*    Each top-level key is the client name
*    Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
*    Return only the JSON, with no additional text.

Denne fremgangsmåde sikrer, at outputtet er struktureret.

Licensering

Mens computerbrug er en prøveversion, faktureres den ved hjælp af handlingsfunktionen Agent med en faktureringssats på fem Copilot kreditter. Du kan få flere oplysninger under Microsoft Copilot Studio faktureringssats og administration.

Hver computer, der kører, er afhængig af en AI-model, der udfører en sekvens af trin. Et trin kan involvere en eller flere lavniveau-handlinger (for eksempel klik, tastning eller navigation). Der bruges 5 Copilot kreditter.

For eksempel, hvis du konfigurerer computerbrug til at udfylde en webbaseret timelisteformular, kan gennemløbet udføre følgende trin:

1. Start browseren og navigér til timelisteportalen.

2. Vælg Opret nyt tidsark.

3. Udfyld felterne Starttid, Sluttid og Projektkode.

4. Vælg knappen Send.

I dette eksempel udfører computeren kørsel fire trin, hvor der bruges i alt 20 Copilot kreditter.

Del din feedback

Har du feedback om brug af computer? Fortæl os det på computeruse-feedback@microsoft.com.

Relaterede oplysninger

Ofte stillede spørgsmål om brug af computerværktøj