Automatiser nett- og skrivebordsapper med datamaskinbruk (forhåndsversjon)

[Denne artikkelen inneholder dokumentasjon for forhåndsversjonen og kan bli endret.]

Datamaskinbruk er et verktøy i Copilot Studio som lar agenten din samhandle med og automatisere oppgaver på en Windows-datamaskin. Det fungerer med nettsteder og skrivebordsapper ved å velge knapper, velge menyer og skrive inn tekst i felter på skjermen. Beskriv i naturlig språk hva du vil at datamaskinen skal gjøre, og den utfører oppgaven på en datamaskin du konfigurerer ved hjelp av en virtuell mus og et virtuellt tastatur. Med datamaskinbruk kan agenter fullføre oppgaver selv når det ikke finnes et API for å koble direkte til systemet. Hvis en person kan bruke en app eller et nettsted, kan datamaskinbruk også gjøre det. Du kan bruke datamaskiner til oppgaver som automatisk dataregistrering, fakturabehandling og datauttrekking.

Viktig!

Denne artikkelen inneholder dokumentasjon for Microsoft Copilot Studio-forhåndsversjonen og kan bli endret.

Evalueringsfunksjonalitet er ikke ment for produksjonsbruk og kan ha begrensninger. Disse funksjonene er tilgjengelige før en offisielle utgivelsen slik at du kan få tidlig tilgang og gi tilbakemeldinger.

Hvis du skal bygge en produksjonsklar agent, kan du se Oversikt over Microsoft Copilot Studio.

Datamaskinbruk drives av Computer-Using Agents (CUA), en AI-modell som kombinerer synsfunksjoner med avansert resonnement for å samhandle med grafiske brukergrensesnitt (GUI). Fordi den er AI-drevet, tilpasser den seg til grensesnittendringer. Når for eksempel knapper eller skjermer endres, fortsetter verktøyet å fungere uten brudd i flyten. Det er enkelt å bruke. Bare beskriv hva du vil ha i naturlig språk. Du trenger ikke å skrive kode.

Se denne videoen for å lære hvordan verktøyet for datamaskinbruk lar en agent samhandle med et webprogram.

Forutsetninger

Funksjonen er tilgjengelig for miljøer der regionen er satt til USA.
Kontroller at agenten har generativ iverksetter aktivert, slik at datamaskinbruk kan brukes.

Legg til datamaskinbruk i agenten

På en ny agent eller en eksisterende agent i Copilot Studio, legg til datamaskinbruk som et verktøy ved å følge disse trinnene:

Gå til Verktøy-delen i agenten din, og velg Legg til verktøy.
I Legg til verktøy-dialogboks, velg Nytt verktøy.
Velg Datamaskinbruk.
Gi instruksjonene som beskriver oppgaven verktøyet skal utføre på datamaskinen. Du ser noen instruksjonsmaler du kan komme i gang med. For å lære mer om hvordan du best skriver instruksjoner for datamaskinbruk, se beste praksis for instruksjoner for bruk av datamaskin.
Velg maskinen der datamaskinbruken kjører. Du kan enten bruke den hostede nettleseren, en bruksklar maskin for å automatisere oppgaver på offentlige nettsteder, eller velge en Windows-maskin som du kan konfigurere til bruk på datamaskin. Finn ut mer i Konfigurer hvor datamaskinbruk kjører.
Velg Legg til og konfigurer.
- På konfigurasjonssiden konfigurerer du disse tre feltene:
  - Navn: Skriv inn visningsnavnet for datamaskinens bruksverktøy. Dette navnet hjelper deg med å skille det fra andre verktøy du legger til i agenten.
  - Beskrivelse: Skriv inn en kort beskrivelse av hva dette verktøyet gjør og når det skal brukes. Denne teksten forteller agenten din når du skal bruke dette verktøyet.
  - Instruksjoner: List opp trinnene verktøyet skal utføre, inkludert URL-er og programnavn. Hvis du vil ha tips, kan du se Anbefalte fremgangsmåter for å lage instruksjoner for datamaskinbruk.
Se gjennom disse andre feltene og innstillingene på konfigurasjonssiden som kan være relevante:
- Innganger: Bruk inndata til å definere dynamiske verdier som endres hver gang datamaskinen kjører. Hvis du for eksempel vil fylle ut et skjema med en annen verdi ved hver kjøring, oppretter du inndata for dette feltet. Ved kjøring kombinerer datamaskinbruk instruksjonene dine med inndataverdiene for å fullføre oppgaven.
- Maskin: Velg målmaskinen som agenten bruker til å kjøre datamaskinbruk. Se på Konfigurer hvor datamaskinbruk kjører for mer informasjon om valg av riktig maskintype basert på dine behov.
  - Bruk Forfriske for å oppdatere maskinlisten.
  - Velge Administrer maskiner for å åpne maskinadministrasjonssiden i Power Automate-portalen.
  - Velge Se maskindetaljer for å åpne maskindetaljsiden i Power Automate-portalen.
- Forbindelse: Tilkobling brukt for dette verktøyet. Oppdater eller opprett en ny tilkobling for å endre legitimasjonen som brukes.
- Legitimasjon å bruke: Angi hvordan datamaskinbruk autentiserer under utførelse:
  - Maker-leverte legitimasjoner (standard): Dette alternativet bruker makerens legitimasjon og er egnet for autonome agenter.
  Advarsel!
  
  Hvis du deler en agent med denne innstillingen, kan hvem som helst som bruker den handle med den opprinnelige forfatterens tilgang på den konfigurerte maskinen.
  - Sluttbrukerlegitimasjon: Dette alternativet bruker legitimasjonen til personen som samhandler med agenten. Hver bruker må ha tilgangslegitimasjon til maskinen.
- Menneskelig tilsyn: Angi hvem som skal kontaktes via e-post (Outlook) hvis datamaskinbruksagenten oppdager potensielt skadelige instruksjoner som kan endre modellens oppførsel. Hver agentkjøring og aktiviteten er knyttet til brukeren som startet den. Hvis du velger en annen anmelder enn personen som kjører datamaskinagenten, ser de sannsynligvis ikke aktiviteten fordi de ikke startet kjøringen. Derfor kan de ikke bekrefte eller handle på forespørselen på riktig måte. Sørg også for at mottakeren er autorisert og har den nødvendige konteksten til å håndtere slike forespørsler. Svartidsgrensen definerer hvor lenge forespørselen forblir aktiv. Etter denne perioden utløper forespørselen, og datamaskinkjøringen stopper hvis det ikke mottas noe svar. Se Menneskelig tilsyn for mer informasjon.
- Lagret legitimasjon: Definer påloggingsinformasjonen som datamaskiner bruker for å logge på nettsteder og applikasjoner. Hvis det vises en påloggingsforespørsel under kjøring, bruker datamaskinen på en sikker måte all legitimasjon du har definert i denne delen for det nettstedet eller programmet. Passordverdiene til disse legitimasjonene lagres enten i Power Platforms interne lagring (ingen konfigurasjon nødvendig) eller i et Azure Key Vault som du leverer. Lær hvordan du oppretter et Azure Key Vault i Opprett et nøkkelhvelv ved hjelp av Azure-portalen.
  - Intern lagringsmulighet: Med dette alternativet kan du konfigurere legitimasjon i verktøyet uten noen forhåndskonfigurasjon. Hemmeligheter krypteres og lagres internt i Power Platform. For hver kvalifikasjon, oppgi følgende detaljer:
    - Type: velg mellom nettside og skrivebordsapp avhengig av hvilken surface du planlegger å bruke denne legitimasjonen
    - Brukernavn: brukernavnet du bruker for å logge inn på målnettstedet eller applikasjonen.
    - Passord: passordverdien som brukes for å logge inn på målnettstedet eller applikasjonen.
    Notat
    
    Passordfelt støttes på alle nettsteder og de fleste Windows-applikasjoner (WinForms, WPF, UWP, WinUI, Win32), noe som dekker de fleste kundescenarioer. Enkelte apptyper, som Electron, Java, Unity, spill, kommandolinjegrensesnitt, Citrix eller andre virtualiserte miljøer, støttes kanskje ikke.
    - Innloggingsdomene eller skrivebordsappnavn: domenet eller applikasjonsnavnet hvor du skriver inn legitimasjonen (for eksempel login.microsoft.com eller Excel). For innloggingsdomenet, sørg for å verifisere dette domenet, da det kan være annerledes enn hovednettstedets URL.
  - Azure Key Vault-alternativ: Med dette alternativet kan du konfigurere legitimasjon i verktøyet ved først å skrive inn abonnements-ID, ressursgruppenavn og Key Vault-navn. All denne informasjonen er tilgjengelig fra Oversikt-siden i nøkkelhvelvet ditt.
    - Slik bruker du Azure Key Vault-hemmeligheter med Power Platform:
      - Azure-abonnementet som har hvelvet må ha PowerPlatform-ressursleverandøren registrert.
      - Brukeren som oppretter miljøvariabelen må ha nødvendige tillatelser til Azure Key Vault-ressursen.
    - Hvis du ikke allerede har gjort det, følg trinnene i Configure Azure Key Vault og oppgi deretter følgende detaljer:
      - Brukernavn: brukernavnet du bruker for å logge inn på målnettstedet eller applikasjonen.
      - Azure hemmelig navn: Navnet på hemmeligheten i nøkkelhvelvet som lagrer passordet for nettstedet eller programmet.
      Notat
      
      Passordfelt støttes på alle nettsteder og de fleste Windows-applikasjoner (WinForms, WPF, UWP, WinUI, Win32), noe som dekker de fleste kundescenarioer. Enkelte apptyper, som Electron, Java, Unity, spill, kommandolinjegrensesnitt, Citrix eller andre virtualiserte miljøer, støttes kanskje ikke.
      - Innloggingsdomene eller skrivebordsappnavn: domenet eller applikasjonsnavnet hvor du skriver inn legitimasjonen (for eksempel login.microsoft.com eller Excel). For innloggingsdomenet, sørg for å verifisere dette domenet, da det kan være annerledes enn hovednettstedets URL.
- Adgangskontroll: Som standard kan datamaskinbruk fungere på ethvert nettsted eller program. Hvis du vil begrense denne tilgangen, aktiverer du tilgangskontroll for å definere de spesifikke URL-ene og skrivebordsprogrammene som datamaskinbruk skal begrenses til. Du kan konfigurere både nettsteder og applikasjoner:
  - Nettsteder: Skriv inn hovednettadressen (for eksempel example.com). Alle sider på det nettstedet inkluderes automatisk. Du kan også bruke jokertegn (*) for underdomener.
    - Eksempler: www.contoso.com, *.contoso.com, contoso.com
  - Skrivebordsapplikasjoner: Skriv inn navnet på programmets produkt eller prosess. For å finne den, trykk Ctrl+Shift+Esc for å åpne Oppgavebehandling. Sjekk deretter Prosesser-fanen.
    - Eksempler: Microsoft Edge, msedge, Notepad.
  Notat
  
  Tilgangskontroll hindrer bare modellen i å utføre handlinger på nettsteder eller i applikasjoner som ikke er på tillatelseslisten. Det hindrer ikke modellen i å åpne dem. Hvis for eksempel bare microsoft.com og Microsoft Edge er på tillatelseslisten, kan modellen fortsatt bruke Edge-søkefeltet til å åpne Bing. Men når Bing åpnes, mislykkes ethvert forsøk på å samhandle med det fordi det ikke er på tillatelseslisten.
Velg Lagre.

Test datamaskinbruk

Testing av datamaskinbruk er et viktig steg i forfatterprosessen. Etter at du har angitt navn, beskrivelse og instruksjoner og lagret verktøyet, velger du Test for å starte testefunksjonen.

Etter en kort lasteperiode vises testopplevelsen:

Venstre panel viser instruksjonene dine og en steg-for-steg-logg over verktøyets resonnement og handlinger.
Det vises en forhåndsvisning av handlingene på maskinen du konfigurerte for datamaskinbruk, i høyre panel.

Når oppgaven er ferdig, ser du en Testen fullført-melding. Mens testen pågår, kan du velge Stopp testing hvis du umiddelbart vil stoppe alle handlinger på maskinen.

Hvis resultatet ikke er som forventet, går du til konfigurasjonssiden og finjusterer instruksjonene. Legg til flere detaljer for å forbedre nøyaktigheten. Hvis du vil ha veiledning, kan du se anbefalte fremgangsmåter for å skrive effektive instruksjoner.

Publiser en agent med datamaskinbruk

Sett opp databruk, og publiser deretter agenten din. Hvordan agenten kjører, avhenger av scenarioet. Det kan være autonomt eller konversasjonelt:

Autonome agenter kjører automatisk og utfører oppgaver i bakgrunnen.
Samtaleagenter lar brukere samhandle via kanaler som Microsoft Teams.

Datamaskinbruk fungerer best for autonome agenter, og utfører oppgaver i bakgrunnen uten brukerinteraksjon.

Du kan også bruke datamaskinbruk i samtaler, men husk disse faktorene:

Hvis du velger Brukergodkjenning som godkjenningsinnstilling, må hver bruker som samhandler med agenten i en samtale, ha gyldig legitimasjon for maskinen som brukes av datamaskinbruk.
Når verktøyet kjører, deler det resonneringsmeldinger og skjermbilder av maskinens aktivitet i chatten.

Anbefalte fremgangsmåter

For å holde deg produktiv og trygg i dagens digitale miljøer, følg beste praksis for bruk av datamaskiner, spesielt når du skriver tydelige instruksjoner og sikrer maskiner.

Beste praksis for sikring av maskiner

Når du konfigurerer maskiner for datamaskinbruk som lar KI utføre oppgaver ved hjelp av naturlig språk, bør du vurdere disse sikkerhetsanbefalingene:

Sikkerhetsanbefaling	Tilleggsinformasjon
Bruk dedikerte maskiner til datamaskinbruk	Tilordne spesifikke, isolerte maskiner utelukkende for oppgaver som involverer datamaskinbruk. Denne tilnærmingen reduserer risikoen for krysskontaminering fra urelatert programvare, skadelig programvare eller uautorisert tilgang. Det lar deg kontrollere konfigurasjoner, oppdateringer og overvåking mer effektivt.
Begrens tillatelsene til brukerkontoen du bruker til bruk på datamaskinen	Konfigurer brukerkontoen for datamaskinbruk for å følge prinsippet om minste privilegium – gi bare tillatelsene som er nødvendige for å kjøre de nødvendige verktøyene.
Begrens tilgang til nettet via en tillatelsesliste over bestemte klarerte nettsteder	Tillat bare nettilgang til en forhåndsdefinert liste over kontrollerte og klarerte domener. For eksempel kan du konfigurere policyinnstillinger for Microsoft Edge med Microsoft Intune som retter seg mot maskiner som brukes til datamaskinbruk.
Gjør bare bestemte skrivebordsprogrammer tilgjengelige	Bare installer og tillat kjøring av programmer som er avgjørende for de tiltenkte arbeidsflytene for kunstig intelligens. Fjern eller deaktiver tilgang til unødvendig programvare. Du kan for eksempel konfigurere Programkontroll for å begrense hvilke programmer som kan kjøre på maskinen.

Gode fremgangsmåter for instruksjoner for datamaskinbruk

Instruksjonene du skriver, bestemmer hvor godt datamaskinbruken fungerer. Bestemte, detaljerte instruksjoner hjelper datamaskinbruk å fullføre oppgaver nøyaktig. Tenk på det som å forklare en oppgave til en kollega. Tydelig, trinnvis veiledning bidrar til å sikre suksess.

Tips for å skrive effektive instruksjoner:

Vær spesifikk om nettsteder og applikasjoner. Ta alltid med hele nettadressen til et hvilket som helst nettsted og det nøyaktige navnet på et program verktøyet skal bruke. Eksempel: Åpne https://www.microsoft.com og gå til 'Bedriftsnyheter'.
Oppgi relevante handlinger klart og tydelig. Hvis du vil ha noe gjort, si det eksplisitt—spesielt handlinger som å sende inn et skjema eller sende en e-post. Eksempel: Når du har fylt ut skjemaet, velg Send inn. Ingen grunn til å spørre om tillatelse.
Bryt ned komplekse interaksjoner. For områder der brukergrensesnittet kan være mer komplisert å navigere, forklarer du hvert trinn i detalj. Eksempel: Velg Mer-ikonet øverst til høyre. En nedtrekksmeny vises. Når den åpnes, velg det siste elementet i listen.
Bruk trinnvis formatering for lengre oppgaver. Det er enklere å følge lange instruksjoner når du formaterer dem som en liste.

Eksempelinstruksjoner

Utforsk disse eksempelinstruksjonene hvis du vil teste datamaskinbruk, eller bruk dem som referanse for å skrive dine egne.

Scenario	Navn	Description	Instruksjoner
Fakturabehandling	Overføre og sende fakturadetaljer	Overfør fakturadata fra en PDF-fil og send dem til et annet skjema.	1. Gå til https://computerusedemos.blob.core.windows.net/web/Contoso/invoice-manager.html, sett datofilteret til Siste 24 timer, og åpne PDF-filen for fakturaen. 2. I en ny fane åpner du https://computerusedemos.blob.core.windows.net/web/Contoso/index.html og fyller ut skjemaet med dataene fra denne PDF-filen. Send inn fakturaskjemaet, ingen bekreftelse nødvendig.
Dataregistrering	Send inn lagervarer	Legg til produkter i lagersystemet.	1. Gå til https://computerusedemos.blob.core.windows.net/web/Adventure/index.html. 2. Send inn en ny oppføring for hvert av følgende elementer: Bakre kjedegir, RD-4821, 50, 42.75, Tailspin Leker Pedalsett, PD-1738, 80, 19,99, Northwind Traders Bremsespak, BL-2975, 35, 14.50, Trey Research Krankdrevboltsett, CB-6640, 100, 5.25, VanArsdel, Ltd. Bunnbrakett, BB-9320, 60, 24.90, Tailwind Traders
Uttrekking av data	Slå opp porteføljeleder og verdi	Få ledernavnet og -verdien for en portefølje.	1. Gå til https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html. 2. Finn raden for Fourth Coffee, og noter porteføljelederens navn og gjeldende porteføljeverdi nøyaktig slik den vises. 3. Returner disse to verdiene som den endelige utgangen.

Beste praksis for å hente ut data

Du kan bruke databruk til å hente ut data fra nettsteder eller applikasjoner, og deretter sende disse dataene til agenten din eller andre verktøy i agenten. For å gjøre dette, beskriv bare hvilken informasjon du vil hente ut direkte i instruksjonene for datamaskinbruk.

Hvis du vil bruke de utpakkede dataene med et annet verktøy (for eksempel sende dem via e-post), spesifiser behovet i agentinstruksjonene og sørg for at begge verktøyene legges til agenten.

Eksempel: Bruk datamaskinbruk for å hente ut kundeinformasjon til det finansielle porteføljedashbordet og send de hentede dataene på e-post. I dette tilfellet må agenten din inkludere både dataverktøyet og e-postverktøyet.

Trekk ut verdier som tekst

Du kan instruere datamaskinen til å hente ut spesifikke verdier og returnere dem som ren tekst. For eksempel trekker følgende prompt ut porteføljeforvalteren og porteføljeverdien for kunden, Fourth Coffee:

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
2. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
3. Return those two values as the final output.

Agenten returnerer kun de to forespurte verdiene som tekst.

Trekk ut verdier som JSON

Du kan også be datamaskinen om å returnere utpakket informasjon i JSON-format. Dette formatet er nyttig når du vil sende strukturerte data til et annet verktøy. Følgende eksempel trekker ut alle porteføljerader relatert til Contoso og returnerer dem som korrekt formatert JSON:

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
*    Each top-level key is the client name
*    Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
*    Return only the JSON, with no additional text.

Denne tilnærmingen sikrer at resultatet er strukturert.

lisensiering

Mens datamaskinbruk er i forhåndsversjon, faktureres den ved hjelp av agenthandlingsfunksjonen med en faktureringspris på fem Copilot-kreditter. For mer informasjon, se Faktureringssats og administrasjon av Microsoft Copilot Studio.

Hver datamaskinbruk kan utføre flere handlinger, og hver handling koster fem Copilot-kreditter.

Hvis du for eksempel konfigurerer datamaskinbruk slik at den fyller ut et nettbasert timeregistreringsskjema, utfører den disse handlingene hver gang den utløses:

Start nettleseren.
Gå til nettportalen for timeregistrering.
Velg Opprett ny timeregistrering.
Fyll ut feltet Starttidspunkt.
Fyll ut skjemafeltet Sluttidspunkt.
Fyll ut skjemafeltet Prosjektkode.
Velg Send-knappen.

I dette eksemplet utfører datamaskinbruk sju handlinger, og forbruker totalt 35 meldinger.

Har du tilbakemelding om datamaskinbruk? Gi oss beskjed på computeruse-feedback@microsoft.com.

Vanlige spørsmål om verktøyet for datamaskinbruk

Tilbakemeldinger

Var denne siden nyttig?

Last updated on 2025-12-19