Vanlige spørsmål om verktøyet datamaskinbruk

Disse ofte stilte spørsmålene (FAQ) gir innsikt i funksjoner, bruk, begrensninger og beskyttelsestiltak du bør være oppmerksom på når du legger til verktøyet for datamaskinbruk i Copilot Studio-agentene dine.

Hva er datamaskinbruk-verktøyet?

datamaskinbruk er et verktøy du kan legge til i Copilot Studio-agentene dine, designet for å automatisere oppgaver på nettsteder og applikasjoner. Du gir oppgavebeskrivelser på naturlig språk, og verktøyet automatiserer museklikk og tastaturhandlinger basert på disse. For eksempel kan du be verktøyet om å åpne en PDF og bruke innholdet til å fylle ut et nettskjema. Verktøyet tolker skjermen visuelt og utfører nødvendige klikk og tastetrykk, etterligner menneskelige interaksjoner.

Advarsel!

Datamaskinbruk er et kraftig verktøy som automatiserer interaksjoner på tvers av nettsteder og skrivebordsapplikasjoner, men det medfører også viktige sikkerhetshensyn. I noen tilfeller kan AI-en utføre utilsiktede handlinger på grunn av tvetydige instruksjoner eller uventet innhold på skjermen. Disse handlingene kan påvirke sikkerheten til enheten, dataene dine eller tilknyttede kontoer, inkludert tilgang til personlige, finansielle eller bedriftssystemer.

Hva kan verktøyet datamaskinbruk gjøre?

Verktøyet for datamaskinbruk behandler skjermpikseldata for å forstå innholdet på skjermen, og utfører oppgaver ved hjelp av virtuelle museklikk og tastetrykk. Verktøyet kan administrere flertrinns arbeidsflyter, håndtere uforutsette scenarioer og tilpasse seg dynamisk til skjermendringer. Det kan utføre ulike digitale oppgaver, som å navigere på nettsider og fylle ut skjemaer, uten behov for spesialiserte API-er.

Verktøyet for datamaskinbruk følger en iterativ arbeidssyklus basert på tre hovedtrinn:

• Persepsjon: Den tar skjermbilder for å få en visuell forståelse av den nåværende tilstanden til dataskjermen.

• Resonnering: Den evaluerer nåværende tilstand, tidligere handlinger og skjermbilder via en tankekjedetilnærming, som gjør at den kan tilpasse handlingene effektivt.

• Handling: Den utfører handlinger som klikking, skriving eller rulling til oppgaven er fullført eller krever ytterligere brukerinndata.

Hva er de tiltenkte bruksområdene for verktøyet datamaskinbruk?

Datamaskinbruk-verktøyet er ment å automatisere brukerinteraksjoner med nettsteder og applikasjoner gjennom en virtuell mus og tastatur. Det er spesielt nyttig i scenarioer hvor API-er ikke er tilgjengelige.

Hvordan ble datamaskinbruk-verktøyet evaluert? Hvilke målinger brukes til å måle ytelse?

Datamaskinbruk-verktøyet ble grundig evaluert ved å bruke virkelige scenarier gjennom hele design-, utviklings- og implementeringsfasene. Evalueringsmetodene inkluderte forskning, effektstudier og testing på tvers av ulike scenarioer for å måle nøyaktighet, brukertillit og nytteverdi. Både kvalitative og kvantitative metrikker overvåkes regelmessig for å opprettholde høy ytelse og en positiv brukeropplevelse. Verktøyets tilgjengelighet sikres også ved å følge etablerte SLA-er.

Hva er begrensningene ved bruk av dataverktøy? Hvordan kan brukere minimere innvirkningen av begrensningene ved verktøyet datamaskinbruk når de bruker systemet?

Datamaskinbruk er en ny teknologi med kjente sikkerhetsrisikoer og funksjonelle begrensninger. Vi gir deg mulighet til å eksperimentere med det. Denne funksjonaliteten i tidlig utviklingsfase muliggjør automatisering av visse datamaskinbaserte oppgaver, selv om ytelsen varierer mye avhengig av bruksscenario. For å bruke det effektivt og ansvarlig, må du forstå de nåværende begrensningene.

Kjente begrensninger

• Suksessraten varierer etter oppgave: Verktøyet fungerer best på nettbaserte oppgaver (omtrent 80 % suksess), men faller betydelig på skrivebordsapplikasjoner (omtrent 35 % suksess).
• Inkonsekvent ytelse: Den samme oppgaven kan gi ulike resultater avhengig av visuelle eller tidsmessige endringer.
• Utfordringer med enkelte UI-kontroller: Datamaskinbruk kan ha utfordringer med å interagere med ikke-standardiserte eller dynamiske grensesnittelementer, som nedtrekkslister, datovelgere eller egendefinerte widgets.
• Løkker og fastlåste tilstander: I noen tilfeller går agenten inn i en løkke eller sitter fast når skjermen ikke samsvarer med forventningene eller endrer seg uforutsigbart.
• Utfordringer med komplekse oppgaver: Selv om verktøyet er effektivt for enkle handlinger, kan det slite med detaljerte grafiske grensesnitt eller oppgaver som involverer komplisert tekstmanipulering.
• Ikke for sensitive eller høyrisiko brukstilfeller: Verktøyet er ikke ment for:
  • Anbefalinger eller poeng innen sensitive områder, som ansettelser, helsevesen eller finans
  • Gjennomføring av finansielle transaksjoner
  • Skadelige handlinger, som spam eller feilinformasjon
  • Deling av data utenfor organisasjonen uten nødvendig autorisasjon

Hvordan minimere begrensninger

For å forbedre påliteligheten bør du gi klare og detaljerte instruksjoner når du konfigurerer oppgaver, for å redusere feil og øke sannsynligheten for vellykket gjennomføring.

Hva er menneskelig tilsyn-funksjonen?

Viktig!

Datamaskinbruk-agenter kan støte på skadelige eller ondsinnede instruksjoner, ofte referert til som «instruksinjeksjons»-angrep, der skjulte kommandoer i skjermbilder, nettsider eller andre inndata prøver å påvirke handlinger på utilsiktede måter. For å redusere disse risikoene, betjen datamaskinbruken i pålitelige, isolerte miljøer og utfør robuste valideringskontroller før du utfører instruksjoner.

Datamaskinbrukskjøringer kan støte på tvetydighet eller manglende informasjon. F.eks. mangler en nødvendig verdi, eller flere mulige tolkninger er plausible. I slike tilfeller gir menneskelig tilsyn-funksjonen datamaskinbruk-agenten mulighet til å pause utførelsen og sende en forespørsel om avklaring til en autorisert og konfigurert gjennomgangsperson. Gjennomgåere kan svare via e-post eller i Copilot Studio ved å bruke agentens aktivitetskart for kjøring. Når agenten mottar et svar, fortsetter den kjøringen fra det pauserte trinnet på aktivitetskartet.

Pålitelighet og begrensninger

Produktledede evalueringer indikerer at funksjonen for menneskelig tilsyn stort sett fungerer som forventet, men den kan svikte eller oppføre seg på måter brukere kanskje ikke forventer. Fordi avklaringsforespørsler utløses av probabilistisk modellatferd, vil de ikke alltid utløses i situasjoner der en person ville ønsket en pause. De kan også utløses når en pause ikke er nødvendig. Du bør ikke stole på avklaringsforespørsler som en sikkerhetsmekanisme eller som en garanti for at systemet alltid vil be om menneskelig innspill før det går videre.

Ikke en mekanisme for håndheving av tilpassede regler

Forespørsler om menneskelig tilsyn garanterer ikke håndhevelse av dine definerte regler, retningslinjer eller begrensninger. Du bør anvende flere kontroller som passer for hvert mulig scenario (f.eks.: klare instruksjoner, begrensede miljøer, minst privilegierte kontoer, tillatelseslister og andre operative sikkerhetstiltak) i stedet for å stole på oppklaringsforespørsler for å gi informasjon eller forhindre uønskede handlinger.

Hvilke driftsfaktorer og innstillinger gjør at det går an å bruke verktøyet datamaskinbruk på en effektiv og ansvarlig måte?

Datamaskinbruk fungerer best når klare og detaljerte brukerinstruksjoner gis. Brukere bør gi presise hint om interaksjoner med nettsider eller applikasjoner for å øke påliteligheten og nøyaktigheten under oppgaveutførelse. For økt synlighet og kontroll, aktiver menneskelig tilsyn ved å tildele én eller flere autoriserte vurderere i verktøyets konfigurasjonsside. Når modellen oppdager potensielt ondsinnede instruksjoner, mottar disse vurdererne varsler for å validere og avgjøre om kjøringen skal fortsette eller avbrytes.

Hvordan gir jeg tilbakemelding på datamaskinbruk-verktøyet?

Har du innspill til datamaskinbruk-verktøyet? Send e-post til computeruse-feedback@microsoft.com.