Vanlige spørsmål om verktøyet for datamaskinbruk

Disse vanlige spørsmålene gir innsikt i funksjonene, bruken, begrensningene og beskyttelsene du bør være oppmerksom på når du legger til verktøyet for bruk av datamaskinen i Copilot Studio-agentene.

Hva er verktøyet for datamaskinbruk?

Datamaskinbruk er et verktøy du kan legge til i Copilot Studio-agentene som er utformet for å automatisere oppgaver på nettsteder og programmer. Du angir oppgavebeskrivelser på naturlig språk, og verktøyet automatiserer museklikk og tastaturhandlinger tilsvarende. For eksempel kan du instruere verktøyet til å åpne en PDF og bruke innholdet til å fylle ut et nettskjema. Verktøyet tolker visuelt skjermen og utfører de nødvendige klikkene og tastetrykkene, og emulerer menneskelige interaksjoner.

Advarsel!

Datamaskinbruk er et kraftig verktøy som automatiserer samhandlinger på tvers av nettsteder og skrivebordsprogrammer, men det kommer også med viktige sikkerhetshensyn. I noen tilfeller kan kunstig intelligens utføre utilsiktede handlinger på grunn av tvetydige instruksjoner eller uventet innhold på skjermen. Disse handlingene kan påvirke sikkerheten til enheten, dataene eller tilkoblede kontoer, inkludert tilgang til personlige, økonomiske systemer eller virksomhetssystemer.

Hva kan verktøyet for datamaskinbruk gjøre?

Verktøyet for bruk av datamaskinen behandler skjermpikseldata for å forstå innhold på skjermen, og utfører oppgaver ved hjelp av virtuelle museklikk og tastaturinndata. Verktøyet kan håndtere flertrinnsarbeidsflyter, håndtere uventede scenarioer og tilpasse seg dynamisk til skjermendringer. Den kan utføre ulike digitale oppgaver som å navigere på nettsider og fylle ut skjemaer uten behov for spesialiserte API-er.

Verktøyet for bruk av datamaskinen følger en gjentakende løkke basert på tre trinn:

• Persepsjon: Det fanger skjermbilder for å visuelt forstå den gjeldende tilstanden til dataskjermen.

• Resonnement: Den evaluerer gjeldende tilstand, tidligere handlinger og skjermbilder gjennom en tankekjede, noe som gjør det mulig å tilpasse handlingene effektivt.

• Handling: Den utfører handlinger som å klikke, skrive eller rulle til oppgaven er fullført eller krever ytterligere brukerinndata.

Hva er dataverktøyets tiltenkte bruksområder?

Verktøyet for datamaskinbruk er ment å automatisere brukersamhandlinger med nettsteder og programmer gjennom en virtuell mus og et virtuelt tastatur. Det er spesielt nyttig i scenarioer der API-er ikke er tilgjengelige.

Hvordan ble verktøyet for datamaskinbruk evaluert? Hvilke måledata brukes til å måle ytelse?

Verktøyet for datamaskinbruk ble grundig evaluert ved hjelp av virkelige scenarier gjennom utformings-, utviklings- og distribusjonsfasene. Evalueringsmetodene inkluderte forskning, effektstudier og testing på tvers av ulike scenarioer for å måle nøyaktighet, brukertillit og nytteverdi. For å opprettholde høy ytelse og en positiv brukeropplevelse, overvåker teamet jevnlig både kvalitative og kvantitative måleparametere. Teamet sikrer også verktøyets tilgjengelighet ved å følge etablerte SLA-er.

Hva er begrensningene for verktøyet for bruk av datamaskinen? Hvordan kan brukere minimere virkningen av dataverktøyets begrensninger når de bruker systemet?

Databruk er en ny teknologi med kjente sikkerhetsrisikoer og funksjonelle begrensninger. Teamet gir deg mulighet til å eksperimentere med det. Denne funksjonaliteten i tidlig fase muliggjør automatisering av visse datamaskinbaserte oppgaver, selv om ytelsen varierer mye avhengig av brukstilfellet. For å bruke det effektivt og ansvarlig, forstå dets nåværende begrensninger.

Kjente begrensninger

• Ytelsen varierer etter oppgave og bruksområde. Pålitelighet avhenger av oppgavekompleksitet, grensesnittdesign og applikasjonsatferd.

• Følsom for grensesnitt- og tidsendringer. Layoutendringer, lasteforsinkelser eller uventede dialoger kan gi ulike utfall for samme oppgave.

• Vanskeligheter med visse kontroller. Ikke-standard eller dynamiske grensesnittelementer, som nedtrekksmenyer, datovelgere og tilpassede widgets, kan være utfordrende å samhandle med.

• Kan gjenta handlinger eller sette seg fast. Uventede skjermtilstander kan føre til at agenten går i loop eller slutter å gjøre fremgang.

• Utfordringer med komplekse oppgaver. Oppgaver som involverer detaljerte grafiske grensesnitt eller intrikat tekstbehandling kan være mindre pålitelige enn enkle handlinger.

• Ikke for sensitive eller høyrisiko bruksområder. For eksempel er verktøyet ikke ment for:

  • Anbefaler eller scorer innen sensitive områder, som ansettelser, helsevesen eller finans.
  • Å gjøre finansielle transaksjoner.
  • Skadelige handlinger, som spam eller feilinformasjon.
  • Deling av data utenfor organisasjonen din uten riktig tillatelse.

Slik minimerer du begrensninger

For å forbedre påliteligheten, gi tydelige, detaljerte instruksjoner ved konfigurasjon av oppgaver for å redusere feil og øke suksessraten for oppgaver.

Hva er funksjonen for menneskelig tilsyn?

Viktig!

Datamaskinbruksagenter kan støte på skadelige eller ondsinnede instruksjoner, ofte referert til som raske injeksjonsangrep, der skjulte kommandoer i skjermbilder, nettsider eller andre inndata forsøker å påvirke handlinger på utilsiktede måter. For å redusere disse risikoene bør du bruke datamaskinen i klarerte, isolerte miljøer og bruke robuste valideringskontroller før du utfører noen instruksjoner.

Kjøringer som involverer bruk av datamaskin, kan støte på tvetydighet eller manglende informasjon. En nødvendig verdi finnes for eksempel ikke, eller flere tolkninger er sannsynlige. I slike tilfeller lar funksjonen for menneskelig tilsyn datamaskinens brukeragent stanse kjøringen midlertidig og utstede en avklaringsforespørsel til en autorisert og konfigurert menneskelig korrekturleser. Korrekturlesere kan svare via e-post eller i Copilot Studio ved hjelp av agentens kjøreaktivitetskart. Når den datamaskinbaserte agenten mottar et svar, gjenopptar den kjøringen fra det midlertidige trinnet på kartet.

Pålitelighet og grenser

Produktledede evalueringer indikerer at funksjonen for menneskelig tilsyn vanligvis fungerer som forventet, men den kan mislykkes eller fungere på måter brukerne kanskje ikke forventer. Fordi forespørsler om avklaring utløses av probabilistisk modellvirkemåte, kan det hende at de ikke utløses i alle situasjoner der en person ønsker en pause. De kan også utløses når en pause ikke er nødvendig. Du bør ikke stole på avklaringsforespørsler som en sikkerhetsfeilsikker eller som en garanti for at systemet alltid vil be om menneskelige innspill før du fortsetter.

Ikke en håndhevelsesmekanisme for egendefinerte regler

Forespørsler om menneskelig tilsyn garanterer ikke håndheving av definerte regler, policyer eller begrensninger. Du bør bruke flere kontroller som passer for hvert mulige scenario (for eksempel fjerne instruksjoner, begrensede miljøer, kontoer med minst rettigheter, tillatelseslister og andre operasjonelle sikkerhetstiltak) i stedet for å stole på forespørsler om avklaring for å gi informasjon eller forhindre uønskede handlinger.

Hvilke driftsfaktorer og innstillinger tillater effektiv og ansvarlig bruk av verktøyet for datamaskinbruk?

Verktøyet for datamaskinbruk fungerer best når klare og detaljerte brukerinstruksjoner er angitt. Brukere bør gi presise tips om nettsteds- eller programsamhandlinger for å forbedre påliteligheten og nøyaktigheten under oppgavekjøring. Hvis du vil ha ekstra synlighet og kontroll, kan du aktivere menneskelig tilsyn ved å tilordne én eller flere autoriserte korrekturlesere på verktøykonfigurasjonssiden. Når modellen oppdager potensielt skadelige instruksjoner, mottar disse korrekturleserne varsler for å validere og bestemme om kjøringen skal fortsette eller stoppes.

Hvordan gir jeg tilbakemelding om verktøyet for bruk av datamaskinen?

Har du tilbakemelding på verktøyet for bruk av datamaskinen? Sende e-post computeruse-feedback@microsoft.com.