Ofte stillede spørgsmål om brug af computerværktøj

Disse ofte stillede spørgsmål (FAQ) giver overblik over de funktioner, anvendelser, begrænsninger og sikkerhedsforanstaltninger, du bør være opmærksom på, når du tilføjer computerbrugsværktøjet til dine Copilot Studio-agenter.

Hvad er computerbrugsværktøjet?

Computerbrug er et værktøj, du kan tilføje til dine Copilot Studio-agenter, som er designet til at automatisere opgaver på websites og i programmer. Du leverer opgavebeskrivelser i naturligt sprog, og værktøjet automatiserer museklik og tastaturhandlinger i overensstemmelse hermed. For eksempel kan du instruere værktøjet i at åbne en PDF og bruge indholdet til at udfylde en webformular. Værktøjet tolker skærmbilledet visuelt og udfører de nødvendige klik og tastetryk, så det efterligner menneskelige interaktioner.

Advarsel

Computerbrug er et kraftfuldt værktøj, der automatiserer interaktioner på tværs af hjemmesider og desktopprogrammer, men det medfører også vigtige sikkerhedsmæssige overvejelser. I nogle tilfælde kan AI'en foretage utilsigtede handlinger på grund af tvetydige instruktioner eller uventet indhold på skærmen. Disse handlinger kan påvirke sikkerheden for din enhed, dine data eller tilknyttede konti, herunder adgang til personlige, finansielle eller virksomhedssystemer.

Hvad kan computerbrugs-værktøjet gøre?

Computerbrugs-værktøjet behandler pixeldata fra skærmen for at forstå indholdet på skærmen og udfører opgaver ved hjælp af virtuelle museklik og tastaturinput. Værktøjet kan administrere flertrinsarbejdsgange, håndtere uventede scenarier og tilpasse sig dynamisk til skærmændringer. Det kan udføre forskellige digitale opgaver såsom at navigere på websteder og udfylde formularer uden behov for specialiserede API'er.

Computerbrugsværktøjet følger en iterativ proces baseret på tre trin:

• Opfattelse: Det fanger skærmbilleder for visuelt at forstå den aktuelle tilstand på computerskærmen.

• Ræsonnement: Den evaluerer den aktuelle tilstand, tidligere handlinger og skærmbilleder gennem en tankekæde-tilgang, som gør det muligt at tilpasse handlinger effektivt.

• Handling: Det udfører handlinger som at klikke, skrive eller rulle, indtil opgaven er fuldført eller kræver yderligere brugerinput.

Hvad er computerbrugsværktøjets tiltænkte anvendelser?

Computerværktøjet er designet til at automatisere brugerinteraktioner med hjemmesider og applikationer via en virtuel mus og tastatur. Det er især nyttigt i situationer, hvor API'er ikke er tilgængelige.

Hvordan blev computerbrugsværktøjet evalueret? Hvilke metrikværdier bruges til at måle ydeevnen?

Computerværktøjet blev grundigt evalueret ved hjælp af virkelige scenarier gennem hele design-, udviklings- og implementeringsfaserne. Evalueringsmetoderne omfattede forskning, effektstudier og test på tværs af forskellige scenarier for at måle nøjagtighed, brugertillid og nytteværdi. Både kvalitative og kvantitative måleparametre overvåges løbende for at opretholde høj ydeevne og en positiv brugeroplevelse. Værktøjets tilgængelighed sikres også ved at overholde etablerede SLA'er.

Hvad er begrænsningerne for værktøjer til computerbrug? Hvordan kan brugerne minimere effekten af computerbrug af værktøjets begrænsninger, når de bruger systemet?

Computerbrug er en ny teknologi med kendte sikkerhedsrisici og funktionelle begrænsninger. Vi giver dig mulighed for at eksperimentere med det. Denne tidlige teknologi muliggør automatisering af visse computerbaserede opgaver, selvom dens ydeevne varierer betydeligt afhængigt af brugsområdet. For at bruge det effektivt og ansvarligt, skal du forstå dets nuværende begrænsninger.

Kendte begrænsninger

• Succesraten varierer fra opgave til opgave: Værktøjet klarer sig bedst på webbaserede opgaver (omkring 80% succes), men falder markant på skrivebordsapplikationer (omkring 35% succes).
• Inkonsekvent ydelse: Den samme opgave kan give forskellige resultater afhængigt af visuelle eller tidsmæssige ændringer.
• Vanskeligheder med visse UI-elementer: computerbrug kan have vanskeligheder med at interagere med ikke-standard eller dynamiske interface-elementer, såsom dropdowns, datovælgere eller brugerdefinerede widgets.
• Løkker og fastlåste tilstande: I nogle tilfælde går agenten ind i en løkke eller sidder fast, når skærmen ikke matcher forventningerne eller ændrer sig uforudsigeligt.
• Udfordringer ved komplekse opgaver: Selvom det er effektivt til simple handlinger, kan værktøjet have svært ved detaljerede grafiske grænseflader eller opgaver, der involverer indviklet tekstmanipulation.
• Ikke til følsomme eller højrisiko-brugscases: Værktøjet er ikke beregnet til:
  • Anbefaling eller score inden for følsomme områder som ansættelse, sundhedspleje eller finans
  • Gennemførelse af finansielle transaktioner
  • Skadelige handlinger, såsom spam eller misinformation
  • Deling af data uden for organisationen uden korrekt autorisation

Sådan minimerer du begrænsninger

For at forbedre pålideligheden bør du angive klare og præcise instruktioner ved konfiguration af opgaver for at reducere fejl og øge succesraten for opgaver.

Hvad er menneskelig overvågningsfunktion?

Vigtigt!

Computerbrugsagenter kan støde på skadelige og ødelæggende instruktioner, der ofte henvises til som angreb med prompt-injektion, hvor skjulte kommandoer på skærmbilleder, websteder eller andre input forsøger at påvirke handlinger på utilsigtede måder. Hvis du vil minimere denne risiko, skal du betjene computerbrug i pålidelige, isolerede miljøer og udføre robuste valideringskontroller, før du udfører nogen instruktioner.

Kørsler med computerbrug kan støde på tvetydighed eller manglende information. For eksempel mangler en nødvendig værdi, eller der er flere mulige fortolkninger. I disse tilfælde tillader menneskelig supervisionsfunktion den computerbrugende agent at pause udførelsen og udsende en afklaringsanmodning til en autoriseret og konfigureret menneskelig reviewer. Korrekturlæsere kan svare via mail eller i Copilot Studio ved hjælp af agentens kørselsaktivitetskort. Når den computerbrugende agent har modtaget et svar, fortsætter den sit forløb fra det pausede trin på kortet.

Pålidelighed og begrænsninger

Produktbaserede evalueringer indikerer, at funktionen for menneskelig supervision generelt fungerer som forventet, men den kan fejle eller opføre sig på måder, som brugerne måske ikke forventer. Da afklaringsanmodninger udløses af en probabilistisk model, forekommer de ikke nødvendigvis i alle situationer, hvor en person ville ønske en pause. De kan også udløses, når en pause ikke er nødvendig. Du bør ikke stole på afklaringsanmodninger som en sikkerhedsforanstaltning eller som en garanti for, at systemet altid vil bede om menneskelig input, før det fortsætter.

Ikke en mekanisme til håndhævelse af brugerdefinerede regler

Anmodninger om menneskelig overvågning garanterer ikke håndhævelse af dine definerede regler, politikker eller begrænsninger. Du bør anvende flere kontroller, der er passende for hvert muligt scenarie (for eksempel: klare instruktioner, afgrænsede miljøer, mindst privilegerede konti, godkendelseslister og andre operationelle foranstaltninger) i stedet for at stole på anmodninger om afklaring til at give information eller forhindre uønskede handlinger.

Hvilke driftsmæssige faktorer og indstillinger giver effektiv og ansvarlig brug af computerværktøj?

Computerværktøjet fungerer bedst, når der gives klare og detaljerede brugerinstruktioner. Brugere bør give præcise tip om websteds- eller programinteraktioner for at forbedre pålideligheden og nøjagtigheden under opgaveudførelsen. For øget synlighed og kontrol, aktiver menneskelig overvågning ved at tildele en eller flere autoriserede anmeldere på værktøjskonfigurationssiden. Når modellen opdager potentielt ondsindede instruktioner, modtager disse anmeldere notifikationer for at validere og beslutte, om kørslen skal fortsættes eller stoppes.

Hvordan gør jeg det at give feedback på computerværktøjet?

Har du feedback til computerbrugsværktøjet? Mail computeruse-feedback@microsoft.com.