Veelgestelde vragen over het hulpmiddel computergebruik

Deze veelgestelde vragen (FAQ) geven inzicht in de mogelijkheden, het gebruik, de beperkingen en de waarborgen waar u op moet letten wanneer u de computergebruikstool toevoegt aan uw Copilot Studio-agenten.

Wat is de computergebruikstool?

Computergebruik is een hulpmiddel dat u aan uw Copilot Studio-agenten kunt toevoegen, ontworpen om taken op websites en toepassingen te automatiseren. U geeft taakbeschrijvingen in natuurlijke taal en de tool automatiseert de muisklikken en toetsenbordacties dienovereenkomstig. U zou bijvoorbeeld de tool kunnen instrueren om een PDF te openen en de inhoud ervan te gebruiken om een webformulier in te vullen. De tool interpreteert het scherm visueel en voert de benodigde klikken en toetsaanslagen uit, waarbij menselijke interacties worden nagebootst.

Waarschuwing

Computergebruik is een krachtig hulpmiddel dat interacties op websites en desktoptoepassingen automatiseert, maar het brengt ook belangrijke beveiligingsoverwegingen met zich mee. In sommige gevallen kan de AI onbedoelde acties ondernemen door vage instructies of onverwachte inhoud op het scherm. Deze acties kunnen gevolgen hebben voor de beveiliging van uw apparaat, gegevens of verbonden accounts, inclusief toegang tot persoonlijke, financiële of zakelijke systemen.

Wat kan het hulpmiddel computergebruik doen?

De computergebruikstool verwerkt pixelgegevens van het scherm om de scherminhoud te begrijpen en voert taken uit met virtuele muisklikken en toetsenbordacties. De tool kan meerstapsworkflows beheren, onverwachte scenario's afhandelen en zich dynamisch aanpassen aan schermwijzigingen. Hij kan verschillende digitale taken uitvoeren, zoals het navigeren door websites en het invullen van formulieren, zonder dat daarvoor gespecialiseerde API's nodig zijn.

De computergebruikstool volgt een iteratieve cyclus van drie stappen:

• Perceptie: hiermee worden schermopnamen gemaakt om de huidige staat van het computerscherm visueel te begrijpen.

• Redenering: het evalueert de huidige status, eerdere acties en schermopnamen via een gedachteketenbenadering, waardoor het de acties effectief kan aanpassen.

• Actie: voert acties uit zoals klikken, typen of scrollen totdat de taak is voltooid of totdat er meer invoer van de gebruiker nodig is.

Wat zijn de beoogde toepassingen van de computergebruikstool?

De computergebruikstool is bedoeld om gebruikersinteracties met websites en applicaties te automatiseren via een virtuele muis en toetsenbord. Het is vooral nuttig in situaties waarin API's niet beschikbaar zijn.

Hoe is de computergebruikstool geëvalueerd? Welke statistieken worden gebruikt om de prestaties te meten?

De computergebruikstool werd grondig geëvalueerd aan de hand van realistische scenario's gedurende de ontwerp-, ontwikkelings- en implementatiefasen. Evaluatiemethoden omvatten onderzoek, impactstudies en testen in verschillende scenario's om nauwkeurigheid, gebruikersvertrouwen en bruikbaarheid te meten. Zowel kwalitatieve als kwantitatieve meetwaarden worden regelmatig gemonitord om hoge prestaties en een positieve gebruikerservaring te behouden. De beschikbaarheid van de tool wordt ook gewaarborgd door te voldoen aan vastgestelde SLA's.

Wat zijn de beperkingen van het hulpmiddel voor computergebruik? Hoe kunnen gebruikers de impact van de beperkingen van het hulpmiddel computergebruik minimaliseren bij gebruik van het systeem?

Computergebruik is een nieuwe technologie met bekende beveiligingsrisico's en functionele beperkingen. We geven u de kracht om ermee te experimenteren. Deze vroege functionaliteit maakt automatisering van bepaalde computergebaseerde taken mogelijk, hoewel de prestaties sterk variëren afhankelijk van de toepassing. Om het effectief en verantwoordelijk te gebruiken, moet u de huidige beperkingen begrijpen.

Bekende beperkingen

• Slagingspercentage varieert per taak: de tool presteert het best bij webgebaseerde taken (ongeveer 80% succes), maar daalt aanzienlijk bij desktop-apps (ongeveer 35% succes).
• Inconsistente prestaties: dezelfde taak kan tot verschillende uitkomsten leiden, afhankelijk van visuele veranderingen of veranderingen in de timing.
• Moeilijkheden met bepaalde UI-besturing: computergebruik kan moeite hebben met interactie met niet-standaard of dynamische interface-elementen, zoals dropdowns, datumkeuzes of aangepaste widgets.
• Loops en vastzittende toestanden: in sommige gevallen komt de agent in een lus terecht of raakt vast wanneer het scherm niet overeenkomt met de verwachtingen of onvoorspelbaar verandert.
• Uitdagingen bij complexe taken: hoewel effectief voor eenvoudige handelingen, kan de tool problemen hebben met gedetailleerde grafische interfaces of taken die complexe tekstverwerking vereisen.
• Niet voor gevoelige of risicovolle toepassingen: de tool is niet bedoeld voor:
  • Aanbevelingen of scoren op gevoelige gebieden, zoals werving, gezondheidszorg of financiën
  • Financiële transacties
  • Schadelijke handelingen, zoals spam of desinformatie
  • Gegevens delen buiten uw organisatie zonder de juiste toestemming

Hoe u beperkingen kunt minimaliseren

Om de betrouwbaarheid te verbeteren, moet u duidelijke, gedetailleerde instructies geven bij het configureren van taken om fouten te verminderen en het succespercentage van taken te verhogen.

Wat is de menselijke supervisiefunctie?

Belangrijk

Agenten voor computergebruik kunnen schadelijke of kwaadaardige instructies, vaak aanvallen met promptinjectie genoemd, tegenkomen, waarbij verborgen instructies in schermopnamen, webpagina's of andere invoerpogingen proberen om acties op onbedoelde manieren te beïnvloeden. U kunt dit risico minimaliseren door computergebruik in vertrouwde, geïsoleerde omgevingen te gebruiken en robuuste validatiecontroles toe te passen voordat u instructies uitvoert.

Computergebruik kan onduidelijkheid of ontbrekende informatie tegenkomen. Bijvoorbeeld, een vereiste waarde ontbreekt of er zijn meerdere interpretaties mogelijk. In die gevallen stelt de menselijke supervisiefunctie de computergebruikende agent in staat de uitvoering te pauzeren en een verduidelijkingsverzoek te sturen naar een geautoriseerde en geconfigureerde menselijke reviewer. Beoordelaars kunnen reageren via e-mail of binnen Copilot Studio met behulp van de run activity map van de agent. Zodra de agent die een computer gebruikt een antwoord ontvangt, hervat deze de uitvoering vanaf de onderbroken stap op de kaart.

Betrouwbaarheid en limieten

Uit productgerichte evaluaties blijkt dat de menselijke supervisiefunctie over het algemeen werkt zoals verwacht, maar dat deze kan falen of zich op manieren kan gedragen die gebruikers niet verwachten. Omdat verduidelijkingsverzoeken worden geactiveerd door probabilistisch modelgedrag, worden ze mogelijk niet in elke situatie geactiveerd waarin iemand een pauze zou willen. Ze kunnen ook worden geactiveerd wanneer een pauze niet nodig is. U moet niet vertrouwen op verduidelijkingsverzoeken als een fail-safe veiligheidsmechanisme of als een garantie dat het systeem altijd om menselijke tussenkomst zal vragen voordat het verdergaat.

Geen mechanisme voor handhaving van aangepaste regels

Verzoeken om menselijke supervisie garanderen geen handhaving van uw gedefinieerde regels, beleid of beperkingen. U moet meer controles toepassen die geschikt zijn voor elk mogelijk scenario (bijvoorbeeld: duidelijke instructies, afgeschermde omgevingen, least-privilege accounts, allow lists en andere operationele waarborgen) in plaats van te vertrouwen op verduidelijkingsverzoeken om informatie te verschaffen of ongewenste acties te voorkomen.

Welke operationele factoren en instellingen maken een effectief en verantwoord gebruik van het hulpmiddel computergebruik mogelijk?

De computergebruik tool presteert het beste wanneer duidelijke en gedetailleerde gebruikersinstructies worden verstrekt. Gebruikers moeten nauwkeurige aanwijzingen geven over interacties met websites of applicaties om de betrouwbaarheid en nauwkeurigheid tijdens de uitvoering van taken te verbeteren. Voor extra zichtbaarheid en controle, schakel menselijke supervisie in door één of meer bevoegde beoordelaars toe te wijzen op de configuratiepagina van de tool. Wanneer het model mogelijk kwaadaardige instructies detecteert, ontvangen deze reviewers meldingen om te valideren en te beslissen of de run wordt voortgezet of gestopt.

Hoe geef ik feedback op de computergebruik-tool?

Hebt u feedback over het hulpmiddel computergebruik? E-mail computeruse-feedback@microsoft.com.