Veelgestelde vragen over het hulpprogramma voor computergebruik

Wat is het hulpprogramma voor computergebruik

Computergebruik is een hulpprogramma dat u kunt toevoegen aan uw Copilot Studio-agents die zijn ontworpen om taken op websites en toepassingen te automatiseren. Gebruikers bieden taakbeschrijvingen in natuurlijke taal en het hulpprogramma automatiseert muisklikken en toetsenbordacties dienovereenkomstig. U kunt bijvoorbeeld het hulpprogramma instrueren om een PDF te openen en de inhoud ervan te gebruiken om een webformulier in te vullen. Het hulpprogramma interpreteert het scherm visueel en voert de benodigde klikken en toetsaanslagen uit, waarmee menselijke interacties worden geëmuleren.

Waarschuwing

Computergebruik is een krachtig hulpprogramma waarmee interacties tussen websites en bureaubladtoepassingen worden geautomatiseerd, maar het wordt ook geleverd met belangrijke beveiligingsoverwegingen. In sommige gevallen kan de AI onbedoelde acties ondernemen vanwege dubbelzinnige instructies of onverwachte inhoud op het scherm. Deze acties kunnen van invloed zijn op de beveiliging van uw apparaat, gegevens of verbonden accounts, waaronder toegang tot persoonlijke, financiële of bedrijfssystemen.

Wat kan het hulpprogramma voor computergebruik doen?

Het hulpprogramma voor computergebruik verwerkt scherm pixelgegevens om inzicht te hebben in inhoud op het scherm en voert taken uit met behulp van virtuele muisklikken en toetsenbordinvoer. Het hulpprogramma kan werkstromen met meerdere stappen beheren, onverwachte scenario's afhandelen en dynamisch aanpassen aan schermwijzigingen, zodat het verschillende digitale taken kan uitvoeren, zoals het navigeren door websites en het invullen van formulieren zonder gespecialiseerde API's.

Het hulpprogramma voor computergebruik volgt een iteratieve lus op basis van drie stappen:

• Perception: Hiermee worden schermopnamen vastgelegd om de huidige status van het computerscherm visueel te begrijpen.

• Redenering: Het evalueert de huidige status, eerdere acties en schermopnamen via een keten van gedachten-benadering, waardoor het zijn acties effectief kan aanpassen.

• Actie: Hiermee worden acties uitgevoerd zoals klikken, typen of schuiven totdat de taak is voltooid of verdere gebruikersinvoer vereist.

Wat zijn de beoogde toepassingen van het hulpprogramma voor computergebruik?

Het hulpprogramma voor computergebruik is bedoeld om gebruikersinteracties met websites en toepassingen te automatiseren via een virtuele muis en toetsenbord, met name handig in scenario's waarin API's niet beschikbaar zijn.

Hoe is het hulpprogramma voor computergebruik geëvalueerd? Welke metrische gegevens worden gebruikt om de prestaties te meten?

Het hulpprogramma voor computergebruik is grondig geëvalueerd met behulp van praktijkscenario's tijdens de ontwerp-, ontwikkelings- en implementatiefasen. Evaluatiemethoden omvatten onderzoek, impactstudies en testen in verschillende scenario's om nauwkeurigheid, vertrouwen van gebruikers en bruikbaarheid te meten. Zowel kwalitatieve als kwantitatieve metrische gegevens worden regelmatig gecontroleerd om hoge prestaties en een positieve gebruikerservaring te behouden. De beschikbaarheid van het hulpprogramma wordt ook gegarandeerd door zich te houden aan gevestigde SLA's.

Wat zijn de beperkingen van het hulpprogramma voor computergebruik? Hoe kunnen gebruikers de gevolgen van de beperkingen van het hulpprogramma voor computergebruik minimaliseren wanneer ze het systeem gebruiken?

Computergebruik is een nieuwe technologie met bekende beveiligingsrisico's en functionele beperkingen. We bieden u de mogelijkheid om ermee te experimenteren. Met deze functie in de vroege fase kunt u bepaalde computertaken automatiseren, hoewel de prestaties sterk variëren, afhankelijk van de use-case. Als u het effectief en verantwoord wilt gebruiken, begrijpt u de huidige beperkingen:

Bekende beperkingen

• Het slagingspercentage varieert per taak: het hulpprogramma voert het beste uit voor webtaken (ongeveer 80% geslaagd), maar neemt aanzienlijk af op desktop-apps (ongeveer 35% succes).
• Inconsistente prestaties: dezelfde taak kan verschillende resultaten opleveren, afhankelijk van visuele of tijdswijzigingen.
• Problemen met bepaalde besturingselementen voor de gebruikersinterface: Bij computergebruik kunnen er moeilijkheden optreden bij het omgaan met niet-standaard of dynamische interface-elementen, zoals vervolgkeuzelijsten, datumkiezers of aangepaste widgets.
• Lussen en vastgelopen statussen: in sommige gevallen voert de agent een lus in of loopt vast wanneer het scherm niet overeenkomt met verwachtingen of onvoorspelbaar verandert.
• Uitdagingen met complexe taken: Hoewel dit effectief is voor eenvoudige acties, kan het hulpprogramma moeite hebben met gedetailleerde grafische interfaces of taken met ingewikkelde tekstmanipulatie.
• Niet voor gevoelige of gebruikssituaties met een hoog risico: het hulpprogramma is niet bedoeld voor:
  • Aanbevelen of scoren in gevoelige domeinen, zoals inhuren, gezondheidszorg of financiën
  • Financiële transacties maken
  • Schadelijke acties, zoals spam of onjuiste informatie
  • Gegevens delen buiten uw organisatie zonder de juiste autorisatie

Beperkingen minimaliseren

Om de betrouwbaarheid te verbeteren, moeten gebruikers duidelijke, gedetailleerde instructies geven bij het configureren van taken. Dit helpt fouten te verminderen en de slagingspercentages voor taken te verhogen.

Menselijk toezicht op mogelijk kwaadaardige instructies

Agents die door de computer worden gebruikt, kunnen schadelijke of kwaadaardige instructies tegenkomen, vaak aangeduid als prompt-injectieaanvallen, waarbij verborgen opdrachten in schermafbeeldingen, webpagina's of andere invoer proberen acties op onbedoelde manieren te beïnvloeden. Om deze risico's te verminderen, moet u het computergebruik uitvoeren in vertrouwde, geïsoleerde omgevingen en robuuste validatiecontroles uitvoeren voordat u instructies uitvoert.

Menselijk toezicht voegt meer zichtbaarheid en controle toe door geautoriseerde beoordelaars in staat te stellen acties te valideren die als potentieel schadelijk of kwaadwillig zijn gemarkeerd. Wanneer dergelijke risico's worden gedetecteerd, pauzeert computergebruik de uitvoering en waarschuwt het toegewezen beoordelaars, die kunnen beslissen of de run wordt voortgezet of gestopt. De veiligheidscontroles die door de computergebruiker worden uitgevoerd, kunnen worden geactiveerd door één reactie, invoer of screenshot, of door meerdere delen van zo'n context. De veiligheidscontroles zijn bedoeld om menselijke controle te stimuleren voordat mogelijk onomkeerbare of niet-toegestane acties door de computergebruiker worden ondernomen, maar de computergebruiker kan fouten maken bij het uitvoeren van de controles. Zo kan de computer use agent bepaalde acties niet detecteren, of een review aanvragen waar veiligheid geen zorg is. De veiligheidscontroles zijn geen vervanging voor verantwoord ontwerp en begeleiding van de agent.

Deze functie vraagt om het bekijken van mogelijk onomkeerbare of niet-toegestane acties, maar ondersteunt momenteel geen algemene bevestigingsverzoeken, meldingen voor ontbrekende informatie of andere soorten veiligheidscontroles.

Welke operationele factoren en instellingen zorgen voor effectief en verantwoord gebruik van het hulpprogramma voor computergebruik?

Het hulpprogramma voor computergebruik presteert het beste wanneer er duidelijke en gedetailleerde gebruikersinstructies worden verstrekt. Gebruikers moeten nauwkeurige hints geven over website- of toepassingsinteracties om de betrouwbaarheid en nauwkeurigheid tijdens het uitvoeren van taken te verbeteren. Voor extra zichtbaarheid en controle kunt u menselijk toezicht inschakelen door een of meer geautoriseerde revisoren toe te wijzen op de configuratiepagina van de tools. Wanneer het model mogelijk schadelijke instructies detecteert, ontvangen deze revisoren meldingen om te valideren en te beslissen of ze de uitvoering willen voortzetten of stoppen.

Hoe kan ik feedback geven over het hulpprogramma voor computergebruik?

Hebt u feedback over het hulpprogramma voor computergebruik? E-mail computeruse-feedback@microsoft.com.