Automatiseer web- en desktop-apps met computergebruik (preview)

[Dit artikel maakt deel uit van de voorlopige documentatie en kan nog veranderen.]

Computergebruik is een hulpprogramma in Copilot Studio waarmee uw agent kan communiceren met en taken kan automatiseren op een Windows-computer. Het werkt met websites en desktop-apps door knoppen te selecteren, menu's te kiezen en tekst in te voeren in velden op het scherm. Beschrijf in natuurlijke taal wat u wilt dat computergebruik doet en vervolgens wordt de taak met behulp van een virtuele muis en toetsenbord uitgevoerd op een computer die u hebt ingesteld. Met computergebruik kunnen agenten taken voltooien, zelfs als er geen API is om rechtstreeks verbinding te maken met het systeem. Als iemand een app of website kan gebruiken, kan computergebruik dat ook. U kunt computergebruik gebruiken voor taken zoals geautomatiseerde gegevensinvoer, factuurverwerking en gegevensextractie.

Belangrijk

Dit artikel bevat documentatie voor de preview van Microsoft Copilot Studio en kan nog veranderen.

Preview-functies zijn niet bedoeld voor productiegebruik en bieden mogelijk beperkte functionaliteit. Deze functies zijn beschikbaar voor een officiële release zodat u vroeg toegang kunt krijgen en feedback kunt geven.

Zie Overzicht van Microsoft Copilot Studio als u een productieklare agent aan het bouwen bent.

Computergebruik wordt aangestuurd door Computer-Using Agents (CUA), een AI-model dat visuele mogelijkheden combineert met geavanceerd redeneervermogen om te communiceren met grafische gebruikersinterfaces (GUI's). Omdat het op kunstmatige intelligentie (AI) werkt, past het zich aan veranderingen in de interface aan. Wanneer bijvoorbeeld knoppen of schermen veranderen, blijft de tool gewoon doorwerken, zonder dat uw workflow wordt onderbroken. Het is eenvoudig te gebruiken. Beschrijf gewoon wat u wilt, in natuurlijke taal. U hoeft geen code te schrijven.

Bekijk deze video om te leren hoe een agent met de tool voor computergebruik kan communiceren met een webapplicatie.

Vereisten

De functie is beschikbaar voor omgevingen waarin de regio is ingesteld op Verenigde Staten.
Zorg ervoor dat uw agent de generatieve orchestrator heeft ingeschakeld om computergebruik te kunnen gebruiken.

Voeg computergebruik toe aan uw agent

Voeg voor een nieuwe of bestaande agent in Copilot Studio computergebruik toe als hulpprogramma door de volgende stappen uit te voeren:

Ga naar het gedeelte Hulpmiddelen in uw agent en selecteer Hulpmiddel toevoegen.
Selecteer in het dialoogvenster Hulpmiddel toevoegen de optie Nieuw hulpmiddel.
Selecteer Computergebruik.
Geef de instructies op die de taak beschrijven die het hulpprogramma moet uitvoeren op de computer. U ziet enkele instructiesjablonen om aan de slag te gaan. Raadpleeg de aanbevolen procedures voor instructies voor computergebruik voor meer informatie over hoe u het beste instructies voor computergebruik kunt schrijven.
Kies de computer waarop computergebruik wordt uitgevoerd. U kunt de gehoste browser, een kant-en-klare computer voor het automatiseren van taken op openbare websites, gebruiken of een Windows-computer selecteren die u kunt configureren voor computergebruik. Meer informatie vindt u in Configureren waar computergebruik wordt uitgevoerd.
Selecteer Toevoegen en configureren.
- Configureer deze drie velden op de configuratiepagina:
  - Naam: voer de weergavenaam van het hulpmiddel computergebruik in. Met deze naam onderscheidt u het van andere hulpmiddelen die u aan uw agent toevoegt.
  - Beschrijving: voer een korte beschrijving in van wat dit hulpmiddel doet en wanneer u het moet gebruiken. Met deze tekst laat u uw agent weten wanneer hij/zij deze tool moet gebruiken.
  - Instructies: geef de stappen weer die het hulpmiddel moet uitvoeren, inclusief URL's en toepassingsnamen. Zie Best practices voor instructies voor computergebruik voor tips.
Bekijk de andere velden en instellingen op de configuratiepagina die mogelijk relevant zijn:
- Invoer: gebruik Invoer om dynamische waarden te definiëren die telkens veranderen wanneer computergebruik wordt uitgevoerd. Als u bijvoorbeeld een formulier bij elke uitvoering met een andere waarde wilt invullen, maakt u een invoer voor dat veld. Tijdens de uitvoering combineert de computer uw instructies met de invoerwaarden om de taak te voltooien.
- Machine: selecteer de doelcomputer die door de agent wordt gebruikt om computergebruik uit te voeren. Raadpleeg Configureren waar computergebruik wordt uitgevoerd voor meer informatie over het kiezen van het juiste computertype op basis van uw vereisten.
  - Gebruik Vernieuwen om de lijst met computers bij te werken.
  - Kies Machines beheren om de pagina Machinebeheer te openen in de Power Automate-portal.
  - Selecteer Machinedetails weergeven om de pagina met computerdetails te openen in de Power Automate-portal.
- Verbinding: verbinding die wordt gebruikt voor dit hulpprogramma. Werk een nieuwe verbinding bij of maak een nieuwe verbinding om de gebruikte referenties te wijzigen.
- Referenties voor gebruik: geef op hoe door computergebruik wordt geverifieerd tijdens de uitvoering:
  - Door de maker verstrekte inloggegevens (standaard): Deze optie gebruikt de inloggegevens van de maker en is geschikt voor autonome agenten.
  Waarschuwing
  
  Als je een agent deelt met deze instelling, kan iedereen die het gebruikt handelen met de toegang van de oorspronkelijke auteur op de geconfigureerde machine.
  - Eindgebruikersreferenties: deze optie maakt gebruik van de referenties van de persoon die met de agent communiceert. Elke gebruiker moet over toegangsgegevens voor de machine beschikken.
- Menselijk toezicht: geef op met wie contact moet worden opgenomen via e-mail (Outlook) als de computergebruiksagent mogelijk schadelijke instructies detecteert die het gedrag van het model kunnen wijzigen. Elke agentuitvoering en de bijbehorende activiteit is gekoppeld aan de gebruiker die deze heeft geïnitieerd. Als je een andere reviewer kiest dan degene die de computer-use agent draait, ziet die waarschijnlijk de activiteit niet omdat ze de run niet hebben gestart. Daarom kunnen ze de aanvraag niet goed verifiëren of erop reageren. Zorg er ook voor dat de ontvanger is geautoriseerd en de benodigde context heeft om dergelijke aanvragen te verwerken. De reactietijdlimiet bepaalt hoe lang de aanvraag actief blijft. Na deze periode verloopt de aanvraag en wordt de uitvoering van het computergebruik beëindigd als er geen antwoord wordt ontvangen. Zie Menselijk toezicht voor meer informatie.
- Opgeslagen referenties: definieer de referenties die door de computer worden gebruikt om u aan te melden bij websites en toepassingen. Als tijdens de uitvoering een aanmeldingsprompt wordt weergegeven, worden voor computergebruik veilig referenties gebruikt die u in deze sectie hebt gedefinieerd voor die site of toepassing. Wachtwoordwaarden van deze inloggegevens worden ofwel opgeslagen in de interne opslag van Power Platform (geen configuratie nodig) of in een Azure Key Vault die je aanlevert. Meer informatie over het maken van een Azure Key Vault in Een sleutelkluis maken met behulp van de Azure-portal.
  - Interne opslagoptie: Met deze optie kun je inloggegevens in de tool configureren zonder enige voorconfiguratie. Geheimen worden versleuteld en intern opgeslagen in het Power Platform. Voor elk certificaat vermeld u de volgende gegevens:
    - Type: kies tussen de website- en desktop-app, afhankelijk van welk surface je dit inloggegevens wilt gebruiken
    - Gebruikersnaam: de gebruikersnaam die je gebruikt om in te loggen op de doelwebsite of applicatie.
    - Wachtwoord: de wachtwoordwaarde die wordt gebruikt om in te loggen op de doelwebsite of applicatie.
    Notitie
    
    Wachtwoordvelden worden ondersteund op alle websites en door de meeste Windows-toepassingen (WinForms, WPF, UWP, WinUI, Win32) die betrekking hebben op de meeste klantscenario's. Sommige typen apps, zoals Electron, Java, Unity, games, opdrachtregelinterfaces, Citrix of andere gevirtualiseerde omgevingen, worden mogelijk niet ondersteund.
    - Inlogdomein of naam van de desktopapp: het domein of de applicatienaam waarop je de inloggegevens invoert (bijvoorbeeld login.microsoft.com of Excel). Voor het inlogdomein moet je dit domein controleren, want het kan verschillen van de hoofd-URL van de site.
  - Azure Key Vault-optie: Met deze optie kun je inloggegevens in de tool configureren door eerst de abonnements-ID, resourcegroepnaam en Key Vault-naam in te voeren. Al deze informatie is beschikbaar op de pagina Overzicht van uw Key Vault.
    - Azure Key Vault-geheimen gebruiken met Power Platform:
      - Het Azure-abonnement met de vault moet de PowerPlatform-resourceprovider geregistreerd hebben.
      - De gebruiker die de omgevingsvariabele maakt, moet over de juiste machtigingen beschikken voor de Azure Key Vault-resource.
    - Als je dat nog niet hebt gedaan, volg dan de stappen in Configure Azure Key Vault en geef vervolgens de volgende details:
      - Gebruikersnaam: de gebruikersnaam die je gebruikt om in te loggen op de doelwebsite of applicatie.
      - Naam van Azure-geheim: de naam van het geheim in de sleutelkluis waarin het wachtwoord voor de website of toepassing wordt opgeslagen.
      Notitie
      
      Wachtwoordvelden worden ondersteund op alle websites en door de meeste Windows-toepassingen (WinForms, WPF, UWP, WinUI, Win32) die betrekking hebben op de meeste klantscenario's. Sommige typen apps, zoals Electron, Java, Unity, games, opdrachtregelinterfaces, Citrix of andere gevirtualiseerde omgevingen, worden mogelijk niet ondersteund.
      - Inlogdomein of naam van de desktopapp: het domein of de applicatienaam waarop je de inloggegevens invoert (bijvoorbeeld login.microsoft.com of Excel). Voor het inlogdomein moet je dit domein controleren, want het kan verschillen van de hoofd-URL van de site.
- Toegangsbeheer: computergebruik kan standaard worden uitgevoerd op elke website of toepassing. Als u deze toegang wilt beperken, schakelt u toegangsbeheer in om de specifieke URL's en bureaubladtoepassingen te definiëren waartoe computergebruik moet worden beperkt. U kunt zowel websites als toepassingen configureren:
  - Websites: voer het adres van de hoofdwebsite in (bijvoorbeeld example.com). Alle pagina's op die website worden automatisch opgenomen. U kunt ook jokertekens (*) gebruiken voor subdomeinen.
    - Voorbeelden: www.contoso.com, *.contoso.com, contoso.com
  - Bureaubladtoepassingen: voer de product- of procesnaam van de toepassing in. Druk op Ctrl+Shift+Esc om Taakbeheer te openen om het te vinden. Controleer vervolgens het tabblad Processen.
    - Voorbeelden: Microsoft Edge, msedge, Notepad.
  Notitie
  
  Met toegangsbeheer wordt alleen voorkomen dat het model acties uitvoert op websites of toepassingen die niet zijn opgenomen in de acceptatielijst. Het weerhoudt het model er niet van om ze te openen. Als alleen microsoft.com en Microsoft Edge in de acceptatielijst zijn opgenomen, kan het model bijvoorbeeld nog steeds de Edge-zoekbalk gebruiken om Bing te openen. Zodra Bing is geopend, mislukt elke poging om ermee te werken, omdat Bing niet is opgenomen in de acceptatielijst.
Selecteer Opslaan.

Computergebruik testen

Het testen van computergebruik is een belangrijke stap in het creatietraject. Nadat u een naam, beschrijving en instructies hebt ingevoerd en het hulpmiddel hebt opgeslagen, selecteert u Testen om de testervaring te starten.

Na een korte laadperiode verschijnt de testervaring.

Het linkerpaneel toont je instructies en een stapsgewijs logboek van de redenering en acties van het hulpmiddel.
Op het rechterpaneel ziet u een voorbeeld van de acties op de machine die u voor computergebruik hebt ingesteld.

Wanneer de taak is voltooid, ziet u het bericht Test voltooid. Terwijl de test wordt uitgevoerd, kunt u Testen stoppen selecteren om alle acties op de machine onmiddellijk te stoppen.

Als het resultaat niet is wat u verwacht, ga dan naar de configuratiepagina en pas uw instructies aan. Voeg meer details toe om de nauwkeurigheid te verbeteren. Voor hulp zie de best practices voor het schrijven van effectieve instructies.

Een agent publiceren met computergebruik

Stel computergebruik in en publiceer dan je agent. Hoe uw agent functioneert, hangt af van het scenario. Het kan autonoom of conversationeel zijn:

Autonome agenten worden automatisch uitgevoerd en voeren taken op de achtergrond uit.
Met gespreksagenten kunnen gebruikers communiceren via kanalen zoals Microsoft Teams.

Computergebruik is het meest effectief voor autonome agenten die taken op de achtergrond uitvoeren, zonder tussenkomst van de gebruiker.

U kunt computergebruik ook toepassen in gesprekservaringen, maar houd rekening met het volgende:

Als u Gebruikersverificatie selecteert als verificatie-instelling, heeft elke gebruiker die met de agent communiceert in een gesprek geldige inloggegevens nodig voor de machine die door computergebruik wordt gebruikt.
Wanneer de tool wordt uitgevoerd, worden er redeneerberichten en schermafbeeldingen van de activiteit van de machine in de chat gedeeld.

Beste praktijken

Om productief en veilig te blijven in de huidige digitale omgevingen, is het belangrijk dat u de aanbevolen procedures voor computergebruik volgt. Dit geldt met name voor het opstellen van duidelijke instructies en het beveiligen van machines.

Best practices voor het beveiligen van machines

Wanneer u computers instelt voor computergebruik waarmee AI taken kan uitvoeren met behulp van natuurlijke taal, moet u rekening houden met de volgende beveiligingsaanbevelingen:

Beveiligingsaanbevelingen	Meer informatie
Gebruik speciale machines voor computergebruik	Wijs specifieke, geïsoleerde machines uitsluitend toe voor taken met betrekking tot computergebruik. Deze aanpak vermindert het risico op kruisbesmetting door niet-gerelateerde software, malware of onbevoegde toegang. Hiermee kunt u configuraties, updates en bewaking effectiever beheren.
Beperk de machtigingen tot het gebruikersaccount dat u voor computergebruik gebruikt	Stel het gebruikersaccount voor computergebruik zo in dat het principe van minimale bevoegdheden wordt gevolgd: verleen alleen de machtigingen die nodig zijn om de vereiste hulpmiddelen uit te voeren.
De webtoegang beperken tot een acceptatielijst van specifieke vertrouwde websites	Geef alleen toegang tot internet aan een vooraf gedefinieerde lijst met gecontroleerde en vertrouwde domeinen. U kunt bijvoorbeeld Microsoft Edge-beleidsinstellingen configureren met Microsoft Intune die betrekking hebben op computers die moeten worden gebruikt voor computergebruik.
Beschikbaarheid van specifieke desktop-apps beperken	Installeer en sta alleen de uitvoering toe van applicaties die essentieel zijn voor de beoogde AI-workflows. Verwijder of schakel de toegang tot onnodige software uit. U kunt bijvoorbeeld toepassingsbeheer configureren om te beperken welke applicaties op de machine mogen worden uitgevoerd.

Aanbevolen werkwijzen voor instructies voor computergebruik

De instructies die u schrijft, bepalen hoe goed computergebruik werkt. Specifieke, gedetailleerde instructies helpen de computer om taken nauwkeurig uit te voeren. Stel je voor dat je een taak aan een collega uitlegt. Duidelijke, stapsgewijze begeleiding helpt succes te verzekeren.

Tips voor het schrijven van effectieve instructies:

Wees specifiek over websites en applicaties. Vermeld altijd de volledige URL van een website en de exacte naam van de toepassing die de tool moet gebruiken. Voorbeeld: Open https://www.microsoft.com en ga naar 'Bedrijfsnieuws'.
Geef duidelijk aan welke acties relevant zijn. Als je iets gedaan wilt hebben, zeg het dan expliciet—vooral acties zoals het indienen van een formulier of het versturen van een e-mail. Voorbeeld: Zodra je het formulier hebt ingevuld, selecteer je Indienen. Je hoeft geen toestemming te vragen.
Breek complexe interacties op. Leg elke stap gedetailleerd uit voor gebieden waar de gebruikersinterface mogelijk complexer is om te navigeren. Voorbeeld: Selecteer het Meer-icoon rechtsboven. Er verschijnt een dropdown. Zodra het opengaat, selecteer je het laatste item in de lijst.
Gebruik stapsgewijze opmaak voor langere taken. Lange instructies zijn gemakkelijker te volgen als u ze als een lijst opmaakt.

Voorbeeldinstructies

Probeer deze voorbeeldinstructies uit of gebruik ze als referentie bij het schrijven van uw eigen instructies.

Scenario	Meetcriterium	Omschrijving	Instructies
Factuurverwerking	Factuurgegevens overdragen en indienen	Factuurgegevens uit een PDF overbrengen en naar een ander formulier verzenden.	1. Ga naar https://computerusedemos.blob.core.windows.net/web/Contoso/invoice-manager.html, stel het filter Datum in op Afgelopen 24 uur en open de PDF van de factuur. 2. Open het formulier https://computerusedemos.blob.core.windows.net/web/Contoso/index.html op een nieuw tabblad en vul het in met de gegevens uit die PDF. Dien het factuurformulier in, er is geen bevestiging nodig.
Gegevensinvoer	Voorraadartikelen indienen	Voeg producten toe aan het voorraadsysteem.	1. Ga naar https://computerusedemos.blob.core.windows.net/web/Adventure/index.html. 2. Dien een nieuwe inzending in voor elk van de volgende items: Achterderailleur, RD-4821, 50, 42,75, Tailspin Toys Pedaalset, PD-1738, 80, 19,99, Northwind Traders Remhendel, BL-2975, 35, 14.50, Trey Research Kettingbladboutset, CB-6640, 100, 5.25, VanArsdel, Ltd. Trapas, BB-9320, 60, 24.90, Tailwind Traders
Gegevensextractie	Zoek naar portefeuillebeheerder en waarde	Zoek de naam en waarde van de beheerder van een portefeuille.	1. Ga naar https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html. 2. Zoek de rij voor Fourth Coffee en noteer de naam van de portefeuillebeheerder en de huidige portefeuillewaarde precies zoals weergegeven. 3. Retourneer deze twee waarden als de uiteindelijke uitvoer.

Best practices voor het extraheren van data

Je kunt computergebruik gebruiken om data uit websites of applicaties te halen en die vervolgens door te geven aan je agent of andere tools in de agent. Om dit te doen, beschrijf je direct in de instructies voor computergebruik welke informatie je wilt extraheren.

Als je de geëxtraheerde data met een ander hulpmiddel wilt gebruiken (bijvoorbeeld per e-mail versturen), specificeer dan die behoefte in de agentinstructies en zorg ervoor dat beide tools aan de agent worden toegevoegd.

Voorbeeld: Gebruik computergebruik om de klantinformatie uit het financiële portefeuilledashboard te halen en stuur de geëxtraheerde gegevens per e-mail. In dit geval moet je agent zowel het computergebruik als het e-mailprogramma toevoegen.

Extraheren van waarden als tekst

Je kunt de computer gebruiken om specifieke waarden te extraheren en ze als platte tekst terug te geven. Bijvoorbeeld, de volgende prompt haalt de portefeuillebeheerder en portefeuillewaarde voor de klant uit, Fourth Coffee:

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
2. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
3. Return those two values as the final output.

De agent retourneert alleen de twee gevraagde waarden als tekst.

Extractiewaarden als JSON

Je kunt ook het computergebruik vragen om de geextraheerde informatie in JSON-formaat terug te geven. Dit formaat is handig wanneer je gestructureerde data aan een ander hulpmiddel wilt doorgeven. Het volgende voorbeeld haalt alle portfolio-rijen uit die met Contoso te maken hebben en geeft ze terug als correct geformatteerde JSON:

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
*    Each top-level key is the client name
*    Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
*    Return only the JSON, with no additional text.

Deze aanpak zorgt ervoor dat de output gestructureerd is.

Licenties

Hoewel computergebruik in preview is, wordt het gefactureerd met behulp van de actiefunctie Agent met een factureringstarief van vijf Copilot-tegoeden. Zie Factureringstarieven en -beheer in Microsoft Copilot Studio voor meer informatie.

Bij elke uitvoering van computergebruik kunnen verschillende acties worden uitgevoerd en elke actie kost vijf Copilot-tegoeden.

Als u bijvoorbeeld computergebruik instelt om een webgebaseerd urenregistratieformulier in te vullen, worden de volgende acties uitgevoerd wanneer het computergebruik wordt geactiveerd:

Start de webbrowser.
Ga naar de webportal voor urenstaten.
Selecteer Nieuwe urenstaat maken.
Vul het formulierveld Starttijd in.
Vul het formulierveld Eindtijd in.
Vul het formulierveld Projectcode in.
Selecteer de knop Verzenden.

In dit voorbeeld voert computergebruik zeven acties uit, waarbij in totaal 35 berichten worden gebruikt.

Hebt u feedback over computergebruik? Laat het ons weten op computeruse-feedback@microsoft.com.

Veelgestelde vragen over het hulpmiddel computergebruik

Feedback

Is deze pagina nuttig?

Last updated on 2025-12-20