Automatisera webb- och skrivbordsappar med datoranvändning (förhandsversion)

[Denna artikel är en förhandsversion av dokumentationen och kan komma att ändras.]

Datoranvändning är ett verktyg i Copilot Studio som gör att din agent kan interagera med och automatisera uppgifter på en Windows-dator. Det fungerar med webbplatser och skrivbordsappar genom att välja knappar, välja menyer och skriva in text i fält på skärmen. Beskriv på naturligt språk vad du vill att datorn ska använda för att göra, och den utför uppgiften på en dator som du konfigurerar med hjälp av en virtuell mus och ett tangentbord. Med datoranvändning kan agenter utföra uppgifter även om det inte finns något API för att ansluta direkt till systemet. Om en person kan använda en app eller webbplats kan datoranvändning också göra det. Du kan använda datorn för uppgifter som automatisk datainmatning, fakturabearbetning och extrahering av data.

Viktigt

Den här artikeln innehåller dokumentation om förhandsversionen av Microsoft Copilot Studio och kan ändras.

Förhandsversion ska inte användas i produktion, och funktionerna kan vara begränsade. Funktionerna är tillgängliga före den officiella publiceringen så att du kan få tidig tillgång och ge feedback.

Om du skapar en produktionsklar agent, se översikten över Microsoft Copilot Studio.

Datoranvändningen drivs av Computer-Using Agents (CUA), en AI-modell som kombinerar synfunktioner med avancerade resonemang för att interagera med grafiska användargränssnitt (GUI). Eftersom den är AI-driven anpassar den sig till gränssnittsändringar. När till exempel knappar eller skärmar ändras fortsätter verktyget att fungera utan att flödet bryts. Det är enkelt att använda. Beskriv bara vad du vill ha på naturligt språk. Du behöver inte skriva kod.

Titta på den här videon om du vill lära dig hur datoranvändningsverktyget gör det möjligt för en agent att interagera med en webbapp.

Behov

Funktionen är tillgänglig för miljöer där regionen är inställd på USA.
Kontrollera att agenten har den generativa initieraren aktiverad för att använda datoranvändning.

Lägga till datoranvändning i agenten

På en ny agent eller en befintlig agent i Copilot Studio lägger du till datoranvändning som ett verktyg genom att följa dessa steg:

Gå till avsnittet Verktyg i din agent och välj Lägg till verktyg.
I dialogrutan Lägg till verktyg väljer du Nytt verktyg.
Välj Datoranvändning.
Ange de instruktioner som beskriver den uppgift som verktyget ska utföra på datorn. Du ser några instruktionsmallar att komma igång med. Mer information om hur du bäst skriver instruktioner för datoranvändning finns i metodtips för instruktioner för datoranvändning.
Välj den dator där datorn använder körs. Du kan antingen använda den värdbaserade webbläsaren, en dator som är redo att användas för att automatisera uppgifter på offentliga webbplatser eller välja en Windows-dator som du kan konfigurera att använda för datoranvändning. Läs mer i Konfigurera var datoranvändningen körs.
Välj Lägg till och konfigurera.
- På konfigurationssidan konfigurerar du följande tre fält:
  - Namn: Ange visningsnamnet för datoranvändningsverktyget. Det här namnet hjälper dig att skilja det från andra verktyg som du lägger till i din agent.
  - Beskrivning: Ge en kort beskrivning av vad det här verktyget gör och när det ska användas. Den här texten talar om för handläggaren när han eller hon ska använda det här verktyget.
  - Instruktioner: Lista de steg som verktyget ska utföra, inklusive URL:er och programnamn. Tips finns i Bästa praxis för instruktioner för datoranvändning.
Granska dessa andra fält och inställningar på konfigurationssidan som kan vara relevanta:
- Indata: Använd indata för att definiera dynamiska värden som ändras varje gång datoranvändningen körs. Om du till exempel vill fylla i ett formulär med ett annat värde vid varje körning skapar du indata för det fältet. Vid körningen kombinerar datoranvändningen dina instruktioner med indatavärdena för att slutföra uppgiften.
- Dator: Välj den måldator som agenten använder för att köra datoranvändning. Mer information om hur du väljer rätt datortyp baserat på dina krav finns i Konfigurera var datoranvändningen körs.
  - Använd Uppdatera för att uppdatera datorlistan.
  - Välj Hantera datorer för att öppna sidan för datorhantering i Power Automate-portalen.
  - Välj Visa datorinformation för att öppna sidan med datorinformation i Power Automate-portalen.
- Anslutning: Anslutning som används för det här verktyget. Uppdatera eller skapa en ny anslutning för att ändra de autentiseringsuppgifter som används.
- Autentiseringsuppgifter att använda: Ange hur datorn använder autentiserar under körningen:
  - Tillverkarens tillhandahållna inloggningsuppgifter (standard): Detta alternativ använder tillverkarens uppgifter och är lämpligt för autonoma agenter.
  Varning!
  
  Om du delar en agent med denna inställning kan vem som helst som använder den agera med originalförfattarens åtkomst på den konfigurerade maskinen.
  - Autentiseringsuppgifter för slutanvändare: Det här alternativet använder autentiseringsuppgifterna för den person som interagerar med agenten. Varje användare måste ha autentiseringsuppgifter för åtkomst till datorn.
- Mänsklig övervakning: Ange vem som ska kontaktas via e-post (Outlook) om datoranvändaragenten identifierar potentiellt skadliga instruktioner som kan ändra modellbeteendet. Varje agentkörning och dess aktivitet är kopplad till användaren som initierade den. Om du väljer en granskare som inte är den som kör datoranvändningsagenten, ser de troligen inte aktiviteten eftersom de inte initierade körningen. Därför kan de inte verifiera eller agera korrekt på begäran. Se också till att mottagaren är auktoriserad och har den kontext som krävs för att hantera sådana begäranden. Tidsgränsen för svar definierar hur länge begäran förblir aktiv. Efter den här perioden upphör begäran att gälla och körningen för datoranvändning stoppas om inget svar tas emot. Mer information finns i Mänsklig övervakning.
- Lagrade autentiseringsuppgifter: Definiera de autentiseringsuppgifter som datorn använder för att logga in på webbplatser och program. Om en inloggningsprompt visas under körningen använder datorn säkert alla autentiseringsuppgifter som du har definierat i det här avsnittet för webbplatsen eller programmet. Lösenordsvärden för dessa inloggningsuppgifter lagras antingen i Power Platforms interna lagring (ingen konfiguration krävs) eller i ett Azure Key Vault som du tillhandahåller. Läs om hur du skapar ett Azure Key Vault i Skapa ett nyckelvalv med hjälp av Azure-portalen.
  - Intern lagringsoption: Med detta alternativ kan du konfigurera inloggningsuppgifter i verktyget utan någon förkonfiguration. Hemligheter krypteras och lagras internt i Power Platform. För varje legitimation, ange följande uppgifter:
    - Skriv: välj mellan webbplats- och skrivbordsapp beroende på vilken Surface du planerar att använda denna legitimation
    - Användarnamn: det användarnamn du använder för att logga in på målwebbplatsen eller applikationen.
    - Lösenord: lösenordsvärdet som används för att logga in på målwebbplatsen eller applikationen.
    Obs
    
    Lösenordsfält stöds på alla webbplatser och de flesta Windows-program (WinForms, WPF, UWP, WinUI, Win32), som omfattar de flesta kundscenarier. Vissa apptyper, till exempel Electron, Java, Unity, spel, kommandoradsgränssnitt, Citrix eller andra virtualiserade miljöer, kanske inte stöds.
    - Inloggningsdomän eller Desktop-appnamn: domänen eller applikationsnamnet där du anger inloggningsuppgifterna (till exempel login.microsoft.com eller Excel). För inloggningsdomänen, se till att verifiera denna domän, eftersom den kan skilja sig från huvudsidans URL.
  - Azure Key Vault-alternativ: Med detta alternativ kan du konfigurera inloggningsuppgifter i verktyget genom att först ange prenumerations-ID, resursgruppsnamn och Key Vault-namn. All den här informationen är tillgänglig på sidan Översikt i ditt Key Vault.
    - Så här använder du Azure Key Vault-hemligheter med Power Platform:
      - Azure-prenumerationen som har vaulten måste ha PowerPlatform-resursleverantören registrerad.
      - Användaren som skapar miljövariabeln måste ha lämpliga behörigheter till Azure Key Vault-resursen.
    - Om du inte redan gjort det, följ stegen i Konfigurera Azure Key Vault och ange sedan följande detaljer:
      - Användarnamn: det användarnamn du använder för att logga in på målwebbplatsen eller applikationen.
      - Hemligt Azure-namn: namnet på hemligheten i Key Vault som lagrar lösenordet för webbplatsen eller programmet.
      Obs
      
      Lösenordsfält stöds på alla webbplatser och de flesta Windows-program (WinForms, WPF, UWP, WinUI, Win32), som omfattar de flesta kundscenarier. Vissa apptyper, till exempel Electron, Java, Unity, spel, kommandoradsgränssnitt, Citrix eller andra virtualiserade miljöer, kanske inte stöds.
      - Inloggningsdomän eller Desktop-appnamn: domänen eller applikationsnamnet där du anger inloggningsuppgifterna (till exempel login.microsoft.com eller Excel). För inloggningsdomänen, se till att verifiera denna domän, eftersom den kan skilja sig från huvudsidans URL.
- Åtkomstkontroll: Som standard kan datoranvändning fungera på alla webbplatser eller program. Om du vill begränsa den här åtkomsten aktiverar du åtkomstkontroll för att definiera de specifika URL:er och skrivbordsprogram som datorn använder ska begränsas till. Du kan konfigurera både webbplatser och program:
  - Webbplatser: Ange huvudwebbplatsadressen (till exempel example.com). Alla sidor på webbplatsen inkluderas automatiskt. Du kan också använda jokertecken (*) för underdomäner.
    - Exempel: www.contoso.com, *.contoso.com, contoso.com
  - Skrivbordsprogram: Ange programmets produktnamn eller processnamn. Du hittar den genom att trycka på Ctrl+Skift+Esc för att öppna Aktivitetshanteraren. Kontrollera sedan fliken Processer.
    - Exempel: Microsoft Edge, msedge, Notepad.
  Obs
  
  Åtkomstkontroll hindrar endast modellen från att vidta åtgärder på webbplatser eller program som inte finns i listan över tillåtna. Det hindrar inte modellen från att öppna dem. Om till exempel bara microsoft.com och Microsoft Edge finns i listan över tillåtna kan modellen fortfarande använda gränssökningsfältet för att öppna Bing. Men när Bing har öppnats misslyckas alla försök att interagera med det eftersom det inte finns i listan över tillåtna.
Välj Spara.

Testa datoranvändning

Att testa datoranvändning är ett viktigt steg i redigeringsresan. När du har angett ett namn, en beskrivning och instruktioner och sparat verktyget väljer du Testa för att starta testupplevelsen.

Efter en kort inläsningsperiod visas testupplevelsen:

Vänstra panelen visar dina instruktioner och en steg-för-steg-logg över verktygets resonemang och handlingar.
I den högra panelen visas en förhandsversion av åtgärderna på den dator som du har konfigurerat för datoranvändning.

När uppgiften är klar visas meddelandet Testet har slutförts. Medan testet pågår kan du välja Stoppa testning för att omedelbart stoppa alla åtgärder på datorn.

Om resultatet inte är vad du förväntar dig, gå till konfigurationssidan och förfina dina instruktioner. Lägg till fler detaljer för att förbättra noggrannheten. Vägledning finns i bästa praxis för att skriva effektiva instruktioner.

Publicera en agent med datoranvändning

Installera datoranvändning och publicera sedan din agent. Hur agenten körs beror på scenariot. Det kan vara autonomt eller konversationsbaserat:

Autonoma agenter körs automatiskt och utför uppgifter i bakgrunden.
Konversationsagenter låter användare interagera via kanaler som Microsoft Teams.

Datoranvändning fungerar bäst för autonoma agenter som utför uppgifter i bakgrunden utan användarinteraktion.

Du kan också använda datorn i konversationsupplevelser, men tänk på följande:

Om du väljer Användarautentisering som autentiseringsinställning måste varje användare som interagerar med agenten i en konversation ha giltiga autentiseringsuppgifter för den dator som datoranvändning använder.
När verktyget körs delar det resonemangsmeddelanden och skärmdumpar av maskinens aktivitet i chatten.

Regelverk

För att vara produktiv och säker i dagens digitala miljöer bör du följa bästa praxis för datoranvändning, särskilt när du skriver tydliga instruktioner och säkrar maskiner.

Bästa praxis för att skydda datorer

När du konfigurerar datorer för datoranvändning som gör att AI kan utföra uppgifter med naturligt språk bör du överväga följande säkerhetsrekommendationer:

Säkerhetsrekommendation	Ytterligare information
Använd dedikerade maskiner för datoranvändning	Tilldela specifika, isolerade datorer exklusivt för uppgifter som involverar datoranvändning. Den här metoden minskar risken för korskontaminering från orelaterad programvara, skadlig kod eller obehörig åtkomst. Det gör att du kan styra konfigurationer, uppdateringar och övervakning mer effektivt.
Begränsa behörigheterna till det användarkonto som du använder för datoranvändning	Konfigurera användarkontot för datoranvändning så att det följer principen om lägsta behörighet – bevilja endast de behörigheter som krävs för att köra de verktyg som krävs.
Begränsa webbåtkomsten till en godkännandelista över specifika betrodda webbplatser	Tillåt endast webbåtkomst till en fördefinierad lista över granskade och betrodda domäner. Du kan till exempel konfigurera Microsoft Edge-principinställningar med Microsoft Intune som måldatorer som används för datoranvändning.
Begränsa tillgängligheten av specifika skrivbordsappar	Installera och tillåt endast körning av program som är viktiga för de avsedda AI-arbetsflödena. Ta bort eller inaktivera åtkomst till onödig programvara. Du kan till exempel konfigurera Programkontroll för att begränsa vilka program som får köras på datorn.

Bästa praxis för instruktioner för datoranvändning

Instruktionerna du skriver avgör hur väl datoranvändningen fungerar. Specifika, detaljerade instruktioner hjälper datoranvändning att utföra uppgifter korrekt. Tänk på det som att förklara en uppgift för en kollega. Tydlig, steg-för-steg-vägledning hjälper till att säkerställa framgång.

Tips för att skriva effektiva instruktioner:

Var specifik när det gäller webbplatser och applikationer. Inkludera alltid den fullständiga webbadressen till en webbplats och det exakta namnet på något program som verktyget ska använda. Exempel: Öppna https://www.microsoft.com och gå till 'Företagsnyheter'.
Ange tydligt relevanta åtgärder. Om du vill ha något gjort, säg det uttryckligen – särskilt handlingar som att skicka in ett formulär eller skicka ett mejl. Exempel: När du fyllt i formuläret, välj Skicka. Ingen anledning att be om lov.
Bryt ner komplexa interaktioner. För områden där användargränssnittet kan vara mer komplext att navigera kan du förklara varje steg i detalj. Exempel: Välj Fler-ikonen uppe i högra hörnet. En rullgardinsmeny dyker upp. När den öppnas, välj det sista objektet i listan.
Använd steg-för-steg-formatering för längre uppgifter. Långa instruktioner är lättare att följa när du formaterar dem som en lista.

Exempelinstruktioner

Utforska de här exempelinstruktionerna för att prova datoranvändning eller använd dem som referens för att skriva egna.

Scenario	Namn	Beskrivning	Instruktioner
Fakturabearbetning	Överför och skicka fakturauppgifter	Överför fakturadata från en PDF-fil och skicka den till ett annat formulär.	1. Gå till https://computerusedemos.blob.core.windows.net/web/Contoso/invoice-manager.html, ställ in datumfiltret på Senaste 24 timmarna och öppna fakturans PDF-fil. 2. Öppna på en ny flik https://computerusedemos.blob.core.windows.net/web/Contoso/index.html och fyll i formuläret med data från PDF-filen. Skicka in fakturaformuläret, ingen bekräftelse behövs.
Dataregistrering	Skicka in lagerartiklar	Lägg till produkter i lagersystemet.	1. Gå till https://computerusedemos.blob.core.windows.net/web/Adventure/index.html. 2. Skicka in en ny post för vart och ett av följande objekt: Bakväxel, RD-4821, 50, 42.75, Tailspin Toys Pedalset, PD-1738, 80, 19.99, Northwind Traders Bromshandtag, BL-2975, 35, 14.50, Trey Research Bultsats för kedjedrev, CB-6640, 100, 5.25, VanArsdel, Ltd. Vevlager, BB-9320, 60, 24.90, Tailwind Traders
Dataextrahering	Slå upp portföljförvaltare och värde	Hämta förvaltarens namn och värde för en portfölj.	1. Gå till https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html. 2. Leta reda på raden för Fourth Coffee och notera namnet på Portfolio Manager samt det aktuella Portfolio Value exakt som de visas. 3. Returnera dessa två värden som slutliga utdata.

Bästa praxis för att extrahera data

Du kan använda datoranvändning för att extrahera data från webbplatser eller applikationer och sedan skicka den datan till din agent eller till andra verktyg i agenten. För att göra detta, beskriv bara vilken information du vill extrahera direkt i instruktionerna för datoranvändning.

Om du vill använda den extraherade datan med ett annat verktyg (till exempel skicka den via e-post), specificera det behovet i agentens instruktioner och se till att båda verktygen läggs till i agenten.

Exempel: Använd datoranvändning för att extrahera kundinformation till den finansiella portföljens dashboard och mejla den extraherade datan. I detta fall måste din agent inkludera både datorverktyget och e-postverktyget.

Extrahera värden som text

Du kan instruera datorn att extrahera specifika värden och returnera dem som klartext. Till exempel extraherar följande prompt portföljförvaltaren och portföljvärdet för kunden, Fourth Coffee:

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
2. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
3. Return those two values as the final output.

Agenten returnerar endast de två begärda värdena som text.

Extrahera värden som JSON

Du kan också be datorn att returnera extraherad information i JSON-format. Detta format är användbart när du vill skicka strukturerad data till ett annat verktyg. Följande exempel extraherar alla portföljrader relaterade till Contoso och returnerar dem som korrekt formaterad JSON:

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
*    Each top-level key is the client name
*    Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
*    Return only the JSON, with no additional text.

Denna metod säkerställer att utdata är strukturerad.

Licensiering

Även om datoranvändning är i förhandsversion debiteras detta via funktionen Agentåtgärd till ett faktureringspris på fem Copilot-krediter. Mer information finns i Faktureringstaxa och hantering för Microsoft Copilot Studio.

Varje körning av datoranvändning kan utföra flera åtgärder, och varje åtgärd kostar fem Copilot-krediter.

Om du till exempel ställer in datoranvändning för att fylla i ett webbaserat tidrapportformulär, utförs följande åtgärder varje gång det utlöses:

Starta webbläsare.
Navigera till webbportalen för tidrapport.
Välj Skapa en ny tidrapport.
Fyll i formulärfältet Starttid.
Fyll i formulärfältet Sluttid.
Fyll i formulärfältet Projektkod.
Välj knappen Skicka.

I det här exemplet kör datoranvändning sju åtgärder, vilket förbrukar totalt 35 meddelanden.

Har du feedback om verktyget för datoranvändning? Låt oss veta på computeruse-feedback@microsoft.com.

Vanliga frågor och svar om datoranvändningsverktyget

Feedback

Var den här sidan hjälpsam?

Last updated on 2025-12-20