Vanliga frågor och svar om datoranvändningsverktyget

Dessa vanliga frågor och svar ger insikter om funktioner, användning, begränsningar och skydd som du bör känna till när du lägger till datoranvändningsverktyget i dina Copilot Studio-agenter.

Vad är datoranvändningsverktyget?

Datoranvändning är ett verktyg som du kan lägga till i dina Copilot Studio-agenter som är utformade för att automatisera uppgifter på webbplatser och program. Du anger uppgiftsbeskrivningar på naturligt språk och verktyget automatiserar musklickningar och tangentbordsåtgärder i enlighet med detta. Till exempel kan du instruera verktyget att öppna en PDF och använda dess innehåll för att fylla i ett webbformulär. Verktyget tolkar skärmen visuellt och kör nödvändiga klick och tangenttryckningar, vilket härmar mänskliga interaktioner.

Varning

Datoranvändning är ett kraftfullt verktyg som automatiserar interaktioner mellan webbplatser och datorappar, men det medför också viktiga säkerhetsöverväganden. I vissa fall kan AI-tekniken vidta oavsiktliga åtgärder på grund av tvetydiga instruktioner eller oväntat innehåll på skärmen. Dessa åtgärder kan påverka säkerheten för din enhet, dina data eller anslutna konton, inklusive åtkomst till personliga system, finansiella system eller företagssystem.

Vad kan verktyget för datoranvändning göra?

Verktyget Datoranvändning bearbetar skärmens bildpunktsdata för att förstå innehållet på skärmen och utföra uppgifter med hjälp av virtuella musklick och tangentbordsindata. Verktyget kan hantera arbetsflöden i flera steg, hantera oväntade scenarier och anpassa sig dynamiskt till skärmändringar. Den kan utföra olika digitala uppgifter såsom att navigera på webbplatser och fylla i formulär utan att behöva specialiserade API:er.

Verktyget för datoranvändning följer en iterativ process som bygger på tre steg:

• Uppfattning: Den tar skärmbilder för att visuellt förstå datorskärmens aktuella tillstånd.

• Resonemang: Den utvärderar det aktuella tillståndet, tidigare åtgärder och skärmbilder genom en tankekedja, vilket gör att den kan anpassa sina åtgärder effektivt.

• Åtgärd: Den utför åtgärder som att klicka, skriva eller rulla tills uppgiften är klar eller kräver ytterligare användarinmatning.

Vilka är datoranvändningsverktygets avsedda användningsområden?

Verktyget för datoranvändning är avsett att automatisera användarinteraktioner med webbplatser och program via en virtuell mus och ett tangentbord. Det är särskilt användbart i scenarier där API:er inte är tillgängliga.

Hur utvärderades verktyget för datoranvändning? Vilka mått används för att mäta prestanda?

Verktyget Datoranvändning utvärderades noggrant med hjälp av verkliga scenarier under design-, utvecklings- och distributionsfaserna. Utvärderingsmetoderna inkluderade forskning, effektstudier och testning över olika scenarier för att mäta noggrannhet, användarförtroende och användbarhet. För att bibehålla hög prestanda och en positiv användarupplevelse övervakar teamet regelbundet både kvalitativa och kvantitativa mätvärden. Teamet säkerställer också verktygets tillgänglighet genom att följa etablerade SLA:er.

Vilka är begränsningarna i verktyget Datoranvändning? Hur kan användare minimera effekten av datoranvändningsverktygets begränsningar när de använder systemet?

Datoranvändning är en ny teknik med kända säkerhetsrisker och funktionsbegränsningar. Teamet ger dig möjlighet att experimentera med det. Den här funktionen är i ett tidigt skede och möjliggör automatisering av vissa datorbaserade uppgifter, även om dess prestanda varierar mycket beroende på användningsfallet. För att använda det effektivt och ansvarsfullt, förstå dess nuvarande begränsningar.

Kända begränsningar

• Prestandan varierar beroende på uppgift och tillämpning. Tillförlitligheten beror på uppgiftens komplexitet, gränssnittsdesign och applikationsbeteende.

• Känslig för förändringar i gränssnitt och tidpunkt. Layoutändringar, laddningsfördröjningar eller oväntade dialoger kan ge olika utfall för samma uppgift.

• Svårigheter med vissa kontroller. Icke-standardiserade eller dynamiska gränssnittselement, såsom rullgardinsmenyer, datumväljare och anpassade widgets, kan vara utmanande att interagera med.

• Kan upprepa handlingar eller fastna. Oväntade skärmtillstånd kan få agenten att loopa eller sluta göra framsteg.

• Utmaningar med komplexa uppgifter. Uppgifter som involverar detaljerade grafiska gränssnitt eller intrikat texthantering kan vara mindre tillförlitliga än enkla åtgärder.

• Inte för känsliga eller högriskanvändningsfall. Till exempel är verktyget inte avsett för:

  • Rekommendation eller poäng inom känsliga områden, såsom rekrytering, sjukvård eller finans.
  • Att göra finansiella transaktioner.
  • Skadliga handlingar, såsom spam eller desinformation.
  • Att dela data utanför din organisation utan korrekt tillstånd.

Så här minimerar du begränsningarna

För att förbättra tillförlitligheten, ge tydliga, detaljerade instruktioner vid konfiguration av uppgifter för att minska fel och öka framgångsfrekvensen för uppgifter.

Vad är funktionen för mänsklig övervakning?

Important

Datorbaserade agenter kan stöta på skadliga eller illvilliga instruktioner, som ofta kallas promptinjektionsattacker, där dolda kommandon i skärmbilder, webbsidor eller andra inmatningar försöker påverka ageranden på icke avsedda sätt. För att minska dessa risker bör du använda datorn i betrodda, isolerade miljöer och tillämpa robusta valideringskontroller innan du utför några instruktioner.

Datoranvändningskörningar kan stöta på tvetydighet eller information som saknas. Ett obligatoriskt värde finns till exempel inte eller flera tolkningar är rimliga. I dessa fall gör funktionen för mänsklig övervakning att datoranvändaren kan pausa körningen och utfärda en begäran om förtydligande till en auktoriserad och konfigurerad mänsklig granskare. Granskare kan svara via e-post eller i Copilot Studio med hjälp av agentens aktivitetskarta för körning. När agenten som använder datorn får ett svar återupptas körningen från det pausade steget på kartan.

Tillförlitlighet och begränsningar

Produktledda utvärderingar visar att den mänskliga övervakningsfunktionen vanligtvis fungerar som förväntat, men den kan misslyckas eller bete sig på sätt som användarna kanske inte förväntar sig. Eftersom förtydligande begäranden utlöses av probabilistisk modellbeteende kanske de inte utlöses i varje situation där en person vill ha en paus. De kan också utlösas när en paus inte behövs. Du bör inte förlita dig på förtydligande begäranden som ett säkerhetsfelsäkert eller som en garanti för att systemet alltid begär mänskliga indata innan du fortsätter.

Inte en mekanism för tillämpning av anpassade regler

Begäranden om mänsklig övervakning garanterar inte att dina definierade regler, principer eller begränsningar tillämpas. Du bör tillämpa fler kontroller som är lämpliga för varje möjligt scenario (till exempel tydliga instruktioner, begränsade miljöer, konton med minsta behörighet, tillåtna listor och andra operativa skyddsåtgärder) i stället för att förlita dig på förtydligande begäranden för att tillhandahålla information eller förhindra oönskade åtgärder.

Vilka driftfaktorer och inställningar gör det möjligt att på ett effektivt och ansvarigt sätt använda datoranvändningsverktyget?

Verktyget för datoranvändning fungerar bäst när tydliga och detaljerade användarinstruktioner tillhandahålls. Användarna bör ge exakta tips om webbplats- eller appinteraktioner för att förbättra tillförlitligheten och noggrannheten under aktivitetens genomförande. För ökad synlighet och kontroll kan du aktivera mänsklig övervakning genom att tilldela en eller flera auktoriserade granskare på konfigurationssidan för verktyg. När modellen identifierar potentiellt skadliga instruktioner får dessa granskare meddelanden för att verifiera och bestämma om körningen ska fortsätta eller stoppas.

Hur ger jag feedback om verktyget Datoranvändning?

Har du synpunkter om verktyget för datoranvändning? E-post computeruse-feedback@microsoft.com.