Nejčastější dotazy k nástroji pro používání počítače

Tyto často kladené otázky (FAQ) poskytují přehled o možnostech, využití, omezeních a bezpečnostních opatřeních, o kterých byste měli vědět, když přidáváte nástroj používání počítače do svých agentů v Copilot Studio.

Co je nástroj pro používání počítače?

Použití počítače je nástroj, který můžete přidat do agentů Copilot Studio navržených k automatizaci úloh na webech a aplikacích. Poskytujete popisy úkolů v přirozeném jazyce a nástroj odpovídajícím způsobem automatizuje kliknutí myší a akce klávesnice. Můžete například dát nástroji pokyn, aby otevřel soubor PDF a použil jeho obsah k vyplnění webového formuláře. Nástroj vizuálně interpretuje obrazovku a provede potřebné kliknutí a stisknutí kláves a emuluje lidské interakce.

Upozornění

Použití počítače je výkonný nástroj, který automatizuje interakce mezi weby a desktopovými aplikacemi, ale přináší také důležité aspekty zabezpečení. V některých případech může AI provádět nezamýšlené akce kvůli nejednoznačným pokynům nebo neočekávanému obsahu na obrazovce. Tyto akce můžou ovlivnit zabezpečení vašeho zařízení, dat nebo připojených účtů, včetně přístupu k osobním, finančním nebo podnikovým systémům.

Co umí nástroj použití počítače?

Počítač používá nástroj zpracovává data pixelů obrazovky, aby porozuměl obsahu na obrazovce a provádí úlohy pomocí kliknutí virtuálních myší a vstupů klávesnice. Nástroj může spravovat vícekrokové pracovní postupy, zpracovávat neočekávané scénáře a dynamicky se přizpůsobovat změnám obrazovky, což umožňuje provádět různé digitální úlohy, jako je navigace na webech a vyplňování formulářů bez nutnosti specializovaných rozhraní API.

Nástroj pro použití počítače se řídí iterativní smyčkou založenou na třech krocích:

• Vnímání: Zachycuje snímky obrazovky, aby vizuálně porozuměl aktuálnímu stavu obrazovky počítače.

• Uvažování: Vyhodnocuje současný stav, předchozí akce a snímky obrazovky prostřednictvím přístupu založeného na řetězci myšlenek, což mu umožňuje efektivně přizpůsobovat své akce.

• Akce: Provádí akce, jako je kliknutí, psaní nebo posouvání, dokud není úloha dokončena nebo nevyžaduje další vstup uživatele.

Jaké je zamýšlené použití nástroje pro používání počítače?

Nástroj pro používání počítače slouží k automatizaci uživatelských interakcí s webovými stránkami a aplikacemi prostřednictvím virtuální myši a klávesnice. Obzvlášť užitečné je to v situacích, kdy nejsou dostupná API.

Jak byl nástroj pro použití počítače vyhodnocen? Jaké metriky se používají k měření výkonu?

Nástroj pro použití počítače byl pečlivě vyhodnocen pomocí scénářů z reálného světa ve fázích návrhu, vývoje a nasazení. Metody hodnocení zahrnovaly výzkum, studie dopadu a testování v různých scénářích pro měření přesnosti, důvěryhodnosti uživatelů a užitečnosti. Kvalitativní i kvantitativní metriky se pravidelně monitorují, aby se zachoval vysoký výkon a pozitivní uživatelské prostředí. Dostupnost nástroje je také zajištěna dodržováním zavedených smluv SLA.

Jaká jsou omezení nástroje pro použití počítače? Jak mohou uživatelé minimalizovat dopad omezení nástroje používání počítače při používání systému?

Použití počítače je nová technologie se známými bezpečnostními riziky a funkčními omezeními. Umožňujeme vám experimentovat s ním. Tato funkce v rané fázi umožňuje automatizaci určitých úloh založených na počítači, i když se její výkon značně liší v závislosti na případu použití. Pokud ho chcete efektivně a zodpovědně používat, seznamte se s jeho aktuálními omezeními.

Známá omezení

• Míra úspěšnosti se liší podle úkolů: Nástroj funguje nejlépe na webových úkolech (přibližně 80% úspěchu), ale výrazně klesne na desktopové aplikace (přibližně 35% úspěch).
• Nekonzistentní výkon: Stejný úkol může v závislosti na změnách vizuálu nebo časování přinést různé výsledky.
• Potíže s určitými ovládacími prvky uživatelského rozhraní: Používání počítače může mít potíže s nestandardními nebo dynamickými prvky rozhraní, jako jsou rozevírací seznamy, výběry dat nebo vlastní widgety.
• Smyčky a zablokované stavy: V některých případech agent přejde do smyčky nebo se zasekne, když obrazovka neodpovídá očekáváním nebo změnám nepředvídatelně.
• Problémy se složitými úlohami: I když je nástroj efektivní pro jednoduché akce, může se potýkat s podrobnými grafickými rozhraními nebo úkoly zahrnujícími složitou manipulaci s textem.
• U citlivých nebo vysoce rizikových případů použití není tento nástroj určený pro:
  • Doporučení nebo hodnocení v citlivých oblastech, jako je nábor, zdravotní péče nebo finance
  • Vytváření finančních transakcí
  • Škodlivé akce, jako je spam nebo dezinformace
  • Sdílení dat mimo vaši organizaci bez správné autorizace

Jak minimalizovat omezení

Pro zvýšení spolehlivosti je vhodné při konfiguraci úkolů poskytovat jasné a podrobné pokyny, abyste snížili chyby a zvýšili úspěšnost úkolů.

Co je to funkce lidského dohledu?

Důležité

Agenti používající počítač můžou narazit na škodlivé nebo nebezpečné příkazy, často označované jako útoky prostřednictvím injektáže výzev, kde skryté instrukce na snímcích obrazovky, webových stránkách nebo jiných vstupech se pokoušejí ovlivnit akce neúmyslnými způsoby. Chcete-li tato rizika snížit, používejte počítače v důvěryhodných, izolovaných prostředích a před provedením jakýchkoli pokynů použijte robustní ověření.

Při spouštění úloh s využitím počítače může dojít k nejednoznačnostem nebo chybějícím informacím. Například chybí požadovaná hodnota nebo existuje více možných interpretací. V těchto případech funkce lidského dohledu umožňuje agentovi používajícímu počítač pozastavit běh a zaslat žádost o upřesnění autorizovanému a konfigurovanému lidskému recenzentovi. Kontroloři mohou reagovat e-mailem nebo v aplikaci Copilot Studio pomocí mapy aktivit spuštění agenta. Jakmile agent používající počítač obdrží odpověď, pokračuje ve svém spuštění z přerušeného kroku na mapě.

Spolehlivost a limity

Podle hodnocení produktu funkce lidského dohledu většinou funguje podle očekávání, ale může selhat nebo se chovat způsoby, které uživatelé nečekají. Protože žádosti o upřesnění jsou vyvolávány chováním pravděpodobnostního modelu, nemusí se spustit v každé situaci, kdy by člověk chtěl pauzu. Mohou se také spustit, když pauza není nutná. Neměli byste se spoléhat na požadavky na upřesnění jako na bezpečnostní pojistku nebo jako na záruku, že systém vždy požádá o lidský vstup před pokračováním.

Není to mechanismus vynucování vlastních pravidel

Žádosti o lidský dohled nezaručují vymáhání vašich definovaných pravidel, politik nebo omezení. Měli byste použít více opatření vhodných pro každý možný scénář (například jasné instrukce, omezená prostředí, účty s nejnižšími oprávněními, seznamy povolených a další provozní ochrany), místo abyste spoléhali na žádosti o upřesnění k získávání informací nebo zabránění nežádoucím akcím.

Jaké provozní faktory a nastavení umožňují efektivní a odpovědné využívání nástroje používání počítače?

Nástroj pro použití počítače funguje nejlépe, když jsou k dispozici jasné a podrobné pokyny pro uživatele. Uživatelé by měli poskytnout přesné rady týkající se interakcí s weby nebo aplikacemi, aby se zlepšila spolehlivost a přesnost během provádění úloh. Pro lepší přehled a kontrolu umožněte lidský dohled přiřazením jednoho nebo více autorizovaných kontrolorů na konfigurační stránce nástroje. Když model detekuje potenciálně škodlivé instrukce, tito kontroloři obdrží upozornění, aby ověřili a rozhodli, zda v procesu pokračovat nebo ho ukončit.

Jak můžu poskytnout zpětnou vazbu k nástroji pro použití počítače?

Máte zpětnou vazbu k nástroji pro použití počítače? Napište e-mail na adresu computeruse-feedback@microsoft.com.