Nejčastější dotazy k nástroji pro používání počítače

Co je nástroj pro použití počítače

Použití počítače je nástroj, který můžete přidat do agentů Copilot Studio navržených k automatizaci úloh na webech a aplikacích. Uživatelé poskytují popisy úkolů v přirozeném jazyce a nástroj odpovídajícím způsobem automatizuje kliknutí myší a akce klávesnice. Můžete například dát nástroji pokyn, aby otevřel soubor PDF a použil jeho obsah k vyplnění webového formuláře. Nástroj vizuálně interpretuje obrazovku a provede potřebné kliknutí a stisknutí kláves a emuluje lidské interakce.

Výstraha

Použití počítače je výkonný nástroj, který automatizuje interakce mezi weby a desktopovými aplikacemi, ale přináší také důležité aspekty zabezpečení. V některých případech může AI provádět nezamýšlené akce kvůli nejednoznačným pokynům nebo neočekávanému obsahu na obrazovce. Tyto akce můžou ovlivnit zabezpečení vašeho zařízení, dat nebo připojených účtů, včetně přístupu k osobním, finančním nebo podnikovým systémům.

Co umí nástroj použití počítače?

Počítač používá nástroj zpracovává data pixelů obrazovky, aby porozuměl obsahu na obrazovce a provádí úlohy pomocí kliknutí virtuálních myší a vstupů klávesnice. Nástroj může spravovat vícekrokové pracovní postupy, zpracovávat neočekávané scénáře a dynamicky se přizpůsobovat změnám obrazovky, což umožňuje provádět různé digitální úlohy, jako je navigace na webech a vyplňování formulářů bez nutnosti specializovaných rozhraní API.

Nástroj pro použití počítače se řídí iterativní smyčkou založenou na třech krocích:

• Vnímání: Zachycuje snímky obrazovky, aby vizuálně porozuměl aktuálnímu stavu obrazovky počítače.

• Uvažování: Vyhodnocuje současný stav, předchozí akce a snímky obrazovky prostřednictvím přístupu založeného na řetězci myšlenek, což mu umožňuje efektivně přizpůsobovat své akce.

• Akce: Provádí akce, jako je kliknutí, psaní nebo posouvání, dokud není úloha dokončena nebo nevyžaduje další vstup uživatele.

Jaké je zamýšlené použití nástroje pro použití počítače?

Nástroj pro použití počítače je určený k automatizaci interakcí uživatelů s weby a aplikacemi prostřednictvím virtuální myši a klávesnice, zejména v situacích, kdy rozhraní API nejsou dostupná.

Jak byl nástroj pro použití počítače vyhodnocen? Jaké metriky se používají k měření výkonu?

Nástroj pro použití počítače byl pečlivě vyhodnocen pomocí scénářů z reálného světa ve fázích návrhu, vývoje a nasazení. Metody hodnocení zahrnovaly výzkum, studie dopadu a testování v různých scénářích pro měření přesnosti, důvěryhodnosti uživatelů a užitečnosti. Kvalitativní i kvantitativní metriky se pravidelně monitorují, aby se zachoval vysoký výkon a pozitivní uživatelské prostředí. Dostupnost nástroje je také zajištěna dodržováním zavedených smluv SLA.

Jaká jsou omezení nástroje pro použití počítače? Jak mohou uživatelé minimalizovat dopad omezení nástroje použití počítače při používání systému?

Použití počítače je nová technologie se známými bezpečnostními riziky a funkčními omezeními. Umožňujeme vám experimentovat s ním. Tato funkce v rané fázi umožňuje automatizaci určitých úloh založených na počítači, i když se její výkon značně liší v závislosti na případu použití. Pokud ho chcete efektivně a zodpovědně používat, seznamte se s jeho aktuálními omezeními:

Známá omezení

• Míra úspěšnosti se liší podle úkolů: Nástroj funguje nejlépe na webových úkolech (přibližně 80% úspěchu), ale výrazně klesne na desktopové aplikace (přibližně 35% úspěch).
• Nekonzistentní výkon: Stejný úkol může v závislosti na změnách vizuálu nebo časování přinést různé výsledky.
• Potíže s určitými ovládacími prvky uživatelského rozhraní: Používání počítače může mít potíže s nestandardními nebo dynamickými prvky rozhraní, jako jsou rozevírací seznamy, výběry dat nebo vlastní widgety.
• Smyčky a zablokované stavy: V některých případech agent přejde do smyčky nebo se zasekne, když obrazovka neodpovídá očekáváním nebo změnám nepředvídatelně.
• Problémy se složitými úlohami: I když je nástroj efektivní pro jednoduché akce, může se potýkat s podrobnými grafickými rozhraními nebo úkoly zahrnujícími složitou manipulaci s textem.
• U citlivých nebo vysoce rizikových případů použití není tento nástroj určený pro:
  • Doporučení nebo hodnocení v citlivých oblastech, jako je nábor, zdravotní péče nebo finance
  • Vytváření finančních transakcí
  • Škodlivé akce, jako je spam nebo dezinformace
  • Sdílení dat mimo vaši organizaci bez správné autorizace

Jak minimalizovat omezení

Aby se zlepšila spolehlivost, měli by uživatelé při konfiguraci úloh poskytnout jasné podrobné pokyny. To pomáhá snížit chyby a zvýšit míru úspěšnosti úkolů.

Lidský dohled

Lidský dohled zlepšuje viditelnost a kontrolu. Autorizovaný recenzent, kterého jste nastavili v sekci lidského dohledu nástroje, může potvrdit akce nebo poskytnout informace na žádost modelu. Pokud je potřeba potvrzení nebo vstup, systém pozastaví provádění a informuje přidělené recenzenty, kteří pak mohou rozhodnout, jak pokračovat.

Důležité

Agenti pro používání počítačů se mohou setkat se škodlivými nebo škodlivými instrukcemi, často označovanými jako útoky prompt injection, kdy se skryté příkazy na snímcích obrazovky, webových stránkách nebo jiných vstupech pokoušejí ovlivnit akce nezamýšleným způsobem. Chcete-li tato rizika snížit, provozujte používání počítačů v důvěryhodných, izolovaných prostředích a před provedením jakýchkoli instrukcí použijte robustní validační kontroly.

Jaké provozní faktory a nastavení umožňují efektivní a odpovědné využívání nástroje používání počítače?

Nástroj pro použití počítače funguje nejlépe, když jsou k dispozici jasné a podrobné pokyny pro uživatele. Uživatelé by měli poskytnout přesné rady týkající se interakcí s weby nebo aplikacemi, aby se zlepšila spolehlivost a přesnost během provádění úloh. Chcete-li zvýšit viditelnost a kontrolu, povolte lidský dohled přiřazením jednoho nebo více autorizovaných recenzentů na stránce konfigurace nástrojů. Když model zjistí potenciálně škodlivé pokyny, tito recenzenti obdrží oznámení, aby ověřili a rozhodli, zda mají pokračovat nebo zastavit spuštění.

Jak můžu poskytnout zpětnou vazbu k nástroji pro použití počítače?

Máte zpětnou vazbu k nástroji pro použití počítače? Napište e-mail na adresu computeruse-feedback@microsoft.com.