Nejčastější dotazy k nástroji pro používání počítače

Tyto nejčastější dotazy poskytují přehled o možnostech, využití, omezeních a bezpečnostních opatřeních, o které byste měli vědět, když do agentů Copilot Studio přidáte nástroj pro použití počítače.

Co je nástroj pro použití počítače?

Počítačové použití je nástroj, který můžete přidat do agentů Copilot Studio navržených k automatizaci úloh na webech a aplikacích. Zadáte popisy úkolů v přirozeném jazyce a nástroj odpovídajícím způsobem automatizuje kliknutí myší a akce klávesnice. Můžete například dát nástroji pokyn, aby otevřel soubor PDF a použil jeho obsah k vyplnění webového formuláře. Nástroj vizuálně interpretuje obrazovku a provede potřebné kliknutí a stisknutí kláves a emuluje lidské interakce.

Warning

Použití počítače je výkonný nástroj, který automatizuje interakce mezi weby a desktopovými aplikacemi, ale přináší také důležité aspekty zabezpečení. V některých případech může AI provádět nezamýšlené akce kvůli nejednoznačným pokynům nebo neočekávanému obsahu na obrazovce. Tyto akce můžou ovlivnit zabezpečení vašeho zařízení, dat nebo připojených účtů, včetně přístupu k osobním, finančním nebo podnikovým systémům.

Co umí nástroj použití počítače?

Počítač používá nástroj zpracovává data pixelů obrazovky, aby porozuměl obsahu na obrazovce a provádí úlohy pomocí kliknutí virtuálních myší a vstupů klávesnice. Nástroj může spravovat vícekrokové pracovní postupy, zpracovávat neočekávané scénáře a dynamicky se přizpůsobovat změnám obrazovky. Může provádět různé digitální úlohy, jako je navigace na webech a vyplňování formulářů bez nutnosti specializovaných rozhraní API.

Nástroj pro použití počítače se řídí iterativní smyčkou založenou na třech krocích:

• Vnímání: Zachycuje snímky obrazovky, aby vizuálně porozuměl aktuálnímu stavu obrazovky počítače.

• Uvažování: Vyhodnocuje současný stav, předchozí akce a snímky obrazovky prostřednictvím přístupu založeného na řetězci myšlenek, což mu umožňuje efektivně přizpůsobovat své akce.

• Akce: Provádí akce, jako je kliknutí, psaní nebo posouvání, dokud není úloha dokončena nebo nevyžaduje další vstup uživatele.

K čemu slouží tento počítačový nástroj?

Nástroj pro použití počítače je určený k automatizaci interakcí uživatelů s weby a aplikacemi prostřednictvím virtuální myši a klávesnice. Je zvlášť užitečná ve scénářích, kdy rozhraní API nejsou dostupná.

Jak byl nástroj pro použití počítače vyhodnocen? Jaké metriky jsou použity k měření výkonu?

Nástroj pro použití počítače byl pečlivě vyhodnocen pomocí scénářů z reálného světa ve fázích návrhu, vývoje a nasazení. Metody hodnocení zahrnovaly výzkum, studie dopadu a testování v různých scénářích pro měření přesnosti, důvěryhodnosti uživatelů a užitečnosti. Kvalitativní i kvantitativní metriky se pravidelně monitorují, aby se zachoval vysoký výkon a pozitivní uživatelské prostředí. Dostupnost nástroje je také zajištěna dodržováním zavedených SLA.

Jaká jsou omezení nástroje pro použití počítače? Jak mohou uživatelé minimalizovat dopad omezení nástroje při používání systému?

Použití počítače je nová technologie se známými bezpečnostními riziky a funkčními omezeními. Umožňujeme vám experimentovat s ním. Tato funkce v rané fázi umožňuje automatizaci určitých úloh založených na počítači, i když se její výkon značně liší v závislosti na případu použití. Aby bylo možné jej používat efektivně a zodpovědně, je třeba pochopit její současná omezení.

Známá omezení

• Míra úspěšnosti se liší podle úkolů: Nástroj funguje nejlépe na webových úkolech (přibližně 80% úspěchu), ale výrazně klesne na desktopové aplikace (přibližně 35% úspěch).
• Nekonzistentní výkon: Stejný úkol může v závislosti na změnách vizuálu nebo časování přinést různé výsledky.
• Potíže s určitými ovládacími prvky uživatelského rozhraní: Používání počítače může mít potíže s nestandardními nebo dynamickými prvky rozhraní, jako jsou rozevírací seznamy, výběry dat nebo vlastní widgety.
• Smyčky a zablokované stavy: V některých případech agent přejde do smyčky nebo se zasekne, když obrazovka neodpovídá očekáváním nebo změnám nepředvídatelně.
• Problémy se složitými úlohami: I když je nástroj efektivní pro jednoduché akce, může se potýkat s podrobnými grafickými rozhraními nebo úkoly zahrnujícími složitou manipulaci s textem.
• U citlivých nebo vysoce rizikových případů použití není tento nástroj určený pro:
  • Doporučení nebo hodnocení v citlivých oblastech, jako je nábor, zdravotní péče nebo finance
  • Vytváření finančních transakcí
  • Škodlivé akce, jako je spam nebo dezinformace
  • Sdílení dat mimo vaši organizaci bez správné autorizace

Jak minimalizovat omezení

Pokud chcete zvýšit spolehlivost, měli byste poskytnout jasné podrobné pokyny při konfiguraci úloh, aby se snížily chyby a zvýšily míry úspěšnosti úkolů.

Co je funkce lidského dohledu?

Important

Agenti používající počítače se mohou setkat s nebezpečnými nebo škodlivými instrukcemi, často označovanými jako útoky pomocí injekce příkazů, kdy se skryté příkazy na snímcích obrazovky, webových stránkách nebo jiných vstupech pokoušejí ovlivnit akce nechtěným způsobem. Chcete-li tato rizika snížit, provozujte používání počítačů v důvěryhodných, izolovaných prostředích a před provedením jakýchkoli instrukcí použijte robustní validační kontroly.

Běhy používání počítače se mohou setkat s nejednoznačností nebo chybějícími informacemi. Například požadovaná hodnota není k dispozici nebo je možné provést více interpretací. V takových případech umožňuje funkce lidského dohledu agentovi, který používá počítač, pozastavit provádění a předložit žádost o objasnění autorizovanému a nakonfigurovanému revidujícímu člověku. Revidoři můžou reagovat e-mailem nebo v rámci Copilot Studio pomocí mapy aktivit spuštění agenta. Jakmile agent používající počítač obdrží odpověď, pokračuje ve svém běhu od pozastaveného kroku v mapě.

Spolehlivost a omezení

Hodnocení založená na práci s produktem naznačují, že funkce lidského dohledu obecně funguje tak, jak se očekává, ale může selhat nebo se chovat způsobem, který uživatelé nemusí očekávat. Vzhledem k tomu, že žádosti o objasnění se aktivují pravděpodobnostním chováním modelu, nemusí se aktivovat ve všech situacích, kdy by osoba chtěla pozastavit. Můžou se také aktivovat, když není potřeba pozastavit. Neměli byste se spoléhat na žádosti o objasnění jako bezpečnostní selhání nebo jako záruku, že systém bude před pokračováním vždy požadovat lidský vstup.

Nejedná se o mechanismus vynucení vlastních pravidel.

Žádosti o lidský dohled nezaručí vynucování definovaných pravidel, zásad nebo omezení. Pro každý možný scénář byste měli použít více kontrol (například: jasné pokyny, omezená prostředí, účty s nejnižšími oprávněními, seznamy povolených položek a další provozní bezpečnostní opatření) místo toho, abyste se museli spoléhat na žádosti o objasnění za účelem poskytnutí informací nebo zabránění nežádoucím akcím.

Jaké provozní faktory a nastavení umožňují efektivní a odpovědné využívání nástroje používání počítače?

Nástroj pro použití počítače funguje nejlépe, když jsou k dispozici jasné a podrobné pokyny pro uživatele. Uživatelé by měli poskytnout přesné rady týkající se interakcí s weby nebo aplikacemi, aby se zlepšila spolehlivost a přesnost během provádění úloh. Chcete-li zvýšit viditelnost a kontrolu, povolte lidský dohled přiřazením jednoho nebo více autorizovaných recenzentů na stránce konfigurace nástrojů. Když model zjistí potenciálně škodlivé pokyny, tito recenzenti obdrží oznámení, aby ověřili a rozhodli, zda mají pokračovat nebo zastavit spuštění.

Jak můžu poskytnout zpětnou vazbu k nástroji pro použití počítače?

Máte zpětnou vazbu k nástroji pro použití počítače? E-mail computeruse-feedback@microsoft.com.