Nejčastější dotazy k nástroji pro používání počítače

Tyto nejčastější dotazy poskytují přehled o možnostech, využití, omezeních a bezpečnostních opatřeních, o které byste měli vědět, když do agentů Copilot Studio přidáte nástroj pro použití počítače.

Co je nástroj pro použití počítače?

Počítačové použití je nástroj, který můžete přidat do agentů Copilot Studio navržených k automatizaci úloh na webech a aplikacích. Zadáte popisy úkolů v přirozeném jazyce a nástroj odpovídajícím způsobem automatizuje kliknutí myší a akce klávesnice. Například můžete nástroj instruovat, aby otevřel PDF a použil jeho obsah k vyplnění webového formuláře. Nástroj vizuálně interpretuje obrazovku a provede potřebné kliknutí a stisknutí kláves a emuluje lidské interakce.

Výstraha

Použití počítače je výkonný nástroj, který automatizuje interakce mezi weby a desktopovými aplikacemi, ale přináší také důležité aspekty zabezpečení. V některých případech může AI provádět nezamýšlené akce kvůli nejednoznačným pokynům nebo neočekávanému obsahu na obrazovce. Tyto akce můžou ovlivnit zabezpečení vašeho zařízení, dat nebo připojených účtů, včetně přístupu k osobním, finančním nebo podnikovým systémům.

Co umí nástroj pro ovládání počítače?

Nástroj pro ovládání počítače zpracovává pixelová data obrazovky, aby porozuměl obsahu na obrazovce, a provádí úlohy pomocí virtuálních kliknutí myší a vstupů z klávesnice. Nástroj dokáže řídit vícestupňové pracovní postupy, zvládat neočekávané scénáře a dynamicky se přizpůsobovat změnám na obrazovce. Dokáže provádět různé digitální úkoly, jako je navigace na webových stránkách a vyplňování formulářů, bez potřeby specializovaných API.

Nástroj pro použití počítače se řídí iterativní smyčkou založenou na třech krocích:

• Vnímání: Zachycuje snímky obrazovky, aby vizuálně porozuměl aktuálnímu stavu obrazovky počítače.

• Uvažování: Vyhodnocuje současný stav, předchozí akce a snímky obrazovky prostřednictvím přístupu založeného na řetězci myšlenek, což mu umožňuje efektivně přizpůsobovat své akce.

• Akce: Provádí akce, jako je kliknutí, psaní nebo posouvání, dokud není úloha dokončena nebo nevyžaduje další vstup uživatele.

K čemu slouží tento počítačový nástroj?

Nástroj pro použití počítače je určený k automatizaci interakcí uživatelů s weby a aplikacemi prostřednictvím virtuální myši a klávesnice. Je zvlášť užitečná ve scénářích, kdy rozhraní API nejsou dostupná.

Jak byl nástroj pro použití počítače vyhodnocen? Jaké metriky se používají k měření výkonu?

Nástroj pro použití počítače byl pečlivě vyhodnocen pomocí scénářů z reálného světa ve fázích návrhu, vývoje a nasazení. Metody hodnocení zahrnovaly výzkum, dopadové studie a testování napříč různými scénáři za účelem měření přesnosti, důvěry uživatelů a užitečnosti. Aby tým udržel vysoký výkon a pozitivní uživatelskou zkušenost, pravidelně sleduje jak kvalitativní, tak kvantitativní metriky. Tým také zajišťuje dostupnost nástroje dodržováním zavedených SLA.

Jaká jsou omezení nástroje pro použití počítače? Jak mohou uživatelé minimalizovat dopad omezení nástroje při používání systému?

Použití počítače je nová technologie se známými bezpečnostními riziky a funkčními omezeními. Tým vám dává možnost s tím experimentovat. Tato funkce v rané fázi umožňuje automatizaci určitých úloh založených na počítači, i když se její výkon značně liší v závislosti na případu použití. Aby bylo možné jej používat efektivně a zodpovědně, je třeba pochopit její současná omezení.

Známá omezení

• Výkon se liší podle úkolu a aplikace. Spolehlivost závisí na složitosti úkolu, návrhu rozhraní a chování aplikací.

• Citlivý na změny rozhraní a časování. Změny rozložení, zpoždění při načítání nebo nečekané dialogy mohou vést k různým výsledkům pro stejný úkol.

• Obtíže s některými ovládáními. Nestandardní nebo dynamické prvky rozhraní, jako jsou rozbalovací nabídky, výběr dat a vlastní widgety, mohou být obtížné na interakci.

• Může opakovat akce nebo se zaseknout. Neočekávané stavy na obrazovce mohou způsobit, že agent uvízne ve smyčce nebo přestane postupovat.

• Výzvy s komplexními úkoly. Úkoly zahrnující detailní grafická rozhraní nebo složitou manipulaci s textem mohou být méně spolehlivé než jednoduché úkony.

• Ne pro citlivé nebo rizikové případy. Například nástroj není určen pro:

  • Doporučování nebo hodnocení v citlivých oblastech, jako je nábor, zdravotnictví nebo finance.
  • Provádění finančních transakcí.
  • Škodlivé činy, jako je spam nebo dezinformace.
  • Sdílení dat mimo vaši organizaci bez řádného oprávnění.

Jak minimalizovat omezení

Pro zvýšení spolehlivosti poskytujte jasné, podrobné instrukce při konfiguraci úkolů, abyste snížili chyby a zvýšili úspěšnost úkolů.

Co je funkce lidského dohledu?

Important

Agenti používající počítače se mohou setkat s nebezpečnými nebo škodlivými instrukcemi, často označovanými jako útoky pomocí injekce příkazů, kdy se skryté příkazy na snímcích obrazovky, webových stránkách nebo jiných vstupech pokoušejí ovlivnit akce nechtěným způsobem. Chcete-li tato rizika snížit, provozujte používání počítačů v důvěryhodných, izolovaných prostředích a před provedením jakýchkoli instrukcí použijte robustní validační kontroly.

Běhy používání počítače se mohou setkat s nejednoznačností nebo chybějícími informacemi. Například požadovaná hodnota není k dispozici nebo je možné provést více interpretací. V takových případech umožňuje funkce lidského dohledu agentovi, který používá počítač, pozastavit provádění a předložit žádost o objasnění autorizovanému a nakonfigurovanému revidujícímu člověku. Revidoři můžou reagovat e-mailem nebo v rámci Copilot Studio pomocí mapy aktivit spuštění agenta. Jakmile agent používající počítač obdrží odpověď, pokračuje ve svém běhu od pozastaveného kroku v mapě.

Spolehlivost a omezení

Hodnocení založená na práci s produktem naznačují, že funkce lidského dohledu obecně funguje tak, jak se očekává, ale může selhat nebo se chovat způsobem, který uživatelé nemusí očekávat. Vzhledem k tomu, že žádosti o objasnění se aktivují pravděpodobnostním chováním modelu, nemusí se aktivovat ve všech situacích, kdy by osoba chtěla pozastavit. Můžou se také aktivovat, když není potřeba pozastavit. Neměli byste se spoléhat na žádosti o objasnění jako bezpečnostní selhání nebo jako záruku, že systém bude před pokračováním vždy požadovat lidský vstup.

Nejedná se o mechanismus vynucení vlastních pravidel.

Žádosti o lidský dohled nezaručí vynucování definovaných pravidel, zásad nebo omezení. Pro každý možný scénář byste měli použít více kontrol (například: jasné pokyny, omezená prostředí, účty s nejnižšími oprávněními, seznamy povolených položek a další provozní bezpečnostní opatření) místo toho, abyste se museli spoléhat na žádosti o objasnění za účelem poskytnutí informací nebo zabránění nežádoucím akcím.

Jaké provozní faktory a nastavení umožňují efektivní a odpovědné využívání nástroje používání počítače?

Nástroj pro použití počítače funguje nejlépe, když jsou k dispozici jasné a podrobné pokyny pro uživatele. Uživatelé by měli poskytnout přesné rady týkající se interakcí s weby nebo aplikacemi, aby se zlepšila spolehlivost a přesnost během provádění úloh. Chcete-li zvýšit viditelnost a kontrolu, povolte lidský dohled přiřazením jednoho nebo více autorizovaných recenzentů na stránce konfigurace nástrojů. Když model zjistí potenciálně škodlivé pokyny, tito recenzenti obdrží oznámení, aby ověřili a rozhodli, zda mají pokračovat nebo zastavit spuštění.

Jak můžu poskytnout zpětnou vazbu k nástroji pro použití počítače?

Máte zpětnou vazbu k nástroji pro použití počítače? E-mail computeruse-feedback@microsoft.com.