Lidský dohled nad používáním počítače

Note

Tento článek popisuje funkce používané v agentech nebo tocích agentů, které využívají standardní harness.

Když používáte lidský dohled, agent používající počítač předá informaci člověku, kterého jste nastavili v nastavení lidského dohledu, když potřebuje potvrzení, nebo více informací.

Note

Agenti používající počítač mohou narazit na prompt injection útoky, kde skryté instrukce na snímcích obrazovky, webových stránkách nebo jiných vstupech se pokoušejí ovlivnit akce nezamýšlenými způsoby. Chcete-li toto riziko minimalizovat, provozujte tyto agenty v důvěryhodných, izolovaných prostředích a před provedením jakýchkoli pokynů použijte robustní ověření.

Podpora funkcí podle modelu

Následující tabulka uvádí, které modely podporují funkci lidského dohledu.

Poskytovatel modelů Verze Status Podporuje lidský dohled
Azure OpenAI OpenAI počítač využívající Agent V1 V důchodu Ano
Azure OpenAI Agent používající počítač (CUA) Aktivní Ano
Anthropic Claude Sonet 4.5 Aktivní Ano

Přehled aktivit agenta a používání počítače

Během vykonání, když agent potřebuje potvrzení nebo další informace, může poslat požadavek na kontrolu konfigurovanému lidskému recenzentovi prostřednictvím e-mailu Outlook. Může také zobrazit vloženou kartu kontroly v panelu pokročilých aktivit používání počítače.

Pravděpodobnostní chování AI modelu vyvolává lidské žádosti o kontrolu. Toto chování znamená, že model nemusí tyto požadavky spouštět ve všech situacích, kdy by někdo chtěl pauzu, a může je také spustit, když pauza není nutná. Nespoléhejte na lidské přezkoumání nebo žádosti o upřesnění jako na pojistku nebo záruku, že systém vždy požaduje lidský vstup před pokračováním.

Note

  • Pouze výrobce nástroje pro použití počítače přijímá žádosti o kontrolu od člověka a má přístup k podrobným záznamům prostřednictvím panelu pokročilých aktivit pro používání počítače. Pokud v nastavení stroje vyberete přihlašovací údaje koncového uživatele , osoba, která připojení původně nastavila, tyto požadavky obdrží, ale pouze pokud je také zařazena jako jeden z určených lidských kontrolorů.
  • Pro kontrolu lidských požadavků přímo v panelu aktivity agenta používajícího počítač v rámci mapy aktivit agenta je potřeba zapnout pokročilé logování používání počítače ve vašem prostředí. Pokud se v mapě aktivit nezobrazuje rozšířené prostředí aktivity použití počítače, správce možná tuto funkci pro vaše prostředí vypnul.

Následující tabulka uvádí hlavní informace zahrnuté v e-mailové žádosti o kontrolu člověkem:

Obor Description
Agent používající nástroj Název agenta Copilot Studio.
Nástroj pro používání počítače Název nástroje pro použití počítače, který žádost aktivoval.
Konverzace Přímý odkaz na aktivitu agenta, ve které je aktuálně spuštěn nástroj pro práci s počítačem.
Časový limit požadavku vypršel Datum a čas vypršení požadavku
Požádal(a) Tvůrce (vlastník připojení) nástroje pro použití počítače.
Zadání chybějících informací Textové pole pro odpověď, které se má odeslat do nástroje pro použití počítače.
Odeslat Tlačítko pro odeslání zadané textové odpovědi. Pro žádost o potvrzení zadejte buď Ano pro potvrzení, nebo Ne pro zamítnutí.

Žádosti o lidskou revizi

Pokud chcete reagovat na žádosti o kontrolu lidí, můžete odpovědět e-mailem nebo přímo pomocí panelu aktivit používání počítače v mapě aktivit agenta. Vložené odpovědi vyžadují, aby bylo v prostředí zapnuté pokročilé protokolování používání počítače. V obou případech platí, že pokud nezadáte odpověď, pracovní postup zůstane pozastavený a automaticky se zastaví při dosažení časového limitu zadaného v e-mailu.

Important

Systém lidského dohledu je založen na pravděpodobnostní chování modelu AI. Systém sice obsahuje výzvu systému a možná i jiná omezení, ale občas může generovat žádosti o objasnění, které nejsou potřeba. Může selhat při aktivaci, když se to očekává, nebo může žádat o informace, které by neměly být poskytnuty v daném kontextu, včetně potenciálně citlivých informací.

Recenzenti by proto měli při odpovídání na žádosti o zásah člověka používat vlastní úsudek a neměli by sdílet citlivé informace, jako jsou uživatelská jména, hesla, kódy PIN, údaje o platebních kartách nebo čísla sociálního zabezpečení. V závislosti na konfiguraci vaší organizace mohou odpovědi na lidské požadavky přetrvávat ve vašem prostředí Dataverse nebo auditních logech Purview a mohou být viditelné pro oprávněné uživatele ve vaší organizaci.

Odpověď prostřednictvím e-mailu

E-mail s žádostí o kontrolu člověka obsahuje podrobnosti o agentech, nástroji a konverzaci spolu s konkrétními informacemi nebo vysvětleními, o které se žádá. Pečlivě zkontrolujte žádost a zjistěte, jestli máte dostatek informací pro odpověď. V případě potřeby zadejte odpověď do určeného textového pole a vyberte Odeslat.

Odpovědět v textu

  1. Výběrem odkazu Konverzace v e-mailu se žádostí o lidskou kontrolu otevřete mapu činností agenta.
  2. Vyhledejte akci použití počítače, která odpovídá konfigurovanému nástroji pro použití počítače, a otevřete jeho boční panel.
  3. V části Aktivita na bočním panelu zkontrolujte seznam aktivit. Aktivity čekající na lidskou kontrolu jsou označené indikátorem čekání vedle odpovědi modelu.
  4. Pečlivě zkontrolujte žádost a zjistěte, jestli máte dostatek informací, abyste mohli reagovat. V případě potřeby zadejte odpověď do určeného textového pole a vyberte Odeslat.

Vypněte lidský dohled

Important

Vypnutí lidského dohledu neznamená, že je agent používající počítač plně autonomní. Agent stále zastavuje, když potřebuje potvrzení nebo upřesnění. Pokud nejsou nakonfigurováni žádní kontroloři, není kam tyto požadavky směrovat, takže relace selže, když se agent pozastaví. Nakonfigurujte alespoň jednoho recenzenta.

Chcete-li vypnout lidský dohled, přejděte do části Lidský dohled v nástroji pro ovládání počítače a ze seznamu Přiřadit požadavky odeberte všechny kontrolující.

Nejčastější dotazy k nástroji pro používání počítače