Automatizace webových a desktopových aplikací s využitím počítače

Použití počítače je nástroj v Copilot Studiu, který umožňuje agentu pracovat s úlohami na Windows počítači a automatizovat je. Funguje s weby a desktopovými aplikacemi tak, že vybere tlačítka, zvolí nabídky a zadá text do polí na obrazovce. Popište v přirozeném jazyce, co chcete, aby počítač dělal, a vykoná úkol na počítači, který jste nastavili pomocí virtuální myši a klávesnice. Pomocí použití počítače můžou agenti provádět úlohy i v případě, že neexistuje žádné rozhraní API pro přímé připojení k systému. Pokud člověk může používat aplikaci nebo web, může používat i počítač. Počítač můžete použít pro úlohy, jako je automatické zadávání dat, zpracování faktur a extrakce dat.

Použití počítače je poháněno Computer-Using Agent (CUA), modelem umělé inteligence, který kombinuje schopnosti vidění s pokročilým uvažováním pro interakci s grafickými uživatelskými rozhraními (GUI). Protože je poháněn umělou inteligencí, přizpůsobuje se změnám rozhraní. Když se například změní tlačítka nebo obrazovky, bude nástroj dál fungovat bez přerušení toku. Jeho použití je jednoduché. Stačí popsat, co chcete, v přirozeném jazyce. Nemusíte psát kód.

V tomto videu se dozvíte, jak nástroj pro použití počítače umožňuje agentovi pracovat s webovou aplikací.

Note

Tato funkce je k dispozici pouze pro agenty s povolenou generativní orchestrací.

Povolte agentovi používání počítače

V Copilot Studio přidejte počítač jako nástroj pomocí následujícího postupu:

1. Přejděte na stránku Nástroje pro vašeho agenta a vyberte Přidat nástroj.

2. V nástroji Přidat vyberte Nový nástroj.

3. Vyberte Použití počítače.

4. Zadejte pokyny, které popisují úlohu, kterou má nástroj provést v počítači. Šablony instrukcí vám pomůžou začít. Postupujte podle osvědčených postupů pro pokyny pro použití počítače.

5. Vyberte Přidat a nakonfigurovat. Na stránce konfigurace nakonfigurujte tato čtyři pole:

   • Název: Zadejte zobrazovaný název nástroje pro použití počítače. Tento název vám pomůže odlišit ho od ostatních nástrojů, které přidáte do svého agenta.

   • Popis: Zadejte krátký popis toho, co tento nástroj dělá a kdy ho používat. Tento text informuje agenta o tom, kdy tento nástroj použít.

   • Model: Vyberte model použitý k vykonání nástroje pro použití počítače. K dispozici jsou následující modely:

     Provider	Model	Tier	Stav
     OpenAI	Agent používající počítač (CUA)	Standard	Obecně dostupné
     Anthropic	Claude Sonet 4.5	Standard	Obecně dostupné
     Anthropic	Claude Sonet 4.6	Standard	Experimental
     Anthropic	Claude Opus 4.6	Premium	Experimental

     Note

     Pokud chcete použít model Anthropic, ujistěte se, že správce zapnul přístup k externím modelům pro vaše prostředí.

   • Pokyny: Uveďte kroky, které by měl nástroj provést, včetně adres URL a názvů aplikací. Postupujte podle osvědčených postupů pro pokyny pro použití počítače.

6. Volitelně můžete zkontrolovat a upravit další pole dostupná na stránce konfigurace.

7. Vyberte Uložit.

Konfigurace volitelných nastavení

Stránka konfigurace obsahuje volitelná pole nad rámec čtyř povinných polí (Název, Popis, Model, Pokyny). Projděte si a nakonfigurujte tyto možnosti podle potřeby pro váš scénář.

Vstupy

Pomocí vstupů můžete definovat dynamické hodnoty, které se mění při každém spuštění počítače. Pokud například chcete vyplnit formulář s jinou hodnotou při každém spuštění, vytvořte pro toto pole vstup. Při spuštění počítač kombinuje vaše instrukce se vstupními hodnotami k provedení úkolu.

Počítač

Vyberte cílový stroj, který agent používá ke spuštění aplikace pro využití počítače. Další informace najdete v tématu Konfigurace, kde se počítač používá.

• Vyberte Aktualizovat, chcete-li aktualizovat seznam počítačů.
• Vyberte Manage machines a otevřete stránku správy počítače v Power Automate.
• Výběrem možnosti Zobrazit podrobnosti o počítači otevřete stránku s podrobnostmi o počítači v Power Automate.

Connection

Připojení používané pro tento nástroj. Aktualizujte nebo vytvořte nové připojení, abyste změnili použité přihlašovací údaje.

Přihlašovací údaje, které se mají použít

Určete, jak počítač používá ověřování během provádění:

• Přihlašovací údaje poskytnuté tvůrcem (výchozí): Použijte přihlašovací údaje tvůrce. Tato možnost je vhodná pro autonomní agenty.

  Warning

  Pokud sdílíte agenta s tímto nastavením, kdokoli, kdo ho používá, může jednat s přístupem původního autora na nakonfigurovaném počítači.

• Přihlašovací údaje koncového uživatele: Použijte přihlašovací údaje osoby, která komunikuje s agentem. Každý uživatel musí mít přístupové údaje k počítači.

Lidský dohled

Určete, kdo by měl být kontaktován prostřednictvím e-mailu (Outlook), pokud agent používající počítač zjistí potenciálně škodlivé instrukce, které by mohly změnit chování modelu. Každé spuštění agenta a jeho aktivita je svázaná s uživatelem, který jej zahájil. Pokud si vyberete jiného recenzenta než toho, kdo provozuje agenta pro použití počítače, pravděpodobně aktivitu nevidí, protože jej sám nezahájil. Proto nemůžou správně ověřit požadavek ani jednat na základě žádosti. Také se ujistěte, že je příjemce autorizovaný a má potřebný kontext pro zpracování takových požadavků. Limit doby odezvy definuje, jak dlouho požadavek zůstane aktivní. Po uplynutí této doby vyprší platnost požadavku a spuštění použití počítače se zastaví, pokud nebyla přijata žádná odpověď. Další informace najdete v oblasti lidského dohledu.

Uložené přihlašovací údaje

Definujte přihlašovací údaje, které počítač používá k přihlášení k webům a aplikacím. Pokud se během provádění zobrazí výzva k přihlášení, počítač používá bezpečně všechny přihlašovací údaje, které jste definovali v této části pro danou lokalitu nebo aplikaci. Hesla se ukládají buď v interním úložišti Power Platform (nevyžaduje se konfigurace), nebo v Azure Key Vault, které zadáte. Další informace najdete v tématu Vytvoření trezoru klíčů pomocí portálu Azure.

• Možnost interního úložiště: Pomocí této možnosti můžete v nástroji nakonfigurovat přihlašovací údaje bez jakékoli předkonfigurace. Power Platform šifruje a ukládá tajné kódy interně. Ke každému osvědčení uveďte následující údaje:

  • Typ: vyberte mezi webovou a desktopovou aplikací podle toho, na kterém povrchu plánujete toto přihlašovací oprávnění použít

  • Uživatelské jméno: uživatelské jméno, které používáte k přihlášení na cílovou webovou stránku nebo aplikaci.

  • Heslo: hodnota hesla použitá k přihlášení na cílovou webovou stránku nebo aplikaci.

    Note

    Pole hesel se podporují na všech webech a ve většině aplikací pro Windows (WinForms, WPF (Windows Presentation Foundation), UPW, WinUI, Win32), které pokrývají většinu zákaznických scénářů. Některé typy aplikací, jako jsou Elektron, Java, Unity, hry, rozhraní příkazového řádku, Citrix nebo jiná virtualizovaná prostředí, nemusí být podporované.

  • Doména přihlášení (weby) nebo název desktopové aplikace (desktopové aplikace):

    • Weby: Zadejte hlavní adresu webu (například example.com). Automaticky zahrnete všechny stránky na daném webu. Pro subdomény můžete také použít zástupné znaky (*). Příklady: www.contoso.com, *.contoso.com, contoso.com
    • Desktopové aplikace: Zadejte název produktu aplikace nebo název procesu. Pokud jej chcete najít, stiskněte kombinaci kláves Ctrl+Shift+Esc a otevřete Správce úloh. Pak zkontrolujte kartu Procesy . Příklady: Microsoft Edge, msedge, Notepad.

• Azure Key Vault možnost: Pomocí této možnosti můžete v nástroji nakonfigurovat přihlašovací údaje zadáním ID předplatného, názvu skupiny prostředků a názvu trezoru klíčů. Všechny tyto informace najdete na stránce Přehled trezoru klíčů.

  • Použití tajných kódů služby Azure Key Vault s Power Platform:

    • Předplatné Azure, které má trezor, musí mít zaregistrovaného poskytovatele prostředků PowerPlatform.
    • Uživatel, který vytvoří proměnnou prostředí, musí mít příslušná oprávnění k prostředku Azure Key Vault.

  • Pokud jste to ještě neudělali, postupujte podle kroků v části Konfigurace služby Azure Key Vault a zadejte následující podrobnosti:

    • Uživatelské jméno: uživatelské jméno, které používáte k přihlášení na cílovou webovou stránku nebo aplikaci.

    • Název tajného kódu Azure: název tajného klíče v trezoru klíčů, který ukládá heslo pro web nebo aplikaci.

    • Doména přihlášení (weby) nebo název desktopové aplikace (desktopové aplikace):

      • Weby: Zadejte hlavní adresu webu (například example.com). Automaticky zahrnete všechny stránky na daném webu. Pro subdomény můžete také použít zástupné znaky (*). Příklady: www.contoso.com, *.contoso.com, contoso.com
      • Desktopové aplikace: Zadejte název produktu aplikace nebo název procesu. Pokud jej chcete najít, stiskněte kombinaci kláves Ctrl+Shift+Esc a otevřete Správce úloh. Pak zkontrolujte kartu Procesy . Příklady: Microsoft Edge, msedge, Notepad.

Řízení přístupu

Ve výchozím nastavení může být počítač použit na libovolném webu nebo v aplikaci. Pokud chcete omezit tento přístup, povolte řízení přístupu a určete konkrétní adresy URL a desktopové aplikace, ke kterým by mělo být použití počítače omezeno. Můžete nakonfigurovat weby i aplikace:

• Weby: Zadejte hlavní adresu webu (například example.com). Automaticky zahrnete všechny stránky na daném webu. Pro subdomény můžete také použít zástupné znaky (*). Příklady: www.contoso.com, *.contoso.com, contoso.com
• Desktopové aplikace: Zadejte název produktu aplikace nebo název procesu. Pokud jej chcete najít, stiskněte kombinaci kláves Ctrl+Shift+Esc a otevřete Správce úloh. Pak zkontrolujte kartu Procesy . Příklady: Microsoft Edge, msedge, Notepad.

Note

Řízení přístupu pouze zabraňuje modelu provádět akce na webových stránkách nebo aplikacích, které nejsou v seznamu povolených. Modelu nic nebrání je otevřít. Pokud jsou například v seznamu povolených jenom microsoft.com a Microsoft Edge, model může k otevření Bingu použít panel hledání Microsoft Edge. Jakmile je však Bing otevřen, jakýkoli pokus o interakci s ním selže, protože není v seznamu povolených.

Testování používání počítače

Testování použití počítače je klíčovým krokem při vytváření obsahu. Po zadání názvu, popisu a pokynů a uložení nástroje vyberte Test a spusťte testovací prostředí.

Po krátké době načítání se zobrazí testovací prostředí:

• Levý panel zobrazuje vaše instrukce a krok za krokem záznam uvažování a kroků nástroje.
• Na pravém panelu se zobrazí náhled akcí na počítači, který jste nastavili pro použití počítače.

Po dokončení úkolu se zobrazí zpráva o dokončení testu . Během testování můžete vybrat Zastavit testování a okamžitě zastavit všechny akce na počítači.

Pokud výsledek není takový, jaký očekáváte, přejděte na konfigurační stránku a upřesněte pokyny. Přidejte další podrobnosti, abyste zlepšili přesnost. Postupujte podle osvědčených postupů pro psaní efektivních pokynů.

Publikování agenta s použitím počítače

Nastavte používání počítače a poté publikujte svého agenta. Způsob spuštění agenta závisí na scénáři. Může být autonomní nebo konverzační:

• Autonomní agenti běží automaticky a provádějí úlohy na pozadí.
• Konverzační agenti umožňují uživatelům komunikovat prostřednictvím kanálů, jako je Microsoft Teams.

Použití počítače funguje nejlépe pro autonomní agenty, kteří provádějí úkoly na pozadí bez zásahu uživatele.

Použití počítače můžete využít také v konverzačních prostředích, ale mějte na paměti tyto aspekty:

• Pokud jako nastavení ověřování vyberete ověřování uživatele, každý uživatel, který komunikuje s agentem během konverzace, potřebuje platné přihlašovací údaje pro počítač, který používá.
• Když se nástroj spustí, sdílí v chatu zprávy s odůvodněním a snímky obrazovky aktivity počítače.

Osvědčené postupy

Pokud chcete zajistit produktivitu a bezpečnost v dnešním digitálním prostředí, postupujte podle osvědčených postupů pro používání počítačů, zejména při psaní jasných instrukcí a zabezpečení počítačů.

Osvědčené postupy pro zabezpečení počítačů

Při nastavování počítačů, které umožňují umělé inteligenci provádět úlohy pomocí přirozeného jazyka, zvažte tato doporučení zabezpečení:

Bezpečnostní doporučení	Další informace
Používejte vyhrazené počítače pro použití počítače	Přiřaďte konkrétní izolované počítače výhradně pro úlohy zahrnující použití počítače. Tento přístup snižuje riziko křížové kontaminace nesouvisejícího softwaru, malwaru nebo neoprávněného přístupu. Umožňuje řídit konfigurace, aktualizace a monitorování efektivněji.
Omezení oprávnění k uživatelskému účtu, který používáte pro používání počítače	Nastavte uživatelský účet pro používání počítače tak, aby dodržoval princip nejnižších oprávnění – udělte pouze oprávnění potřebná ke spuštění požadovaných nástrojů.
Omezte přístup na web pouze na seznam povolených konkrétních důvěryhodných webů	Povolit webový přístup pouze k předdefinovanému seznamu ověřených a důvěryhodných domén. Můžete například nakonfigurovat nastavení zásad Microsoft Edge pomocí Microsoft Intune , které cílí na počítače používané pro použití počítače.
Omezte dostupnost konkrétních desktopových aplikací	Instalujte a povolujte spouštění pouze aplikací, které jsou nezbytné pro zamýšlené pracovní postupy AI. Odeberte nebo zakažte přístup k nepotřebnému softwaru. Můžete například nakonfigurovat řízení aplikací tak, aby omezilo, které aplikace se můžou na počítači spouštět.

Osvědčené postupy pro pokyny pro použití počítače

Pokyny, které napíšete, určují, jak dobře funguje používání počítače. Specifické, podrobné pokyny pomáhají počítači provádět úkoly přesně. Představte si to jako vysvětlování úkolu kolegovi. Jasné pokyny krok za krokem pomáhají zajistit úspěch.

Tipy pro psaní efektivních pokynů:

• Buďte konkrétní, pokud jde o webové stránky a aplikace. Vždy uvádějte úplnou adresu URL jakékoli webové stránky a přesný název jakékoli aplikace, kterou by měl nástroj používat. Příklad: Otevřete https://www.microsoft.com a přejděte na 'Firemní novinky'.
• Jasně uveďte relevantní akce. Pokud chcete něco udělat, řekněte to explicitně – zejména pro akce, jako je odeslání formuláře nebo odeslání e-mailu. Příklad: Jakmile formulář vyplníte, vyberte Odeslat. Není třeba žádat o svolení.
• Rozdělte složité interakce. V oblastech, kde může být navigace v uživatelském rozhraní složitější, podrobně vysvětlete jednotlivé kroky. Příklad: Vyberte ikonu More v pravém horním rohu. Objeví se rozbalovací nabídka. Jakmile se otevře, vyberte poslední položku ze seznamu.
• Pro delší úkoly použijte formátování krok za krokem. Dlouhé pokyny je snazší sledovat, když je naformátujete jako seznam.

Příklady pokynů

Podívejte se na tyto ukázkové pokyny, abyste si vyzkoušeli použití počítače nebo je použili jako referenci pro psaní vlastních.

Scenario	Name	Description	Pokyny
Zpracování fakturace	Převod a odeslání podrobností o faktuře	Přeneste data faktury z PDF a odešlete je do jiného formuláře.	1. Přejděte na https://computerusedemos.blob.core.windows.net/web/Contoso/invoice-manager.html, nastavte filtr Datum na Posledních 24 hodin a otevřete PDF faktury. 2. Na nové kartě otevřete https://computerusedemos.blob.core.windows.net/web/Contoso/index.html a vyplňte formulář daty z tohoto PDF. Odešlete formulář faktury, není potřeba žádné potvrzení.
Zadání dat	Odeslání skladových položek	Přidejte produkty do inventářového systému.	1. Přejděte na https://computerusedemos.blob.core.windows.net/web/Adventure/index.html. 2. Odešlete novou položku pro každou z následujících položek: Zadní derailleur, RD-4821, 50, 42.75, Tailspin Toys Sada pedálů, PD-1738, 80, 19.99, Northwind Traders Brzdová páka, BL-2975, 35, 14.50, Trey Research Sada řetězových šroubů, CB-6640, 100, 5.25, VanArsdel, Ltd. Dolní závorka, BB-9320, 60, 24.90, Tailwind Traders
Extrakce dat	Vyhledat portfolio manažera a hodnotu	Získejte jméno správce a hodnotu portfolia.	1. Přejděte na https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html. 2. Najděte řádek pro Čtvrtou kávu a poznamenejte si jméno správce portfolia a aktuální hodnotu portfolia přesně tak, jak je uvedeno. 3. Vrátí tyto dvě hodnoty jako konečný výstup.

Osvědčené postupy pro extrakci dat

Pomocí počítače můžete extrahovat data z webů nebo aplikací. Pak tato data předejte agentu nebo jiným nástrojům v agentu. Popište, jaké informace chcete extrahovat přímo v pokynech pro použití počítače.

Pokud chcete použít extrahovaná data s jiným nástrojem (například odesláním e-mailem), zadejte tuto potřebu v pokynech agenta a ujistěte se, že oba nástroje jsou zahrnuty v agentovi. Příklad: Použití počítače k extrakci informací o klientovi pro řídicí panel finančního portfolia a odeslání extrahovaných dat e-mailem. V takovém případě musí váš agent obsahovat nástroj pro použití počítače i e-mailový nástroj.

Extrahování hodnot jako textu

Dejte počítači pokyn, aby extrahovali určité hodnoty a vrátili je jako prostý text. Například následující prompt extrahuje portfolio manažera a hodnotu portfolia pro klienta, Fourth Coffee:

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
1. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
1. Return those two values as the final output.

Agent vrátí jako text pouze dvě požadované hodnoty.

Extrahování hodnot ve formátu JSON

Můžete také požádat počítač o vrácení extrahovaných informací ve formátu JSON. Tento formát je užitečný, pokud chcete předat strukturovaná data jinému nástroji. Následující příklad extrahuje všechny řádky portfolia související se společností Contoso a vrátí je jako správně formátovaný JSON:

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
*    Each top-level key is the client name
*    Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
*    Return only the JSON, with no additional text.

Tento přístup zajišťuje strukturovanou strukturu výstupu.

Licencování

Používání počítače je fakturováno prostřednictvím funkce Agent action s fakturační sazbou pěti kreditů Copilot. Přečtěte si další informace o fakturační sazbě a správě.

Každý běh počítače spoléhá na AI model, který provádí sekvenci kroků. Krok může zahrnovat jednu nebo více akcí nízké úrovně, například kliknutí, psaní nebo navigaci. Každý krok spotřebuje 5 kreditů Copilot nebo 15 kreditů Copilot, při použití prémiového modelu.

Pro použití počítače jsou k dispozici následující modely:

Provider	Model	Tier	Kredity na krok
OpenAI	Agent používající počítač (CUA)	Standard	5
Anthropic	Claude Sonet 4.5	Standard	5
Anthropic	Claude Sonet 4.6	Standard	5
Anthropic	Claude Opus 4.6	Premium	15

Pokud například nakonfigurujete počítač, který slouží k vyplnění webového časového listu, spuštění může provést následující kroky:

1. Spusťte prohlížeč a přejděte na portál časového listu.

2. Vyberte Vytvořit nový časový list.

3. Vyplňte pole Počáteční čas, Čas ukončení a Kód projektu .

4. Vyberte Odeslat.

V tomto příkladu běh použití počítače provede čtyři kroky. Pokud používá standardní model, tento proces spotřebuje celkem 20 Copilot kreditů. Pokud používá prémiový model, spotřebuje celkem 60 Copilot kreditů.

Podělte se o svůj názor

Máte zpětnou vazbu k používání počítače? Dejte nám vědět na adrese computeruse-feedback@microsoft.com.

Související informace

Nejčastější dotazy k nástroji pro používání počítače