Automatizace webových a desktopových aplikací pomocí použití počítače (Preview)

[Tento článek je předběžná dokumentace a může být změněna.]

Použití počítače je nástroj v Copilot Studiu, který umožňuje agentu pracovat s úlohami na Windows počítači a automatizovat je. Funguje s weby a desktopovými aplikacemi tak, že vybere tlačítka, zvolí nabídky a zadá text do polí na obrazovce. Popište v přirozeném jazyce, co chcete, aby počítač dělal, a vykoná úkol na počítači, který jste nastavili pomocí virtuální myši a klávesnice. Pomocí použití počítače můžou agenti provádět úlohy i v případě, že neexistuje žádné rozhraní API pro přímé připojení k systému. Pokud člověk může používat aplikaci nebo web, může používat i počítač. Počítač můžete použít pro úlohy, jako je automatické zadávání dat, zpracování faktur a extrakce dat.

Důležité

Tento článek obsahuje dokumentaci Microsoft Copilot Studio Preview a může se změnit.

Funkce náhledu nejsou určeny pro produkční použití a mohou mít omezenou funkčnost. Jsou to funkce, které jsou poskytnuté před oficiálním vydáním, abyste si je mohli co nejdříve vyzkoušet a napsat nám své názory.

Pokud vytváříte agenta připraveného pro produkční prostředí, přečtěte si Přehled Microsoft Copilot Studio.

Použití počítače je poháněno Computer-Using Agent (CUA), modelem umělé inteligence, který kombinuje schopnosti vidění s pokročilým uvažováním pro interakci s grafickými uživatelskými rozhraními (GUI). Protože je poháněn umělou inteligencí, přizpůsobuje se změnám rozhraní. Když se například změní tlačítka nebo obrazovky, bude nástroj dál fungovat bez přerušení toku. Jeho použití je jednoduché. Stačí popsat, co chcete, v přirozeném jazyce. Nemusíte psát kód.

V tomto videu se dozvíte, jak nástroj pro použití počítače umožňuje agentovi pracovat s webovou aplikací.

Požadavky

Tato funkce je dostupná pro prostředí, ve kterých je oblast nastavená na USA.
Ujistěte se, že váš agent má zapnutý generativní orchestrátor pro použití počítače.

Povolte agentovi používání počítače

U nového agenta nebo stávajícího agenta v prostředí Copilot Studio přidejte použití počítače jako nástroje podle tohoto postupu:

Přejděte do části Nástroje ve vašem agentu a vyberte Přidat nástroj.
V dialogovém okně Přidat nástroj vyberte Nový nástroj.
Vyberte Použití počítače.
Zadejte pokyny, které popisují úlohu, kterou má nástroj provést v počítači. Uvidíte některé šablony instrukcí, se kterými můžete začít. Další informace o tom, jak nejlépe psát pokyny pro použití počítače, najdete v osvědčených postupech pro pokyny pro použití počítače.
Vyberte Přidat a nakonfigurovat. Na stránce konfigurace nakonfigurujte tato čtyři pole:
- Název: Zadejte zobrazovaný název nástroje pro použití počítače. Tento název vám pomůže odlišit ho od ostatních nástrojů, které přidáte do svého agenta.
- Popis: Zadejte krátký popis toho, co tento nástroj dělá a kdy ho používat. Tento text informuje agenta o tom, kdy tento nástroj použít.
- Model: Vyberte model použitý k vykonání nástroje pro použití počítače. Podporované modely v současné době zahrnují agenta využívajícího počítač od OpenAI a Anthropicova Claude Sonnet 4.5.
  
  Poznámka:
  
  Claude Sonnet 4.5 od společnosti Anthropic se v současné době zavádí ve všech podporovaných oblastech a ve vaší oblasti ještě nemusí být k dispozici. Ujistěte se, že váš správce povolil externí modely.
- Pokyny: Uveďte kroky, které by měl nástroj provést, včetně adres URL a názvů aplikací. Tipy najdete v tématu Osvědčené postupy pro pokyny pro použití počítače.
Zkontrolujte následující a další pole a nastavení na stránce konfigurace, které můžou být relevantní:
- Vstupy: Pomocí vstupů definujte dynamické hodnoty, které se mění při každém spuštění počítače. Pokud například chcete vyplnit formulář s jinou hodnotou při každém spuštění, vytvořte pro toto pole vstup. Při spuštění počítač kombinuje vaše instrukce se vstupními hodnotami k provedení úkolu.
- Počítač: Vyberte cílové zařízení, které agent používá ke spuštění nástroje použití počítače. Další podrobnosti o výběru správného typu počítače na základě vašich požadavků najdete v tématu Konfigurace zařízení, na kterém je spuštěn nástroj použití počítače.
  - Pomocí funkce Aktualizovat aktualizujte seznam počítačů.
  - Zvolte Manage machines a otevřete stránku správy počítačů na portálu Power Automate.
  - Výběrem možnosti Zobrazit podrobnosti o počítači otevřete stránku s podrobnostmi o počítači na portálu Power Automate.
- Připojení: Připojení používané pro tento nástroj. Aktualizujte nebo vytvořte nové připojení, abyste změnili použité přihlašovací údaje.
- Přihlašovací údaje, které se mají použít: Určete, jak počítač provádí ověřování během provádění:
  - Přihlašovací údaje poskytnuté výrobcem (výchozí): Tato možnost využívá přihlašovací údaje výrobce a je vhodná pro autonomní agenty.
    
    Výstraha
    
    Pokud sdílíte agenta s tímto nastavením, kdokoli, kdo ho používá, může jednat s přístupem původního autora na nakonfigurovaném počítači.
  - Přihlašovací údaje koncového uživatele: Tato možnost používá přihlašovací údaje osoby, která komunikuje s agentem. Každý uživatel musí mít přístupové údaje k počítači.
- Lidský dohled: Určete, kdo by měl být kontaktován prostřednictvím e-mailu (Outlook), pokud agent pro použití počítače zjistí potenciálně škodlivé instrukce, které by mohly změnit chování modelu. Každé spuštění agenta a jeho aktivita je svázaná s uživatelem, který jej zahájil. Pokud si vyberete jiného recenzenta než toho, kdo provozuje agenta pro použití počítače, pravděpodobně aktivitu nevidí, protože jej sám nezahájil. Proto nemůžou správně ověřit požadavek ani jednat na základě žádosti. Také se ujistěte, že je příjemce autorizovaný a má potřebný kontext pro zpracování takových požadavků. Limit doby odezvy definuje, jak dlouho požadavek zůstane aktivní. Po uplynutí této doby vyprší platnost požadavku a spuštění použití počítače se zastaví, pokud nebyla přijata žádná odpověď. Další informace naleznete v tématu Lidský dohled.
- Uložené přihlašovací údaje: Definujte přihlašovací údaje, které počítač používá k přihlášení k webům a aplikacím. Pokud se během provádění zobrazí výzva k přihlášení, počítač používá bezpečně všechny přihlašovací údaje, které jste definovali v této části pro danou lokalitu nebo aplikaci. Hodnoty hesel těchto přihlašovacích údajů jsou uložené v interním úložišti Power Platform (nevyžaduje se konfigurace) nebo v Azure Key Vault, které zadáte. Informace o vytvoření služby Azure Key Vault najdete v tématu Vytvoření trezoru klíčů pomocí webu Azure Portal.
  - Možnost interního úložiště: Pomocí této možnosti můžete v nástroji nakonfigurovat přihlašovací údaje bez jakékoli předkonfigurace. Tajemství jsou šifrována a ukládána interně v Power Platform. Ke každému osvědčení uveďte následující údaje:
    - Typ: vyberte mezi webovou a desktopovou aplikací podle toho, na kterém povrchu plánujete toto přihlašovací oprávnění použít
    - Uživatelské jméno: uživatelské jméno, které používáte k přihlášení na cílovou webovou stránku nebo aplikaci.
    - Heslo: hodnota hesla použitá k přihlášení na cílovou webovou stránku nebo aplikaci.
    Poznámka:
    
    Pole hesel se podporují na všech webech a ve většině aplikací pro Windows (WinForms, WPF, UPW, WinUI, Win32), které pokrývají většinu zákaznických scénářů. Některé typy aplikací, jako jsou Elektron, Java, Unity, hry, rozhraní příkazového řádku, Citrix nebo jiná virtualizovaná prostředí, nemusí být podporované.
    - Doména přihlášení (weby) nebo název desktopové aplikace (desktopové aplikace):
      - Weby: Zadejte hlavní adresu webu (například example.com). Automaticky zahrnete všechny stránky na daném webu. Pro subdomény můžete také použít zástupné znaky (*). Příklady: www.contoso.com, *.contoso.com, contoso.com
      - Desktopové aplikace: Zadejte název produktu aplikace nebo název procesu. Pokud jej chcete najít, stiskněte kombinaci kláves Ctrl+Shift+Esc a otevřete Správce úloh. Pak zkontrolujte kartu Procesy . Příklady: Microsoft Edge, msedge, Notepad.
  - Azure Key Vault možnost: Pomocí této možnosti můžete v nástroji nakonfigurovat přihlašovací údaje zadáním ID předplatného, názvu skupiny prostředků a názvu Key Vault. Všechny tyto informace najdete na stránce Přehled služby Key Vault.
    - Použití tajných kódů služby Azure Key Vault s Power Platform:
      - Předplatné Azure, které má trezor, musí mít zaregistrovaného poskytovatele prostředků PowerPlatform.
      - Uživatel, který vytvoří proměnnou prostředí, musí mít příslušná oprávnění k prostředku Azure Key Vault.
    - Pokud jste to ještě neudělali, postupujte podle kroků v části Konfigurace služby Azure Key Vault a zadejte následující podrobnosti:
      - Uživatelské jméno: uživatelské jméno, které používáte k přihlášení na cílovou webovou stránku nebo aplikaci.
      - Název tajného kódu Azure: název tajného klíče v trezoru klíčů, který ukládá heslo pro web nebo aplikaci.
      - Doména přihlášení (weby) nebo název desktopové aplikace (desktopové aplikace):
        
        Weby: Zadejte hlavní adresu webu (například example.com). Automaticky zahrnete všechny stránky na daném webu. Pro subdomény můžete také použít zástupné znaky (*). Příklady: www.contoso.com, *.contoso.com, contoso.com
        
        Desktopové aplikace: Zadejte název produktu aplikace nebo název procesu. Pokud jej chcete najít, stiskněte kombinaci kláves Ctrl+Shift+Esc a otevřete Správce úloh. Pak zkontrolujte kartu Procesy . Příklady: Microsoft Edge, msedge, Notepad.
- Řízení přístupu: Ve výchozím nastavení může použití počítače fungovat na libovolném webu nebo aplikaci. Pokud chcete omezit tento přístup, povolte řízení přístupu a určete konkrétní adresy URL a desktopové aplikace, ke kterým by mělo být použití počítače omezeno. Můžete nakonfigurovat weby i aplikace:
  - Weby: Zadejte hlavní adresu webu (například example.com). Automaticky zahrnete všechny stránky na daném webu. Pro subdomény můžete také použít zástupné znaky (*). Příklady: www.contoso.com, *.contoso.com, contoso.com
  - Desktopové aplikace: Zadejte název produktu aplikace nebo název procesu. Pokud jej chcete najít, stiskněte kombinaci kláves Ctrl+Shift+Esc a otevřete Správce úloh. Pak zkontrolujte kartu Procesy . Příklady: Microsoft Edge, msedge, Notepad.
  Poznámka:
  
  Řízení přístupu pouze zabraňuje modelu provádět akce na webových stránkách nebo aplikacích, které nejsou v seznamu povolených. Modelu nic nebrání je otevřít. Pokud jsou například v seznamu povolených jenom microsoft.com a Microsoft Edge, může model k otevření Bingu použít panel hledání Edge. Jakmile je však Bing otevřen, jakýkoli pokus o interakci s ním selže, protože není v seznamu povolených.
Vyberte Uložit.

Testování používání počítače

Testování použití počítače je klíčovým krokem při vytváření obsahu. Po zadání názvu, popisu a pokynů a uložení nástroje vyberte Test a spusťte testovací prostředí.

Po krátké době načítání se zobrazí testovací prostředí:

Levý panel zobrazuje vaše instrukce a krok za krokem záznam uvažování a kroků nástroje.
Na pravém panelu se zobrazí náhled akcí na počítači, který jste nastavili pro použití počítače.

Po dokončení úkolu se zobrazí zpráva o dokončení testu . Během testování můžete vybrat Zastavit testování a okamžitě zastavit všechny akce na počítači.

Pokud výsledek není takový, jaký očekáváte, přejděte na konfigurační stránku a upřesněte pokyny. Přidejte další podrobnosti, abyste zlepšili přesnost. Pokyny najdete v osvědčených postupech pro psaní efektivních pokynů.

Publikování agenta s použitím počítače

Nastavte používání počítače a poté publikujte svého agenta. Způsob spuštění agenta závisí na scénáři. Může být autonomní nebo konverzační:

Autonomní agenti běží automaticky a provádějí úlohy na pozadí.
Konverzační agenti umožňují uživatelům komunikovat prostřednictvím kanálů, jako je Microsoft Teams.

Použití počítače funguje nejlépe pro autonomní agenty, kteří provádějí úkoly na pozadí bez zásahu uživatele.

Použití počítače můžete využít také v konverzačních prostředích, ale mějte na paměti tyto aspekty:

Pokud jako nastavení ověřování vyberete ověřování uživatele, každý uživatel, který komunikuje s agentem během konverzace, potřebuje platné přihlašovací údaje pro počítač, který používá.
Když se nástroj spustí, sdílí v chatu zprávy s odůvodněním a snímky obrazovky aktivity počítače.

Doporučené postupy

Pokud chcete zajistit produktivitu a bezpečnost v dnešním digitálním prostředí, postupujte podle osvědčených postupů pro používání počítačů, zejména při psaní jasných instrukcí a zabezpečení počítačů.

Osvědčené postupy pro zabezpečení počítačů

Při nastavování počítačů, které umožňují umělé inteligenci provádět úlohy pomocí přirozeného jazyka, zvažte tato doporučení zabezpečení:

Bezpečnostní doporučení	Další informace
Používejte vyhrazené počítače pro použití počítače	Přiřaďte konkrétní izolované počítače výhradně pro úlohy zahrnující použití počítače. Tento přístup snižuje riziko křížové kontaminace nesouvisejícího softwaru, malwaru nebo neoprávněného přístupu. Umožňuje řídit konfigurace, aktualizace a monitorování efektivněji.
Omezení oprávnění k uživatelskému účtu, který používáte pro používání počítače	Nastavte uživatelský účet pro používání počítače tak, aby dodržoval princip nejnižších oprávnění – udělte pouze oprávnění potřebná ke spuštění požadovaných nástrojů.
Omezte přístup na web pouze na seznam povolených konkrétních důvěryhodných webů	Povolit webový přístup pouze k předdefinovanému seznamu ověřených a důvěryhodných domén. Můžete například nakonfigurovat nastavení zásad Microsoft Edge pomocí Microsoft Intune , které cílí na počítače používané pro použití počítače.
Omezte dostupnost konkrétních desktopových aplikací	Instalujte a povolujte spouštění pouze aplikací, které jsou nezbytné pro zamýšlené pracovní postupy AI. Odeberte nebo zakažte přístup k nepotřebnému softwaru. Můžete například nakonfigurovat řízení aplikací tak, aby omezovali, které aplikace se můžou na počítači spouštět.

Osvědčené postupy pro pokyny pro použití počítače

Pokyny, které napíšete, určují, jak dobře funguje používání počítače. Specifické, podrobné pokyny pomáhají počítači provádět úkoly přesně. Představte si to jako vysvětlování úkolu kolegovi. Jasné pokyny krok za krokem pomáhají zajistit úspěch.

Tipy pro psaní efektivních pokynů:

Buďte konkrétní, pokud jde o webové stránky a aplikace. Vždy uvádějte úplnou adresu URL jakékoli webové stránky a přesný název jakékoli aplikace, kterou by měl nástroj používat. Příklad: Otevřete https://www.microsoft.com a přejděte na 'Firemní novinky'.
Jasně uveďte relevantní akce. Pokud chcete něco udělat, řekněte to jasně – zejména u akcí, jako je odesílání formulářů nebo e-mailů. Příklad: Jakmile formulář vyplníte, vyberte Odeslat. Není třeba žádat o svolení.
Rozdělte složité interakce. V oblastech, kde může být navigace v uživatelském rozhraní složitější, podrobně vysvětlete jednotlivé kroky. Příklad: Vyberte ikonu More v pravém horním rohu. Objeví se rozbalovací nabídka. Jakmile se otevře, vyberte poslední položku ze seznamu.
Pro delší úkoly použijte formátování krok za krokem. Dlouhé pokyny je snazší sledovat, když je naformátujete jako seznam.

Příklady pokynů

Podívejte se na tyto ukázkové pokyny, abyste si vyzkoušeli použití počítače nebo je použili jako referenci pro psaní vlastních.

Scénář	Name	Popis	Instrukce
Zpracování fakturace	Převod a odeslání podrobností o faktuře	Přeneste data faktury z PDF a odešlete je do jiného formuláře.	1. Přejděte na https://computerusedemos.blob.core.windows.net/web/Contoso/invoice-manager.html, nastavte filtr Datum na Posledních 24 hodin a otevřete PDF faktury. 2. Na nové kartě otevřete https://computerusedemos.blob.core.windows.net/web/Contoso/index.html a vyplňte formulář daty z tohoto PDF. Odešlete formulář faktury, není potřeba žádné potvrzení.
Zadání dat	Odeslání skladových položek	Přidejte produkty do inventářového systému.	1. Přejděte na https://computerusedemos.blob.core.windows.net/web/Adventure/index.html. 2. Odešlete nový záznam pro každou z následujících položek: Zadní přehazovačka, RD-4821, 50, 42.75, Tailspin Toys Sada pedálů, PD-1738, 80, 19,99, Northwind Traders Brzdová páka, BL-2975, 35, 14.50, Trey Research Sada řetězových šroubů, CB-6640, 100, 5.25, VanArsdel, Ltd. Dolní závorka, BB-9320, 60, 24.90, Tailwind Traders
Extrakce dat	Vyhledat portfolio manažera a hodnotu	Získejte jméno správce a hodnotu portfolia.	1. Přejděte na https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html. 2. Najděte řádek pro Čtvrtou kávu a poznamenejte si jméno správce portfolia a aktuální hodnotu portfolia přesně tak, jak je uvedeno. 3. Vrátí tyto dvě hodnoty jako konečný výstup.

Osvědčené postupy pro extrakci dat

Počítač můžete použít k extrakci dat z webů nebo aplikací a následnému předání těchto dat agentům nebo jiným nástrojům agenta. Chcete-li to provést, popište, jaké informace chcete extrahovat přímo v pokynech pro použití počítače.

Pokud chcete použít extrahovaná data s jiným nástrojem (například odesláním e-mailem), zadejte tuto potřebu v pokynech agenta a ujistěte se, že oba nástroje jsou zahrnuty v agentovi. Příklad: Použití počítače k extrakci informací o klientovi pro řídicí panel finančního portfolia a odeslání extrahovaných dat e-mailem. V takovém případě musí váš agent obsahovat nástroj pro použití počítače i e-mailový nástroj.

Extrahování hodnot jako textu

Můžete dát počítači pokyn, aby extrahoval konkrétní hodnoty a vrátil je jako prostý text. Například následující prompt extrahuje portfolio manažera a hodnotu portfolia pro klienta, Fourth Coffee:

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
1. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
1. Return those two values as the final output.

Agent vrátí jako text pouze dvě požadované hodnoty.

Extrahování hodnot ve formátu JSON

Můžete také požádat počítač o vrácení extrahovaných informací ve formátu JSON. Tento formát je užitečný, pokud chcete předat strukturovaná data jinému nástroji. Následující příklad extrahuje všechny řádky portfolia související se společností Contoso a vrátí je jako správně formátovaný JSON:

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
*    Each top-level key is the client name
*    Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
*    Return only the JSON, with no additional text.

Tento přístup zajišťuje strukturovanou strukturu výstupu.

Licence

Používání počítače je ve fázi náhledu. Služba účtuje využití pomocí funkce akcí agenta s fakturační sazbou pěti kreditů Copilot. Další informace najdete v tématu Fakturační sazba a správa aplikace Microsoft Copilot Studio.

Každý běh počítače spoléhá na AI model, který provádí sekvenci kroků. Krok může zahrnovat jednu nebo více akcí nízké úrovně, například kliknutí, psaní nebo navigaci. Krok spotřebuje 5 Copilot Credits.

Pokud například nakonfigurujete počítač, který slouží k vyplnění webového formuláře časového rozvrhu, může spuštění provést následující kroky:

Spusťte prohlížeč a přejděte do portálu s docházkovým listem.
Vyberte Vytvořit nový časový rozvrh.
Vyplňte pole Počáteční čas, Čas ukončení a Kód projektu .
Vyberte tlačítko Odeslat.

V tomto příkladu spuštění počítače provede čtyři kroky, které spotřebovávají celkem 20 kreditů Copilot.

Máte zpětnou vazbu k používání počítače? Dejte nám vědět na adrese computeruse-feedback@microsoft.com.

Nejčastější dotazy k nástroji pro používání počítače

Váš názor

Byla tato stránka užitečná?

Last updated on 2026-04-03