Automatizace webových a desktopových aplikací pomocí používání počítače (Preview)

[Tento článek téma představuje předběžnou dokumentaci a může se změnit.]

Použití počítače je nástroj v Copilot Studio, který umožňuje agentu pracovat s úlohami na počítači s Windows a automatizovat je. Funguje s webovými stránkami a desktopovými aplikacemi výběrem tlačítek, výběrem nabídek a zadáváním textu do polí na obrazovce. Popište přirozeným jazykem, jakou činnost má nástroj Použití počítače vykonat, a systém provede daný úkol na počítači, který jste nastavili, a to za použití virtuální myši a klávesnice. Při Použití počítače můžou agenti provádět úlohy i v případě, že neexistuje žádné rozhraní API pro přímé připojení k systému. Pokud člověk může používat aplikaci nebo web, může používat i nástroj pro používání počítače. Použití počítače můžete použít pro úlohy, jako je automatické zadávání dat, zpracování faktur a extrakce dat.

Důležité

Tento článek obsahuje dokumentaci k funkcím Preview v řešení Microsoft Copilot Studio a může se změnit.

Funkce Preview nejsou určené pro normální používání a mohou mít omezené fungování. Jsou to funkce, které jsou poskytnuté před oficiálním vydáním, abyste si je mohli co nejdříve vyzkoušet a napsat nám své názory.

Pokud vytváříte agenta připraveného do provozního prostředí, podívejte se do tématu Přehled řešení Microsoft Copilot Studio.

Používání počítače využívá agenty pro používání počítače (CUA), model umělé inteligence, který kombinuje schopnosti vidění s pokročilým uvažováním pro interakci s grafickými uživatelskými rozhraními (GUI). Protože je poháněn umělou inteligencí, přizpůsobuje se změnám rozhraní. Když se například změní tlačítka nebo obrazovky, nástroj pokračuje v práci, aniž by přerušil tok. Jeho použití je jednoduché. Stačí popsat, co chcete, v přirozeném jazyce. Nemusíte psát kód.

V tomto videu se dozvíte, jak nástroj pro použití počítače umožňuje agentovi pracovat s webovou aplikací.

Požadavky

Tato funkce je dostupná pro prostředí, ve kterých je oblast nastavená na USA.
Ujistěte se, že váš agent má zapnutý generativní orchestrátor pro použití počítače.

Přidání použití počítače k agentovi

V novém agentu nebo existujícím agentu v nástroji Copilot Studio přidejte počítač pomocí následujícího postupu:

Přejděte ve svém agentovi do části Nástroje a vyberte Přidat nástroj.
V dialogovém okně Přidat nástroj vyberte Nový nástroj.
Vyberte možnost Používání počítače.
Zadejte pokyny, které popisují úlohu, kterou má nástroj provést v počítači. Zde naleznete několik šablon instrukcí pro zahájení práce. Další informace o tom, jak nejlépe psát pokyny pro použití počítače, najdete v osvědčených postupech pro použití počítače.
Zvolte zařízení, na kterém bude použití počítače spuštěno. Máte možnost buď využít hostovaný prohlížeč, zařízení připravené pro automatizaci úkolů na veřejných webových stránkách, nebo vybrat počítač se systémem Windows, který můžete nakonfigurovat pro účely automatizace. Další informace najdete v tématu Konfigurace, kde je spuštěno použití počítače.
Vyberte Přidat a konfigurovat.
- Na konfigurační stránce nastavte tato tři pole:
  - Název: Zadejte zobrazovaný název nástroje pro použití počítače. Tento název vám pomůže odlišit ho od ostatních nástrojů, které přidáte do svého agenta.
  - Popis: Zadejte stručný popis toho, co tento nástroj dělá a kdy by se měl používat. Tento text informuje vašeho agenta o tom, kdy má tento nástroj použít.
  - Pokyny: Uveďte kroky, které by měl nástroj provést, včetně adres URL a názvů aplikací. Tipy naleznete v části Doporučené postupy pro používání počítače.
Zkontrolujte tato další pole a nastavení na konfigurační stránce, která mohou být relevantní:
- Vstupy: Pomocí vstupů definujte dynamické hodnoty, které se mění při každém spuštění nástroje pro používání počítače. Chcete-li například při každém běhu vyplnit formulář jinou hodnotou, vytvořte pro toto pole vstup. V době používání počítače kombinuje vaše instrukce se vstupními hodnotami k provedení úkolu.
- Počítač: Vyberte cílové zařízení, které agent používá ke spuštění nástroje použití počítače. Další podrobnosti o výběru správného typu počítače na základě vašich požadavků najdete v tématu Konfigurace zařízení, na kterém je spuštěn nástroj použití počítače.
  - Pomocí funkce Aktualizovat aktualizujte seznam počítačů.
  - Zvolte Spravovat počítače a otevřete stránku pro správu počítačů na portálu Power Automate.
  - Výběrem možnosti Zobrazit podrobnosti počítače otevřete stránku s podrobnostmi o počítači na portálu Power Automate.
- Připojení: Připojení používané pro tento nástroj. Aktualizujte nebo vytvořte nové připojení, abyste změnili použité přihlašovací údaje.
- Přihlašovací údaje, které se mají použít: Určete, jak počítač používá ověřování během spuštění:
  - Přihlašovací údaje poskytnuté výrobcem (výchozí): Tato možnost využívá přihlašovací údaje výrobce a je vhodná pro autonomní agenty.
  Upozorňující
  
  Pokud sdílíte agenta s tímto nastavením, kdokoli, kdo ho používá, může jednat s přístupem původního autora na nakonfigurovaném počítači.
  - Přihlašovací údaje koncového uživatele: Tato možnost používá přihlašovací údaje osoby, která komunikuje s agentem. Každý uživatel musí mít přístupové údaje k počítači.
- Lidský dohled: Určete, kdo by měl být kontaktován prostřednictvím e-mailu (Outlook), pokud agent používající počítač zjistí potenciálně škodlivé instrukce, které by mohly změnit chování modelu. Každé spuštění agenta a jeho aktivita je svázaná s uživatelem, který jej zahájil. Pokud si vyberete jiného recenzenta než toho, kdo provozuje agenta pro používání počítače, pravděpodobně aktivitu nevidí, protože nezahájil běh. Proto nemůžou správně ověřit požadavek ani jednat na základě žádosti. Také se ujistěte, že je příjemce autorizovaný a má potřebný kontext pro zpracování takových požadavků. Limit doby odezvy definuje, jak dlouho požadavek zůstane aktivní. Po uplynutí této doby vyprší platnost požadavku a spuštění použití počítače se zastaví, pokud nebyla přijata žádná odpověď. Další informace naleznete v tématu Lidský dohled.
- Uložené přihlašovací údaje: Definujte přihlašovací údaje, které počítač používá k přihlášení k webům a aplikacím. Pokud se během provádění zobrazí výzva k přihlášení, použití počítače bezpečně využije všechny přihlašovací údaje, které jste definovali v této části pro danou lokalitu nebo aplikaci. Hodnoty hesel těchto přihlašovacích údajů jsou buď uloženy v interní paměti Power Platform (není potřeba žádná konfigurace), nebo v Azure Key Vault, který poskytnete. Naučte se, jak vytvořit trezor klíčů Azure Key Vault v tématu Vytvoření trezoru klíčů pomocí Azure portal.
  - Možnost interního úložiště: S touto možností můžete v nástroji nastavit přihlašovací údaje bez předchozí konfigurace. Tajemství jsou šifrována a ukládána interně v Power Platform. Ke každému osvědčení uveďte následující údaje:
    - Typ: vyberte mezi webovou a desktopovou aplikací podle toho, na kterém povrchu plánujete toto přihlašovací oprávnění použít
    - Uživatelské jméno: uživatelské jméno, které používáte k přihlášení na cílovou webovou stránku nebo aplikaci.
    - Heslo: hodnota hesla použitá k přihlášení na cílovou webovou stránku nebo aplikaci.
    Poznámka
    
    Pole hesel jsou podporována na všech webech a ve většině aplikací pro Windows (WinForms, WPF, UPW, WinUI, Win32), které pokrývají většinu zákaznických scénářů. Některé typy aplikací, například Elektron, Java, Unity, hry, rozhraní příkazového řádku, Citrix nebo jiná virtualizovaná prostředí, nemusí být podporované.
    - Přihlašovací doména nebo název desktopové aplikace: doména nebo název aplikace, do kterého zadáváte přihlašovací údaje (například login.microsoft.com nebo Excel). U přihlašovací domény si ji ověřte, protože se může lišit od hlavní URL stránky.
  - Možnost Azure Key Vault: S touto možností můžete v nástroji nastavit přihlašovací údaje tak, že nejprve zadáte ID předplatného, název skupiny zdrojů a název Key Vault. Všechny tyto informace jsou k dispozici na stránce Přehled vaší služby Key Vault.
    - Použití tajných kódů služby Azure Key Vault s Power Platform:
      - Předplatné Azure, které má vault, musí mít registrovaného poskytovatele zdrojů PowerPlatform .
      - Uživatel, který vytvoří proměnnou prostředí, musí mít adekvátní oprávnění k prostředku Azure Key Vault.
    - Pokud jste to ještě neudělali, postupujte podle kroků v Konfiguraci Azure Key Vault a poté uveďte následující podrobnosti:
      - Uživatelské jméno: uživatelské jméno, které používáte k přihlášení na cílovou webovou stránku nebo aplikaci.
      - Název tajného kódu Azure: název tajného kódu ve službě Key Vault, který ukládá heslo pro web nebo aplikaci.
      Poznámka
      
      Pole hesel jsou podporována na všech webech a ve většině aplikací pro Windows (WinForms, WPF, UPW, WinUI, Win32), které pokrývají většinu zákaznických scénářů. Některé typy aplikací, například Elektron, Java, Unity, hry, rozhraní příkazového řádku, Citrix nebo jiná virtualizovaná prostředí, nemusí být podporované.
      - Přihlašovací doména nebo název desktopové aplikace: doména nebo název aplikace, do kterého zadáváte přihlašovací údaje (například login.microsoft.com nebo Excel). U přihlašovací domény si ji ověřte, protože se může lišit od hlavní URL stránky.
- Řízení přístupu: Ve výchozím nastavení může použití počítače fungovat na libovolném webu nebo aplikaci. Pokud chcete omezit tento přístup, povolte řízení přístupu a definujte konkrétní adresy URL a desktopové aplikace, které smí nástroj použití počítače využívat. Můžete nakonfigurovat weby i aplikace:
  - Weby: Zadejte hlavní adresu webu (například example.com). Všechny stránky na daném webu se zahrnou automaticky. Pro subdomény můžete také použít zástupné znaky (*).
    - Příklady: www.contoso.com, *.contoso.com, contoso.com
  - Desktopové aplikace: Zadejte název produktu aplikace nebo název procesu. Pokud jej chcete najít, stiskněte kombinaci kláves Ctrl+Shift+Esc a otevřete Správce úloh. Pak zkontrolujte kartu Procesy.
    - Příklady: Microsoft Edge, msedge, Notepad.
  Poznámka
  
  Řízení přístupu pouze zabraňuje modelu provádět akce na webových stránkách nebo aplikacích, které nejsou v seznamu povolených. Nezastaví to model v jejich otevření. Například pokud jsou v seznamu povolených pouze microsoft.com a Microsoft Edge, model může stále použít vyhledávací lištu Edge k otevření Bingu. Jakmile je však Bing otevřen, jakýkoli pokus o interakci s ním selže, protože není v seznamu povolených.
Zvolte Uložit.

Testování používání počítače

Testování použití počítače je klíčovým krokem při vytváření obsahu. Po zadání názvu, popisu a pokynů a uložení nástroje vyberte Test a spusťte testování.

Po krátké době načítání se zobrazí testovací prostředí:

Levý panel zobrazuje vaše instrukce a krok za krokem záznam uvažování a kroků nástroje.
Na pravém panelu se zobrazuje náhled akcí na počítači, který jste nastavili pro použití počítače.

Po dokončení úkolu se zobrazí zpráva Test dokončen. V průběhu testu můžete vybrat Zastavit testování a okamžitě zastavit všechny akce na počítači.

Pokud výsledek není takový, jaký očekáváte, přejděte na konfigurační stránku a upřesněte pokyny. Přidejte více detailů pro zlepšení přesnosti. Návod najdete v osvědčených postupech pro psaní efektivních pokynů.

Publikování agenta s použitím počítače

Nastavte si počítač a pak publikujte svého agenta. Způsob spuštění agenta závisí na scénáři. Může být autonomní nebo konverzační:

Autonomní agenti se spouštějí automaticky a provádějí úlohy na pozadí.
Konverzační agenti umožňují uživatelům komunikovat prostřednictvím kanálů, jako je Microsoft Teams.

Použití počítače funguje nejlépe pro autonomní agenty, kteří provádějí úkoly na pozadí bez zásahu uživatele.

Použití počítače můžete využít také v konverzačních prostředích, ale mějte na paměti tyto aspekty:

Pokud jako nastavení ověřování vyberete Ověření uživatele, každý uživatel, který komunikuje s agentem v konverzaci, potřebuje platné přihlašovací údaje pro počítač používaný použitím počítače.
Když se nástroj spustí, sdílí v chatu zprávy s odůvodněním a snímky obrazovky aktivity počítače.

Osvědčené postupy

Chcete-li zůstat produktivní a v bezpečí v dnešním digitálním prostředí, dodržujte osvědčené postupy pro používání počítače, zejména při psaní jasných pokynů a zabezpečení počítačů.

Osvědčené postupy pro zabezpečení počítačů

Při nastavování počítačů, které umožňují umělé inteligenci provádět úlohy pomocí přirozeného jazyka, zvažte tato doporučení zabezpečení:

Bezpečnostní doporučení	Další informace
Používejte vyhrazené počítače pro použití počítače	Přiřaďte konkrétní, izolované počítače výhradně pro úlohy zahrnující použití počítače. Tento přístup snižuje riziko křížové kontaminace nesouvisejícího softwaru, malwaru nebo neoprávněného přístupu. Umožňuje řídit konfigurace, aktualizace a monitorování efektivněji.
Omezení oprávnění k uživatelskému účtu, který používáte pro používání počítače	Nastavte uživatelský účet pro používání počítače tak, aby dodržoval princip nejnižších oprávnění – udělte pouze oprávnění potřebná ke spuštění požadovaných nástrojů.
Omezte přístup na web pouze na seznam povolených konkrétních důvěryhodných webů	Povolte webový přístup pouze k předdefinovanému seznamu prověřených a důvěryhodných domén. Můžete například nakonfigurovat nastavení zásad Microsoft Edge pomocí Microsoft Intune, které cílí na počítače používané pro použití počítače.
Omezte dostupnost konkrétních desktopových aplikací	Instalujte a povolujte spouštění pouze aplikací, které jsou nezbytné pro zamýšlené pracovní postupy AI. Odeberte nebo zakažte přístup k nepotřebnému softwaru. Můžete například nakonfigurovat Kontrolu aplikace tak, aby omezila, které aplikace mohou být v počítači spuštěny.

Doporučené postupy pro pokyny pro použití počítače

Pokyny, které napíšete, určují, jak dobře funguje používání počítače. Specifické, podrobné pokyny pomáhají počítači provádět úkoly přesně. Představte si to jako vysvětlování úkolu kolegovi. Jasné pokyny krok za krokem pomáhají zajistit úspěch.

Tipy pro psaní účinných pokynů:

Buďte konkrétní, pokud jde o webové stránky a aplikace. Vždy uvádějte úplnou adresu URL jakékoli webové stránky a přesný název jakékoli aplikace, kterou by měl nástroj používat. Příklad: Otevřete https://www.microsoft.com a přejděte na 'Firemní novinky'.
Jasně uveďte příslušné akce. Pokud chcete něco udělat, řekněte to jasně – zejména při podání formuláře nebo odeslání e-mailu. Příklad: Jakmile formulář vyplníte, vyberte Odeslat. Není třeba žádat o svolení.
Rozeberte složité interakce. V oblastech, kde může být navigace v uživatelském rozhraní složitější, podrobně vysvětlete jednotlivé kroky. Příklad: Vyberte ikonu More v pravém horním rohu. Objeví se rozbalovací nabídka. Jakmile se otevře, vyberte poslední položku ze seznamu.
Pro delší úkoly použijte formátování krok za krokem. Dlouhé pokyny je snazší sledovat, když je naformátujete jako seznam.

Příklady pokynů

Prozkoumejte tyto ukázkové pokyny a vyzkoušejte si automatizaci počítače nebo je použijte jako referenci pro psaní vlastních.

Scénář	Jméno	Popis	Pokyny
Zpracování faktur	Přenos a odeslání údaje faktury	Přeneste data faktury z PDF a odešlete je do jiného formuláře.	1. Přejděte na https://computerusedemos.blob.core.windows.net/web/Contoso/invoice-manager.html, nastavte filtr Datum na Posledních 24 hodin a otevřete PDF faktury. 2. Na nové kartě otevřete https://computerusedemos.blob.core.windows.net/web/Contoso/index.html a vyplňte formulář daty z tohoto PDF. Odešlete formulář faktury, není potřeba žádné potvrzení.
Zadání dat	Odeslání skladových položek	Přidejte produkty do systému zásob.	1. Přejděte na https://computerusedemos.blob.core.windows.net/web/Adventure/index.html. 2. Odešlete nový záznam pro každou z následujících položek: Zadní přehazovačka, RD-4821, 50, 42.75, Tailspin Toys Sada pedálů, PD-1738, 80, 19,99, Northwind Traders Brzdová páka, BL-2975, 35, 14.50, Trey Research Sada šroubů převodníku, CB-6640, 100, 5,25, VanArsdel, Ltd. Středové složení, BB-9320, 60, 24,90, Tailwind Traders
Extrakce dat	Vyhledat portfolio manažera a hodnotu	Získejte jméno správce a hodnotu portfolia.	1. Přejděte na https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html. 2. Najděte řádek pro Čtvrtou kávu a poznamenejte si jméno správce portfolia a aktuální hodnotu portfolia přesně tak, jak je uvedeno. 3. Vraťte tyto dvě hodnoty jako konečný výstup.

Osvědčené postupy pro extrakci dat

Počítač můžete použít k extrakci dat z webů nebo aplikací a následnému předání těchto dat agentům nebo jiným nástrojům agenta. Chcete-li to provést, stačí popsat, jaké informace chcete extrahovat přímo v pokynech pro použití počítače.

Pokud chcete extrahovat data použít s jiným nástrojem (například odesláním e-mailem), zadejte tuto potřebu v pokynech pro agenta a ujistěte se, že jsou do agenta přidány oba nástroje.

Příklad: Použijte počítač k extrakci informací o klientovi pro finanční portfolio dashboard a zašlete extrahovaná data e-mailem. V takovém případě musí váš agent zahrnout jak nástroj pro používání počítače, tak e-mailový nástroj.

Extrahování hodnot jako textu

Můžete dát počítači pokyn, aby extrahoval konkrétní hodnoty a vrátil je jako prostý text. Například následující prompt extrahuje portfolio manažera a hodnotu portfolia pro klienta, Fourth Coffee:

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
2. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
3. Return those two values as the final output.

Agent vrátí jako text pouze dvě požadované hodnoty.

Extrahování hodnot ve formátu JSON

Můžete také požádat počítač o vrácení extrahovaných informací ve formátu JSON. Tento formát je užitečný, pokud chcete předat strukturovaná data jinému nástroji. Následující příklad extrahuje všechny řádky portfolia související se společností Contoso a vrátí je jako správně formátovaný JSON:

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
*    Each top-level key is the client name
*    Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
*    Return only the JSON, with no additional text.

Tento přístup zajišťuje strukturovanou strukturu výstupu.

Licencování

I když je použití počítače ve verzi Preview, účtuje se pomocí funkce akce agenta s fakturační sazbou pěti kreditů Copilot. Další informace najdete v tématu Fakturační sazba a správa aplikace Microsoft Copilot Studio.

Každé použití počítače může provádět několik akcí a každá akce stojí pět kreditů Copilot.

Pokud například nastavíte použití počítače k vyplnění webového formuláře časového rozvrhu, provede tyto akce při každé aktivaci:

Spustit prohlížeč.
Přejděte na webový portál časového rozvrhu.
Vyberte Vytvořit nový časový výkaz.
Vyplňte pole formuláře Čas zahájení.
Vyplňte pole formuláře Čas ukončení.
Vyplňte pole formuláře Kód projektu.
Vyberte tlačítko Odeslat.

V tomto příkladu používá počítač sedm akcí, které spotřebovávají celkem 35 zpráv.

Máte zpětnou vazbu k používání počítače? Informujte nás na computeruse-feedback@microsoft.com.

Nejčastější dotazy k nástroji pro používání počítače

Váš názor

Byla tato stránka užitečná?

Last updated on 2025-12-19