Model sdílené odpovědnosti AI agentů

AI agenti rozšiřují generativní AI za hranice vzoru požadavek/odpovědi, který popisuje model sdílené odpovědnosti AI . Na rozdíl od velkého jazykového modelu agent nevrací pouze obsah, na který může člověk reagovat. Místo toho agent:

• Jedná autonomně. Volá nástroje, volá API, zapisuje data a spouští pracovní postupy bez schválení každého kroku člověkem.
• Plány a smyčky. Rozděluje cíle na dílčí kroky, vyhodnocuje průběžné výsledky a před vrácením odpovědi si opakovaně zadává další výzvy.
• Uchovává stav a paměť. Krátkodobý kontext spolu s trvalou pamětí ovlivňují budoucí chování a mohou překračovat hranice relací nebo uživatelů.
• Má identitu. Ověřuje se vůči podřízeným systémům pomocí spravovaných identit, tokenů v zastoupení nebo samostatné identity agenta a má vlastní oprávnění.
• Spolupracuje s ostatními agenty. Při orchestraci s více agenty se výstup jednoho agenta stává instrukcí jiného agenta, čímž se zavádí nová hranice důvěry.

Každé z těchto chování přináší odpovědnosti, které v modelu žádosti/odpovědi AI neexistují.

Note

Tento článek používá "odpovědnost" ve smyslu řízení: kdo má nastavit, provozovat a monitorovat každou kontrolu. Jedná se o ilustrativní vedení a není určeno k tomu, aby vyjadřovalo právní závěry ani měnilo či odporovalo podmínkám jakékoli dohody mezi vámi a Microsoft.

Jak se AI agenti liší od cloudových a AI pracovních zátěží

Následující tabulka shrnuje, jak se model AI agenta liší od standardního cloudového modelu a generativního AI (LLM) modelu.

Obava	Standardní cloudový model	AI (LLM) model	model agenta AI
Primární interakce	API nebo GUI	Prompt k odpovědi	Cíl autonomního vícestupňového jednání
Vedlejší účinky v reálném světě	Aplikační kód, explicitní	Člověk reaguje na výstup	Agent jedná přímo prostřednictvím nástrojů
Kraj	Aplikační a datová vrstva	Bezstavová výzva	Trvalá paměť a kontext agenta
Identity	Identita uživatele nebo aplikace	Identita uživatele nebo aplikace	Odlišná identita agenta plus delegované tokeny
Hranice důvěryhodnosti	Od uživatele k aplikaci	Od uživatele k modelu	Uživatel → agent → nástroje → další agenti
Nejvyšší riziko	Nesprávná konfigurace, vystavení dat	Prompt injection (obsahu)	Prompt injection, který řídí akce; nadměrná agentura; zmatený zástupce

Rozdělení odpovědnosti

Stejně jako u cloudovýcha AI modelů sdílené odpovědnosti se rozdělení odpovědnosti mění podle modelu nasazení, který si zvolíte. Pro makléře jsou relevantní možnosti:

• SaaS agent. Hotový agent, například agenti Microsoft 365 Copilot, Microsoft Security Copilot nebo publikovaní agenti Microsoft Copilot Studio. Microsoft provozuje orchestrátor, model, bezpečnostní systémy a většinu konektorů nástrojů. Vlastníte konfiguraci, rozsah přístupu k datům, identitu a využití.
• PaaS agent. Vytvoříte agenta na platformě spravovaných agentů, jako je Microsoft Foundry Agent Service, Azure SRE Agent, vlastní agenti Microsoft Copilot Studio nebo Microsoft Agent Framework v běhu spravovaném Azure. Microsoft poskytuje runtime, modelový hosting a bezpečnostní ovládání platformy. Vlastníte instrukce agenta, výběr nástrojů a pluginů, oprávnění nástrojů, logiku orchestrace, návrh paměti a identitu a autorizaci agenta.
• Agent IaaS. Celý agentní stack si vytvoříte a hostujete sami: vlastní orchestrátor na VM nebo kontejnerech, samospravovaný framework a případně i self-hosted modely. Vlastníte téměř vše kromě fyzické infrastruktury (a základního modelu, pokud ho používáte jako hostované API).

Odpovědnost se posouvá doleva, což znamená, že přebíráte větší odpovědnost, když přecházíte od SaaS k PaaS a pak k IaaS agentům.

Následující diagram ilustruje oblasti odpovědnosti mezi vámi a Microsoft podle typu nasazení agenta.

Přehled vrstvy agentů AI

Agentický systém přidává tři nové vrstvy nad a kolem stávající AI platformy, aplikace a vrstvy využití. Za bezpečnost odpovídá ten, kdo daný úkol provádí, ale poskytovatel vám může některé mechanismy řízení zpřístupnit ve formě konfigurace.

AI platformní vrstva (dědičná)

Vrstva platformy AI zajišťuje hostování a ochranu modelu, trénovacích dat, vah modelu a inferenčních rozhraní API a poskytuje vestavěné bezpečnostní systémy pro vstupy a výstupy. Odpovědnost na této úrovni je převzata z modelu sdílené odpovědnosti AI.

Vrstva orchestrace agentů

Orchestrální vrstva je "mozková smyčka": plánování, uvažování, výběr nástrojů, systémový prompt a instrukce agenta a koordinace více agentů. Právě v této vrstvě žijí nadměrná agentura a rizika rychlé injekce k akci .

Bezpečnostní aspekty:

• Omezte instrukce a rozsah agenta (nejméně funkčnosti).
• Ověřte a očistěte veškerý nedůvěryhodný obsah, který vstoupí do smyčky, včetně získaných dokumentů, výstupů nástrojů a zpráv ostatních agentů. Všechno to berte jako nedůvěryhodný vstup, ne jako důvěryhodné pokyny.
• Vynucujte mantinely plánování: limity kroků a iterací, detekci smyček, rozpočtové a nákladové stropy a seznamy povolených nástrojů, které lze řetězit.
• U víceagentních systémů považujte každou meziagentní zprávu za hranici důvěry a znovu aplikujte vstupní bezpečnost.

Vrstva nástrojů a operací

Vrstva nástrojů a akcí obsahuje konektory, pluginy, funkce, servery Model Context Protocol (MCP) a API, která může agent vyvolat pro čtení a změnu stavu v reálném světě. Tato vrstva je největším rozdílem oproti modelu LLM.

Bezpečnostní aspekty:

• Nejnižší oprávnění pro každý nástroj. Každý nástroj nebo konektor by měl obsahovat pouze požadovaná oprávnění. Nepřidělujte agentovi trvalou identitu se širokými oprávněními.
• Autorizace u každé akce, nejen na začátku sezení. Znovu zkontrolujte, zda je tato akce na tomto zdroji povolena. Tato kontrola snižuje rizika zmatených zástupců a příliš široké delegace.
• Kontrolní body s lidským dohledem. Vyžadujte je pro vysoce závažné, nevratné nebo citlivé akce, jako jsou zápisy, mazání, platby, změny produkce a externí odesílání.
• Audity akcí. Zaznamenávejte každé volání nástroje se vstupy, výstupy, použitou identitou a odůvodněním rozhodnutí.
• Sandboxování a kontrola výstupu. Aplikujte je na nástroje pro spouštění kódu a prohlížení.

Paměť agenta a stavová vrstva

Paměťová vrstva agenta pokrývá krátkodobý konverzační kontext plus trvalou paměť, vektorová úložiště a scratchpady, které ovlivňují budoucí chování.

Bezpečnostní aspekty:

• Omezte a izolujte paměť podle uživatele a nájemce. Zabránit úniku paměti mezi uživateli nebo relacemi.
• Chraňte se před otravou paměti. Vložený obsah může přetrvávat a později se znovu spustit.
• Klasifikovat, uchovávat a mazat uloženou paměť. Uplatňujte klasifikaci dat, uchovávání a právo na smazání.
• Šifrovat paměťové úložiště a vynucovat kontrolu přístupu. Považujte paměť za citlivá data.

AI aplikační vrstva (dědičná)

Vrstva aplikací AI je aplikace nebo rozhraní, které uživatel využívá, spolu s ukotvením, pluginy a systémem zabezpečení aplikace.

AI vrstva využití (dědičná, rozšířená)

Vrstva využití AI popisuje, jak uživatelé a aplikace využívají agenta. U agentů se odpovědnost za autonomní akce stává ústřední: politiky přijatelného použití, vzdělávání uživatelů o rizicích specifických pro agenta a jasné vlastnictví akcí, které agent provádí jménem uživatele.

Matice zodpovědností

Následující matice shrnuje odpovědnost napříč modely nasazení. C = Zákazník, M = Microsoft, S = sdílené. Matice je obecným vodítkem; Specifické povinnosti pro danou službu se mohou lišit v závislosti na podmínkách a konfiguraci služby.

Dědičné odpovědnosti v oblasti cloudu a AI

Oblast odpovědnosti	IaaS agent	PaaS agent	Klient SaaS
Zákaznická data (včetně ukotvení a obsahu paměti)	C	C	C
Identity a uživatelé	C	C	C
Správa přístupů (RBAC, MFA, podmíněný přístup)	C	C	C
Klientská zařízení a koncové stanice	C	C	S
Hostování základního modelu a váhy modelu	C/M1	M	M
Bezpečnost obsahu vstupu/výstupu modelu	C/M1	S	M
Fyzická infrastruktura (hostitelé, síť, datová centra)	M	M	M

Specifické odpovědnosti agenta

Oblast odpovědnosti	IaaS agent	PaaS agent	Klient SaaS
Instrukce pro agenta, systémový prompt a rozsah	C	C	S
Výběr nástrojů, pluginů a konektorů	C	C	S
Oprávnění pro každý nástroj (nejmenší oprávnění)	C	C	S
Identita agenta a správa delegovaných tokenů	C	S	S
Kontroly autorizace jednotlivých akcí	C	S	S
Schválení lidského zapojení pro akce s vysokým dopadem	C	C	C
Omezení orchestrace (limity smyček, kroků a nákladů)	C	S	M
Víceagentní řízení hranic důvěry	C	S	S
Návrh paměti, izolace a obrana proti otravě	C	S	M
Sandboxování nástrojů a mechanismů a řízení výstupu	C	S	M
Zaznamenávání akcí pro audit a monitorování	C	S	S
Běhové prostředí agenta a platforma pro orchestraci	C	M	M
Politika přijatelného užívání a odpovědnost za činy	C	C	C

¹ Zákazník, pokud model hostujete sami na IaaS; Microsoft, pokud používáte hostované modelové API od vašeho agenta hostovaného v IaaS.

Povinnosti, které si vždy uchováváte

Bez ohledu na model nasazení jste vždy odpovědní za:

• Data, včetně všeho, co je zapsané do agentní paměti a předáno nástrojům.
• Identita a princip nejmenších oprávnění: vlastní identita agenta a rozsah oprávnění každého přihlašovacího údaje nebo tokenu, které může použít.
• Autorizace akcí: co je agentovi dovoleno dělat, zejména nevratné nebo citlivé operace.
• Lidský dohled: které činy vyžadují schválení a kdo je odpovědný za chování agenta.
• Přijatelné používání a správa: politiky, vzdělávání uživatelů a dodržování autonomního chování.

Hlavní rizika specifická pro agenta, proti kterým je vhodné navrhovat

Tato rizika se promítají do OWASP Top 10 pro LLM aplikace, OWASP Top 10 pro agentickou AI, MITRE ATLAS a klasifikace závažnosti zranitelnosti AI systémů Microsoft Security Response Center (MSRC). Zdůrazňují akční rozměr , který je jedinečný pro agenty.

Riziko	Mitigation
Injektáž promptu vedoucí k akci. Nedůvěryhodný obsah, jako je webová stránka, dokument, e-mail nebo jiný agent, převezme agenta k tomu, aby zlomyslně využíval nástroje.	Všechny výstupy nástrojů, vyhledávání a agentů považujte za nedůvěryhodné. Izolujte instrukce od dat. Zastavte akce s vysokým dopadem.
Nadměrná agentura. Agent má více nástrojů, oprávnění nebo autonomie, než úkol potřebuje.	Uplatňujte pro každý nástroj pouze nezbytnou funkcionalitu a minimální oprávnění a omezte rozsah pokynů.
Zmatený zástupce nebo příliš široká delegace. Agent používá svou privilegovanou identitu k něčemu, co žádající uživatel nemůže.	Používejte tokeny pro zastupování a oprávnění pro jednotlivé akce. Vyhněte se trvalé široké identitě.
Otrava vzpomínek. Vložený obsah přetrvává a znovu se spouští později nebo napříč relacemi.	Izolujte a ověřujte paměť, sledujte původ a vynuťujte její uchovávání.
Neomezené smyčky, náklady a vyčerpání zdrojů. Plánování na útěk.	Vynucujte limity kroků, iterací a rozpočtu a detekujte smyčky.
Selhání důvěry v multiagentních systémech. Kompromitovaný nebo halucinující agent kontaminuje spolupracovníky.	Na každé meziagentní hranici znovu aplikujte vstupní bezpečnost. Ověřujte, nevěřte.
Neautorizovaní nebo podvržení agenti. Neoprávněný agent jedná v prostředí, nebo je identita agenta zfalšována.	Vynucujte silnou identitu agenta, potvrzení a detekci a monitorování.

Konfigurujte před úpravou

Stejný princip, který Microsoft doporučuje pro AI, platí i pro agenty, a je silnější u agentů, protože autonomie násobí náklady na chybu.

1. Začněte se SaaS agenty (Microsoft 365 Copilot, Microsoft Security Copilot nebo publikovaní agenti Microsoft Copilot Studio). Microsoft vlastní orchestraci, bezpečnost a většinu zabezpečení nástrojů. Konfigurujete rozsah dat a identitu.
2. Přejděte na PaaS agenty (Microsoft Foundry Agent Service, Azure SRE Agent, vlastní agenti Microsoft Copilot Studio nebo Microsoft Agent Framework ve spravovaném runtime) pouze tehdy, když vám běžné verze nevyhovují. Přebíráte agentní logiku, nástroje, oprávnění, paměť a identitu.
3. Vytvářejte pouze IaaS agenty s hlubokou odborností v oblasti AI, bezpečnosti, identity a rizik autonomních systémů. Vlastníte téměř celý technologický stack.

Pravidlo: Čím větší autonomii a širší nástroj a oprávnění agentovi udělíte, tím více se matice odpovědnosti přesouvá na vás, bez ohledu na model nasazení. Autonomie nikdy nesnižuje odpovědnost.

Další kroky

• Seznamte se se sdílenými odpovědnostmi za cloud computing.
• Seznamte se s modelem sdílené odpovědnosti AI.
• Seznamte se s nejlepšími postupy v oblasti bezpečnosti Azure AI.