Volba agentního hostitele

Při vyhodnocování provozní kvality, spolehlivosti a nákladů zvažte výběr hostitele agenta, jako jsou Microsoft 365 Copilot (deklarativní agenti), Copilot Studio (vlastní agenti) nebo Azure. Toto rozhodnutí nechte oddělené od metody agentového autorství. Místo, kde agent běží nebo je hostován, určuje jeho orchestrační schopnosti, přístup k modelu a provozní funkce. Tyto funkce přímo ovlivňují kvalitu, výkon a náklady na provoz řešení ve velkém měřítku.

Tento článek vysvětluje, jak platformy hostitelů agentů ovlivňují schopnosti řešení. Dozvíte se, jak různé metody vytváření můžou vytvářet agenty na stejné hostitelské platformě a současně udržovat konzistentní kvalitu a chování, jak může jedna metoda vytváření vytvářet agenty na různých platformách s různými výsledky kvality a chování a jak hostitel tvaruje profil nákladů řešení.

Náklady jako aspekty použitelnosti

Považujte náklady za stálou provozní charakteristiku, nikoli za jednorázovou otázku pořízení. Dvě řešení mohou poskytovat stejné odpovědi, a přitom se v nákladech lišit o řád, protože náklady závisí na tom, jak agent funguje, nejen na tom, co vrací. Hostitelská platforma do značné míry určuje možnosti, které máte k dispozici:

• Spotřeba tokenů na interakci Všechny instrukce, fragmenty znalostí a definice nástroje, které model zpracovává na daném turnu, se v daném turnu fakturují. Trvalý kontext, který se načítá při každé interakci, je zpoplatněn při každé interakci bez ohledu na to, zda je relevantní.
• Počet otočení modelu Orchestrátor rozhoduje, kolikrát je model vyvolán k dokončení úkolu. Více cyklů volání nástrojů a více přeplánování znamená více inferencí.
• Výběr modelu Větší modely zdůvodnění stojí více na token a přidávají latenci. Hostitel určuje, které modely jsou k dispozici a jestli můžete směrovat různé kroky do různých modelů.
• Determinismus. Práce, která je deterministická, vůbec nepotřebuje odvozování modelu. Přesunutím do kódu nebo akcí se odeberou náklady na tokeny i proměnlivost.

Oddíly, které následují, rozdělují ovládací prvky, které mají největší vliv na náklady: orchestrace, výběr modelu a způsob návrhu pokynů a deterministických akcí.

hostování Microsoft 365 Copilot

Microsoft 365 Copilot poskytuje spravované hostitelské prostředí pro deklarativní agenty s integrovanými možnostmi zásad správného řízení, zabezpečení a dodržování předpisů. Tato platforma nabízí konzistentní výkonnostní charakteristiky bez ohledu na to, jakou metodu autorství použijete k vytvoření agenta.

Deklarativní agenty můžete vytvářet například pomocí funkce Agent Builder ve Microsoft 365 Copilot, Copilot Studio nebo Microsoft 365 Agents Toolkit. Agent-hostitel určuje možnosti orchestrace, katalogu a jazykových modelů dostupných vývojáři. Tyto možnosti jsou největším vlivem na kvalitu odezvy. Platformy pro autorské a tvůrčí činnosti by měly být sekundárním kritériem pro řešení ve fázi stabilního provozního stavu.

Různé autorské platformy poskytují různé úrovně provozních schopností přizpůsobené různým potřebám organizace a fázím vývoje. Pokud podkladový hostitel agenta zůstane Microsoft 365 Copilot (deklarativní agenti), kvalita zůstává konzistentní, jak postupujete různými plátny pro vytváření obsahu, abyste splnili své provozní potřeby.

Následující tabulka shrnuje úvahy, kterou platformu pro vytváření obsahu použít pro deklarativní agenty jako příklad.

Requirement	Funkce Agent Builder v rámci aplikace Copilot	Copilot Studio	Profesionální kód
Vlastník řešení	Fyzická osoba	Group	Enterprise
Aktualizace a údržba	Bez správy verzí	Verzování s uzamčenými úpravami	Verzování se současnými úpravami
Hodnotící rámec	Testovací panel	Testovací panel a Pro Code	Plně přizpůsobitelné
CI/CD	None	Some	Yes
Monitorování v reálném čase	None	None	Yes
Telemetrie	Limited	Some	Plně přizpůsobitelné
Náklady/návratnost investice	Je zahrnuto v Microsoft 365 Copilot	Rozsah od licence po spotřebu	Plně přizpůsobitelné na základě možností profesionálního kódování
Náklady na využívání Work IQ	Ukotvení Work IQ je součástí licence Microsoft 365 Copilot; nelicencovaní uživatelé jsou zpoplatňováni podle spotřeby	Účtování podle spotřeby v kreditech Copilot (průběžné platby nebo předplacené)	Spotřeba se účtuje v kreditech Copilot prostřednictvím rozhraní API Work IQ; měřeno a omezeno v centru pro správu Microsoftu 365

Například když agent využívá Work IQ pro kontext, vyhledávání nebo akce, je toto využití účtováno variabilně, přičemž cena v kreditech se odvíjí od složitosti scénáře, včetně velikosti kontextu, hloubky uvažování a počtu kroků.

Note

Neexistuje samostatné předplatné Work IQ, SKU ani licence na uživatele. Náklady na Chat a Context se liší, takže dva podobní agenti mohou spotřebovat velmi odlišné množství kreditů podle toho, o kolik kontextu se opírají a kolik vícekrokového uvažování provádějí. Pomocí řídicího panelu správy nákladů v Centrum pro správu Microsoftu 365 můžete monitorovat využití kreditů a nastavit limity útraty pro tenanty, skupiny a uživatele. Vzorce optimalizace nákladů v Návrhu s ohledem na optimalizaci nákladů – minimalizace trvale aktivního kontextu a přesun deterministických úloh do skriptů a akcí – pomáhají udržet výdaje na Work IQ pod kontrolou.

Zvažte i další faktory, jako je podpora pro vývojáře a nástroje pro ladění (nejsou uvedeny v tabulce). Mějte na paměti, že tyto faktory jsou silně ovlivněny bezpečností vaší organizace a její schopností pro konkrétní vývojovou platformu.

Podporujte deklarativní agenty Microsoft 365 Copilot vytvořené v Agent Builderu tím, že je povýšíte na deklarativní agenty vytvořené pomocí sady Microsoft 365 Agents Toolkit. Tato strategie udržuje Microsoft 365 Copilot jako orchestrátor, aby se zajistilo konzistentní chování agenta. Pokud experimentální vlastní agent integrovaný v Copilot Studiu splňuje kritéria testování konceptu a pro podnikové operace se vyžaduje správa zdrojového kódu, povýšte agenta na spravovanou pipeline v Power Platform. Tento přístup zajišťuje, že orchestrátor Copilot Studio zůstává primárním mechanismem pro udržování chování agenta.

Orchestrace a využití agenta

Orchestrátor neboli řídicí vrstva je běhová smyčka, která plánuje kroky, vybírá a spouští nástroje, spravuje kontextové okno a rozhoduje, kdy je úloha dokončena. Je to zdaleka nejvýznamnější faktor ovlivňující jak kvalitu odpovědí, tak provozní náklady, protože určuje, kolik kol interakce model provede, kolik kontextu se v každém kole nahromadí a jak se výsledky nástrojů předávají zpět modelu.

Protože hostitelská platforma poskytuje orchestrátor, volba hostitelské platformy do značné míry určuje rámec vašich nákladů a latence:

• Microsoft 365 Copilot poskytuje spravovaný orchestrátor. Získáte předvídatelné náklady včetně licence a konzistentní chování s omezenou kontrolou nad samotnou smyčkou.
• Copilot Studio poskytuje konfigurovatelnou orchestraci (například témata a generování orchestrace). Náklady se liší od licencí až po spotřebu podle toho, kolik generativní práce delegujete na model.
• Azure a pro-code vám poskytují úplnou kontrolu nad smyčkou. Vyhodnoťte náklady na údržbu kódu ve srovnání s využitím dobře udržovaného frameworku nebo SDK, jako je Copilot SDK.

Když je hostitel zveřejní, klíčové orchestrační páky jsou:

• Rozpočet konverzací. Omezte nebo upravte počet iterací plánování a volání nástrojů, které orchestrátor provede před návratem.
• Paralelní a sekvenční volání nástrojů Spuštění nezávislých volání nástrojů souběžně za účelem snížení latence Konsolidujte volání, pokud je to možné, abyste snížili počet obratů konverzace.
• Správa kontextu Ořízněte, shrňte nebo omezte kontextové okno konverzace, abyste zabránili neomezenému růstu kontextu, což udržuje náklady na tokeny na jedno kolo stabilní namísto toho, aby se kumulovaly.
• Ukládání do mezipaměti. Opětovně využijte mezipaměť předpon promptů napříč konverzacemi nebo relacemi, abyste se vyhnuli opakovanému účtování za stabilní kontext.

Note

Schopnější orchestrátor může současně zvýšit kvalitu a náklady. Přizpůsobte úroveň sofistikovanosti orchestrace danému úkolu. Jednoduchý agent pro vyhledávání nepotřebuje vícekrokové generativní plánování a platit za něj jen zvyšuje náklady, aniž by to zlepšilo výsledky.

Volba modelu

Model, který zvolíte, ovlivňuje náklady na token a latenci a je z velké části nezávislý na metodě vytváření. Větší modely zdůvodňování poskytují výsledky komplexních úloh s vyšší kvalitou, ale stojí více na tokenu a reagují pomaleji. Zvolte model podle obtížnosti úlohy místo toho, abyste pro každou úlohu automaticky volili nejvýkonnější variantu.

Architekt směrování modelu, když ho hostitel podporuje:

• Vyhraďte si hraniční modely pro skutečně těžké kroky, jako je nejednoznačné uvažování, syntéza nebo otevřená generace.
• Směrovat deterministické nebo jednoduché dílčí úkoly , jako je klasifikace, extrakce, formátování a rozhodování o směrování na menší, levnější a rychlejší modely.
• Kombinujte modely v rámci jednoho agenta, když orchestrátor podporuje výběr modelu pro jednotlivé kroky, aby se za každý krok platilo jen za funkci, kterou potřebuje.

Hostitelská platforma určuje, které modely jsou v katalogu, zda můžete směrovat jednotlivé kroky, maximální velikost kontextového okna (větší okna umožňují více kontextu, ale na jednu interakci stojí více) a zda je k dispozici ukládání promptů do mezipaměti. Tyto funkce ověřte jako součást rozhodování o hostiteli, protože limitují optimalizaci nákladů na úrovni modelu, kterou můžete provést později.

Navrhování pro optimalizaci nákladů

Kromě výběru hostitele, orchestrátoru a modelu má struktura pokynů a akcí agenta přímý dopad na opakované náklady. Dva principy vedou k nákladově efektivnímu návrhu:

1. Neplaťte za inferenci modelu u práce, která je deterministická. Sbalte deterministické akce do skriptů, akcí nebo konektorů, a ne jejich popis jako instrukce přirozeného jazyka, které model musí interpretovat při každém spuštění. Kód se spustí jednou, levně, s předvídatelným výstupem, bez nákladů na token a méně proměnlivosti. Použití přirozeného jazyka pro tentýž postup pokaždé vyžaduje inferenci a může vést k nekonzistentním výsledkům.

2. Neplaťte průběžné tokenové náklady za instrukce, které používáte jen zřídka. Předem načtené pokyny na úrovni agenta jsou účtovány v každém kroku každé interakce, i když nejsou relevantní pro požadavek uživatele. Načítání pokynů a znalostí na vyžádání, jen když tomu odpovídá úloha, znamená, že za tento kontext platíte pouze tehdy, když se skutečně využívá, nikoli průběžně. Tento model progresivního zpřístupnění udržuje základní náklady na každou interakci nízké.

Následující tabulka shrnuje, kdy předinstalovat pokyny do agenta a kdy odeslat práci do deterministických skriptů nebo prostředků na vyžádání.

Předběžně načíst pokyny na úrovni agenta, když…	Použijte skripty, akce nebo prostředky na vyžádání, když…
Chování se vztahuje téměř na každou interakci (základní role, tón, bezpečnostní mantinely).	Chování je specifické pro úkol nebo jen občas relevantní.
Pokyny jsou krátké a vždy relevantní.	Pokyny jsou dlouhé nebo jsou podporovány rozsáhlými referenčními materiály nebo znalostními materiály.
Model skutečně potřebuje uvažovat o svém chování nebo je přizpůsobit.	Akce je deterministická, opakovatelná a má dobře definovaný výstup.
Latence dalšího načtení nebo volání nástroje by zhoršila uživatelský dojem.	Náklady na tokeny pro přenos kontextu v každé konverzaci převáží občasné zatížení.

Nákladově efektivní agent udržuje své nepřetržité instrukce minimální a zaměřuje se na identitu a bezpečnost. Zpracovává pevné postupy jako skripty nebo akce a poskytuje specializované znalosti a pokyny specifické pro úkoly jako prostředky na vyžádání, které se načítají pouze v případech, kdy jsou relevantní. Tento přístup snižuje náklady na tokeny pro každou interakci, činí chování předvídatelnějším a zachovává základní prompt menší a snadněji udržovatelný, aniž by byla omezena jeho funkčnost.

Další krok

Naučte se, jak měřit kvalitu agentů, ověřovat výkon v různých scénářích a zajistit operační připravenost před nasazením pomocí hodnotících rámců.

Hodnotící rámce