Monitorujte výkon agenta v Copilot Studiu

Note

Tento článek popisuje funkce používané v agentech nebo tocích agentů využívajících standardní prostředí.

Pomocí analýzy můžete pochopit, jak dobře si váš agent vede, a identifikovat oblasti, které je třeba zlepšit.

Stránka Monitor ve Copilot Studio shrnuje klíčové metriky a poskytuje analytiku využití komponent vašeho agenta. Otevřete individuální metriky pro zkoumání podkladových dat.

Zážitek s Monitorem je přizpůsoben pro konverzační agenty i pro autonomní agenty.

Monitorování je dostupné ve všech geografických oblastech. Data z monitoru jsou dostupná až 360 dní. Údaje o relaci a informace o přepisu jsou k dispozici za posledních 28 dnů. Časové a datové razítka v analytice jsou v koordinovaném univerzálním čase (UTC). Razítka s časem a datem zahrnují časy začátku a konce dne, časy relace a jakékoliv další časové ukazatele v datech vašeho agenta.

Note

Stránka Monitor nezobrazuje analytiku aktivity, kterou dokončíte při testování agenta v Copilot Studio pomocí testovacího panelu.

Udělení omezeného přístupu jen pro zobrazení k analýzám

Pokud jste vlastníkem agenta, sdílejte agenta s rolí Analytics Viewer tak, aby měl přístup pouze k jeho stránce Sledování. Pro přístup k informacím z přepisu konverzace musí mít osoba také bezpečnostní roli Bot Transcript Viewer .

Další informace najdete v článku Sdílení analytických údajů agenta.

Important

Jako vlastník agenta můžete roli prohlížeče analýz sdílet pouze s jednotlivci, nikoli se skupinami uživatelů.

Pro přístup k stránce Monitor vašeho agenta:

1. Otevřete si agenta v Copilot Studiu.
2. Vyberte Monitor v horním menu panelu.

Summary

V oblasti Souhrn se k vygenerování souhrnu klíčových analytických přehledů o vašem agentu používá Copilot. Výběrem možnosti Zobrazit další zobrazíte úplný souhrnný seznam přehledů.

Pomůže vám rychle pochopit běžná témata a metriky a identifikovat oblasti pro zlepšení vašeho agenta jejich shrnutím v seznamu s odrážkami pro vybrané sledovací období. Tento seznam může zahrnovat metriky zapojení, zákaznický sentiment a zpětnou vazbu a trendy od posledního sledovaného období.

Shrnutí komentářů zákazníků (náhled)

[Tato část je předběžná dokumentace a může být změněna.]

Shrnutí komentářů zákazníků vám pomůže pochopit celkový sentiment zákazníků k agentovi na základě zpětné vazby a komentářů. Přehledy jsou upřednostňovány na základě objemu souvisejících komentářů a jejich celkového významu. Shrnutí filtruje nízkohodnotné nebo nerelevantní komentáře a soustředí související zpětnou vazbu dohromady.

Important

Tento článek obsahuje dokumentaci Microsoft Copilot Studio Preview a může se změnit.

Funkce náhledu nejsou určeny pro produkční použití a mohou mít omezenou funkčnost. Jsou to funkce, které jsou poskytnuté před oficiálním vydáním, abyste si je mohli co nejdříve vyzkoušet a napsat nám své názory.

Pokud vytváříte agenta připraveného pro produkční prostředí, přečtěte si Přehled Microsoft Copilot Studio.

Chcete-li Microsoft poskytnout zpětnou vazbu k této sekci, vyberte Palec nahoru nebo Palec dolů. Použijte panel Odeslat zpětnou vazbu společnosti Microsoft k přidání komentáře a zvolení, zda chcete sdílet související soubory.

1. Na panelu Odešlete názor společnosti Microsoft popište v přirozeném jazyce, co se vám líbí nebo nelíbí, podle toho, kterou ikonu jste vybrali k otevření panelu.
2. Zvolte, zda chcete sdílet prompt, generovanou odpověď, relevantní ukázky obsahu a další logové soubory.
3. Vyberte Odeslat.

Overview

Zkontrolujte si přehled výkonnosti na vysoké úrovni v sekci Přehled a poté podrobněji prozkoumejte jednotlivé metriky.

Aktivní uživatelé

Metriky aktivních uživatelů ukazují adopci konverzačního agenta a jak se v průběhu času mění. Aktivní uživatel je jedinečný uživatel, který během období sestavy alespoň jednou interagoval s konverzačním agentem. Stránka Monitor zobrazuje denně aktivní uživatele (DAU) a měsíčně aktivní uživatele (MAU). Denní počet pokrývá celý 24hodinový den v UTC. Měsíční počet se řídí kalendářním měsícem v UTC.

Important

Funkce Aktivní metriky uživatelů se podporuje jenom v případě, že nastavíte agenta tak, aby vyžadoval ověřování v částiOvěřování>>.

Průměrná hodnota DAU pro vybrané období a její procentuální změna z předchozího období se v části Přehled zobrazuje jako klíčový ukazatel výkonu (KPI).

Note

Vzorec pro průměrnou počítanou metriku DAU je: (sum of all full-day active user counts in the period) / (count of full days in the period).

Pokud chcete zobrazit další podrobnosti o denním a měsíčním počtu aktivních uživatelů v průběhu času, vyberte tlačítko Zobrazit aktivní uživatele v pravém horním rohu panelu přehledu.

Pouze konverzační relace

Analytika pro konverzační agenty v Copilot Studio sleduje zapojení uživatelů s vaším agentem a snaží se zachytit, jak dobře váš agent zvládá úlohy uživatelů.

Konverzační analýza používá následující koncepty a termíny:

• Konverzace jsou průběžná interakce mezi konkrétním uživatelem nebo skupinou uživatelů na kanálu a vaším agentem.

• Konverzace se mohou pozastavit a pokračovat později nebo mohou být převedeny na zástupce zákaznické podpory. Konverzace může být jednosměrná, buď od zákazníka k agentovi, nebo od agenta k zákazníkovi, ale častěji jde o vzájemnou interakci mezi zákazníkem a agentem.

• Konverzace vyprší po 30 minutách nečinnosti.

• U agentů publikovaných v kanálu telefonie vyprší konverzace 3 minuty po události ukončení konverzace.

• Jedna konverzace může obsahovat jednu nebo více analytických relací.

• Analytická relace v standardním prostředí je přidružena k poslednímu vlastnímu tématu aktivovanému uživatelem. Pokud relace neobsahuje vlastní témata, je to poslední systémové téma, které uživatel aktivuje přímo.

Pouze relace triggerů událostí

Autonomní agent je agent se spouštěčem událostí. Tito agenti podporují pouze analýzy pro agenty s triggery.

Analytická relace pro agenty s triggery sleduje vše od okamžiku, kdy agent obdrží payload z triggeru, až po všechny akce, které agent v reakci spustí. Tyto analytické relace zachycují, na co váš agent reaguje a jak dobře si vede.

Note

Pokud trigger selže a agent neobdrží datovou část triggeru, relace analýzy nemůže začít. V analýze jsou sledována jenom úspěšně aktivovaná spuštění.

Hybridní zobrazení – konverzační relace i relace aktivované událostmi

Když data vašeho agenta zahrnují relace alespoň jedné konverzace a alespoň jeden spouštěcí běh v období sestavy, stránka Monitorování zobrazuje hybridní pohled relevantních metrik jak pro konverzační, tak pro autonomní relace. V tomto pohledu sekce Přehled a Efektivita ukazují metriky vedle sebe jak pro konverzační, tak pro událostmi vyvolané sezení. Oddíl Použití umožňuje vybrat mezi konverzacemi nebo výběhy, které zobrazují jenom relevantní data. Když vyberete Vše , zobrazí se všechna data související s použitím. V části Spokojenost se zobrazují metriky spokojenosti pro konverzační relace.

Další informace najdete v:

• Metriky relevantní pro konverzační relace viz Monitorování efektivity konverzačních agentů.

• Metriky relevantní pro relace vyvolané událostmi viz Monitorování stavu autonomního agenta.

Stažení přepisů konverzací

Přepisy sezení si můžete stáhnout v Copilot Studio za období v rámci posledních 28 dnů. Může trvat až hodinu po skončení relace analýz, než se související data objeví na analytickém dashboardu. Zjistěte více o dostupnosti, oprávněních a krocích ke stažení v článku Stažení přepisů konverzací v Copilot Studiu.

Uchovávání přepisů v Dataverse je oddělené od 28denního období uchovávání dat relace v Copilot Studio. Další informace získáte v článku Stažení přepisů konverzací v nástroji Power Apps.

Analýza využití témat

V Copilot Studio téma definuje, jak probíhá konverzace agenta, a představuje část konverzace mezi uživatelem a agentem. Panel Monitor pro téma ukazuje, jak si konkrétní téma vede, včetně toho, jak často se spouští, jak jsou vyřešeny relace, které ho zahrnují, a jak jsou uživatelé s těmito relacemi spokojeni. Využijte tyto poznatky k identifikaci témat, která se často vyostřují nebo jsou opuštěna, a poté je upřednostněte ke zlepšení. Další informace najdete v tématech o vytváření a úpravách.

Note

Topic Monitor je dostupný pouze u agentů využívajících standardní prostředí a u témat spojených s relací. Pokud váš agent používá generativní orchestraci, použijte místo toho výsledky konverzací a témata na stránce Monitor.

Postup zobrazení panelu Monitorování témat:

1. Přejděte na stránku Témata vašeho agenta v Copilot Studio.

2. Vyberte téma, které chcete analyzovat. Pokud nejsou k dispozici žádná témata, viz Vytváření a úpravy témat.

3. V pravém horním rohu stránky Témata vyberte Více (...) >Monitor.

Panel tématu Monitor zobrazuje:

• Výsledky témat: Graf výsledků relace, Escalated, Resolved, a Abandoned, pro relace, kde se toto téma aktivovalo. Pomocí tohoto grafu můžete rychle vyhodnotit stav tématu. Vysoký podíl výsledků Escalated nebo Abandoned může znamenat, že téma vyžaduje zlepšení.
• Celkové použití tématu: Graf výsledků tématu trend v průběhu času. Použijte ji k odhalení regresí, například nárůstu počtu opuštěných relací poté, co bylo téma upraveno, nebo k potvrzení, že nedávné změny zlepšily úspěšnost řešení.
• Skóre spokojenosti zákazníků: Skóre založené na odpovědích průzkumu uživatelů z relací přidružených k tomuto tématu.
• Trend skóre spokojenosti: Graf znázorňující, jak se skóre spokojenosti mění v průběhu času. Tento trend použijte k identifikaci období, kdy se nálada uživatelů zhoršila nebo zlepšila.

Pokud chcete změnit časové období, vyberte rozevírací seznam časového rozsahu v horní části panelu Monitorování tématu.

Související informace

Měření návratnosti investic (ROI) a obchodní hodnoty agentů umělé inteligence