Analýza konverzačních agentů

Note

Funkce v tomto článku jsou poháněny standardním kabelem, který využívá fakturační možnosti popsané v sekci Licencování pro agenty poháněné standardním kabelem. Naučte se, jak přistupovat ke standardním funkcím v Access, standardní agenti a agentové toky.

Stránka Analytics v Copilot Studio poskytuje agregovaný přehled o celkové efektivitě vašeho agenta v analytických relacích. Stránka je rozdělená do základních oblastí, které se zaměřují na různé kontexty výkonu. Na stránce se také zobrazí oblast Přehled, která obsahuje vysokoúrovňové metriky klíčového ukazatele výkonu (KPI) vašeho agenta, oblast Úspory, analyzující čas a úspory nákladů, které lze přičíst vašemu agentovi nebo nástrojům vašeho agenta, a oblast Souhrn, která poskytuje klíčové analytické přehledy o výkonu vašeho agenta.

Při kontrole a zlepšení efektivity konverzačních agentů se zaměříme na čtyři základní části.

• V části Souhrn, Přehled a Úspory se zobrazují klíčové analytické přehledy o vašich agentech a statistiky fakturace a úspor nákladů; Další informace o jednotlivých dílčích oddílech najdete v části Souhrn, Přehled a Úspory .
• Oddíl Vlastní metriky umožňuje definovat metriky specifické pro firmy pro případy použití agentů.
• Sekce Účinnost vám pomůže vyhodnotit kvalitu uživatelských zkušeností tím, že ukazuje, kde jsou konverzace úspěšné, kde váznou a jak uživatelé vnímají výsledky.
• Oddíl Použití vám pomůže zlepšit provozní výkon tím, že ukazuje, jak dobře váš agent odpovídá na otázky, jak spolehlivé nástroje a zdroje znalostí podporují tyto odpovědi a kde cílové aktualizace můžou zvýšit pokrytí a konzistenci.

Můžete zobrazit analýzy událostí, ke kterým došlo za posledních 360 dnů.

Vlastní metriky

Oddíl Vlastní metriky umožňuje definovat až tři metriky specifické pro firmu v přirozeném jazyce a sledovat, jak často se jednotlivé výsledky zobrazují napříč vzorkovanými relacemi. Tyto metriky použijte k doplnění standardních analytických přehledů indikátory, které odrážejí cíle vašeho agenta a obchodní využití.

Pro uživatele s privilegiem Bot Transcript Viewer můžete přejít na seznam zákaznických relací filtrovaných podle vybraného segmentu donut grafu. Ze seznamu sezení můžete vidět důvody za metrikou a přistupovat k podkladu přepisu výběrem jednotlivých sezení.

Pokud chcete zjistit, jak vytvářet, testovat a upřesňovat vlastní metriky, přečtěte si téma Analýza agenta s vlastními metrikami.

Efektivnost

V části Efektivita se zobrazuje zpětná vazba uživatelů shromážděná z reakcí, odpovědí agenta, výsledků průzkumu a skóre mínění pro relaci. Efektivita je rozdělená mezi mnoho pododdílů:

• Výsledky konverzace: Znalost konečného výsledku konverzace vám pomůže začít identifikovat, kde je váš agent úspěšný a kde potřebuje zlepšení.
• Reakce: Reakce uživatelů včetně zpětné vazby typu palec nahoru/palec dolů a uživatelských komentářů ke konkrétním odpovědím agenta.
• Spokojenost zákazníků: Zobrazení skóre spokojenosti zákazníků (CSAT)
• Analýza sentimentu (náhled): Analýza sentimentu založená na umělé inteligenci pro celou relaci.
• Agenti: Podívejte se na metriky objemu volání, míry úspěšnosti a aktuální stav podřízených a připojených agentů.

Data zpětné vazby jsou uložená v tabulce přepisu konverzace v Dataverse. Seznam kanálů, které tuto funkci podporují, najdete v podrobnostech o funkcích.

Výstupy konverzace

V části Výsledky konverzace je graf, který sleduje typ výsledku pro každou relaci mezi vaším agentem a uživateli.

Graf, ať už zobrazený jako skládaný histogram, nebo skládaný plošný graf, vizualizuje relativní objemy výsledků, barevně kódované a skládané podle typu. Každá z možností Vyřešeno, Eskalováno, Opuštěno a Nezapojeno jsou reprezentovány příslušnými barvami pro každý datový bod. Osa y označuje počet relací.

Pokud chcete zobrazit metriky o jednotlivých výsledcích specifických pro jeden datový bod (konkrétní den), najeďte myší na oblast představující barvu výsledku zájmu (například modrozelenou pro opuštěné) v den, který vás zajímá.

Pokud chcete stáhnout data výsledků konverzace (data vizualizovaná v grafu), vyberte ikonu nabídky a vyberte Stáhnout CSV.

Note

Pokud se při stahování z grafu odeberou nějaké výsledky, nezobrazí se jejich data v CSV.

Pokud chcete otevřít boční panel s podrobnými informacemi o výsledcích konverzace, vyberte Zobrazit podrobnosti v grafu. Boční panel Výsledky konverzace obsahuje:

• Rozložení výsečového grafu výsledků relace, které zobrazuje relativní váhu (vyjádřenou jako procento) výsledků vyřešených, eskalovaných a opuštěných.
• Skládaný pruhový graf zobrazující relativní váhy (vyjádřené jako procenta) důvodů potvrzeného vyřešení a předpokládaného vyřešení, které popisují všechny důvody vyřešení výsledků relace.
• Skládaný sloupcový graf zobrazující relativní váhu (vyjádřenou jako procento) důvodů zamýšlených systémem, nezamýšlených systémem a požadovaných uživatelem popisujících všechny eskalované výsledky relací.
• Nejčastější témata, která vedla k jednotlivým výsledkům.

Note

Pokud chcete zobrazit popis s nezpracovanými informacemi o počtu, najeďte myší na některý z výsečového grafu nebo segmentů skládaného pruhového grafu.

Relace spadá do jednoho z následujících dvou stavů:

• Nezapojená: Relace se spustí, když uživatel komunikuje s vaším agentem nebo když agent odešle uživateli proaktivní zprávu. Relace začíná v neaktivním stavu.

• Zapojení: Uživatel aktivně komunikuje s agentem. Rozdíl v chování závisí na režimu orchestrace agenta.

  • Klasická orchestrace: Sezení se stane aktivní, když se spustí jedna z následujících událostí:

    • Vlastní téma přímo aktivované uživatelem
    • Eskalace tématu
    • Náhradní téma
    • Téma posílení konverzace

  • Orchestrace generativní AI: Relace se zapojí, když uživatel přímo spustí plán a obsahuje jeden z následujících prvků:

    • Nesystémové téma
    • Eskalace tématu
    • Náhradní téma
    • Zdroj znalostí
    • Nástroj

Angažovaná relace má jeden z následujících výsledků:

Kategorie výsledků	Výsledek	Description
Vyřešeno		Relace byla úspěšně ukončena. Existují dva typy vyřešených relací: Vyřešeno potvrzeno a Vyřešeno implicitně.
	Potvrzeně vyřešeno	Relace se považuje za vyřešenou s potvrzením, když se aktivuje téma Ukončení konverzace a uživatel potvrdí, že interakce byla úspěšná.
	Vyřešeno (implicitně)	Relace je vyřešena implicitně, když je dokončena bez potvrzení uživatele na základě logiky agenta. Implicitní stav Vyřešeno závisí na tom, jestli váš agent používá orchestraci Classic nebo Generative AI: – Klasická orchestrace: Relace se považuje za Vyřešenou implicitně při aktivaci tématu Ukončení konverzace a když uživatel nechá vypršet časový limit relace bez potvrzení. – Generativní AI orchestrace: Relace se považuje za implicitně vyřešenou, když vyprší její platnost a neexistují žádné zbývající aktivní plány. Aktivní plán je plán, který čeká na vstup uživatele.
Eskalováno		Relace skončí, ale je považována za eskalovanou, když je aktivováno téma Eskalovat nebo je spuštěn uzel Předat agentovi (aktuální analytická relace skončí bez ohledu na to, jestli je konverzace předána či nepředána živému agentovi). Existují tři typy eskalovaných relací: zamýšlená systémem, nezamýšlená systémem a požadovaná uživatelem.
	Zamýšlený systém	Relace se automaticky eskaluje v důsledku automatického obchodního pravidla nastaveného tvůrcem. Eskalace je očekávaným výsledkem rozhovoru a není to něco, co by vyžadovalo vyšetřování nebo změnu. Příklad: Uživatel chce převést na třetí stranu více než 25 000 USD. Tato částka překračuje prahovou hodnotu obchodního pravidla a relace se v důsledku toho automaticky eskaluje.
	Nezamýšlená systémem	Eskalace se automaticky provede v důsledku překročení jedné nebo více prahových hodnot nastavených tvůrcem. Obvykle tento výsledek znamená, že uživatel je uvězněn v konverzaci a potřebuje pomoc. Příklad: Relace se eskaluje po třech selháních při provádění specifické úlohy.
	Vyžádaná uživatelem	Relace je eskalována, protože během konverzace byl vznesen explicitní požadavek uživatele. Příklad: Uživatel zadá Transfer me to an agent.
Opuštěno		Relace skončí a je považována za opuštěnou, pokud po 30 minutách vyprší časový limit zahájené relace, která nedosáhla vyřešeného nebo eskalovaného stavu.

Můžete také nastavit výsledek pro nástroje s parametrem conversationOutcome pomocí editoru kódu nástroje. Například conversationOutcome: ResolvedConfirmed pro potvrzený úspěch nebo conversationOutcome: ResolvedImplied pro předpokládaný úspěch.

Viz dokumentace s pokyny pro měření zapojení pro doporučení a osvědčené postupy, jak měřit a zlepšovat zapojení.

Reakce

V části Reakce se zobrazuje zpětná vazba uživatele shromážděná z reakcí na odpovědi agenta. Graf spočítá, kolikrát uživatelé vybrali tlačítka palec nahoru (kladné) nebo palec dolů (záporné) dostupné pro každou odpověď, kterou dostali od vašeho agenta.

Note

• Agenti publikovaní v kanálu Microsoft 365 Copilot vyžadují souhlas administrátora v Centrum pro správu Microsoftu 365, aby mohli sdílet zpětnou vazbu uživatelů, včetně reakcí a komentářů. Tuto zpětnou vazbu si můžete prohlédnout na stránce Monitor . Více informací najdete v nastavení agenta v Centrum pro správu Microsoftu 365.
• Reakce z kanálu Microsoft 365 Copilot nejsou agregovány ani započítávány ve sloupci Reakce v sekcích Témata a Znalosti o využití zdrojů.
• Pokud chcete zobrazit komentáře, musíte mít roli zabezpečení Prohlížeč přepisů robotů.

Funkce Reakce je ve výchozím nastavení zapnuta pro všechny kanály kromě kanálu Microsoft 365 Copilot. Tuto funkci můžete v případě potřeby vypnout. Můžete také přidat nebo upravit prohlášení pro uživatele o tom, jak se jejich názory používají:

1. Otevřete agenta, přejděte do Nastavení, a najděte část Zpětná vazba uživatelů.

2. Zapněte nebovypněteshromažďování reakcí uživatelů na zprávy agenta.

3. Přidejte nebo upravte prohlášení, aby uživatelé věděli, jak se jejich názory používají. Můžete také poskytnout informace o ochraně osobních údajů a tipy.

Uživatelé s oprávněním prohlížeče přepisu robota můžou přejít k podrobnostem odpovědí agenta pro jednotlivé reakce a filtrovat podle komentářů uživatelů.

Zobrazení trendů reakcí v průběhu času

Výběrem možnosti Zobrazit podrobnosti na dlaždici Reakce otevřete boční panel Reakce . Panel ukazuje, jak se pozitivní a negativní reakce (od Palce nahoru a Palce dolů) vyvíjejí v průběhu času.

Spokojenost zákazníků

V části Spokojenost zákazníka se zobrazují informace o spokojenosti uživatelů na základě výsledků průzkumu uživatelů:

• Skóre spokojenosti: Skóre z 5 vypočítaných z průměrného skóre spokojenosti zákazníků (CSAT) pro relace, ve kterých uživatelé odpověděli na žádosti o ukončení relace, aby provedli průzkum.

  Note

  Skóre 1 a 2 odpovídají nespokojenosti, skóre 3 je považováno za Neutrální a skóre 4 a 5 odpovídají spokojenosti.

• Spokojenost podle sezení: Stohovaný sloupcový graf, který zobrazuje relativní vážení pro každou z kategorií skóre průzkumu, a sice Dissatisfied, Neutral, a Satisfied. Najeďte myší na každý segment grafu, abyste viděli velikost vzorku a číselnou hodnotu váhy jednotlivých kategorií skóre. Pro uživatele s oprávněním pro Bot Transcript Viewer můžete procházet seznam relací zákazníků filtrovaný podle části vybraného sloupcového segmentu.

Výběrem možnosti Zobrazit podrobnosti zobrazíte trend skóre spokojenosti v průběhu vybraného časového období.

Sentiment (Náhled)

[Tato část je předběžná dokumentace a podléhá změně.]

Analýza sentimentu používá AI k analýze uživatelských zpráv ze vzorku relací k vyhodnocení celkového uživatelského sentimentu pro agenta. Číselná hodnota představuje procento relací s negativním uživatelským sentimentem.

Important

Tento článek obsahuje dokumentaci Microsoft Copilot Studio Preview a může se změnit.

Funkce náhledu nejsou určeny pro produkční použití a mohou mít omezenou funkčnost. Jsou to funkce, které jsou poskytnuté před oficiálním vydáním, abyste si je mohli co nejdříve vyzkoušet a napsat nám své názory.

Pokud vytváříte agenta připraveného pro produkční prostředí, přečtěte si Přehled Microsoft Copilot Studio.

Výběrem možnosti Zobrazit podrobnosti zobrazíte data o náladě pro relativní váhu jednotlivých kategorií nálad (Positive, Neutral, a Negative).

Analýzu mínění pro svého agenta můžete zapnout a vypnout v části Nastavení. Když je analýza nálady vypnutá, nálada uživatelů se během relací neanalyzuje.

1. Přejděte na Nastavení a vyberte Upřesnit.

2. Zapněte nebo vypněte analýzu mínění.

   

Agents

V seznamu Agenti se zobrazují metriky vysokoúrovňového objemu, výkonu a stavu pro připojené a podřízené agenty hlavního agenta. Seznam identifikuje typ relace, kterou má uvedený agent s hlavním agentem, ve sloupci Typ. Pokud je agent podřízeným agentem, jeho typ je Child. Připojené agenty mají uvedený typ, který odráží, kde byly vytvořeny (například Copilot Studio, Azure AI Foundry). Metrika Volání pro každého uvedeného agenta popisuje objem volání z hlavního agenta do připojeného nebo podřízeného agenta. Míra úspěšnosti odráží podíl volání (jako procento všech volání), která byla úspěšně dokončena. Stav označuje individuální administrativní stav pro každého připojeného a podřízeného agenta.

Ve výchozím nastavení se v seznamu Agenti zobrazuje prvních pět (5) připojených a podřízených agentů hlavního agenta seřazených od nejvyššího po nejnižší celkový počet otázek. Pokud existuje více než pět agentů, výběrem možnosti Zobrazit vše zobrazíte všechny agenty.

Note

Tlačítko Zobrazit vše se zobrazí jenom v případě, že existuje více než pět připojených nebo podřízených agentů pro hlavního agenta.

Použijte

Část Použití vám pomůže pochopit, jak uživatelé pracují s vaším agentem a kde zlepšit spolehlivost odpovědí. Použití je rozděleno mezi mnoho pododdílů:

• Motivy: Motivy vám pomůžou získat analytické přehledy tím, že seskupují dotazy uživatelů do kategorií navržených umělou inteligencí.
• Vygenerovaná míra odpovědí a kvalita: Pochopení, kdy se agent snaží poskytnout odpovědi na otázky uživatelů a jak využívá zdroje znalostí, vám může pomoct najít způsoby, jak zlepšit míru odpovědí a kvalitu vašeho agenta.
• Použití nástrojů: Zjištění, jak často se nástroje používají a jak často jsou úspěšné, vám může pomoci pochopit, zda jsou tyto nástroje pro uživatele užitečné a úspěšné.
• Použití zdroje znalostí: Zjištění, jak často se používají jednotlivé zdroje znalostí a jak často vrací chyby, pomáhá zlepšit kvalitu a pokrytí odpovědí vašeho agenta.

Míra a kvalita generovaných odpovědí

Díky generativním odpovědím může váš agent pomocí AI generovat odpovědi na dotazy uživatelů s využitím zdrojů znalostí a pokynů, které zadáte. Váš agent ale nemusí být schopen odpovědět na všechny dotazy uživatelů. Oddíl Generovaná míra odpovědí a kvalita sleduje, organizuje a analyzuje nezodpovězené dotazy a kvalitu odpovědí, aby vám poskytla vodítko pro zlepšení výkonu vašeho agenta při odpovídání.

Míra odpovědí zobrazuje počet zodpovězených a nezodpovězených otázek ve vybraném časovém období a procentuální změnu v průběhu času.

Kvalita odpovědí měří kvalitu odpovědí pomocí AI. Copilot Studio se podívá na ukázkovou sadu zodpovězených otázek a analyzuje jinou kvalitu, včetně úplnosti, relevance a úrovně základu odpovědi. Pokud odpověď splňuje nastavenou normu, Copilot Studio označí odpověď jako Dobrou kvalitu. Copilot Studio označuje odpovědi, které nesplňují tento standard, jako špatnou kvalitu. U špatných odpovědí přiřazuje Copilot Studio důvod hodnocení kvality a zobrazuje procento odpovědí přiřazených ke každé kategorii.

Přejeďte myší nad libovolnou částí pruhu v grafu, abyste viděli relativní váhu individuálního důvodu pro popisek kvality dobré nebo špatné. Nápověda také uvádí počet vzorků odpovědí použitých k dosažení vypočítané procentuální hodnoty.

V legendě pod grafem najeďte myší na některý z popisků důvodů popisku kvality a zvýrazněte tento důvod v grafu.

Výběrem segmentu pruhového grafu otevřete stránku uživatelských otázek filtrovaných podle kvality odpovědi. Výběrem možnosti Zobrazit otázkyzobrazíte nefiltrovaný seznam všech otázek v rámci nakonfigurovaného časového období.

Použití nástroje

V části Použití nástrojů se zobrazuje graf a metriky, které sledují, jak často se nástroje v průběhu času spouští a jak často agent tyto nástroje úspěšně používal. Zobrazuje také indikátory trendu pro to, jak často váš agent používá jednotlivé nástroje, a procento volaných nástrojů, které se úspěšně použily.

Graf zobrazuje prvních pět nástrojů použitých v období kalendářního data definovaném v horní části stránky Analýza .

V legendě pod grafem najeďte myší na některý z nástrojů a zvýrazněte tento nástroj v grafu.

Pokud chcete otevřít boční panel se seznamem všech nástrojů použitých v zadaném časovém období spolu s indikátory trendu, vyberte Zobrazit podrobnosti v grafu. Na panelu Použití nástrojů můžete zobrazit výpočty procenta otázek použitých pro každý nástroj. Pokud má váš agent podřízené agenty, můžete zvolit zobrazení výpočtů pro hlavního agenta i podřízené agenty (Vše), pouze pro Hlavního agenta nebo pouze pro Podřízeného agenta.

Použití zdroje znalostí

Část Použití zdroje znalostí poskytuje přehled o tom, jak váš agent používá své zdroje znalostí a jak často tyto zdroje vrací chyby. Úplné podrobnosti o dostupných metrikách, filtrování a možnostech přechodu k podrobnostem najdete v tématu Použití zdroje znalostí.