Monitorování dotazů uživatelů podle tématu (náhled)

Poznámka:

Funkce v tomto článku jsou poháněny standardním kabelem, který využívá fakturační možnosti popsané v sekci Licencování pro agenty poháněné standardním kabelem. Naučte se, jak získat přístup ke standardním funkcím v části Přístup ke standardním agentům a tokům agentů.

[Tento článek představuje předběžnou dokumentaci a může se změnit.]

Motivy seskupují uživatelské otázky související s tématem, které aktivují generativní odpovědi. Díky clusteringu souvisejících otázek vám motivy pomůžou uspořádat přehledy záměrů zákazníků, identifikovat časté témata a zaměřit se na oblasti, které potřebují zlepšení. Jednotlivé otázky v rámci motivu můžete prozkoumat a monitorovat výkon, abyste porozuměli metrikám na úrovni motivu.

Funkce Motivy automaticky analyzuje všechny neotříděné otázky, které aktivovaly generující odpovědi umělé inteligence v minulém týdnu, a navrhuje motivy založené na této analýze. Tento proces se spouští každý týden. Mezi týdenními návrhy témat funkce každý den třídí jakékoliv nové otázky, které spustí generativní AI odpovědi, a přidává tato data do metriky témat. Seznam navrhovaných motivů se pravidelně aktualizuje, aby vaše motivy zůstaly relevantní a odrážely nejnovější uživatelská data. Tato automatická aktualizace vám ušetří čas:

• Průběžné vyhodnocování relevance motivu proti novým datům
• Automatická klasifikace jednotlivých otázek do motivů
• Automatizace načítání surových údajů metrik pro každé téma.
• Výpočet agregovaných dat metrik pro každé téma

Důležité

Tento článek obsahuje dokumentaci Microsoft Copilot Studio Preview a může se změnit.

Funkce Preview nejsou určené pro normální používání a mohou mít omezené fungování. Jsou to funkce, které jsou poskytnuté před oficiálním vydáním, abyste si je mohli co nejdříve vyzkoušet a napsat nám své názory.

Pokud vytváříte agenta připraveného pro produkční prostředí, přečtěte si Přehled Microsoft Copilot Studio.

Prerequisites

Pokud chcete získat maximální hodnotu z funkce Motivy, včetně možnosti zobrazit otázky a odpovědi jednotlivých součástí motivu:

• K zobrazení seznamu a jeho metrik potřebujete bezpečnostní roli Bot Transcript Viewer. Tuto roli mohou udělit pouze správci přiřazením role zabezpečení Prohlížeč přepisů bota během sdílení agenta.

• Nastavení na úrovni prostředí pro ukládání přepisů konverzací v Dataverse jsou zapnutá.

Navrhované motivy a klasifikované otázky

Copilot Studio navrhuje motivy založené na záznamech otázek kladených v nedávné minulosti. Přizpůsobením každého navrhovaného motivu tak, aby vyhovoval struktuře vaší organizace a strategii zákaznického prostředí, můžete získat lepší přehled o klíčových ukazatelích výkonu specifických pro motivy (KPI). Tato podrobnější členitost usnadňuje identifikaci míst, kde agenti nedosahují výkonu.

Motivy pomáhají tvůrcům pochopit, jaké otázky se uživatelé ptají agenta a jak agent funguje. Při počátečním spuštění analýzy založené na tématech se Copilot Studio zaměřuje na všechny otázky z minulého týdne a navrhuje až 10 témat pro seskupení podobných uživatelských otázek. Každý motiv zahrnuje metriky, jako je celkový počet otázek, míra odpovědí a reakce uživatelů. Vybrané analytické období upraví zobrazená data v seznamu Motivy .

Po počátečním spuštění aplikace Copilot Studio klasifikuje nové otázky k existujícím motivům průběžně, denně a každý týden vygeneruje nový seznam navrhovaných motivů.

Poznámka:

• Za posledních sedm dní musí být zaznamenáno alespoň 50 otázek s generativními odpověďmi z 50 různých sezení, než Copilot Studio vygeneruje navrhovaná témata.
• Otázka, která aktivuje odpověď generující AI, je možné klasifikovat do více než jednoho motivu. Tento scénář může být běžnější v režimu Generativní orchestrace , kde odpověď agenta může pocházet z několika různých zdrojů.
• Všechny otázky, které zůstávají neotříděné, se vloží do neklasifikovaného motivu.
• Spuštění týdenních návrhů může trvat několik minut. Během této doby není oddíl Motivy k dispozici pro použití.

Seznam motivů

Ve výchozím nastavení se v seznamu Motivy zobrazuje prvních pět motivů seřazených podle celkového počtu otázek klasifikovaných ke každému motivu. Výběrem možnosti Zobrazit vše rozbalíte seznam a zobrazíte všechny motivy.

Díky automatickým týdenním spuštěním návrhu motivů a denní klasifikaci otázek se funkce Motivy automaticky vyvíjí a přizpůsobuje změnám v chování uživatelů.

V seznamu Motivy se zobrazují metriky pro každý uvedený motiv.

Column	Description
Název	Název motivu.
Celkový počet otázek	Celkový počet otázek klasifikovaných do tohoto motivu pro nakonfigurované časové období
Zodpovězené otázky	Poměr celkových otázek , které vedou k odpovědi na otázku uživatele.
Kvalita odezvy	Podíl součtu všech odpovědí (na základě vzorku otázek), u nichž je odpověď kvalitní Good.
Reakce	Nezpracovaný počet kladných reakcí (palce nahoru) a negativních reakcí (palce dolů) z otázek klasifikovaných ke každému motivu.

Najeďte myší na téma a zobrazí tlačítko Hodnotit . Další informace o hodnocení agentů.

Poznámka:

Proč se v mém motivu zobrazují nezodpovězené otázky, když všechny klasifikované otázky aktivovaly odpovědi generované pomocí AI?

Podle definice je možné klasifikovat do motivu pouze otázky, které aktivují odpověď generující umělou inteligenci. Aktivace volání generující odpovědi ale není stejná jako odpověď na uživatelský dotaz.

Například je běžné, že je k tématu rozhovoru propojenému se zdrojem znalostí připojeno stimulační téma. V takovém případě, pokud záměr není rozpoznán, může být téma aktivováno, které volá zdroj znalostí, i když neexistuje odpověď na otázku v tomto zdroji znalostí.

Detailnější zkoumání tématu

Důležité

Pokud chcete získat přístup k funkcím přechodu k podrobnostem, musí být splněné obě tyto možnosti:

• Jsou povolena následující nastavení prostředí:

  • Umožnit vlastníkům a editorům agentů zobrazit si přepisy relací z konverzačních interakcí u svých agentů.
  • Povolte ukládání přepisů konverzací a jejich přidružených metadat v Dataverse.

  Další informace najdete v tématu Konfigurace nastavení přepisu pro jedno prostředí.

• Uživateli je přiřazena role zabezpečení Prohlížeče záznamů bota. Další informace najdete v tématu Přidání uživatelů do role zabezpečení.

Chcete-li přejít k podrobnostem o otázkách seskupených do jednoho tématu, vyberte motiv v seznamu Motivy . Když přejdete k podrobnostem, otevře se panel specifický pro vybraný motiv a zobrazí metriky na úrovních motivu i jednotlivých otázek.

Poznámka:

Seznam motivů obsahuje:

• Posledních 100 otázek zařazených do každého motivu.
• Dotazy za posledních 30 dnů bez ohledu na nakonfigurované časové období Pokud je nakonfigurované období zcela mimo posledních 30 dnů, Copilot Studio zobrazí oznámení, že seznam není k dispozici.

Na panelu přechodu k podrobnostem motivu se metriky na úrovni motivu zobrazí jako první.

Metrika na úrovni tématu	Description
Celkový počet otázek	Celkový počet otázek klasifikovaných do tohoto motivu, které aktivovaly generující odpovědi umělé inteligence pro nakonfigurované časové období.
Zodpovězené otázky	Poměr celkových otázek tohoto tématu, které vedly k odpovědi na otázku uživatele.
Nezodpovězené otázky	Poměr celkových otázek tohoto tématu, které nevedly k odpovědi na otázku uživatele.
Reakce	Nezpracovaný počet pozitivních (palec nahoru) a negativních (palec dolů) reakcí z otázek klasifikovaných k tomuto tématu, jak je zaznamenáno v mechanismu zpětné vazby Learn.

Pokud chcete zobrazit rozpis kvality odpovědi pro vzorkování zodpovězených otázek a všechny odkazované zdroje znalostí v tomto motivu, vyberte Zobrazit podrobnosti.

Chcete-li na panelu Metriky motivu zobrazit další informace o libovolné hodnotě kvality odezvy na úrovni motivu, umístěte v části Kvalita odezvy kurzor na jednotlivý segment pruhu. Popis obsahuje hodnotu relativní váhy daného segmentu a počet otázek použitých k určení této hodnoty.

Chcete-li zobrazit více informací na úrovni kteréhokoli z uvedených zdrojů znalostí v tématu, v sekci Použití zdrojů znalostí vyberte jednotlivý zdroj znalostí. Nápověda obsahuje:

• Celkový počet otázek, které odkazovaly na tento zdroj znalostí, a také počet reakcí Palec nahoru a Palec dolů.
• Skládaný sloupcový graf zobrazující rozložení kvality odpovědí podle relativních vah pro otázky odkazující na tento zdroj znalostí. Najeďte myší na libovolný segment pruhového grafu, abyste viděli hodnotu relativní váhy daného segmentu a počet otázek, z nichž byl tento údaj získán.

Seznam otázek se založením na tématu odráží všechny otázky, které spustily generativní odpovědi umělé inteligence a byly klasifikovány do tohoto tématu, a zobrazuje metriky pro každou otázku.

Mezi metriky na úrovni otázek patří:

Dimenze nebo metrika na úrovni otázek	Description
Otázka (rozměr)	Otázka, která aktivovala odpověď generativní AI klasifikovanou do tohoto tématu.
Odpověděl?	Odpověď na otázku, jestli byl dotaz uživatele zodpovězen nebo ne. Možné hodnoty jsou Answered a Unanswered.
Kvalita odezvy1	Odpověď na otázku, jaká byla kvalita odpovědi na dotaz uživatele. Možné hodnoty jsou Poor a Good.
Reakce	Dva parametry: jeden je logickou metrikou Palec nahoru / Palec dolů a druhý je textovým parametrem Komentář.
Date	Datum, kdy byla otázka položena.
Zdroj znalostí	Čárkami oddělený seznam zdrojů znalostí, na které odkazuje tato otázka v tomto tématu.

¹ Kvalita odpovědi není vždy k dispozici a zobrazuje se pouze v případě, že byla otázka vzorkována pro analýzu kvality.

Pokud chcete, můžete na stránce seznamu otázek specifických pro motiv provést následující akce:

• Další filtrování použijte k dalšímu zúžení seznamu otázek pomocí dimenzionálních filtrů seznamu.
• Vyhodnoťte uvedené otázky podle kritérií, která definujete v testovací metodě vyhodnocení.
• Stáhněte si uvedené otázky jako .csv soubor.
• Prohlédnout si podrobné informace k jednotlivé odpovědi agenta

Výběrem libovolné otázky v seznamu zobrazíte další informace o otázce na panelu podrobností otázky . Tento panel obsahuje:

Podrobný parametr na úrovni otázky	Description
Časová známka	Časové razítko poslední instance odpovědi na otázku
Dotaz uživatele	Otázka byla položena.
Response	Odpověď generativní umělé inteligence.
Palec nahoru / Palec dolů	Hodnota pro nejnovější instanci této otázky pro parametr Thumbs up / Thumbs down.
Poznámka	Volitelný další textový komentář, poskytnutý uživatelem, kromě reakce palec nahoru / palec dolů .
Kvalita odezvy1	Odpověď na otázku, jaká byla kvalita odpovědi na dotaz uživatele. Možné hodnoty jsou Poor a Good.
Důvod2	V případě, že je Poorkvalita odpovědi , tento parametr vysvětluje, proč.

¹ Kvalita odpovědi není vždy k dispozici a zobrazuje se pouze v případě, že byla otázka vzorkována pro analýzu kvality.

² Pokud je kvalita odpovědi Good nebo pokud dotaz nebyl vybrán, parametr Reason nemá hodnotu.

Zhodnoťte odpovědi svého agenta podle tématu

Poznámka:

Když vyberete Možnost Vyhodnotit pro motiv uvedený na stránce Motivy , vytvoříte novou testovací sadu na úrovni motivu. Testovací sada obsahuje všechny otázky klasifikované do daného motivu, až 100 otázek. Pokud chcete u seznamu otázek použít více filtrování, nejprve se podrobněji věnujte tématu, a to ještě před vytvořením sady testovacích otázek. Potom na seznam použijte filtrování. Po použití veškerého požadovaného filtrování vyberte Na stránce seznamu otázek možnost Vyhodnotit.

Odpovědi agenta můžete otestovat na otázky související s motivem pomocí vyhodnocení agenta (Preview).

Tematická hodnocení testují konkrétní části rozsahu vašeho agenta. Například pokud máte pracovníka zákaznického servisu, můžete sledovat kvalitu odpovědí na otázky ohledně fakturace a plateb odděleně od jiných případů použití, jako je řešení problémů.

Zjistěte více o vytváření testovacích sad podle tématu.