Analysera användarfrågor efter tema (förhandsversion)

[Denna artikel är en förhandsversion av dokumentationen och kan komma att ändras.]

Teman grupperar relaterade användarfrågor som utlöser generativa svar. Genom att gruppera relaterade frågor hjälper teman dig att organisera insikter om kunders avsikt, identifiera frekventa ämnen och fokusera på områden som behöver förbättras. Du kan utforska enskilda frågor inom ett tema och följa prestationen för att förstå mått på temanivå.

Funktionen Teman analyserar automatiskt alla oklassificerade frågor som utlöste generativ AI-svar under den senaste veckan och föreslår teman baserat på denna analys. Processen utförs varje vecka. Mellan de veckovisa temaförslagsuppdateringarna utför funktionen daglig klassificering av nya frågor som utlöser generativ AI-svar och lägger till denna data i temametrikerna. Listan över föreslagna teman uppdateras regelbundet så att dina teman förblir relevanta och återspeglar den senaste användardatan. Denna automatiska uppdatering sparar tid genom att:

• Kontinuerligt utvärdera temats relevans mot ny data.
• Automatiskt att klassificera enskilda frågor i teman.
• Automatiserar hämtning av rå mätvärdesdata för varje tema.
• Beräkning av aggregerad mätvärdesdata för varje tema.

Viktigt

Den här artikeln innehåller dokumentation om förhandsversionen av Microsoft Copilot Studio och kan ändras.

Förhandsgranskningsfunktioner ska inte användas i produktion, och funktionerna kan vara begränsade. Funktionerna är tillgängliga före den officiella publiceringen så att du kan få tidig tillgång och ge feedback.

Om du skapar en produktionsklar agent, se översikten över Microsoft Copilot Studio.

Krav

För att få största möjliga värde av Teman-funktionen, inklusive möjligheten att se varje temas komponentfrågor och svar:

• Du behöver säkerhetsrollen Granskare av robotavskrift för att kunna se listan och dess mätvärden. Endast administratörer kan ge den här rollen genom att tilldela Granskare av robotavskrift tilldela säkerhetsrollen för transkriptionsvisare under agentens delning.

• Inställningar på miljönivå för att lagra samtalstranskriptioner i Dataverse är aktiverade.

Föreslagna teman och klassificerade frågor

Copilot Studio föreslår teman baserade på register över frågor som ställts under den senaste tiden. Genom att skräddarsy varje föreslaget tema efter organisationens struktur och kundupplevelsestrategi kan du få bättre insikt via temaspecifika KPI:er. Denna djupare granularitet gör det lättare att identifiera var agenter underpresterar.

Teman hjälper tillverkare att förstå vilka frågor användare ställer till agenten och hur agenten presterar. Vid den första körningen av temabaserad analys granskar Copilot Studio alla frågor från den senaste veckan och föreslår upp till 10 teman som grupperar användarfrågor utifrån likheter. Varje tema inkluderar nyckeltal såsom totalt antal frågor, svarfrekvens och användarfeedback. Den valda analysperioden anpassar visningen av data i listan Teman.

Efter den första körningen klassificerar Copilot Studio fortlöpande, dagligen nya frågor till befintliga teman och genererar en uppdaterad lista med föreslagna teman varje vecka.

Kommentar

• Minst 50 frågor med generativa svar måste loggas under de senaste sju dagarna innan Copilot Studio genererar föreslagna teman.
• En fråga som utlöser ett generativ AI-svar kan klassificeras i mer än ett tema. Detta scenario kan bli vanligare i generativ orkestrering-läget, där ett agentsvar kan komma från flera olika källor.
• Alla frågor som förblir oklassificerade placeras i ett Oklassificerat tema.
• Det kan ta några minuter att genomföra den veckovisa körningen av förslag. Under denna tid är Teman-sektionen inte tillgänglig för användning.

Temalistan

Som standard visar Temalistan de fem topprankade temana, rankade efter det totala antalet frågor som klassificerats till varje tema. Välj Se alla för att utöka listan och visa alla teman.

Med automatiska veckovisa temaförslag och daglig frågeklassificering utvecklas Teman-funktionen automatiskt och anpassar sig till förändringar i användarbeteende.

Listan Teman visar mätvärden för varje tema.

Kolumn	Beskrivning
Namn	Namn på temat.
Totalt antal frågor	Totalt antal frågor klassificerade till det här temat för den konfigurerade tidsperioden.
Besvarade frågor	Andelen totala frågor som resulterar i ett svar på användarfrågan.
Svarskvalitet	Andelen av summan av alla svar (baserat på ett urval av frågor) som har ett kvalitativt Good-svar.
Reaktioner	Räkning av antalet positiva reaktioner (tummen upp) och negativa reaktioner (tummen ner) från de frågor som klassificerats för varje tema.

Håll muspekaren över ett tema för att se Utvärdera-knappen. Läs mer Om agentutvärdering.

Kommentar

Varför finns det 'obesvarade frågor' i mitt tema när alla klassificerade frågor utlöste generativa AI-svar?

Enligt definitionen kan endast frågor som utlöser ett generativ AI-svar klassificeras till ett tema. Men att trigga ett anrop till generativt svar är inte detsamma som att få ett svar på en användarfråga.

Till exempel är det vanligt att det finns ett konversationshjälp-ämne kopplat till en kunskapskälla. I det här fallet, om en avsikt inte identifieras, kan ämnet aktiveras och kalla på kunskapskällan även om det inte finns något svar på frågan i den kunskapskällan.

Öka detaljnivån på ett tema

Viktigt

För att få tillgång till funktionen för att öka detaljnivån måste båda följande villkor vara uppfyllda:

• Följande miljöinställningar är aktiverade:

  • Tillåt agentägare och -redigerare att visa sessionsavskrifter från konversationsinteraktioner hos sina agenter.
  • Tillåt att konversationsavskrifter och deras associerade metadata sparas i Dataverse.

  För mer information, se Konfigurera transkriptinställningar för en enskild miljö.

• Säkerhetsrollen Granskare av robotavskrift är tilldelad användaren. Mer information finns i Lägg till användare i en säkerhetsroll.

För att öka detaljnivån för de frågor som har grupperats i ett tema, välj temat i Teman-listan. När du ökar detaljnivån för ett tema öppnas en panel som är specifik för det valda temat och visar mätvärden på både temats och enskilda frågors nivå.

Kommentar

Listan över teman inkluderar:

• De 100 senaste frågorna som är klassificerade i respektive tema.
• Frågor från de senaste 30 dagarna, oavsett den angivna tidsperioden. Om den konfigurerade perioden är helt utanför de senaste 30 dagarna visar Copilot Studio ett meddelande om att listan är otillgänglig.

I detaljpanelen för ett tema visas först mått på temanivå.

Mätvärde på temanivå	beskrivning
Totalt antal frågor	Totalt antal frågor som klassificerats till detta tema och utlöste generativ AI-svar under den konfigurerade tidsperioden.
Besvarade frågor	Andelen av temats totala frågor som resulterar i ett svar på användarfrågan.
Obesvarade frågor	Andelen av temats totala frågor som resulterar i ett svar på användarfrågan.
Reaktioner	Räkning av antalet positiva reaktioner (tummen upp) och negativa reaktioner (tummen ner) från de frågor som klassificerats för varje tema, såsom registrerat i feedback-mekanismen i Learn.

För att visa en uppdelning av svarskvaliteten för ett urval av besvarade frågor och alla refererade kunskapskällor i detta tema, välj Se detaljer.

På Temamätvärdenpanelen, för att se mer information om ett svarskvalitetsvärde på temanivån, under Svarskvalitet, för muspekaren över ett enskilt stapelsegment. Knappbeskrivningen inkluderar värdet för segmentets relativa viktning och antalet frågor som har ingår i urvalet för att komma fram till värdet.

Om du vill visa mer information om en enskild kunskapskälla i temat väljer du den under Användning av kunskapskälla. Knappbeskrivningen innehåller:

• Det totala antalet frågor som refererade till denna kunskapskälla samt antalet reaktioner av typen tummen upp och tummen ner.
• Ett staplat stapeldiagram som visar uppdelningen av kvaliteten på svaren med relativa viktningar för frågor som refererar till den här kunskapskällan. Hovra över ett segment i stapeldiagrammet för att se värdet för segmentets relativa viktning och antalet frågor som har ingår i urvalet för att komma fram till värdet.

En temabaserad frågelista innehåller alla frågor som utlöste generativ AI-svar och klassificerades i detta tema, och visar mätvärden på frågenivå.

Mätvärden på frågenivå inkluderar:

Frågenivådimension eller metrik	beskrivning
Fråga (dimension)	Fråga som utlöste ett generativ AI-svar och klassificerats under detta tema.
Svarat?	Svar på frågan om användarfrågan besvarades eller inte. Möjliga värden är Answered och Unanswered.
Svarskvalitet1	Svar på frågan om vilken kvalitet svaret på användarens fråga var. Möjliga värden är Poor och Good.
Reaktion	Två parametrar: den booleska tummen upp/tummen ner-metrik och den textbaserade kommentarparametern.
Datum	Datum då frågan ställdes.
Kunskapskälla	Komma-separerad lista över kunskapskällor som refereras till av frågan inom detta tema.

¹ Svarskvalitet är inte alltid tillgänglig och visas endast om frågan har tagits ut för kvalitetsanalys.

Om du vill kan du utföra följande åtgärder på den temaspecifika frågelistan:

• Använd mer filtrering för att begränsa frågelistan ytterligare med hjälp av listans dimensionsfilter.
• Utvärdera frågor i listan enligt kriterier som du definierar i utvärderingens testmetod.
• Ladda ned frågorna i listan som en .csv-fil.
• Se detaljerad information som är specifik för ett enskilt agentsvar.

Välj valfri fråga i listan för att visa mer information om frågan i en panel för frågedetaljer. Den här panelen innehåller:

Detaljerad frågenivåparameter	beskrivning
Tidsstämpel	Tidsstämpel för det senaste tillfället när frågan besvarades.
Användarfråga	Frågan ställdes.
Svar	Det generativa AI-svaret.
Tumme upp/Tumme ned-värde	Värde för den senaste instansen av den här frågan för parametern tummen upp/tummen ner.
Kommentar	Valfri extra textbaserad kommentar, från användaren, utöver tummen upp/tummen ner-reaktionen.
Svarskvalitet1	Svar på frågan om vilken kvalitet svaret på användarens fråga var. Möjliga värden är Poor och Good.
Orsak2	I det fall där svarskvaliteten är Poor, förklarar denna parameter varför.

¹ Svarskvalitet är inte alltid tillgänglig och visas endast om frågan har tagits ut för kvalitetsanalys.

² Om svarskvaliteten är Good eller om frågan inte har valts ut för kvalitetsanalys, har orsak-parametern inget värde.

Utvärdera din agents svar baserat på tema

Kommentar

När du väljer Utvärdera för ett tema som listas på sidan Teman skapar du en ny testuppsättning på temanivå. Testuppsättningen innehåller alla frågor som har klassificerats till temat, upp till 100 frågor. För att filtrera ytterligare på listan med frågor, öka detaljnivån på temat innan du skapar ett utvärderingstestuppsättning. Tillämpa sedan filtrering på frågelistan. När du har tillämpat all önskad filtrering, välj Utvärdera från frågelistan.

Du kan testa din agents svar på frågor relaterade till ett tema genom att använda agent evaluation (förhandsversion).

Temabaserade utvärderingar testar specifika delar av din agents arbetsområde. Till exempel, om du har en kundtjänstagent kan du spåra svarkvaliteten för fakturerings- och betalningsfrågor separat från andra användningsfall som felsökning.

Lär dig mer om hur du skapar testuppsättning utifrån ett tema.