Gebruikersvragen analyseren op thema (preview)

[Dit artikel maakt deel uit van de voorlopige documentatie en kan nog veranderen.]

Thema's zijn groeperingen van vragen uit de groep gebruikersvragen die generatieve antwoorden activeren. Thema's clusteren gerelateerde gebruikersvragen in slim georganiseerde en daardoor minder, maar beter beheersbare groepen. Met thema's kunt u inzicht krijgen in klantintentie op categorieniveau, frequente onderwerpen identificeren en inspanningen richten op gebieden die moeten worden verbeterd. Vervolgens kunt u inzoomen op de afzonderlijke vragen van een thema en de prestaties op dit gedetailleerdere niveau bewaken om meer inzicht te krijgen in metrische gegevens op themaniveau.

Belangrijk

Dit artikel bevat documentatie voor de preview van Microsoft Copilot Studio en kan nog veranderen.

Preview-functies zijn niet bedoeld voor productiegebruik en hebben mogelijk beperkte functionaliteit. Deze functies zijn beschikbaar voor een officiële release zodat u vroeg toegang kunt krijgen en feedback kunt geven.

Zie Overzicht van Microsoft Copilot Studio als u een productieklare agent aan het bouwen bent.

Belangrijkste waardepropositie

Met de functie Thema's worden alle niet-geclassificeerde vragen die in de afgelopen week gegenereerde AI-antwoorden hebben geactiveerd, automatisch geanalyseerd en worden thema's voorgesteld op basis van deze analyse. Dit proces wordt wekelijks uitgevoerd. Tussen wekelijkse uitvoeringen van themasuggesties voert de functie dagelijkse classificatie uit van nieuwe vragen die generatieve AI-antwoorden activeren, waarbij deze gegevens worden toegevoegd aan de metrische themagegevens. De lijst met voorgestelde thema's wordt regelmatig vernieuwd, zodat uw thema's relevant blijven en de meest recente gebruikersgegevens weerspiegelen. Met deze automatische vernieuwing bespaart u tijd door:

• Doorlopend de relevantie van thema's evalueren op nieuwe gegevens
• Afzonderlijke vragen automatisch classificeren in thema's
• Het ophalen van onbewerkte metrische gegevens voor elk thema automatiseren
• Geaggregeerde metrische gegevens berekenen voor elk thema

Vereiste voorwaarden

Om de waarde van de functie Thema's te optimaliseren, inclusief inzoomen op de vragen en antwoorden van elk thema:

• U hebt een Bottranscriptieviewer-rol nodig om de lijst en de bijbehorende metrieken weer te geven. Alleen beheerders kunnen deze rol verlenen door de beveiligingsrol Bot Transcript Viewer toe te wijzen tijdens het delen van agents.

• De instellingen op omgevingsniveau voor het opslaan van gesprektranscripties in Dataverse zijn ingeschakeld.

Voorgestelde thema's en geclassificeerde vragen

Copilot Studio stelt thema's voor op basis van records met vragen die in het recente verleden zijn gesteld. Door elk voorgesteld thema aan te passen aan de structuur en de klantervaringsstrategie van uw organisatie, kunt u beter inzicht krijgen via themaspecifieke KPI's (Key Performance Indicators). Deze diepere granulariteit maakt het gemakkelijker om te vinden waar agents minder goed presteren.

Met thema's kunnen makers begrijpen welke vragen gebruikers de agent stellen en hoe de agent presteert. Tijdens de eerste uitvoering van op thema's gebaseerde analyses bekijkt Copilot Studio alle vragen van de afgelopen week en stelt ze maximaal 10 thema's voor die gebruikersvragen groeperen op basis van overeenkomsten met elkaar. Elk thema bevat metrische gegevens, zoals het totale aantal vragen, het antwoordpercentage en de reactie van de gebruiker. De weergegeven gegevens in de lijst Thema's worden aangepast op basis van de geselecteerde analyseperiode.

Na de eerste uitvoering classificeert Copilot Studio nieuwe vragen voor bestaande thema's op doorlopende, dagelijkse basis en genereert een nieuwe lijst met voorgestelde thema's op wekelijkse basis.

Opmerking

• Er moeten ten minste 50 vragen zijn met generatieve antwoorden die zijn vastgelegd in de afgelopen zeven dagen voordat Copilot Studio voorgestelde thema's genereert.
• Het is mogelijk dat een vraag die een generatief AI-antwoord teweegbrengt, in meer dan één thema wordt ingedeeld. Dit scenario kan vaker voorkomen in de generatieve orkestratiemodus , waarbij een antwoord van een agent uit verschillende bronnen kan komen.
• Alle vragen die niet-geclassificeerd blijven, worden in een niet-geclassificeerd thema geplaatst .
• Het uitvoeren van de wekelijkse suggesties kan enkele minuten duren. Gedurende deze tijd is de sectie Thema's niet beschikbaar voor gebruik.

De lijst Thema's

Standaard worden in de lijst met thema's de top vijf (5) thema's weergegeven, gerangschikt op het totale aantal vragen dat voor elk thema is geclassificeerd. Selecteer Alles weergeven om de lijst uit te vouwen om alle thema's weer te geven.

Met automatische wekelijkse themasuggesties en dagelijkse vraagclassificatie wordt de functie Thema's automatisch ontwikkeld en aangepast aan wijzigingen in het gebruikersgedrag.

In de lijst met thema's worden statistieken weergegeven voor elk vermeld thema.

Kolom	Description
Naam	Naam van het thema.
Totaal aantal vragen	Het totale aantal vragen dat in dit thema is geclassificeerd voor de geconfigureerde periode.
Beantwoorde vragen	Aandeel van het totale aantal vragen dat heeft geresulteerd in een antwoord op de vraag van de gebruiker.
Reacties	Onbewerkt aantal positieve reacties (duim omhoog) en negatieve reacties (duim omlaag) van de vragen die voor elk thema zijn geclassificeerd.

Opmerking

Waarom zijn er 'Onbeantwoorde vragen' in mijn thema wanneer alle geclassificeerde vragen generatieve AI-antwoorden activeren?

Per definitie kunnen alleen vragen die een generatief AI-antwoord hebben geactiveerd, worden geclassificeerd in een thema. Maar het activeren van een oproep naar generatieve antwoorden is niet hetzelfde als het hebben van een antwoord op een gebruikersquery.

Het is bijvoorbeeld gebruikelijk dat er een gespreksverbeteringsonderwerp is dat is verbonden met een kennisbron. In dit geval kan dit onderwerp worden geactiveerd als een intentie niet wordt herkend, waardoor de kennisbron wordt aangeroepen, ook al is er geen antwoord op de vraag in die kennisbron.

Inzoomen op een thema

Als u wilt inzoomen op de vragen die in een bepaald thema zijn gegroepeerd, selecteert u het thema in de lijst met thema's . Wanneer u inzoomt, wordt er een deelvenster geopend dat specifiek is voor het geselecteerde thema, waarin metrische gegevens worden weergegeven op de niveaus van zowel het thema als de afzonderlijke vragen.

Opmerking

De lijst met thema's bevat:

• Tot de meest recente 100 vragen die in elk thema zijn geclassificeerd.
• Vragen van de afgelopen 30 dagen, ongeacht de geconfigureerde periode. Als de geconfigureerde periode volledig buiten de afgelopen 30 dagen valt, geeft Copilot Studio een melding weer dat de lijst niet beschikbaar is.

In het detailvenster van een thema worden metrische gegevens op themaniveau eerst weergegeven.

Metrische gegevens op themaniveau	Description
Totaal aantal vragen	Het totale aantal vragen (geclassificeerd in dit thema) dat generatieve AI-antwoorden heeft geactiveerd voor de geconfigureerde periode.
Beantwoorde vragen	Het aandeel van de totale vragen van dit thema dat heeft geresulteerd in een antwoord op de gebruikersvraag.
Onbeantwoorde vragen	Het aandeel van de totale vragen van dit thema die niet tot een antwoord op de vraag van de gebruiker hebben kunnen leiden.
Reacties	Onbewerkt aantal positieve reacties (duim omhoog) en negatieve reacties (duimen omlaag) van de vragen die zijn geclassificeerd voor dit thema, zoals vastgelegd in het Mechanisme Feedback leren.

Als u een uitsplitsing wilt weergeven van de kwaliteit van de respons voor een steekproef van beantwoorde vragen en alle kennisbronnen waarnaar wordt verwezen in dit thema, selecteert u Meer weergeven.

Als u in het deelvenster Themastatistieken meer informatie wilt zien over een bepaalde kwaliteitswaarde voor reacties op het niveau van het thema, plaatst u onder Reactiekwaliteit de muisaanwijzer op een afzonderlijk balksegment. De knopinfo bevat de waarde van de relatieve weging van het gedrag per segment en het aantal vragen dat is bemonsterd om die waarde vast te stellen.

Als u meer informatie wilt zien op het niveau van een van de vermelde kennisbronnen, selecteert u onder Gebruik van kennisbronnen een afzonderlijke kennisbron. De tooltip bevat:

• Het totale aantal vragen in dit thema dat naar deze kennisbron verwees, evenals het aantal reacties met een duim omhoog en een duim omlaag .
• Een gestapeld staafdiagram met de uitsplitsing van de kwaliteit van de respons, relatieve weging voor vragen die verwijzen naar deze kennisbron in het thema. Beweeg de muisaanwijzer over een segment van het staafdiagram om de waarde van de relatieve weging van dat segment te zien en het aantal vragen dat is gesampled om tot die waarde te komen.

In het inzoompaneel van een afzonderlijk thema worden in de sectie Gebruikersvragen alle vragen weergegeven die generatieve AI-antwoorden hebben geactiveerd in de geconfigureerde periode en die in dit thema zijn ingedeeld, en worden metrische gegevens per vraag weergegeven. Metrische gegevens op vraagniveau zijn onder andere:

Dimensie of metrische gegevens op vraagniveau	Description
Vraag (dimensie)	Vraag (die een generatief AI-antwoord heeft geactiveerd) die is geclassificeerd onder dit thema.
Beantwoordt?	Antwoord op de vraag of de gebruikersquery al dan niet is beantwoord. Mogelijke waarden zijn Answered en Unanswered.
Antwoordkwaliteit1	Antwoord op de vraag wat de kwaliteit van de reactie op de gebruikersquery was. Mogelijke waarden zijn Poor en Good.
Reactie	Twee parameters: de Booleaanse duim omhoog/duim omlaag parameter en een op tekst gebaseerde opmerkingsparameter.
Bron van kennis	Door komma's gescheiden lijst van kennisbronnen waarnaar deze vraag in dit thema verwijst.

¹ Antwoordkwaliteit is niet altijd beschikbaar en wordt alleen weergegeven als de vraag is bemonsterd voor kwaliteitsanalyse.

Selecteer een vraag in de lijst om meer informatie weer te geven over de vraag in een deelvenster Details van vraag. Dit deelvenster bevat:

Gedetailleerde parameter op vraagniveau	Description
Tijdstempel	Tijdstempel van de meest recente keer dat de vraag werd beantwoord.
Gebruikersquery	De vraag gesteld.
Reactie	Het generatieve AI-antwoord.
Waarde voor duim omhoog/duim omlaag	Waarde voor de meest recente instantie van deze vraag voor de parameter duim omhoog / duim omlaag.
Comment	Optioneel extra op tekst gebaseerd commentaar, geleverd door de gebruiker, naast de Duim omhoog / Duim omlaag reactie.
Antwoordkwaliteit1	Antwoord op de vraag wat de kwaliteit van de reactie op de gebruikersquery was. Mogelijke waarden zijn Poor en Good.
Reden2	In het geval dat de antwoordkwaliteit is Poor, legt deze parameter uit waarom.

¹ Antwoordkwaliteit is niet altijd beschikbaar en wordt alleen weergegeven als de vraag is bemonsterd voor kwaliteitsanalyse.

² Als de antwoordkwaliteit is Good of als de vraag niet is gemonsterd, wordt er geen waarde aan de parameter Reason toegewezen.