Gespreksagenten analyseren

De pagina Analytics in Copilot Studio biedt een geaggregeerd inzicht in de algehele effectiviteit van uw agent in analytics-sessies. De pagina is onderverdeeld in kerngebieden die zich richten op verschillende prestatiecontexten. De pagina geeft ook een Overzicht weer dat metrische KPI-gegevens (Key Performance Indicator) op hoog niveau biedt voor uw agent, een Overzicht met besparingen dat tijd en kostenbesparingen analyseert, die toe te schrijven zijn aan uw agent of de hulpprogramma's van uw agent, en een Samenvatting dat belangrijke analytische inzichten biedt in de prestaties van uw agent.

Er zijn vier kernsecties waar u zich op kunt richten bij het beoordelen en verbeteren van de effectiviteit van gespreksagenten.

• In de sectie Samenvatting, Overzicht en Besparingen ziet u belangrijke analyse-inzichten over uw agents, samen met statistieken over facturering en kostenbesparingen; zie Samenvatting, Overzicht en Besparingen voor meer informatie over elke subsectie.
• In de sectie Aangepaste metrische gegevens kunt u bedrijfsspecifieke metrische gegevens definiëren voor uw agents.
• De sectie Effectiviteit helpt u bij het evalueren van de kwaliteit van gebruikerservaringen door te laten zien waar gesprekken slagen, waar ze opsplitsen en hoe gebruikers over resultaten denken.
• In de sectie Use kunt u de operationele prestaties verbeteren door te laten zien hoe goed uw agent vragen beantwoordt, hoe betrouwbaar hulpprogramma's en kennisbronnen deze antwoorden ondersteunen en waar gerichte updates de dekking en consistentie kunnen verhogen.

U kunt analyses bekijken voor gebeurtenissen die in de afgelopen 90 dagen zijn opgetreden.

Aangepaste meetwaarden

In de sectie Aangepaste metrische gegevens kunt u maximaal drie zakelijke metrische gegevens definiëren in natuurlijke taal en bijhouden hoe vaak elk resultaat wordt weergegeven in voorbeeldsessies. Gebruik deze metrische gegevens om uw standaardanalyse-inzichten aan te vullen met indicatoren die de doelstellingen en het zakelijke gebruik van uw agent weerspiegelen. Zie Uw agent analyseren met aangepaste metrische gegevens voor meer informatie over het maken, testen en verfijnen van aangepaste metrische gegevens.

Effectiviteit

In de sectie Effectiviteit ziet u gebruikersfeedback die is verzameld uit reacties, reacties van agents, enquêteresultaten en gevoelsscore voor een sessie. Effectiviteit wordt verdeeld over veel subsecties:

• Gespreksresultaten: als u het eindresultaat van een gesprek kent, kunt u bepalen waar uw agent slaagt en waar deze moet worden verbeterd.
• Reacties: Reacties van gebruikers, waaronder duimen omhoog/duim omlaag feedback en opmerkingen van gebruikers voor specifieke agentreacties.
• Klanttevredenheid: Weergave van klanttevredenheidsscore (CSAT).
• Sentiment (preview): Een op AI gebaseerde sentimentanalyse voor de hele sessie.
• Agents: Zie metrische gegevens over oproepvolumes, slagingspercentages en huidige status voor onderliggende en verbonden agents.

Feedbackgegevens worden opgeslagen in de gesprektranscriptietabel in Dataverse. Zie Functiedetails voor een lijst met kanalen die deze functie ondersteunen.

Gespreksresultaten

In de sectie Gespreksresultaten wordt een grafiek weergegeven waarin het type resultaat voor elke sessie tussen uw agent en gebruikers wordt bijgehouden.

De grafiek, ongeacht of deze wordt weergegeven als een gestapeld histogram of gestapeld vlakdiagram, visualiseert de relatieve volumes van resultaten, met kleurcodering en gestapeld op type. Elk van opgeloste, geëscaleerde, verlaten en niet betrokken wordt weergegeven met hun respectieve kleuren voor elk gegevenspunt. De y-as geeft het aantal sessies aan.

Als u metrische gegevens over afzonderlijke resultaten wilt zien die specifiek betrekking hebben op één gegevenspunt (een specifieke dag), plaatst u de muisaanwijzer op een gebied dat de kleur van een bepaald resultaat (bijvoorbeeld groen voor Verlaten) aangeeft op de dag waarin u geïnteresseerd bent.

Als u gegevens over gespreksresultaten wilt downloaden (gegevens die in de grafiek zijn gevisualiseerd), selecteert u het menupictogram en selecteert u CSV downloaden.

Note

Als u resultaten uit de grafiek verwijdert wanneer u downloadt, worden de bijbehorende gegevens niet weergegeven in het CSV-bestand.

Als u een zijpaneel met gedetailleerde informatie over gespreksresultaten wilt openen, selecteert u Details weergeven in de grafiek. Het zijpaneel Gespreksresultaten bevat het volgende:

• Een cirkeldiagram met de uitkomsten van sessieresultaten, met een relatieve weging (uitgedrukt als percentage) van de resultaten Opgelost, Geëscaleerd en Verlaten.
• Een gestapeld staafdiagram met de relatieve weging (uitgedrukt als percentage) van de resultaatredenen Opgelost bevestigd en Opgelost geïmpliceerd die alle opgeloste sessieresultaten beschrijven.
• Een gestapeld staafdiagram met de relatieve weging (uitgedrukt als een percentage) van de resultaatredenen Bedoeld door systeem, Niet bedoeld door systeem en Aangevraagd door gebruiker die alle geëscaleerde sessieresultaten beschrijven.
• De belangrijkste onderwerpen die tot elk resultaat hebben geleid.

Note

Als u knopinfo met onbewerkte tellingsgegevens wilt zien, plaatst u de muisaanwijzer op een van de segmenten van een cirkeldiagram of gestapeld staafdiagram.

Een sessie valt in een van de volgende twee staten:

• Niet betrokken: een sessie start wanneer een gebruiker communiceert met uw agent of wanneer de agent een proactief bericht naar de gebruiker stuurt. De sessie begint in een niet-verbonden status.

• Betrokken: De gebruiker communiceert actief met de agent. Er is een verschil in gedrag op basis van de orchestratiemodus van de agent.

  • Klassieke orkestratie: een sessie wordt geactiveerd wanneer een van de volgende onderwerpen wordt aangesproken:

    • Aangepast onderwerp dat rechtstreeks wordt geactiveerd door de gebruiker
    • Onderwerp escaleren
    • Terugvalonderwerp
    • Onderwerp ter bevordering van het gesprek

  • Generatieve AI-orkestratie: een sessie wordt geactiveerd wanneer een gebruiker een plan rechtstreeks activeert en een van de volgende elementen omvat:

    • Niet-systeemonderwerp
    • Onderwerp escaleren
    • Terugvalonderwerp
    • Een kennisbron
    • Een hulpprogramma

Een betrokken sessie heeft een van de volgende uitkomsten:

Resultaatcategorie	Resultaat	Description
Opgelost		Een sessie is succesvol beëindigd. Er zijn twee typen opgeloste sessies: Opgelost bevestigd en Impliciet opgelost.
	Opgelost bevestigd	Een sessie wordt als Afgesloten bevestigd beschouwd wanneer het thema Einde van het gesprek wordt geactiveerd en de gebruiker bevestigt dat de interactie is geslaagd.
	Impliciet afgesloten	Een sessie is Impliciet afgesloten wanneer de sessie wordt voltooid zonder bevestiging van de gebruiker, op basis van de logica van de agent. De impliciete status Opgelost is afhankelijk van of uw agent klassieke of Generatieve AI-indeling gebruikt: - Klassieke indeling: een sessie wordt beschouwd als Impliciet afgesloten wanneer het onderwerp Einde gesprek wordt geactiveerd en de gebruiker de sessie laat verlopen zonder een bevestiging te geven. - Generatieve AI-indeling: een sessie wordt beschouwd als Impliciet afgesloten wanneer er een time-out optreedt in een sessie en er geen resterende actieve abonnementen zijn. Een actief abonnement is een abonnement dat wacht op de invoer van een gebruiker.
Geëscaleerd		Een sessie wordt beëindigd, maar wordt als geëscaleerd beschouwd wanneer het onderwerp Escaleren wordt geactiveerd of een knooppunt Overdragen aan agent wordt uitgevoerd (de huidige analysesessie wordt beëindigd, ongeacht of het gesprek naar een live agent wordt overgedragen of niet). Er zijn drie soorten geëscaleerde sessies: Bedoeld door systeem, Niet bedoeld door systeem en Aangevraagd door gebruiker.
	Bedoeld door systeem	Een sessie wordt automatisch geëscaleerd als gevolg van een automatische bedrijfsregel die door een maker is ingesteld. De escalatie is een verwacht resultaat van het gesprek en is niet iets dat onderzocht of veranderd hoeft te worden. Voorbeeld: Een gebruiker wil meer dan USD 25.000 overmaken naar een derde partij. Dit bedrag overschrijdt een drempelwaarde in een bedrijfsregel en de sessie wordt als gevolg hiervan automatisch geëscaleerd.
	Systeem onverwacht	Een escalatie treedt automatisch op als gevolg van een sessie die een of meer drempelwaarden overschrijdt die zijn ingesteld door een maker. Meestal geeft dit resultaat aan dat de gebruiker vastzit in het gesprek en hulp nodig heeft. Voorbeeld: Een sessie wordt geëscaleerd als een bepaalde taak drie keer niet kan worden uitgevoerd.
	Aangevraagd door gebruiker	Een sessie wordt geëscaleerd omdat er tijdens het gesprek een expliciete gebruikersaanvraag is ingediend. Voorbeeld: Een gebruiker voert Transfer me to an agent in.
Verlaten		Een sessie wordt beëindigd en wordt als Verlaten beschouwd wanneer een actieve sessie na 30 minuten verloopt en niet de status opgelost of geëscaleerd heeft bereikt.

U kunt het resultaat ook instellen voor hulpprogramma's met de conversationOutcome parameter met behulp van de code-editor van het hulpprogramma. Gebruik bijvoorbeeld conversationOutcome: ResolvedConfirmed voor bevestigd succes of conversationOutcome: ResolvedImplied voor impliciet succes.

Zie de richtlijnen over het meten van betrokkenheid voor suggesties en best practices over hoe betrokkenheid gemeten en verbeterd kan worden.

Reacties

In de sectie Reacties ziet u gebruikersfeedback die is verzameld van reacties op agentreacties. De grafiek telt het aantal keren dat gebruikers de duimen omhoog (positief) of omlaag (negatief) hebben geselecteerd die beschikbaar zijn voor elk antwoord dat ze van uw agent hebben ontvangen.

Note

• Agenten die zijn gepubliceerd op het Microsoft 365 Copilot-kanaal bieden geen ondersteuning voor reacties.
• Als u opmerkingen wilt weergeven, moet u de beveiligingsrol Bekijker van bottranscripties hebben.

De functie Reacties is standaard ingeschakeld . U kunt deze functie desgewenst uitschakelen. U kunt ook een disclaimer voor gebruikers toevoegen of bewerken over hoe hun feedback wordt gebruikt:

1. Open de agent en ga naar Instellingen en zoek de sectie Gebruikersfeedback.

2. Schakel Verzamelen van gebruikersreacties op agentberichtenaan of uit.

3. Voeg een disclaimer toe of bewerk deze zodat gebruikers weten hoe hun feedback wordt gebruikt. U kunt ook informatie en tips over privacy geven.

Gebruikers met de bevoegdheid Bot Transcript Viewer kunnen inzoomen op agentreacties voor afzonderlijke reacties en filteren op gebruikersopmerkingen.

Reactietrends in de loop van de tijd bekijken

Selecteer Details weergeven op de tegel Reacties om het deelvenster Reacties te openen. Het paneel laat zien hoe positieve en negatieve reacties (van duim omhoog en duim omlaag) in de loop van de tijd verloopt.

Klantentevredenheid

In de sectie Klanttevredenheid ziet u informatie over de tevredenheid van gebruikers op basis van de resultaten van de gebruikersenquête:

• Tevredenheidsscore: Een score van 5 berekend op basis van de gemiddelde klanttevredenheidsscores (CSAT) voor sessies waarin gebruikers op end-of-sessieaanvragen hebben gereageerd om een enquête te nemen.

  Note

  Scores van 1 en 2 worden toegewezen aan Ontevreden, een score van 3 wordt beschouwd als Neutraal en scores van 4 en 5 worden toegewezen aan Tevreden.

• Tevredenheid per sessie: Een gestapeld staafdiagram dat de relatieve weging visualiseert voor elk van de scorecategorieën van de enquête, namelijk Dissatisfied, Neutral, en Satisfied. Beweeg met de muis over elk segment van de grafiek om de grootte van de steekproef en de numerieke waarde van de weging van elke scorecategorie te zien. Voor gebruikers met de bevoegdheid Bot Transcript Viewer kunt u inzoomen op een lijst met klantsessies die zijn gefilterd op basis van het gedeelte van het geselecteerde staafsegment.

Selecteer Details weergeven om de trend van de tevredenheidsscore over de geselecteerde periode weer te geven.

Gevoel (preview)

[Deze sectie maakt deel uit van de voorlopige documentatie en kan nog veranderen.]

Sentimentanalyse maakt gebruik van AI voor het analyseren van gebruikersberichten uit een voorbeeld van sessies om een algemeen gebruikersgevoel voor de agent te evalueren. De numerieke waarde geeft het percentage sessies met een negatieve gebruikerssentiment weer aan.

Important

Dit artikel bevat Microsoft Copilot Studio preview-documentatie en kan worden gewijzigd.

Preview-functies zijn niet bedoeld voor productiegebruik en bieden mogelijk beperkte functionaliteit. Deze functies zijn beschikbaar voor een officiële release zodat u vroeg toegang kunt krijgen en feedback kunt geven.

Als u een productieklare agent bouwt, raadpleegt u Microsoft Copilot Studio Overview.

Selecteer Details weergeven om de sentimentgegevens weer te geven voor de relatieve weging van elk van de sentimentcategorieën (zijnde Positive, Neutralen Negative).

U kunt sentimentanalyse voor uw agent in- en uitschakelen onder Instellingen. Wanneer sentimentanalyse is uitgeschakeld, wordt het gevoel van gebruikers niet geanalyseerd tijdens sessies.

1. Ga naar Instellingen en selecteer Geavanceerd.

2. Sentimentanalyse in- of uitschakelen.

   

Agenten

In de lijst Agenten worden metrische gegevens van hoog niveau, prestaties en status weergegeven voor de verbonden en onderliggende agenten van uw hoofdagent. De lijst identificeert het relatietype dat de vermelde agent heeft voor de hoofdagent in de kolom Type. Als een agent een kindagent is, is het type Child. Verbonden agents hebben een opgegeven type dat aangeeft waar ze zijn gemaakt (bijvoorbeeld Copilot Studio, Azure AI Foundry). De Aanroepen metriek voor elke vermelde agent beschrijft het volume aan aanroepen van de hoofdagent naar de verbonden of ondergeschikte agent. Het slagingspercentage weerspiegelt het aandeel aanroepen (als percentage van alle aanroepen) dat met succes is voltooid. Status geeft de individuele administratieve status aan voor elke verbonden en bijbehorende agent.

Standaard geeft de lijst met Agenten de vijf belangrijkste (5) verbonden en onderliggende agenten van uw hoofdagent weer, gerangschikt van hoog naar laag in het laagste totale aantal vragen. Als er meer dan vijf agenten zijn, selecteert u Alles weergeven om alle agenten weer te geven.

Note

De knop Alles weergeven is alleen zichtbaar als er meer dan vijf verbonden agenten of onderliggende agenten zijn met uw hoofdagent.

Gebruik

In de sectie Use leert u hoe gebruikers met uw agent communiceren en waar ze de betrouwbaarheid van antwoorden kunnen verbeteren. Het gebruik wordt verdeeld over veel subsecties:

• Thema's: Met thema's krijgt u inzicht in analyses door gebruikersvragen te clusteren in door AI voorgestelde categorieën.
• Gegenereerde antwoordsnelheid en kwaliteit: Inzicht in wanneer de agent moeite heeft om antwoorden te geven op vragen van gebruikers en hoe kennisbronnen worden gebruikt, kunnen u manieren vinden om de antwoordsnelheid en kwaliteit van uw agent te verbeteren.
• Hulpprogramma's: leren hoe vaak hulpprogramma's worden gebruikt en hoe vaak ze slagen, kunnen u helpen begrijpen of deze hulpprogramma's nuttig en succesvol zijn voor gebruikers.
• Kennisbrongebruik: Leren hoe vaak afzonderlijke kennisbronnen worden gebruikt en hoe vaak ze fouten retourneren, helpt u de kwaliteit en dekking van de antwoorden van uw agent te verbeteren.

Gegenereerde antwoordsnelheid en kwaliteit

Met generatieve antwoorden kan uw agent AI gebruiken om antwoorden te genereren op gebruikersquery's met behulp van kennisbronnen en de instructies die u opgeeft. Uw agent kan echter mogelijk niet alle gebruikersquery's beantwoorden. In de sectie Gegenereerde antwoordsnelheid en kwaliteit worden niet-beantwoorde query's en antwoordkwaliteit bijgehouden, ingedeeld en geanalyseerd, zodat u hulp krijgt bij het verbeteren van de antwoordprestaties van uw agent.

Het antwoordpercentage toont het aantal beantwoorde en onbeantwoorde vragen binnen de geselecteerde periode en de percentagewijziging in de loop van de tijd.

Antwoordkwaliteit meet de kwaliteit van antwoorden met behulp van AI. Copilot Studio kijkt naar een voorbeeldset beantwoorde vragen en analyseert verschillende kwaliteit, waaronder volledigheid, relevantie en niveau van grondheid van een antwoord. Als het antwoord voldoet aan een vaste standaard, labelt Copilot Studio het antwoord als Goede kwaliteit. Copilot Studio labelt antwoorden die niet aan die standaard voldoen als Slechte kwaliteit. Voor slechte antwoorden wijst Copilot Studio een reden toe voor de kwaliteitsclassificatie en geeft het percentage antwoorden weer dat aan elke categorie is toegewezen.

Beweeg de muisaanwijzer over een segment van een staaf in het diagram om de relatieve weging van een afzonderlijke reden voor een kwaliteitslabel Goed of Slecht weer te geven. In de knopinfo wordt ook aangegeven hoeveel antwoorden zijn gesampled om uit te komen op de berekende procentwaarde.

Plaats in de legenda onder de grafiek de muisaanwijzer op een van de kwaliteitslabelredenen om die reden in de grafiek te markeren.

Selecteer een segment van het staafdiagram om een pagina met gebruikersvragen te openen die zijn gefilterd op die antwoordkwaliteit. Selecteer Vragen weergeven om een niet-gefilterde lijst met alle vragen binnen de geconfigureerde periode weer te geven.

Gebruik van hulpprogramma's

In de sectie Hulpprogrammagebruik ziet u een grafiek en metrische gegevens die bijhouden hoe vaak uw hulpprogramma's in de loop van de tijd worden gestart en hoe vaak uw agent deze hulpprogramma's gebruikt. Het toont ook trendindicatoren voor hoe vaak uw agent elk hulpprogramma gebruikt en wat het percentage is van aangeroepen hulpprogramma's dat met succes is gebruikt.

In de grafiek worden de vijf belangrijkste hulpprogramma's weergegeven die worden gebruikt gedurende de datumperiode die boven aan de pagina Analytics is gedefinieerd.

Beweeg in de legenda onder de grafiek de cursor over een van de tools om die tool in de grafiek te markeren.

Als u een zijpaneel wilt openen met een lijst met alle hulpprogramma's die in de opgegeven periode worden gebruikt, samen met trendindicatoren, selecteert u Details weergeven in de grafiek. In het deelvenster Hulpprogramma kunt u berekeningen weergeven van het percentage vragen, dat voor elk hulpprogramma wordt gebruikt. Als uw agent onderliggende agenten heeft, kunt u ervoor kiezen om berekeningen weer te geven voor zowel de hoofdagent als onderliggende agenten (Alle), alleen de Hoofdagent of alleen de Onderliggende agent.

Gebruik van kennisbronnen

De sectie Kennisbrongebruik biedt inzicht in hoe uw agent de kennisbronnen gebruikt en hoe vaak deze bronnen fouten retourneren. Zie Het gebruik van kennisbronnen voor meer informatie over beschikbare metrische gegevens, filteren en inzoomen.