Analyseer de effectiviteit van conversationele agenten

De pagina Analyse in Copilot Studio biedt een geaggregeerd inzicht in de algehele effectiviteit van uw agent in alle analysesessies. De pagina is onderverdeeld in kerngebieden die zich richten op verschillende prestatiecontexten. De pagina geeft ook een Overzicht weer dat metrische KPI-gegevens (Key Performance Indicator) op hoog niveau biedt voor uw agent, een Overzicht met besparingen dat tijd en kostenbesparingen analyseert, die toe te schrijven zijn aan uw agent of de hulpprogramma's van uw agent, en een Samenvatting dat belangrijke analytische inzichten biedt in de prestaties van uw agent.

Voor meer informatie over:

• De delen Samenvatting en Overzicht, zie Analyseoverzicht
• Het deel Besparingen, zie Tijd- en kostenbesparingen analyseren voor agenten

Er zijn zes kerngebieden waarop u zich moet concentreren bij het beoordelen en verbeteren van de effectiviteit van gespreksagenten:

• Thema's: met Thema's krijgt u inzicht in analyses door gebruikersvragen te clusteren in door AI voorgestelde categorieën.
• Gespreksresultaten: als u het eindresultaat van een gesprek kent, kunt u bepalen wanneer uw agent succes heeft en waarin deze moet worden verbeterd.
• Agenten: bekijk metrische gegevens over oproepvolumes, slagingspercentages en de huidige status voor onderliggende en verbonden agenten.
• Gegenereerde antwoordsnelheid en kwaliteit: met inzicht in wanneer de agent moeite heeft om antwoorden te geven op vragen van gebruikers en hoe kennisbronnen worden gebruikt, kunt u manieren vinden om de antwoordsnelheid en kwaliteit van uw agent te verbeteren.
• Hulpprogramma's: als u weet hoe vaak hulpprogramma's worden gebruikt en hoe vaak ze slagen, weet u of deze hulpprogramma's nuttig en succesvol zijn voor gebruikers.
• Tevredenheid: door feedback van gebruikers te bekijken kunt u nieuwe gebruikersscenario's en problemen identificeren en verbeteringen aanbrengen op basis van wat uw gebruikers vragen.

U kunt analyses bekijken voor gebeurtenissen die in de afgelopen 90 dagen zijn opgetreden.

Gespreksresultaten

In de sectie Gespreksresultaten wordt een grafiek weergegeven waarin het type resultaat voor elke sessie tussen uw agent en gebruikers wordt bijgehouden.

De grafiek, ongeacht of deze wordt weergegeven als een gestapeld histogram of gestapeld vlakdiagram, visualiseert de relatieve volumes van resultaten, met kleurcodering en gestapeld op type. Voor alle opgeloste, geëscaleerde en verlaten sessies of sessies zonder contact worden voor elk gegevenspunt de bijbehorende kleuren weergegeven. De y-as geeft het aantal sessies aan.

Als u metrische gegevens over afzonderlijke resultaten wilt zien die specifiek betrekking hebben op één gegevenspunt (een specifieke dag), plaatst u de muisaanwijzer op een gebied dat de kleur van een bepaald resultaat (bijvoorbeeld groen voor Verlaten) aangeeft op de dag waarin u geïnteresseerd bent. In het voorbeeld waren er 90 verlaten sessies, wat gelijkstaat aan 35,6% van alle sessieresultaten op 24 november.

Plaats in de legenda onder de grafiek de muisaanwijzer op een van de resultaatlabels om dat resultaat in de grafiek te markeren.

Selecteer (aan of uit) een of meer van de legendalabels om resultaten van het gestapelde vlakdiagram weer te geven of te verbergen. Doe dit om de duidelijkheid te verbeteren voor de resultaten die blijven bestaan in de volgende gevallen:

• Afzonderlijke resultaatlijnen worden visueel dicht bij elkaar weergegeven.
• U wilt duidelijker zien wanneer trendlijnen trending positief of negatief zijn, maar door de samenvoeging van gestapelde resultaten in de grafiek worden deze trendlijnen afgevlakt.

Notitie

Wanneer u op deze manier een resultaat uit de grafiek verwijdert, verwijdert u dat resultaat uit de grotere groep met weergegeven resultaten. Als u weergegeven resultaten verwijdert, wordt de weergegeven percentagewaarde van alle resterende resultaten voor de groep gewijzigd omdat de noemer van de verhouding wordt gewijzigd.

In het volgende voorbeeld zijn de labels Geëscaleerd en Zonder contact uit de grafiek verwijderd. In de knopinfo ziet u dat er 95 verlaten sessies waren op 23 november, die 60,5% van de resterende zichtbare resultaten in de grafiek vertegenwoordigen (de som van de resultaten Opgelost + Verlaten).

Als u gegevens over gespreksresultaten wilt downloaden (gegevens die in de grafiek zijn gevisualiseerd), selecteert u het menupictogram en selecteert u CSV downloaden.

Notitie

Als u resultaten uit de grafiek verwijdert wanneer u downloadt, worden de bijbehorende gegevens niet weergegeven in het CSV-bestand.

Als u een zijpaneel met gedetailleerde informatie over gespreksresultaten wilt openen, selecteert u Details weergeven in de grafiek. Het zijpaneel Gespreksresultaten bevat het volgende:

• Een cirkeldiagram met de uitkomsten van sessieresultaten, met een relatieve weging (uitgedrukt als percentage) van de resultaten Opgelost, Geëscaleerd en Verlaten.
• Een gestapeld staafdiagram met de relatieve weging (uitgedrukt als percentage) van de resultaatredenen Opgelost bevestigd en Opgelost geïmpliceerd die alle opgeloste sessieresultaten beschrijven.
• Een gestapeld staafdiagram met de relatieve weging (uitgedrukt als een percentage) van de resultaatredenen Bedoeld door systeem, Niet bedoeld door systeem en Aangevraagd door gebruiker die alle geëscaleerde sessieresultaten beschrijven.
• De belangrijkste onderwerpen die tot elk resultaat hebben geleid.

Notitie

Als u knopinfo met onbewerkte tellingsgegevens wilt zien, plaatst u de muisaanwijzer op een van de segmenten van een cirkeldiagram of gestapeld staafdiagram.

Een sessie valt in een van de volgende twee staten:

• Niet betrokken: een sessie start wanneer een gebruiker communiceert met uw agent of wanneer de agent een proactief bericht naar de gebruiker stuurt. De sessie begint in een niet-verbonden status.

• Betrokken: de gebruiker communiceert actief met de agent. Er is een verschil in gedrag op basis van de indelingsmodus van de agent.

  • Klassieke indeling: een sessie wordt ingeschakeld wanneer een van de volgende onderwerpen wordt geactiveerd:

    • Aangepast onderwerp dat rechtstreeks wordt geactiveerd door de gebruiker
    • Onderwerp escaleren
    • Terugvalonderwerp
    • Onderwerp om het gesprek op gang te brengen

  • Generatieve AI-indeling: een sessie wordt betrokken wanneer een gebruiker een plan rechtstreeks activeert en een van de volgende elementen bevat:

    • Niet-systeemonderwerp
    • Onderwerp escaleren
    • Terugvalonderwerp
    • Een kennisbron
    • Een hulpprogramma

Een betrokken sessie heeft een van de volgende uitkomsten:

Resultaatcategorie	Resultaat	Omschrijving
Opgelost		Een sessie is beëindigd. Er zijn twee typen opgeloste sessies: Opgelost bevestigd en Opgelost geïmpliceerd.
	Afgesloten bevestigd	Een sessie wordt beschouwd als Afgesloten bevestigd beschouwd wanneer het onderwerp Einde gesprek wordt geactiveerd en de gebruiker bevestigt dat de interactie is geslaagd.
	Impliciet afgesloten	Een sessie is Impliciet afgesloten wanneer de sessie wordt voltooid zonder bevestiging van de gebruiker, op basis van de logica van de agent. De status Impliciet afgesloten is afhankelijk van of uw agent gebruikmaakt van de klassieke of generatieve AI-indeling: - Klassieke indeling: een sessie wordt beschouwd als Impliciet afgesloten wanneer het onderwerp Einde gesprek wordt geactiveerd en de gebruiker de sessie laat verlopen zonder een bevestiging te geven. - Generatieve AI-indeling: een sessie wordt beschouwd als Impliciet afgesloten wanneer er een time-out optreedt in een sessie en er geen resterende actieve abonnementen zijn. Een actief abonnement is een abonnement dat wacht op de invoer van een gebruiker.
Geëscaleerd		Een sessie wordt beëindigd, maar wordt als geëscaleerd beschouwd wanneer het onderwerp Escaleren wordt geactiveerd of een knooppunt Overdragen aan agent wordt uitgevoerd (de huidige analysesessie wordt beëindigd, ongeacht of het gesprek naar een live agent wordt overgedragen of niet). Er zijn drie soorten geëscaleerde sessies: Bedoeld door systeem, Niet bedoeld door systeem en Aangevraagd door gebruiker.
	Bedoeld door systeem	Een sessie wordt automatisch geëscaleerd als gevolg van een automatische bedrijfsregel die door een maker is ingesteld. De escalatie is een verwacht resultaat van het gesprek en hoeft niet te worden onderzocht of gewijzigd. Voorbeeld: Een gebruiker wil meer dan USD 25.000 overmaken naar een derde partij. Dit bedrag overschrijdt een drempelwaarde in een bedrijfsregel en de sessie wordt als gevolg hiervan automatisch geëscaleerd.
	Niet bedoeld door systeem	Een escalatie treedt automatisch op als gevolg van een sessie die een of meer drempelwaarden overschrijdt die zijn ingesteld door een maker. Dit geeft meestal aan dat de gebruiker vastloopt tijdens het gesprek en hulp nodig heeft. Voorbeeld: Een sessie wordt geëscaleerd als een bepaalde taak drie keer niet kan worden uitgevoerd.
	Aangevraagd door gebruiker	Een sessie wordt geëscaleerd omdat er tijdens het gesprek een expliciete gebruikersaanvraag is ingediend. Voorbeeld: Een gebruiker voert Transfer me to an agent in.
Verlaten		Een sessie wordt beëindigd en wordt als Verlaten beschouwd wanneer een actieve sessie na 30 minuten verloopt en niet de status opgelost of geëscaleerd heeft bereikt.

U kunt het resultaat ook instellen voor hulpprogramma's met de conversationOutcome parameter, met behulp van de code-editor van het hulpprogramma. Gebruik bijvoorbeeld conversationOutcome: ResolvedConfirmed voor bevestigd succes of conversationOutcome: ResolvedImplied voor impliciet succes.

Raadpleeg de begeleidende documentatie Copilot-betrokkenheid meten voor suggesties en best practices over het meten en verbeteren van betrokkenheid.

Agents

In de lijst Agenten worden metrische gegevens van hoog niveau, prestaties en status weergegeven voor de verbonden en onderliggende agenten van uw hoofdagent. De lijst identificeert het relatietype dat de vermelde agent heeft voor de hoofdagent in de kolom Type. Als een agent een onderliggende agent is, is het type Child. Verbonden agenten hebben een vermeld type dat aangeeft waar ze zijn gemaakt (bijvoorbeeld Copilot Studio, Azure AI Foundry). In de Aanroepen van metrische gegevens voor elke vermelde agent, wordt het aantal aanroepen van de hoofdagent naar de verbonden of onderliggende agent beschreven. Het slagingspercentage weerspiegelt het aandeel aanroepen (als percentage van alle aanroepen) dat met succes is voltooid. Status geeft de afzonderlijke beheerdersstatus aan voor elke verbonden en onderliggende agent.

Standaard geeft de lijst met Agenten de vijf belangrijkste (5) verbonden en onderliggende agenten van uw hoofdagent weer, gerangschikt van hoog naar laag in het laagste totale aantal vragen. Als er meer dan vijf agenten zijn, selecteert u Alles weergeven om alle agenten weer te geven.

Notitie

De knop Alles weergeven is alleen zichtbaar als er meer dan vijf verbonden agenten of onderliggende agenten zijn met uw hoofdagent.

Percentage en kwaliteit van gegenereerde antwoorden (preview)

Belangrijk

Dit artikel bevat documentatie voor de preview van Microsoft Copilot Studio en kan nog veranderen.

Preview-functies zijn niet bedoeld voor productiegebruik en bieden mogelijk beperkte functionaliteit. Deze functies zijn beschikbaar voor een officiële release zodat u vroeg toegang kunt krijgen en feedback kunt geven.

Zie Overzicht van Microsoft Copilot Studio als u een productieklare agent aan het bouwen bent.

Met generatieve antwoorden kan uw agent AI gebruiken, om antwoorden te genereren op gebruikersquery's, met behulp van de kennisbronnen en instructies die u opgeeft. Uw agent kan echter mogelijk niet alle gebruikersquery's beantwoorden. In de sectie Gegenereerde antwoordsnelheid en kwaliteit worden niet-beantwoorde query's en antwoordkwaliteit bijgehouden, ingedeeld en geanalyseerd, zodat u hulp krijgt bij het verbeteren van de reponsprestaties van uw agent.

Het Antwoordpercentage toont het aantal beantwoorde en onbeantwoorde vragen binnen de geselecteerde periode en het percentage wijzigingen in de loop van de tijd.

Antwoordkwaliteit meet de kwaliteit van antwoorden met behulp van AI. Copilot Studio kijkt naar een voorbeeldset met beantwoorde vragen en analyseert verschillende kwaliteit, waaronder de volledigheid, relevantie en het niveau van de onderbouwing van een antwoord. Als het antwoord voldoet aan een vaste standaard, labelt Copilot Studio het antwoord als Goede kwaliteit. Copilot Studio labels antwoorden die niet voldoen aan die standaard als Slechte kwaliteit. Bij Slechte antwoorden wijst Copilot Studio een reden toe voor de kwaliteitsclassificatie en geeft het percentage antwoorden weer dat aan elke categorie is toegewezen.

Beweeg de muisaanwijzer over een segment van een staaf in het diagram om de relatieve weging van een afzonderlijke reden voor een kwaliteitslabel Goed of Slecht weer te geven. In de knopinfo wordt ook aangegeven hoeveel antwoorden zijn gesampled om uit te komen op de berekende procentwaarde.

Plaats in de legenda onder de grafiek de muisaanwijzer op een van de kwaliteitslabelredenen om die reden in de grafiek te markeren.

U kunt Microsoft feedback geven over deze sectie met de pictogrammen Duim omhoog en Duim omlaag. Gebruik het deelvenster Feedback verzenden naar Microsoft om een opmerking toe te voegen en gerelateerde bestanden te delen. Door beschrijvende feedback te geven, kunnen we samenwerken om ons product continu te verbeteren.

1. Beschrijf in het deelvenster Feedback verzenden naar Microsoft uw vind-ik-leuks in natuurlijke taal, afhankelijk van het pictogram dat u hebt geselecteerd om het deelvenster te openen.
2. Kies of u prompts, gegenereerde reacties, voorbeelden van relevante inhoud en aanvullende logboekbestanden wilt delen.
3. Selecteer Verzenden.

Selecteer Details weergeven om een zijpaneel te openen met vraag-antwoordpercentages, kennisbrongebruik en foutpercentages gedurende de geselecteerde periode. Met deze diagrammen kunt u bepalen welke kennisbronnen gebruikers goed helpen en welke u kunt verbeteren.

Als uw agent onderliggende agenten heeft, selecteert u in het zijpaneel Alle om metrische gegevens weer te geven voor zowel de hoofdagent als onderliggende agenten, de Hoofdagent voor alleen metrische gegevens over de hoofdagent of Onderliggende agent voor alleen metrische gegevens over onderliggende agenten.

• Onbeantwoorde vragen geven de redenen weer waarom de agent geen gebruikersquery heeft beantwoord.
• Gebruik van kennisbronnen toont het percentage sessies waarin elke kennisbron is gebruikt waartoe de agent toegang heeft.
• Alle bronnen geven het percentage vragen weer dat elke kennisbron heeft gebruikt.
• Fouten geven het percentage query's weer dat heeft geleid tot een kennisgerelateerde fout voor elk type kennisbron (bijvoorbeeld SharePoint).

Selecteer onder Alle bronnen een afzonderlijke bron om meer informatie te zien op het niveau van een van de vermelde kennisbronnen. De knopinfo omvat:

• Het totale aantal vragen waarnaar in deze kennisbron wordt verwezen, evenals het aantal Duimen omhoog en Duimen omlaag.
• Een gestapeld staafdiagram met een uitsplitsing van de kwaliteit van het relatieve antwoordgewicht voor vragen die verwijzen naar deze kennisbron. Beweeg de muisaanwijzer over elk segment van het staafdiagram om de waarde te zien van de relatieve weging van het gedrag per segment en het aantal vragen dat is bemonsterd om die waarde vast te stellen.

Hulpmiddelgebruik

In de sectie Hulpprogrammagebruik ziet u een grafiek en metrische gegevens, die bijhouden hoe vaak uw hulpprogramma's in de loop van de tijd worden gestart en hoe vaak uw agent deze hulpprogramma's gebruikt. Het toont ook trendindicatoren voor hoe vaak uw agent elk hulpprogramma gebruikt en wat het percentage is van aangeroepen hulpprogramma's dat met succes is gebruikt.

In de grafiek worden de vijf belangrijkste hulpprogramma's weergegeven die worden gebruikt gedurende de periode die boven aan de pagina Analyse is gedefinieerd.

Plaats in de legenda onder de grafiek de muisaanwijzer op een van de hulpprogramma's om dat hulpprogramma in de grafiek te markeren.

Als u een zijpaneel wilt openen met een lijst met alle hulpprogramma's die in de opgegeven periode worden gebruikt, samen met trendindicatoren, selecteert u Details weergeven in de grafiek. In het deelvenster Hulpprogramma kunt u berekeningen weergeven van het percentage vragen, dat voor elk hulpprogramma wordt gebruikt. Als uw agent onderliggende agenten heeft, kunt u ervoor kiezen om berekeningen weer te geven voor zowel de hoofdagent als onderliggende agenten (Alle), alleen de Hoofdagent of alleen de Onderliggende agent.

Tevredenheid

In de sectie Tevredenheid ziet u gebruikersfeedback die is verzameld van reacties op agentreacties en enquêteresultaten voor een sessie. Tevredenheid wordt gesplitst in twee kleinere secties: een sectie Reacties , waarin duimen omhoog en duimen omlaag worden weergegeven voor specifieke agentreacties en een sectie Enquêteresultaten , waarin de klanttevredenheidsscore (CSAT) voor de hele sessie wordt weergegeven.

Feedbackgegevens worden opgeslagen in de gesprektranscriptietabel in Dataverse. Zie Functiedetails voor een lijst met kanalen die deze functie ondersteunen.

Reacties

In de sectie Reacties ziet u gebruikersfeedback die is verzameld van reacties op agentreacties en enquêteresultaten voor een sessie. De grafiek telt het aantal keren dat gebruikers de duimen omhoog (positief) of omlaag (negatief) hebben geselecteerd die beschikbaar zijn voor elk antwoord dat ze van uw agent hebben ontvangen.

Nadat een gebruiker een reactie heeft gegeven, kan hij of zij een opmerking achterlaten. Als u opmerkingen wilt weergeven, selecteert u Details weergeven. Selecteer in het deelvenster Reacties de optie Alle, Duim omhoog of Duim omlaag om opmerkingen te filteren.

Notitie

• Agenten die zijn gepubliceerd naar het Microsoft 365 Copilot-kanaal bieden geen ondersteuning voor reacties.
• Als u opmerkingen wilt weergeven, moet u de beveiligingsrol Bekijker van bottranscripties hebben.

Als u voor elke reactie de bijbehorende gebruikersquery en agentreactie wilt zien, selecteert u de wisselknop naast de opmerking. Op de pagina Analyse worden gebruikersquery's en agentreacties gedurende maximaal 28 dagen opgeslagen.

Gebruikersfeedback staat standaard Aan. U kunt deze functie desgewenst uitschakelen. U kunt ook een disclaimer voor gebruikers toevoegen of bewerken over hoe hun feedback wordt gebruikt:

1. Open de agent en ga naar Instellingen en zoek de sectie Gebruikersfeedback.

2. Stel Gebruikers feedback laten geven bij gebruik van deze agent in op Aan of Uit.

3. Voeg een disclaimer toe of bewerk deze zodat gebruikers weten hoe hun feedback wordt gebruikt. U kunt ook informatie en tips over privacy geven.

Enquêteresultaten

In de sectie Enquêteresultaten worden een grafiek en metrische gegevens weergegeven die de gemiddelde klanttevredenheidsscores (CSAT) bijhouden voor sessies waarin klanten reageren op een verzoek aan het einde van de sessie om de enquête in te vullen.

Notitie

Scores van 1 en 2 worden toegewezen aan Ontevreden, een score van 3 wordt beschouwd als Neutraal en scores van 4 en 5 worden toegewezen aan Tevreden.

Selecteer Details weergeven om te zien hoe de trends in de tevredenheidsscore in de geconfigureerde periode van het rapport worden weergegeven.