Veelgestelde vragen over analyses

In dit artikel vindt u antwoorden op veelgestelde vragen over de AI-mogelijkheden die worden gebruikt in analysefuncties in Copilot Studio.

Hoe wordt generatieve AI gebruikt voor analyse?

Copilot Studio gebruikt AI om de kwaliteit van generatieve antwoorden te evalueren en patronen in gebruikersquery’s te identificeren via clustering. Deze clusters bieden inzicht in agentprestaties.

Generatieve antwoorden gebruiken kennisbronnen die u kiest om een antwoord te genereren. De functie verzamelt ook eventuele feedback die u opgeeft. Analyse maakt gebruik van grote taalmodellen (LLM's) om de chatberichten tussen gebruikers en agents te classificeren in niveaus die de kwaliteit van generatieve antwoordreacties aangeven. Deze classificaties worden samengevoegd om een samenvatting van de prestaties van de agent te bieden.

Clustering maakt gebruik van LLM's om berichten van gebruikers te sorteren in groepen, op basis van gedeelde onderwerpen en om elke groep een beschrijvende naam te geven. Copilot Studio gebruikt de namen van deze clusters om verschillende typen inzichten te bieden die u kunt gebruiken om uw agent te verbeteren.

Kwaliteit van reacties voor generatieve antwoorden

Wat is het beoogde gebruik van de kwaliteit van de respons?

Gebruik de kwaliteit van antwoordanalyses om inzicht te hebben in de prestaties van de agent en om verbeteringen te identificeren. Op dit moment kunt u analyses gebruiken om te begrijpen of de kwaliteit van de generatieve antwoorden van een agent voldoet aan uw verwachtingen.

Naast de algehele kwaliteit identificeert de kwaliteit van antwoordanalyse gebieden waar een agent slecht presteert of uw beoogde doelen niet kan uitvoeren. Bepaal waar generatieve antwoorden slecht presteren en neem stappen om hun kwaliteit te verbeteren.

Als u slechte prestaties identificeert, volgt u de aanbevolen procedures die u kunnen helpen de kwaliteit te verbeteren. Nadat u bijvoorbeeld kennisbronnen met slechte prestaties hebt geïdentificeerd, kunt u de kennisbron bewerken of de kennisbron opsplitsen in meerdere, meer gerichte bronnen voor betere kwaliteit.

Welke gegevens worden gebruikt om analyses te maken voor de kwaliteit van de respons?

De kwaliteit van antwoordanalyses is gebaseerd op een steekproef van generatieve antwoordinteracties . Hiervoor zijn de gebruikersquery, de respons van de agent en de relevante kennisbronnen vereist, die het generatieve model gebruikt voor het generatieve antwoord. De kwaliteit van antwoordanalyses gebruikt die informatie om te evalueren of de kwaliteit van het regeneratieve antwoord goed is, en zo niet, waarom de kwaliteit slecht is. De kwaliteit van het antwoord kan bijvoorbeeld onvolledige, irrelevante of niet volledig geaarde antwoorden identificeren.

Wat zijn de beperkingen van de kwaliteit van antwoordanalyses en hoe kunnen gebruikers de gevolgen van deze beperkingen minimaliseren?

• De kwaliteit van responsanalyse maakt geen gebruik van alle generatieve reacties. In plaats daarvan meet de analyse een voorbeeld van gebruikersagentsessies. Agents met minder dan het minimale aantal geslaagde generatieve antwoorden kunnen geen analytische samenvatting van de kwaliteit van de respons ontvangen.

• Er zijn gevallen waarin analyses een afzonderlijke reactie niet nauwkeurig evalueren. Op een geaggregeerd niveau moet deze voor de meeste gevallen nauwkeurig zijn.

• Quality of response-analyses geven geen uitsplitsing van de specifieke zoekopdrachten die tot lage kwaliteit hebben geleid. Ze bieden ook geen uitsplitsing van algemene kennisbronnen of onderwerpen die zijn gebruikt bij reacties van lage kwaliteit.

• Analyses worden niet berekend voor antwoorden die gebruikmaken van generatieve kennis.

• Antwoordvolledigheid is een van de meetmethoden die worden gebruikt om de kwaliteit van de respons te beoordelen. Deze metric meet hoe volledig de respons de inhoud in het opgehaalde document adresseert.

  Als het systeem geen relevant document met extra informatie voor de vraag ophaalt, evalueert het de volledigheidsmaatstaf voor dat document niet.

Welke beveiligingen gelden voor de kwaliteit van antwoordanalyses binnen Copilot Studio voor verantwoorde AI?

Gebruikers van agents zien geen analyseresultaten. Resultaten zijn alleen beschikbaar voor agentmakers en beheerders.

Makers en beheerders kunnen alleen de kwaliteit van responsanalyses gebruiken om het percentage reacties van goede kwaliteit en vooraf gedefinieerde redenen voor slechte prestaties te zien. Resultaten worden geaggregeerd en weergegeven als percentages en vooraf gedefinieerde categorieën.

We hebben tijdens de ontwikkeling analyses grondig getest op de kwaliteit van responsen, om goede prestaties te garanderen. Bij zeldzame gevallen kunnen de beoordelingen van de kwaliteit van respons echter onnauwkeurig zijn.

Sentimentanalyse voor gesprekssessies

Wat is het beoogde gebruik van sentimentanalyse?

Gebruik sentimentanalyse om inzicht te hebben in het niveau van gebruikerstevredenheid in gesprekssessies op basis van een AI-analyse van gebruikersberichten aan de agent. U kunt het algehele gevoel van de sessie (positief, negatief of neutraal) begrijpen, de redenen onderzoeken en maatregelen nemen om dit aan te pakken.

Welke gegevens worden gebruikt voor sentimentanalyse?

Sentimentanalyse gebruikt gebruikersberichten voor de agent voor een voorbeeldset gesprekssessies.

Sentimentanalyse gebruikt die informatie om te beoordelen of de gebruikerstevredenheid tijdens de sessie positief, negatief of neutraal is. Een gebruiker kan bijvoorbeeld woorden en een toon gebruiken die frustratie of ontevredenheid aangeven op basis van de interactie met de agent. In dit geval wordt de sessie geclassificeerd als negatief sentiment.

Wat zijn de beperkingen van sentimentanalyse, en hoe kunnen gebruikers deze beperkingen beperken?

Sentimentanalyses worden niet berekend met behulp van alle gesprekssessies. In plaats daarvan meet de analyse een voorbeeld van gebruikersagentsessies. Agents onder het minimum aantal dagelijkse geslaagde generatieve antwoorden kunnen geen gevoelsscore krijgen.

Sentimentanalyse is momenteel afhankelijk van generatieve antwoorden en vereist een minimum aantal dagelijkse succesvolle antwoorden om de sentimentscore van de makelaar te berekenen.

Om sentiment voor een sessie te berekenen, moeten er minstens twee gebruikersberichten zijn. Bovendien wordt sentimentanalyse vanwege de huidige technische beperkingen niet uitgevoerd bij sessies die in totaal meer dan 26 berichten bevatten (inclusief zowel gebruikers- als agentberichten)

Sentimentanalyse geeft geen uitsplitsing van de specifieke gebruikersberichten die tot de sentimentscore hebben geleid.

Welke beveiligingen gelden voor sentimentanalyse binnen Copilot Studio voor verantwoorde AI?

Gebruikers van agents zien geen analyseresultaten. Resultaten zijn alleen beschikbaar voor agentmakers en beheerders.

U kunt sentimentanalyse alleen gebruiken om de uitsplitsing van het sentiment in alle sessies te bekijken.

We hebben sentimentanalyse grondig getest tijdens de ontwikkeling om goede prestaties te garanderen. Bij zeldzame gevallen kunnen sentimentbeoordelingen echter onnauwkeurig zijn.

Thema's van gebruikersvragen

Wat is het beoogde gebruik van thema's?

Clustering op thema's en analyse op themaniveau helpt u snel inzicht te krijgen in wat gebruikers op schaal vragen. Met deze functie worden grote hoeveelheden gebruikersquery's geanalyseerd en worden onderwerpen op hoog niveau ('thema's') weergegeven die de belangrijkste onderwerpen vertegenwoordigen die gebruikers belangrijk achten. Deze analyse helpt u bij het inspecteren van afzonderlijke gesprekken tot het identificeren van bredere patronen, opkomende behoeften en interessegebieden.

Door een gestructureerd, gegevensgestuurd overzicht van gebruikersactiviteit te bieden, helpt analyse op themaniveau u bij het volgende:

• Identificeer de meest voorkomende onderwerpen waarmee gebruikers werken.

• Detecteer hiaten in dekking of onduidelijke ervaringen.

• Bewaak hoe gebruikersbelangen zich in de loop van de tijd ontwikkelen.

• Prioriteit geven aan verbeteringen op basis van echte gebruikersvraag.

Hoe werkt themaanalyse op hoog niveau?

Deze functie werkt als een proces met meerdere fasen waarmee gebruikersquery's continu worden georganiseerd in zinvolle groepen. Op hoog niveau omvat dit proces twee belangrijke fasen:

Generatie van themakandidaten

Het systeem analyseert een recente set gebruikersquery's en identificeert kandidaatthema's die verschillende onderwerpen op hoog niveau vertegenwoordigen. Het systeem detecteert patronen, overeenkomsten en terugkerende onderwerpen in query's om deze kandidaten af te leiden.

Toewijzing van query's aan thema's

Nadat het systeem kandidaatthema's heeft gegenereerd, worden afzonderlijke query's gekoppeld aan het meest relevante thema. Elk thema vertegenwoordigt een verzameling gerelateerde gebruikersvragen en ontwikkelt zich naarmate het systeem nieuwe query's verwerkt. Het systeem verfijnt deze thema's in de loop van de tijd met behulp van signalen zoals semantische overeenkomsten en feedback van gebruikers. Met dit verfijningsproces kan de weergave worden aangepast wanneer gebruikersgedrag verandert.

Welke gegevens worden gebruikt om thema's te maken?

Gebruikers genereren thema's op basis van query's die resulteren in generatieve antwoorden. Het proces is gericht op een recent activiteitenvenster om ervoor te zorgen dat thema's de huidige interesses van gebruikers en veranderende trends weerspiegelen. Naarmate er nieuwe gegevens beschikbaar komen, worden thema's door het systeem vernieuwd om ze relevant te houden.

Omdat thema's afhankelijk zijn van patronen in gebruikersquery's, is de functie afhankelijk van een zinvolle hoeveelheid activiteit die moet worden geanalyseerd. In situaties waarin er beperkte gegevens of zeer gefragmenteerde query's zijn, genereert het systeem mogelijk geen thema's of biedt het beperkte inzicht.

Wat zijn de beperkingen van themaanalyse en hoe kan ik deze beperken?

Themaanalyse is een gegevensgestuurd clusteringsysteem en de effectiviteit ervan is afhankelijk van de aard en het volume van gebruikersquery's. Enkele mogelijke beperkingen zijn:

• Onvoldoende of zeer uiteenlopende gegevens kunnen leiden tot thema's die te breed of smal zijn.

• Nauw verwante onderwerpen kunnen soms worden gesplitst in afzonderlijke thema's.

• Niet-gerelateerde query's kunnen af en toe worden gegroepeerd.

• Wijzigingen in de gebruikerstaal in de loop van de tijd kunnen van invloed zijn op de consistentie van thema's.

De meeste waarde ophalen uit thema's:

• Bekijk regelmatig gegenereerde thema's.

• Geef feedback (bijvoorbeeld: duim omhoog of omlaag) om de kwaliteit te verbeteren.

• Thema's interpreteren als richtingsinzichten in plaats van exacte categorisaties.

Welke verantwoordelijke AI-beveiligingen zijn er?

Themaclustering en -analyse zijn ontworpen met verantwoorde AI-principes in gedachten.

• Geautoriseerde makers en beheerders zijn de enigen die thema's kunnen zien.

• Alleen personen die gemachtigd zijn om de gebruikersquery's te zien, kunnen hun uitsplitsing in thema's zien.

• De thema's weerspiegelen de inhoud van de gebruikersquery's, zodat ze een eerlijk overzicht bieden voor de makers en beheerders die ze kunnen zien.

Deze beveiligingsmaatregelen helpen ervoor te zorgen dat thema's nuttige inzichten bieden terwijl een veilige en gecontroleerde ervaring behouden blijft.

Analyse van aangepaste metrische gegevens

Wat is het beoogde gebruik van aangepaste metrische gegevens?

Gebruik aangepaste analyse van metrische gegevens om te begrijpen hoeveel uw gespreksagenten van invloed zijn op bedrijfsresultaten. Deze metrische gegevens vormen een aanvulling op besparingsanalyses. Voorbeelden van aangepaste metrische gegevens zijn oplossingsfrequentie, classificatie van klantintentie en andere domeinspecifieke resultaten.

Aangepaste metrische gegevens kunnen laten zien waar agents de beoogde doelen missen. Definieer wat u wilt meten, metrische gegevens testen op basis van echte sessiegegevens en definities verfijnen op basis van de resultaten.

Welke gegevens worden gebruikt om aangepaste metrische gegevens te berekenen?

Bereken aangepaste metrische gegevens met behulp van een voorbeeld van eerdere agentsessies. In de berekening worden de gespreksberichten gebruikt die tijdens een sessie worden uitgewisseld.

Het AI-model classificeert sessiegegevens op basis van uw metrische definitie. De agent voegt resultaten samen in de steekproef om de algemene prestaties van de metriek voor de geselecteerde periode weer te geven.

Wat zijn de beperkingen van aangepaste metrische gegevens en hoe kunnen gebruikers de gevolgen van beperkingen minimaliseren?

Aangepaste statistieken maken geen gebruik van alle agentsessies. In plaats daarvan meten ze een voorbeeld van sessies uit de geselecteerde periode. Omdat resultaten zijn gebaseerd op een steekproef, behandelen ze als richtingsindicatoren in plaats van exacte cijfers.

Houd er rekening mee dat de metrische berekening is gebaseerd op de transcriptie van berichten bij het interpreteren van metrische gegevens. Vermijd conclusies te trekken over gedrag dat zich voornamelijk buiten berichten voordoet, zoals onderwerpen en hulpprogramma's.

Het AI-model kan sessies verkeerd classificeren. Geaggregeerde resultaten zijn over het algemeen nauwkeurig. Sessies die niet overeenkomen met een gedefinieerde categorie, worden in de terugvalcategorie (Overige) geplaatst. Als de testresultaten niet overeenkomen met de verwachte resultaten, kunt u de metrische beschrijving en categoriedefinities bijwerken.

Als u de instructies of configuratie van een agent aanzienlijk wijzigt nadat u een metrische waarde hebt gedefinieerd, wordt het bijgewerkte gedrag van de agent mogelijk niet meer nauwkeurig weergegeven. Controleer hun aangepaste statistieken nadat u ingrijpende wijzigingen aan de agent hebt aangebracht.

Welke beveiligingen gelden voor aangepaste metrische gegevens binnen Copilot Studio voor verantwoorde AI?

Agentmakers en -beheerders zijn de enigen die toegang hebben tot resultaten van aangepaste metrische gegevens. Gebruikers van de agent hebben geen toegang tot analyseresultaten.

U moet alle aangepaste meetwaarden controleren en goedkeuren voordat u opslaat. Tijdens de metrische definitie test u metrische gegevens op basis van voorbeeldsessiegegevens en bekijkt u afzonderlijke resultaten en modelredenering. Als de resultaten niet aan de verwachtingen voldoen, kunt u de metrische gegevens bijwerken of negeren. Metrische gegevens worden niet toegepast zonder uw expliciete bevestiging.

De door AI gegenereerde prompt die wordt gebruikt om sessies te classificeren, is zichtbaar voor u in de gebruikersinterface, zodat u kunt begrijpen hoe het model uw metrische definitie interpreteert. U kunt op elk gewenst moment aangepaste metrische gegevens bewerken of verwijderen.

In zeldzame gevallen kunnen afzonderlijke sessieclassificaties onnauwkeurig zijn. Resultaten moeten worden geïnterpreteerd in aggregaties in plaats van op het niveau van de afzonderlijke sessie.

Verwante inhoud

• Analytics
• Veelgestelde vragen over generatieve antwoorden