Kommentar
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
Den här artikeln besvarar vanliga frågor om AI-förmågor som används i analysfunktioner under fliken Copilot Studio Monitor.
Hur används generativ AI för analys?
Copilot Studio använder AI för att utvärdera kvaliteten på generativa svar och för att identifiera mönster i användarfrågor via klustring. Dessa kluster ger insikter om agentprestanda.
Generativa svar använder kunskapskällor som du väljer för att generera ett svar. Funktionen samlar även in all feedback du lämnar. Analys använder stora språkmodeller (LLM) för att klassificera chattmeddelanden mellan användare och agenter i nivåer som anger kvaliteten på generativa svarssvar. Dessa klassificeringar aggregeras för att ge en sammanfattning av agentprestanda.
Klustring använder LLM:er för att sortera användarnas meddelanden i grupper baserat på delade ämnen och ge varje grupp ett beskrivande namn. Copilot Studio använder namnen på dessa kluster för att tillhandahålla olika typer av insikter som du kan använda för att förbättra din agent.
Kvalitet på generativa svar
Vad är den avsedda användningen av svarskvalitet?
Använd svarsanalysens kvalitet för att förstå agentprestanda och identifiera förbättringar. För närvarande kan du använda analys för att förstå om kvaliteten på en agents generativa svar uppfyller dina förväntningar.
Utöver den övergripande kvaliteten identifierar kvaliteten på svarsanalys områden där en agent presterar dåligt eller inte kan uppnå dina avsedda mål. Identifiera var generativa svar presterar dåligt och vidta åtgärder för att förbättra deras kvalitet.
När du identifierar dåliga prestanda följer du metodtips som kan bidra till att förbättra kvaliteten. När du till exempel har identifierat kunskapskällor med dåliga prestanda kan du redigera kunskapskällan eller dela upp kunskapskällan i flera, mer fokuserade källor för ökad kvalitet.
Vilka data används för att skapa analyser för svarskvalitet?
Svarsanalysens kvalitet baseras på ett urval av generativa svarsinteraktioner . Det kräver användarfrågan, agentsvaret och relevanta kunskapskällor som den generativa modellen använder för generativt svar. Svarsanalysens kvalitet använder den informationen för att utvärdera om den generativa svarskvaliteten är bra, och om inte, varför kvaliteten är dålig. Svarskvaliteten kan till exempel identifiera ofullständiga, irrelevanta eller inte helt grundade svar.
Vilka är begränsningarna i svarsanalysens kvalitet och hur kan användarna minimera effekterna av dessa begränsningar?
Kvalitetsanalysen av svar använder inte alla generativa svar. I stället mäter analysen ett exempel på sessioner mellan användare och agent. Agenter med färre än det lägsta antalet lyckade generativa svar kan inte få en analytisk sammanfattning av svarens kvalitet.
Det finns fall då analysen inte utvärderar ett enskilt svar korrekt. På aggregerad nivå bör detta vara korrekt i de flesta fall.
Kvalitetsanalys för svar ger ingen genomgång av de specifika frågor som ledde till låg kvalitet på prestandan. De ger inte heller någon uppdelning av vanliga kunskapskällor eller ämnen som användes när svar av låg kvalitet inträffar.
Analys beräknas inte för svar som använder generativ kunskap.
Svarsfullständighet är en av de mått som används för att bedöma svarskvaliteten. Detta mått mäter hur fullständigt svaret adresserar innehållet i det hämtade dokumentet.
Om systemet inte hämtar ett relevant dokument med ytterligare information för frågan, utvärderar det inte fullständighetsmåttet för det dokumentet.
Vilka skydd finns för kvalitet på svarsanalyser inom Copilot Studio för ansvarsfull AI?
Användare av agenter ser inte analysresultat. Resultaten är endast tillgängliga för agentskapare och administratörer.
Tillverkare och administratörer kan bara använda svarsanalysens kvalitet för att se procentandelen svar av god kvalitet och eventuella fördefinierade orsaker till dåliga prestanda. Resultaten aggregeras och presenteras som procentandelar och fördefinierade kategorier.
Vi har testat analysen av svarskvalitet noggrant under utvecklingen för att säkerställa bra resultat. Men vid sällsynta tillfällen kan kvalitetsbedömningar av respons vara felaktiga.
Sentimentanalys för samtalssessioner
Vad är den avsedda användningen av sentimentanalys?
Använd attitydanalys för att förstå nivån av användarnöjdhet i konversationssessioner baserat på en AI-analys av användarmeddelanden till agenten. Du kan förstå sessionens övergripande attityd (positiv, negativ eller neutral), undersöka orsakerna och vidta åtgärder för att åtgärda den.
Vilka data används för attitydanalys?
Attitydanalys använder användarmeddelanden till agenten för en exempeluppsättning konversationssessioner.
Sentimentanalys använder den informationen för att utvärdera om användarnöjdheten under sessionen är positiv, negativ eller neutral. Till exempel kan en användare använda ord och en tonfall som indikerar frustration eller missnöje baserat på interaktionen med agenten. I detta fall klassificeras sessionen som negativ stämning.
Vilka är begränsningarna med sentimentanalys, och hur kan användare mildra dessa begränsningar?
Sentimentanalys beräknas inte med alla samtalssessioner. I stället mäter analysen ett exempel på sessioner mellan användare och agent. Agenter under ett minimiantal dagliga framgångsrika genererade svar kan inte få något sentimentvärde.
Sentimentanalys är för närvarande beroende av generativa svar och kräver ett minimum av dagliga framgångsrika svar för att beräkna agentens sentimentpoäng.
För att beräkna sentiment för en session måste det finnas minst två användarmeddelanden. Dessutom, på grund av nuvarande tekniska begränsningar, utförs inte sentimentanalys på sessioner som överstiger totalt 26 meddelanden (inklusive både användar- och agentmeddelanden)
Sentimentanalys ger ingen uppdelning av de specifika användarmeddelanden som ledde till sentimentpoängen.
Vilka skydd finns för attitydanalys inom Copilot Studio för ansvarsfull AI?
Användare av agenter ser inte analysresultat. Resultaten är endast tillgängliga för agentskapare och administratörer.
Du kan bara använda attitydanalys för att se uppdelningen av sentiment i alla sessioner.
Vi testade sentimentanalys noggrant under utvecklingen för att säkerställa god prestanda. Men vid sällsynta tillfällen kan sentimentbedömningar vara felaktiga.
Teman för användarfrågor
Vad är den avsedda användningen av teman?
Klustring efter teman och analys på temanivå hjälper dig att snabbt förstå vad användarna frågar om i stor skala. Den här funktionen analyserar stora mängder användarfrågor och ytbehandlar ämnen på hög nivå ("teman") som representerar de huvudämnen som användarna bryr sig om. Den här analysen hjälper dig att gå från att inspektera enskilda konversationer till att identifiera bredare mönster, nya behov och intressanta områden.
Genom att tillhandahålla en strukturerad, datadriven översikt över användaraktivitet hjälper analys på temanivå dig:
Identifiera de vanligaste ämnena som användarna interagerar med.
Identifiera luckor i täckningen eller otydliga upplevelser.
Övervaka hur användarintressen utvecklas över tid.
Prioritera förbättringar baserat på verklig användarefterfrågan.
Hur fungerar temaanalys på hög nivå?
Den här funktionen fungerar som en process med flera steg som kontinuerligt organiserar användarfrågor i meningsfulla grupper. På hög nivå innehåller den här processen två viktiga faser:
Generering av temakandidat
Systemet analyserar en ny uppsättning användarfrågor och identifierar kandidatteman som representerar distinkta ämnen på hög nivå. Systemet identifierar mönster, likheter och återkommande ämnen mellan frågor för att härleda dessa kandidater.
Attribuering av fråga till teman
När systemet genererar kandidatteman associeras enskilda frågor med det mest relevanta temat. Varje tema representerar en samling relaterade användarfrågor och utvecklas när systemet bearbetar nya frågor. Systemet förfinar dessa teman över tid med hjälp av signaler som semantisk likhet och användarfeedback. Med den här förfiningsprocessen kan representationen anpassas när användarbeteendet ändras.
Vilka data används för att skapa teman?
Användare genererar teman från frågor som resulterar i generativa svar. Processen fokuserar på ett nytt aktivitetsfönster för att säkerställa att teman återspeglar aktuella användarintressen och trender som utvecklas. När nya data blir tillgängliga uppdaterar systemet teman för att hålla dem relevanta.
Eftersom Teman förlitar sig på mönster i användarfrågor beror funktionen på att ha en meningsfull mängd aktivitet att analysera. I situationer där det finns begränsade data eller mycket fragmenterade frågor kanske systemet inte genererar teman eller ger begränsad insikt.
Vilka är begränsningarna i temaanalysen och hur kan jag minimera dem?
Temaanalys är ett datadrivet klustersystem, och dess effektivitet beror på typen och volymen av användarfrågor. Några potentiella begränsningar är:
Otillräckliga eller mycket varierande data kan leda till teman som är för breda eller smala.
Närbesläktade ämnen kan ibland delas upp i separata teman.
Orelaterade frågor kan ibland grupperas tillsammans.
Förändringar i användarens språk över tid kan påverka temans konsekvens.
Så här får du ut mesta möjliga av teman:
Granska regelbundet genererade teman.
Ge feedback (till exempel tummen upp eller ner) för att förbättra kvaliteten.
Tolka teman som riktningsinsikter snarare än exakta kategoriseringar.
Vilka ansvarsfulla AI-skydd finns på plats?
Temakluster och analys är utformade med ansvarsfulla AI-principer i åtanke.
Auktoriserade tillverkare och administratörer är de enda som kan se teman.
Endast de som har behörighet att se användarfrågorna kan se deras uppdelning i teman.
Temana återspeglar innehållet i användarfrågorna, så de ger en ärlig sammanfattning som skaparna och administratörerna kan se.
Dessa skydd hjälper till att säkerställa att Teman ger användbara insikter samtidigt som en säker och kontrollerad upplevelse upprätthålls.
Analys av anpassade mått
Vad är den avsedda användningen av anpassade mått?
Använd anpassade måttanalyser för att förstå hur mycket dina konversationsagenter påverkar affärsresultat. Dessa mått kompletterar besparingsanalyser. Exempel på anpassade mått är matchningshastighet, klassificering av kundinsikter och andra domänspecifika resultat.
Anpassade mått kan visa var agenter missar avsedda mål. Definiera vad du vill mäta, testa mått mot verkliga sessionsdata och förfina definitioner baserat på resultaten.
Vilka data används för att beräkna anpassade mått?
Beräkna anpassade mått med hjälp av ett exempel på tidigare agentsessioner. Beräkningen använder konversationsmeddelanden som utbyts under en session.
AI-modellen klassificerar sessionsdata baserat på din måttdefinition. Agenten sammanställer resultat från urvalet för att visa den övergripande metriksens prestanda för den valda tidsperioden.
Vilka är begränsningarna i anpassade mått och hur kan användarna minimera effekterna av begränsningar?
Anpassade mått använder inte alla agentsessioner. I stället mäter de ett urval av sessioner från den valda tidsperioden. Eftersom resultaten baseras på ett exempel behandlar du dem som riktningsindikatorer snarare än exakta siffror.
Tänk på att måttberäkningen baseras på meddelandenas avskrift vid tolkning av mått. Undvik att dra slutsatser om beteenden som främst förekommer utanför meddelanden, till exempel ämnen och verktyg.
AI-modellen kan felklassificera sessioner. Aggregerade resultat är i allmänhet korrekta. Sessioner som inte matchar en definierad kategori placeras i kategorin reserv (Övrigt). Om testresultaten inte matchar förväntade resultat kan du uppdatera måttbeskrivningen och kategoridefinitionerna.
Om du avsevärt ändrar en agent instruktioner eller konfiguration efter att ha definierat ett mått, kanske måttet inte längre korrekt återspeglar agentens uppdaterade beteende. Granska de anpassade mätvärdena efter att ha gjort omfattande ändringar i agenten.
Vilka skydd finns för anpassade mått i Copilot Studio för ansvarsfull AI?
Agentskapare och administratörer är de enda som har åtkomst till anpassade måttresultat. Användare av agenten har inte åtkomst till analysresultat.
Du granskar och godkänner alla anpassade mått innan du sparar. Under måttdefinitionen testar du mått mot exempelsessionsdata och granskar enskilda resultat och modellskäl. Om resultaten inte uppfyller förväntningarna kan du uppdatera eller ta bort måttet. Mätvärden används inte utan din uttryckliga bekräftelse.
Den AI-genererade prompten som används för att klassificera sessioner är synlig för dig i användargränssnittet, så att du kan förstå hur modellen tolkar din måttdefinition. Du kan när som helst redigera eller ta bort anpassade mått.
I sällsynta fall kan enskilda sessionsklassificeringar vara felaktiga. Resultaten bör tolkas aggregerat i stället för på enskild sessionsnivå.