Not
Åtkomst till denna sida kräver auktorisation. Du kan prova att logga in eller byta katalog.
Åtkomst till denna sida kräver auktorisation. Du kan prova att byta katalog.
I de här vanliga frågorna beskrivs hur AI påverkar hjälpfunktionerna för analys i Copilot Studio.
Hur används generativ AI för analys?
Copilot Studio använder AI för att mäta kvaliteten på generativa svars och för att skapa kluster som används för att ge insikter om agentresultatet.
Generativa svar använder kunskapskällor som du väljer för att generera ett svar. Funktionen samlar också in all feedback du ger. Analys använder stora språkmodeller (LLM) för att klassificera chattmeddelanden mellan användare och agenter i nivåer som anger kvaliteten på generativa svar. Copilot Studio sammanställer dessa indikatorer för att ge skaparna en sammanfattning av en agents totala prestation.
Klustring använder LLM:er för att sortera användarnas meddelanden i grupper baserat på delade ämnen och ge varje grupp ett beskrivande namn. Copilot Studio använder namnen på dessa kluster för att tillhandahålla olika typer av insikter som du kan använda för att förbättra din agent.
Kvalitet på svar för generativa svar
Vad är kvaliteten på svaret som är avsett att användas?
Tillverkare använder svarsanalysens kvalitet för att identifiera insikter om agentanvändning och resultat och sedan skapa åtgärder för agentförbättring. För närvarande kan analys användas för att förstå om kvaliteten på en agents generativa svar uppfyller tillverkarens förväntningar.
Utöver den övergripande kvaliteten identifierar kvalitetsanalys av respons områden där en agent presterar dåligt eller misslyckas med att uppnå tillverkarens avsedda mål. Skapare kan definiera områden där generativa svar presterar dåligt och vidta åtgärder för att förbättra deras kvalitet.
När du identifierar dåligt resultat finns det dessutom metodtips som kan bidra till att förbättra kvaliteten. Efter att ha identifierat kunskapskällor med dåligt resultat kan en tillverkare till exempel redigera kunskapskällan eller dela upp kunskapskällan i flera, mer fokuserade källor för ökad kvalitet.
Vilka data används för att skapa analyser för svarskvalitet?
Svarsanalysens kvalitet beräknas med hjälp av ett urval av svar för generativa svar. Det kräver användarfrågan, agentsvaret och relevanta kunskapskällor som den generativa modellen använder för generativt svar.
Svarsanalysens kvalitet använder den informationen för att utvärdera om kvaliteten på generativa svar är bra, och om inte, varför kvaliteten är dålig. Svarskvaliteten kan till exempel identifiera ofullständiga, irrelevanta eller inte helt grundade svar.
Vilka är begränsningarna i svarsanalysens kvalitet och hur kan användarna minimera effekten av begränsningarna?
Svarsanalysens kvalitet beräknas inte utifrån alla generativa svar. I stället mäter analysen ett exempel på sessioner mellan användare och agent. Agenter under ett minsta antal lyckade generativa svar kan inte få en sammanfattning av svarsanalysens kvalitet.
Det finns fall då analysen inte utvärderar ett enskilt svar korrekt. På aggregerad nivå bör detta vara korrekt i de flesta fall.
Kvalitetsanalys för svar ger ingen genomgång av de specifika frågor som ledde till låg kvalitet på prestandan. Den ger inte heller någon uppdelning av vanliga kunskapskällor eller ämnen som användes när svar av låg kvalitet inträffar.
Analysen beräknas inte för svar som använder generativ kunskap.
Svarsfullständighet är en av de mått som används för att bedöma svarskvaliteten. Detta mått mäter hur fullständigt svaret adresserar innehållet i det hämtade dokumentet.
Om systemet inte hämtar ett relevant dokument med ytterligare information för frågan, utvärderar det inte fullständighetsmåttet för det dokumentet.
Vilka skydd finns för kvalitetsanalys av respons inom Copilot Studio för ansvarsfull AI?
Användare av agenter ser inte analysresultaten, de är bara tillgängliga för agenttillverkare och administratörer.
Tillverkare och administratörer kan bara använda svarsanalysens kvalitet för att se procentandelen svar av god kvalitet och eventuella fördefinierade orsaker till dåliga resultat. Tillverkare kan bara se procentandelen svar av god kvalitet och fördefinierade orsaker.
Vi har testat analysen av svarskvalitet noggrant under utvecklingen för att säkerställa bra resultat. Men vid sällsynta tillfällen kan kvalitetsbedömningar av respons vara felaktiga.
Sentimentanalys för samtalssessioner
Vad är den avsedda användningen av sentimentanalys?
Skapare använder sentimentanalys för att förstå nivån av användartillfredsställelse i samtalssessioner baserat på en AI-analys av användarens meddelanden till agenten. Skapare kan förstå sessionens övergripande stämning (positiv, negativ eller neutral), undersöka orsakerna och vidta åtgärder för att hantera den.
Vilken data används för att definiera känslor i en samtalssession?
Copilot Studio beräknar sentimentanalys baserat på användarmeddelanden till agenten för ett urval av samtalssessioner.
Sentimentanalys använder den informationen för att utvärdera om användarnöjdheten under sessionen är positiv, negativ eller neutral. Till exempel kan en användare använda ord och en tonfall som indikerar frustration eller missnöje baserat på interaktionen med agenten. I detta fall klassificeras sessionen som negativ stämning.
Vilka är begränsningarna med sentimentanalys, och hur kan användare mildra dessa begränsningar?
Sentimentanalys beräknas inte med alla samtalssessioner. I stället mäter analysen ett exempel på sessioner mellan användare och agent. Agenter under ett minimum av dagliga framgångsrika generativa svar kan inte få något sentiment-poäng.
Sentimentanalys är för närvarande beroende av generativa svar och kräver ett minimum av dagliga framgångsrika svar för att beräkna agentens sentimentpoäng.
För att beräkna sentiment för en session måste det finnas minst två användarmeddelanden. Dessutom, på grund av nuvarande tekniska begränsningar, utförs inte sentimentanalys på sessioner som överstiger totalt 26 meddelanden (inklusive både användar- och agentmeddelanden)
Sentimentanalys ger ingen uppdelning av de specifika användarmeddelanden som ledde till sentimentpoängen.
Vilka skydd finns för sentimentanalys inom Copilot Studio för ansvarsfull AI?
Användare av agenter ser inte analysresultaten, de är bara tillgängliga för agenttillverkare och administratörer.
Skapare och administratörer kan bara använda sentimentanalys för att se uppdelningen av sentiment över alla sessioner.
Vi testade sentimentanalys noggrant under utvecklingen för att säkerställa god prestanda. Men vid sällsynta tillfällen kan sentimentbedömningar vara felaktiga.
Teman för användarfrågor
Vad är den avsedda användningen med teman?
Den här funktionen analyserar automatiskt stora uppsättningar användarfrågor och grupperar dem i ämnen på hög nivå som kallas teman. Varje tema representerar en enda högnivåanvändare som frågas om. Teman ger en oövervakad, datadriven vy över användarinnehåll. Den här vyn hjälper teamen att förstå vad användarna bryr sig mest om utan det manuella steget att granska tusentals frågor.
Vilka data används för att skapa kluster?
Funktionen Teman använder användarfrågor som utlöser generativa svar. Teman analyserar alla frågor från de senaste sju dagarna för att generera nya föreslagna teman.
Teman använder semantisk likhet med gruppfrågor. En språkmodell används sedan för att generera rubriken och beskrivningen för varje kluster. Feedback från skapare (till exempel tummen upp/ner) samlas också in för att förbättra klustringskvaliteten.
Vilka är begränsningarna i klustring för teman och hur kan användarna lindra dessa begränsningar?
Lyckad klustring till teman beror på frågevolymen. Om det inte finns tillräckligt med frågor eller om frågorna är för orelaterade till varandra kan Copilot Studio klustra frågor till teman som är alltför breda eller alltför smala.
Teman kan ibland dela liknande ämnen eller slå samman orelaterade ämnen.
Språkväxling i frågor kan påverka konsekvensen i kluster över tid.
Skapare kan granska teman regelbundet och ge feedback för att förbättra namngivningskvaliteten.
Vilka skydd för teman finns på plats i Copilot Studio när det gäller ansvarsfull AI?
Teman är bara synliga för skapare och administratörer. Innehållsmoderering tillämpas när namn och beskrivningar genereras för att minska risken för skadliga eller olämpliga utdata.