Ofte stillede spørgsmål om analyse

Denne artikel indeholder svar på ofte stillede spørgsmål om de AI-funktioner, der bruges i analysefunktioner i Copilot Studio.

Hvordan bruges generativ AI til analyse?

Copilot Studio bruger AI til at evaluere kvaliteten af generative svar og til at identificere mønstre i brugerforespørgsler via klyngedannelse. Disse klynger giver indsigt i agentens ydeevne.

Generative svar bruger de videnkilder, du vælger til at generere et svar. Funktionen indsamler også al feedback, du giver. Analytics bruger store sprogmodeller (LLMs) til at klassificere chatmeddelelserne mellem brugere og agenter i niveauer, der angiver kvaliteten af generative svarsvar. Disse klassificeringer samles for at give en oversigt over agentens ydeevne.

Klynger bruger LLM'er til at sortere brugernes meddelelser i grupper baseret på delte emner og give hver gruppe et beskrivende navn. Copilot Studio bruger navnene på disse klynger til at give forskellige typer indsigt, som du kan bruge til at forbedre din agent.

Kvaliteten af genererede svar

Hvad er den tilsigtede brug af svarkvaliteten?

Brug kvaliteten af svaranalysen til at forstå agentens ydeevne og identificere forbedringer. I øjeblikket kan du bruge analyser til at forstå, om kvaliteten af en agents generative svar opfylder dine forventninger.

Ud over den overordnede kvalitet identificerer kvaliteten af svaranalysen områder, hvor en agent klarer sig dårligt eller ikke opfylder dine tilsigtede mål. Identificer, hvor generative svar klarer sig dårligt, og tag skridt til at forbedre deres kvalitet.

Når du identificerer dårlig ydeevne, skal du følge de bedste fremgangsmåder, der kan hjælpe med at forbedre kvaliteten. Når du f.eks. har identificeret videnkilder med dårlig ydeevne, kan du redigere videnkilden eller opdele videnkilden i flere mere fokuserede kilder for at øge kvaliteten.

Hvilke data bruges til at oprette analyser for kvaliteten af svar?

Kvaliteten af svaranalysen er baseret på et eksempel på generative svarinteraktioner . Det kræver brugerforespørgslen, agentens svar og de relevante videnkilder, som den generative model bruger til det generative svar. Kvaliteten af svaranalysen bruger disse oplysninger til at evaluere, om den generative svarkvalitet er god, og hvis ikke, hvorfor kvaliteten er dårlig. Kvaliteten af svar kan f.eks. identificere ufuldstændige, irrelevante eller ikke fuldt funderede svar.

Hvad er begrænsningerne for kvaliteten af svaranalysen, og hvordan kan brugerne minimere effekten af disse begrænsninger?

  • Kvaliteten af svaranalysen bruger ikke alle generative svar. I stedet måler analyse et eksempel på brugeragentsessioner. Agenter med færre end det mindste antal vellykkede generative svar kan ikke modtage en kvalitet af svaranalyseoversigten.

  • Der er tilfælde, hvor analyser ikke evaluerer et individuelt svar præcist. På et aggregeret niveau skal det være nøjagtigt i de fleste tilfælde.

  • Kvalitets-af-respons-analyser giver ikke en opdeling af de specifikke forespørgsler, der førte til lav kvalitetspræstation. De indeholder heller ikke en opdeling af almindelige videnkilder eller emner, der blev brugt, da der forekommer svar af lav kvalitet.

  • Analyser beregnes ikke for svar, der bruger generativ viden.

  • Svarfuldstændighed er en af de målepunkter, der bruges til at vurdere svarkvaliteten. Denne måling måler, hvor fuldt svaret adresserer indholdet i det hentede dokument.

    Hvis systemet ikke henter et relevant dokument med yderligere information til spørgsmålet, evaluerer det ikke fuldstændighedsmålingen for det dokument.

Hvilke beskyttelser er der for kvaliteten af svaranalysen i Copilot Studio for ansvarlig AI?

Brugere af agenter kan ikke se analyseresultater. Resultaterne er kun tilgængelige for agentoprettere og administratorer.

Udviklere og administratorer kan kun bruge kvaliteten af svaranalysen til at se procentdelen af svar af god kvalitet og eventuelle foruddefinerede årsager til dårlig ydeevne. Resultaterne aggregeres og præsenteres som procenter og foruddefinerede kategorier.

Vi har testet analyse for kvaliteten af svar grundigt under udviklingen for at sikre en god ydeevne. Dog kan kvalitetsvurderinger af respons i sjældne tilfælde være unøjagtige.

Sentimentanalyse af samtaler

Hvad er den tilsigtede anvendelse af sentimentanalyse?

Brug synspunktsanalyse til at forstå niveauet af brugertilfredshed i samtalesessioner baseret på en AI-analyse af brugermeddelelser til agenten. Du kan forstå det overordnede synspunkt i sessionen (positiv, negativ eller neutral), undersøge årsagerne og træffe foranstaltninger til at løse problemet.

Hvilke data bruges til synspunktsanalyse?

Synspunktsanalyse bruger brugermeddelelser til agenten til et eksempelsæt af samtalesessioner.

Sentimentanalyse bruger disse oplysninger til at vurdere, om brugertilfredsheden under sessionen er positiv, negativ eller neutral. For eksempel kan en bruger bruge ord og en tonefald, der indikerer frustration eller utilfredshed baseret på interaktionen med agenten. I dette tilfælde klassificeres sessionen som negativ stemning.

Hvad er begrænsningerne ved sentimentanalyse, og hvordan kan brugerne afbøde disse begrænsninger?

Sentimentanalyse beregnes ikke ud fra alle samtalesessioner. I stedet måler analyse et eksempel på brugeragentsessioner. Agenter under et minimum antal daglige succesfulde generative svar kan ikke modtage en sentiment-score.

Sentimentanalyse er i øjeblikket afhængig af generative svar og kræver et minimum antal daglige succesfulde svar for at beregne sentiment-score for agenten.

For at beregne sentiment for en session skal der være mindst to brugerbeskeder. Derudover udføres sentimentanalyse ikke på sessioner, der overstiger i alt 26 beskeder (inklusive både bruger- og agentbeskeder) på grund af nuværende tekniske begrænsninger.

Sentimentanalyse giver ikke en opdeling af de specifikke brugerbeskeder, der førte til sentimentscoren.

Hvilke beskyttelser er der for synspunktsanalyse inden for Copilot Studio for ansvarlig kunstig intelligens?

Brugere af agenter kan ikke se analyseresultater. Resultaterne er kun tilgængelige for agentoprettere og administratorer.

Du kan kun bruge synspunktsanalyse til at få vist opdelingen af synspunkter på tværs af alle sessioner.

Vi testede sentimentanalysen grundigt under udviklingen for at sikre god præstation. Men i sjældne tilfælde kan vurderinger af stemninger være unøjagtige.

Temaer for brugerspørgsmål

Hvad er den tilsigtede brug af temaer?

Klyngedannelse efter temaer og analyse på temaniveau hjælper dig med hurtigt at forstå, hvad brugerne spørger om i stor skala. Denne funktion analyserer store mængder brugerforespørgsler og viser emner på højt niveau ("temaer"), der repræsenterer de vigtigste emner, som brugerne interesserer sig for. Denne analyse hjælper dig med at gå fra at undersøge individuelle samtaler til at identificere bredere mønstre, nye behov og interesseområder.

Ved at give et struktureret datadrevet overblik over brugeraktivitet hjælper temaanalyse dig med at:

  • Identificer de mest almindelige emner, som brugerne beskæftiger sig med.

  • Registrer huller i dækningen eller uklare oplevelser.

  • Overvåg, hvordan brugerinteresser udvikler sig over tid.

  • Prioriter forbedringer baseret på reel brugerefterspørgsel.

Hvordan fungerer temaanalysen på et højt niveau?

Denne funktion fungerer som en flertrinsproces, der løbende organiserer brugerforespørgsler i meningsfulde grupper. På et højt niveau omfatter denne proces to vigtige faser:

Oprettelse af temakandidater

Systemet analyserer et nyligt sæt brugerforespørgsler og identificerer kandidattemaer, der repræsenterer forskellige emner på højt niveau. Systemet registrerer mønstre, ligheder og tilbagevendende emner på tværs af forespørgsler for at udlede disse kandidater.

Forespørgselstildeling til temaer

Når systemet har genereret kandidattemaer, knyttes individuelle forespørgsler til det mest relevante tema. Hvert tema repræsenterer en samling relaterede brugerspørgsmål og udvikler sig, efterhånden som systemet behandler nye forespørgsler. Systemet tilpasser disse temaer over tid ved hjælp af signaler som semantisk lighed og brugerfeedback. Denne afgrænsningsproces gør det muligt for repræsentationen at tilpasse sig, efterhånden som brugerfunktionsmåden ændres.

Hvilke data bruges til at oprette temaer?

Brugerne genererer temaer fra forespørgsler, der resulterer i generative svar. Processen fokuserer på et nyligt aktivitetsvindue for at sikre, at temaer afspejler aktuelle brugerinteresser og udviklingstendenser. Efterhånden som nye data bliver tilgængelige, opdaterer systemet temaer for at holde dem relevante.

Da temaer er baseret på mønstre i brugerforespørgsler, afhænger funktionen af, at der er en meningsfuld aktivitetsmængde at analysere. I situationer, hvor der er begrænsede data eller meget fragmenterede forespørgsler, genererer systemet muligvis ikke temaer eller kan give begrænset indsigt.

Hvad er begrænsningerne ved temaanalyse, og hvordan kan jeg afhjælpe dem?

Temaanalyse er et datadrevet klyngesystem, og dets effektivitet afhænger af arten og mængden af brugerforespørgsler. Nogle potentielle begrænsninger omfatter:

  • Utilstrækkelige eller meget forskelligartede data kan føre til temaer, der er for brede eller smalle.

  • Nært beslægtede emner kan nogle gange være opdelt i separate temaer.

  • Ikke-relaterede forespørgsler kan undertiden grupperes sammen.

  • Ændringer i brugersproget over tid kan påvirke overensstemmelsen mellem temaer.

Sådan får du mest ud af temaer:

  • Gennemse jævnligt genererede temaer.

  • Giv feedback (f.eks. tommelfingre op eller ned) for at forbedre kvaliteten.

  • Fortolkning af temaer som retningsbestemt indsigt i stedet for præcise kategorier.

Hvilke ansvarlige AI-beskyttelse er på plads?

Temaklyngering og -analyse er designet med tanke på ansvarlige AI-principper.

  • Autoriserede udviklere og administratorer er de eneste, der kan se temaer.

  • Kun dem, der er godkendt til at se brugerforespørgsler, kan se deres opdeling i temaer.

  • Temaerne afspejler indholdet af brugerforespørgslerne, så de giver en ærlig oversigt, som opretterne og administratoren kan se.

Disse sikkerhedsforanstaltninger hjælper med at sikre, at temaer giver nyttig indsigt, samtidig med at du bevarer en sikker og kontrolleret oplevelse.

Brugerdefineret analyse af målepunkter

Hvad er den tilsigtede brug af brugerdefinerede målepunkter?

Brug brugerdefinerede målepunkter til at forstå, hvor meget dine samtaleagenter påvirker forretningsresultater. Disse målepunkter supplerer analyse af besparelser. Eksempler på brugerdefinerede målepunkter omfatter opløsningsfrekvens, klassificering af kundehensigt og andre domænespecifikke resultater.

Brugerdefinerede målepunkter kan vise, hvor agenter går glip af de tilsigtede mål. Definer, hvad der skal måles, test målepunkter i forhold til reelle sessionsdata, og afgræns definitioner baseret på resultaterne.

Hvilke data bruges til at beregne brugerdefinerede målepunkter?

Beregn brugerdefinerede målepunkter ved hjælp af et eksempel på tidligere agentsessioner. Beregningen bruger de samtalemeddelelser, der udveksles under en session.

AI-modellen klassificerer sessionsdata baseret på din metrikværdidefinition. Agenten aggregerer resultater på tværs af eksemplet for at få vist den overordnede metrikværdi for den valgte tidsperiode.

Hvad er begrænsningerne for brugerdefinerede målepunkter, og hvordan kan brugerne minimere virkningerne af begrænsninger?

Brugerdefinerede målepunkter bruger ikke alle agentsessioner. I stedet måler de et eksempel på sessioner fra den valgte tidsperiode. Da resultaterne er baseret på et eksempel, skal du behandle dem som retningsindikatorer i stedet for nøjagtige tal.

Tænk på, at beregningen af metrikværdien er baseret på transskriptionen af meddelelser, når der fortolkes målepunkter. Undgå at drage konklusioner om funktionsmåder, der primært forekommer uden for meddelelser, f.eks. emner og værktøjer.

AI-modellen kan klassificere sessioner forkert. Aggregerede resultater er generelt nøjagtige. Sessioner, der ikke stemmer overens med en defineret kategori, placeres i fallbackkategorien (Andet). Hvis testresultaterne ikke stemmer overens med de forventede resultater, kan du opdatere definitioner af metrikværdier og kategorier.

Hvis du ændrer en agents instruktioner eller konfiguration væsentligt, efter at du har defineret en metrikværdi, afspejler metrikværdien muligvis ikke længere præcist agentens opdaterede funktionsmåde. Gennemse deres brugerdefinerede målepunkter, når du har foretaget væsentlige ændringer af agenten.

Hvilke beskyttelser er der for brugerdefinerede målepunkter i Copilot Studio for ansvarlig AI?

Agentoprettere og -administratorer er de eneste, der kan få adgang til brugerdefinerede målepunkters resultater. Brugere af agenten har ikke adgang til analyseresultater.

Du gennemser og godkender alle brugerdefinerede målepunkter, før du gemmer. Under målingsdefinitionen tester du målepunkter i forhold til eksempelsessionsdata og gennemser individuelle resultater og modelræsondering. Hvis resultaterne ikke opfylder forventningerne, kan du opdatere eller kassere metrikværdien. Målepunkter anvendes ikke uden din eksplicitte bekræftelse.

Den AI-genererede prompt, der bruges til at klassificere sessioner, er synlig for dig i brugergrænsefladen, så du kan forstå, hvordan modellen fortolker din metrikværdidefinition. Du kan når som helst redigere eller fjerne brugerdefinerede målepunkter.

I sjældne tilfælde kan individuelle sessionsklassifikationer være unøjagtige. Resultaterne skal fortolkes samlet i stedet for på det individuelle sessionsniveau.

Relateret indhold

  • Last updated on