Bemærk
Adgang til denne side kræver godkendelse. Du kan prøve at logge på eller ændre mapper.
Adgang til denne side kræver godkendelse. Du kan prøve at ændre mapper.
Denne artikel besvarer ofte stillede spørgsmål om AI-funktionerne, der bruges i analysefunktioner i fanen Copilot Studio Monitor.
Hvordan bruges generativ AI til analyse?
Copilot Studio bruger AI til at evaluere kvaliteten af generative svar og til at identificere mønstre i brugerforespørgsler via klyngedannelse. Disse klynger giver indsigt i agentens ydeevne.
Generative svar bruger de videnkilder, du vælger til at generere et svar. Funktionen indsamler også al feedback, du giver. Analytics bruger store sprogmodeller (LLMs) til at klassificere chatmeddelelserne mellem brugere og agenter i niveauer, der angiver kvaliteten af generative svarsvar. Disse klassificeringer samles for at give en oversigt over agentens ydeevne.
Klynger bruger LLM'er til at sortere brugernes meddelelser i grupper baseret på delte emner og give hver gruppe et beskrivende navn. Copilot Studio bruger navnene på disse klynger til at give forskellige typer indsigt, som du kan bruge til at forbedre din agent.
Kvaliteten af genererede svar
Hvad er den tilsigtede brug af svarkvaliteten?
Brug kvaliteten af svaranalysen til at forstå agentens ydeevne og identificere forbedringer. I øjeblikket kan du bruge analyser til at forstå, om kvaliteten af en agents generative svar opfylder dine forventninger.
Ud over den overordnede kvalitet identificerer kvaliteten af svaranalysen områder, hvor en agent klarer sig dårligt eller ikke opfylder dine tilsigtede mål. Identificer, hvor generative svar klarer sig dårligt, og tag skridt til at forbedre deres kvalitet.
Når du identificerer dårlig ydeevne, skal du følge de bedste fremgangsmåder, der kan hjælpe med at forbedre kvaliteten. Når du f.eks. har identificeret videnkilder med dårlig ydeevne, kan du redigere videnkilden eller opdele videnkilden i flere mere fokuserede kilder for at øge kvaliteten.
Hvilke data bruges til at oprette analyser for kvaliteten af svar?
Kvaliteten af svaranalysen er baseret på et eksempel på generative svarinteraktioner . Det kræver brugerforespørgslen, agentens svar og de relevante videnkilder, som den generative model bruger til det generative svar. Kvaliteten af svaranalysen bruger disse oplysninger til at evaluere, om den generative svarkvalitet er god, og hvis ikke, hvorfor kvaliteten er dårlig. Kvaliteten af svar kan f.eks. identificere ufuldstændige, irrelevante eller ikke fuldt funderede svar.
Hvad er begrænsningerne for kvaliteten af svaranalysen, og hvordan kan brugerne minimere effekten af disse begrænsninger?
Kvaliteten af svaranalysen bruger ikke alle generative svar. I stedet måler analyse et eksempel på brugeragentsessioner. Agenter med færre end det mindste antal vellykkede generative svar kan ikke modtage en kvalitet af svaranalyseoversigten.
Der er tilfælde, hvor analyser ikke evaluerer et individuelt svar præcist. På et aggregeret niveau skal det være nøjagtigt i de fleste tilfælde.
Kvalitets-af-respons-analyser giver ikke en opdeling af de specifikke forespørgsler, der førte til lav kvalitetspræstation. De indeholder heller ikke en opdeling af almindelige videnkilder eller emner, der blev brugt, da der forekommer svar af lav kvalitet.
Analyser beregnes ikke for svar, der bruger generativ viden.
Svarfuldstændighed er en af de målepunkter, der bruges til at vurdere svarkvaliteten. Denne måling måler, hvor fuldt svaret adresserer indholdet i det hentede dokument.
Hvis systemet ikke henter et relevant dokument med yderligere information til spørgsmålet, evaluerer det ikke fuldstændighedsmålingen for det dokument.
Hvilke beskyttelser er der for kvaliteten af svaranalysen i Copilot Studio for ansvarlig AI?
Brugere af agenter kan ikke se analyseresultater. Resultaterne er kun tilgængelige for agentoprettere og administratorer.
Udviklere og administratorer kan kun bruge kvaliteten af svaranalysen til at se procentdelen af svar af god kvalitet og eventuelle foruddefinerede årsager til dårlig ydeevne. Resultaterne aggregeres og præsenteres som procenter og foruddefinerede kategorier.
Vi har testet analyse for kvaliteten af svar grundigt under udviklingen for at sikre en god ydeevne. Dog kan kvalitetsvurderinger af respons i sjældne tilfælde være unøjagtige.
Sentimentanalyse af samtaler
Hvad er den tilsigtede anvendelse af sentimentanalyse?
Brug synspunktsanalyse til at forstå niveauet af brugertilfredshed i samtalesessioner baseret på en AI-analyse af brugermeddelelser til agenten. Du kan forstå det overordnede synspunkt i sessionen (positiv, negativ eller neutral), undersøge årsagerne og træffe foranstaltninger til at løse problemet.
Hvilke data bruges til synspunktsanalyse?
Synspunktsanalyse bruger brugermeddelelser til agenten til et eksempelsæt af samtalesessioner.
Sentimentanalyse bruger disse oplysninger til at vurdere, om brugertilfredsheden under sessionen er positiv, negativ eller neutral. For eksempel kan en bruger bruge ord og en tonefald, der indikerer frustration eller utilfredshed baseret på interaktionen med agenten. I dette tilfælde klassificeres sessionen som negativ stemning.
Hvad er begrænsningerne ved sentimentanalyse, og hvordan kan brugerne afbøde disse begrænsninger?
Sentimentanalyse beregnes ikke ud fra alle samtalesessioner. I stedet måler analyse et eksempel på brugeragentsessioner. Agenter under et minimum antal daglige succesfulde generative svar kan ikke modtage en sentiment-score.
Sentimentanalyse er i øjeblikket afhængig af generative svar og kræver et minimum antal daglige succesfulde svar for at beregne sentiment-score for agenten.
For at beregne sentiment for en session skal der være mindst to brugerbeskeder. Derudover udføres sentimentanalyse ikke på sessioner, der overstiger i alt 26 beskeder (inklusive både bruger- og agentbeskeder) på grund af nuværende tekniske begrænsninger.
Sentimentanalyse giver ikke en opdeling af de specifikke brugerbeskeder, der førte til sentimentscoren.
Hvilke beskyttelser er der for synspunktsanalyse inden for Copilot Studio for ansvarlig kunstig intelligens?
Brugere af agenter kan ikke se analyseresultater. Resultaterne er kun tilgængelige for agentoprettere og administratorer.
Du kan kun bruge synspunktsanalyse til at få vist opdelingen af synspunkter på tværs af alle sessioner.
Vi testede sentimentanalysen grundigt under udviklingen for at sikre god præstation. Men i sjældne tilfælde kan vurderinger af stemninger være unøjagtige.
Temaer for brugerspørgsmål
Hvad er den tilsigtede brug af temaer?
Klyngedannelse efter temaer og analyse på temaniveau hjælper dig med hurtigt at forstå, hvad brugerne spørger om i stor skala. Denne funktion analyserer store mængder brugerforespørgsler og viser emner på højt niveau ("temaer"), der repræsenterer de vigtigste emner, som brugerne interesserer sig for. Denne analyse hjælper dig med at gå fra at undersøge individuelle samtaler til at identificere bredere mønstre, nye behov og interesseområder.
Ved at give et struktureret datadrevet overblik over brugeraktivitet hjælper temaanalyse dig med at:
Identificer de mest almindelige emner, som brugerne beskæftiger sig med.
Registrer huller i dækningen eller uklare oplevelser.
Overvåg, hvordan brugerinteresser udvikler sig over tid.
Prioriter forbedringer baseret på reel brugerefterspørgsel.
Hvordan fungerer temaanalysen på et højt niveau?
Denne funktion fungerer som en flertrinsproces, der løbende organiserer brugerforespørgsler i meningsfulde grupper. På et højt niveau omfatter denne proces to vigtige faser:
Oprettelse af temakandidater
Systemet analyserer et nyligt sæt brugerforespørgsler og identificerer kandidattemaer, der repræsenterer forskellige emner på højt niveau. Systemet registrerer mønstre, ligheder og tilbagevendende emner på tværs af forespørgsler for at udlede disse kandidater.
Forespørgselstilskrivning til temaer
Når systemet har genereret kandidattemaer, knyttes individuelle forespørgsler til det mest relevante tema. Hvert tema repræsenterer en samling relaterede brugerspørgsmål og udvikler sig, efterhånden som systemet behandler nye forespørgsler. Systemet tilpasser disse temaer over tid ved hjælp af signaler som semantisk lighed og brugerfeedback. Denne afgrænsningsproces gør det muligt for repræsentationen at tilpasse sig, efterhånden som brugerfunktionsmåden ændres.
Hvilke data bruges til at oprette temaer?
Brugerne genererer temaer fra forespørgsler, der resulterer i generative svar. Processen fokuserer på et nyligt aktivitetsvindue for at sikre, at temaer afspejler aktuelle brugerinteresser og udviklingstendenser. Efterhånden som nye data bliver tilgængelige, opdaterer systemet temaer for at holde dem relevante.
Da temaer er baseret på mønstre i brugerforespørgsler, afhænger funktionen af, at der er en meningsfuld aktivitetsmængde at analysere. I situationer, hvor der er begrænsede data eller meget fragmenterede forespørgsler, genererer systemet muligvis ikke temaer eller kan give begrænset indsigt.
Hvad er begrænsningerne ved temaanalyse, og hvordan kan jeg afhjælpe dem?
Temaanalyse er et datadrevet klyngesystem, og dets effektivitet afhænger af arten og mængden af brugerforespørgsler. Nogle potentielle begrænsninger omfatter:
Utilstrækkelige eller meget forskelligartede data kan føre til temaer, der er for brede eller smalle.
Nært beslægtede emner kan nogle gange være opdelt i separate temaer.
Ikke-relaterede forespørgsler kan undertiden grupperes sammen.
Ændringer i brugersproget over tid kan påvirke overensstemmelsen mellem temaer.
Sådan får du mest ud af temaer:
Gennemse jævnligt genererede temaer.
Giv feedback (f.eks. tommelfingre op eller ned) for at forbedre kvaliteten.
Fortolkning af temaer som retningsbestemt indsigt i stedet for præcise kategorier.
Hvilke ansvarlige AI-beskyttelse er på plads?
Temaklyngering og -analyse er designet med tanke på ansvarlige AI-principper.
Autoriserede udviklere og administratorer er de eneste, der kan se temaer.
Kun dem, der er godkendt til at se brugerforespørgsler, kan se deres opdeling i temaer.
Temaerne afspejler indholdet af brugerforespørgslerne, så de giver en ærlig oversigt, som opretterne og administratoren kan se.
Disse sikkerhedsforanstaltninger hjælper med at sikre, at temaer giver nyttig indsigt, samtidig med at du bevarer en sikker og kontrolleret oplevelse.
Brugerdefineret analyse af målepunkter
Hvad er den tilsigtede brug af brugerdefinerede målepunkter?
Brug analyse af brugerdefinerede målinger til at forstå, hvordan dine samtaleagenter påvirker forretningsresultater. Eksempler inkluderer opfølgningsrate, klassificering af kundeintention og andre målinger, der er specifikke for din forretningssituation.
Brugerdefinerede målepunkter kan vise, hvor agenter går glip af de tilsigtede mål. Definér, hvad der skal måles, test metrikken mod eksempler på sessionsdata, og forfin beskrivelsen baseret på resultaterne.
Hvilke data bruges til at beregne brugerdefinerede målepunkter?
Brugerdefinerede metrikker bruger de samtalebeskeder, der udveksles under en session, inklusive indhold sendt i Adaptive Card-beskeder. De bruger ikke detaljer om værktøjskald eller information, der er gemt i eksterne systemer.
Preview vurderer et udvalg af historiske sessioner, så du kan teste metrikken, før du gemmer den. Efter du har gemt metrikken, beregner Copilot Studio den for alle relevante sessioner fra de foregående syv dage og beregner den derefter dagligt for nye sessioner.
Afhængigt af målingsbeskrivelsen klassificerer Copilot Studio sessionerne i genererede kategorier eller tildeler en numerisk score. Numeriske metrikker beregner en gennemsnitlig score. Et nulnumerisk resultat betyder, at sessionen ikke har data for metrikken; den repræsenterer ikke en score på nul.
Hvad er begrænsningerne for brugerdefinerede målepunkter, og hvordan kan brugerne minimere virkningerne af begrænsninger?
Brugerdefinerede målinger kan kun evaluere information i samtalebeskederne. De kan ikke verificere udfald, der indtræffer uden for samtalen, såsom en transaktion, der senere gennemføres i et eksternt system. En metrik kan også give begrænsede resultater, når dens beskrivelse er vag, eller når de tilgængelige sessioner ikke indeholder de nødvendige oplysninger til at beregne den.
Hver metrik giver ét resultat for hver relevant session. Numeriske målinger understøtter scorer med gennemsnitlig aggregering; de udtrækker og aggregerer ikke transaktionsbeløb eller andre vilkårlige numeriske værdier.
AI-modellen kan fejlklassificere eller fejlvurdere individuelle sessioner. Gennemgå forhåndsvisningsresultaterne og begrundelsen, før du gemmer en metrik. Sessioner, der ikke matcher en genereret klassifikationskategori, placeres i fallback-kategorien Andet. Hvis forhåndsvisningsresultaterne ikke matcher de forventede resultater, forfin beskrivelsen af metrikken og forhåndsvis den igen.
Hvis du ændrer en agents instruktioner eller konfiguration væsentligt, efter at du har defineret en metrikværdi, afspejler metrikværdien muligvis ikke længere præcist agentens opdaterede funktionsmåde. Gennemse deres brugerdefinerede målepunkter, når du har foretaget væsentlige ændringer af agenten.
Hvilke beskyttelser er der for brugerdefinerede målepunkter i Copilot Studio for ansvarlig AI?
Folk, der har adgang til agentens Monitor-side , kan se dens samlede tilpassede metrikresultater. Bot Transcript Viewer-sikkerhedsrollen er påkrævet for at åbne beskederne for en individuel session. Brugere, der interagerer med agenten, har ikke adgang til dens analyseresultater.
Du gennemser og godkender alle brugerdefinerede målepunkter, før du gemmer. Under metrikdefinitionen tester du metrikken mod prøvesessionsdata og gennemgår individuelle resultater og modelræsonnement. Hvis resultaterne ikke opfylder forventningerne, kan du opdatere eller kassere metrikværdien. Copilot Studio beregner ikke en gemt metrik uden din eksplicitte bekræftelse.
Den AI-genererede beregningsprompt er synlig og skrivebeskyttet, så du kan forstå, hvordan Copilot Studio fortolker din metrikbeskrivelse. Du kan redigere eller slette brugerdefinerede metrikker.
Klassificeringer for individuelle sessioner, point og begrundelser kan være unøjagtige. Gennemgå resultaterne samlet og forfin beskrivelsen af metrikken, når forhåndsvisningen ikke matcher din tilsigtede måling.