Vanlige spørsmål om analyse

Denne artikkelen svarer på vanlige spørsmål om AI-funksjonene som brukes i analysefunksjoner i Copilot Studio.

Hvordan brukes generativ kunstig intelligens til analyse?

Copilot Studio bruker KUNSTIG INTELLIGENS til å evaluere kvaliteten på generative svar og identifisere mønstre i brukerspørringer gjennom klynger. Disse klyngene gir innsikt i agentytelse.

Generative svar bruker kunnskapskilder du velger for å generere et svar. Funksjonen samler også inn tilbakemeldinger du gir. Analyse bruker store språkmodeller (LLM-er) til å klassifisere chat-meldinger mellom brukere og agenter til nivåer som angir kvaliteten på generative svarsvar. Disse klassifiseringene aggregeres for å gi et sammendrag av agentytelse.

Klynger bruker LLM-er til å sortere brukernes meldinger i grupper basert på delte emner og gi hver gruppe et beskrivende navn. Copilot Studio bruker navnene på disse klyngene til å gi forskjellige typer innsikter du kan bruke til å forbedre agenten din.

Kvaliteten på generative svar

Hva er den tiltenkte bruken av kvaliteten på responsen?

Bruk kvaliteten på responsanalyse for å forstå agentytelse og identifisere forbedringer. For øyeblikket kan du bruke analyser til å forstå om kvaliteten på en agents generative svar oppfyller forventningene dine.

I tillegg til generell kvalitet identifiserer kvaliteten på responsanalyse områder der en agent yter dårlig eller ikke klarer å utføre de tiltenkte målene dine. Identifiser hvor generative svar fungerer dårlig, og ta skritt for å forbedre kvaliteten.

Når du identifiserer dårlig ytelse, følger du anbefalte fremgangsmåter som kan bidra til å forbedre kvaliteten. Etter å ha identifisert kunnskapskilder med dårlig ytelse, kan du for eksempel redigere kunnskapskilden eller dele kunnskapskilden i flere, mer fokuserte kilder for økt kvalitet.

Hvilke data brukes til å opprette analyser for svarkvalitet?

Kvaliteten på responsanalysen er basert på et utvalg av generative svarsamhandlinger . Det krever brukerspørringen, agentsvaret og de relevante kunnskapskildene som den generative modellen bruker for det generative svaret. Kvaliteten på responsanalysen bruker denne informasjonen til å vurdere om den generative svarkvaliteten er god, og hvis ikke, hvorfor kvaliteten er dårlig. Kvaliteten på svaret kan for eksempel identifisere ufullstendige, irrelevante eller ikke fullstendig grunnfestede svar.

Hva er begrensningene for kvaliteten på responsanalysen, og hvordan kan brukere minimere effektene av disse begrensningene?

  • Kvaliteten på responsanalysen bruker ikke alle generative svar. Analyser måler i stedet et utvalg av brukeragentøkter. Agenter med færre enn minimum antall vellykkede generative svar kan ikke motta en kvalitet på responsanalysesammendrag.

  • Det finnes tilfeller der analyser ikke evaluerer et individuelt svar nøyaktig. På et aggregert nivå bør det være nøyaktig for de fleste tilfeller.

  • Kvalitetsanalyse av respons gir ikke en oversikt over de spesifikke spørringene som førte til lav ytelse. De gir heller ikke en oversikt over vanlige kunnskapskilder eller emner som ble brukt når svar av lav kvalitet forekommer.

  • Analyse beregnes ikke for svar som bruker generativ kunnskap.

  • Svarfullstendighet er en av måleparametrene som brukes for å vurdere svarkvalitet. Denne målingen måler hvor fullstendig responsen adresserer innholdet i det hentede dokumentet.

    Hvis systemet ikke henter et relevant dokument med tilleggsinformasjon for spørsmålet, evaluerer det ikke fullstendighetsmetrikken for det dokumentet.

Hvilke beskyttelser er på plass for kvaliteten på responsanalysen i Copilot Studio for ansvarlig KUNSTIG INTELLIGENS?

Brukere av agenter ser ikke analyseresultater. Resultatene er bare tilgjengelige for agentutviklere og administratorer.

Beslutningstakere og administratorer kan bare bruke kvaliteten på responsanalyse for å se prosentandelen av svar av god kvalitet og eventuelle forhåndsdefinerte årsaker til dårlig ytelse. Resultatene aggregeres og presenteres som prosentdeler og forhåndsdefinerte kategorier.

Vi testet analyser for kvaliteten på svarene grundig under utviklingen for å sikre god ytelse. Men i sjeldne tilfeller kan kvalitetsvurderinger av respons være unøyaktige.

Sentimentanalyse for samtaleøkter

Hva er den tiltenkte bruken av sentimentanalyse?

Bruk sentimentanalyse til å forstå nivået av brukertilfredshet i samtaleøkter basert på en AI-analyse av brukermeldinger til agenten. Du kan forstå den generelle følelsen av økten (positiv, negativ eller nøytral), undersøke årsakene og ta mål for å løse den.

Hvilke data brukes til sentimentanalyse?

Sentimentanalyse bruker brukermeldinger til agenten for et eksempelsett med samtaleøkter.

Sentimentanalyse bruker denne informasjonen til å vurdere om brukertilfredsheten under økten er positiv, negativ eller nøytral. For eksempel kan en bruker bruke ord og en tonefall som indikerer frustrasjon eller misnøye basert på interaksjonen med agenten. I dette tilfellet klassifiseres sesjonen som negativ stemning.

Hva er begrensningene ved sentimentanalyse, og hvordan kan brukere redusere disse begrensningene?

Sentimentanalyse beregnes ikke ut fra alle samtaleøkter. Analyser måler i stedet et utvalg av brukeragentøkter. Agenter under et minimum antall daglige vellykkede generative svar kan ikke få en sentiment-score.

Sentimentanalyse er for øyeblikket avhengig av generative svar og krever et minimum antall daglige vellykkede svar for å beregne sentiment-score for agenten.

For å beregne sentiment for en økt, må det være minst to brukermeldinger. I tillegg, på grunn av dagens tekniske begrensninger, utføres ikke sentimentanalyse på økter som overstiger totalt 26 meldinger (inkludert både bruker- og agentmeldinger)

Sentimentanalyse gir ikke en oversikt over de spesifikke brukermeldingene som førte til sentimentscoren.

Hvilke beskyttelser er på plass for sentimentanalyse i Copilot Studio for ansvarlig kunstig intelligens?

Brukere av agenter ser ikke analyseresultater. Resultatene er bare tilgjengelige for agentutviklere og administratorer.

Du kan bare bruke sentimentanalyse for å se fordelingen av sentiment på tvers av alle økter.

Vi testet sentimentanalyse grundig under utviklingen for å sikre god ytelse. Men i sjeldne tilfeller kan sentimentvurderinger være unøyaktige.

Temaer for brukerspørsmål

Hva er den tiltenkte bruken av temaer?

Gruppering etter temaer og analyse på temanivå hjelper deg med raskt å forstå hva brukerne spør om i stor skala. Denne funksjonen analyserer store mengder brukerspørringer og viser emner på høyt nivå ("temaer") som representerer hovedemnene brukerne bryr seg om. Denne analysen hjelper deg med å gå fra å undersøke individuelle samtaler til å identifisere bredere mønstre, nye behov og interesseområder.

Ved å gi en strukturert, datadrevet oversikt over brukeraktivitet, hjelper analyse på temanivå deg:

  • Identifiser de vanligste emnene brukerne engasjerer seg i.

  • Oppdag hull i dekning eller uklare opplevelser.

  • Overvåk hvordan brukerinteressene utvikler seg over tid.

  • Prioriter forbedringer basert på reell brukerbehov.

Hvordan fungerer temaanalyse på et høyt nivå?

Denne funksjonen fungerer som en flertrinnsprosess som kontinuerlig organiserer brukerspørringer i meningsfulle grupper. På et høyt nivå inkluderer denne prosessen to nøkkelfaser:

Temakandidatgenerering

Systemet analyserer et nylig sett med brukerspørringer og identifiserer kandidattemaer som representerer distinkte emner på høyt nivå. Systemet oppdager mønstre, likheter og regelmessige emner på tvers av spørringer for å utlede disse kandidatene.

Spørringsattributt til temaer

Når systemet genererer kandidattemaer, knyttes individuelle spørringer til det mest relevante temaet. Hvert tema representerer en samling relaterte brukerspørsmål og utvikler seg etter hvert som systemet behandler nye spørringer. Systemet begrenser disse temaene over tid ved hjelp av signaler som semantisk likhet og tilbakemeldinger fra brukere. Denne presiseringsprosessen gjør det mulig for representasjonen å tilpasse seg etter hvert som brukerens virkemåte endres.

Hvilke data brukes til å opprette temaer?

Brukere genererer temaer fra spørringer som resulterer i generative svar. Prosessen fokuserer på et nylig aktivitetsvindu for å sikre at temaer gjenspeiler gjeldende brukerinteresser og trender i utvikling. Etter hvert som nye data blir tilgjengelige, oppdaterer systemet temaer for å holde dem relevante.

Siden temaer er avhengige av mønstre i brukerspørringer, avhenger funksjonen av å ha en meningsfull mengde aktivitet å analysere. I situasjoner der det er begrensede data eller svært fragmenterte spørringer, kan det hende at systemet ikke genererer temaer eller kan gi begrenset innsikt.

Hva er begrensningene for temaanalyse, og hvordan kan jeg redusere dem?

Temaanalyse er et datadrevet klyngesystem, og effektiviteten avhenger av innholdet og volumet på brukerspørringer. Noen potensielle begrensninger inkluderer:

  • Utilstrekkelige eller svært varierte data kan føre til temaer som er for brede eller smale.

  • Nært beslektede emner kan noen ganger deles inn i separate temaer.

  • Urelaterte spørringer kan av og til grupperes sammen.

  • Endringer i brukerspråket over tid kan påvirke konsekvens av temaer.

Slik får du mest mulig ut av temaer:

  • Se gjennom genererte temaer regelmessig.

  • Gi tilbakemelding (for eksempel: tommel opp eller ned) for å forbedre kvaliteten.

  • Tolke temaer som retningsinnsikt i stedet for nøyaktige kategoriseringer.

Hvilke ansvarlige AI-beskyttelser er på plass?

Temaklynger og analyse er utformet med ansvarlige AI-prinsipper i tankene.

  • Autoriserte beslutningstakere og administratorer er de eneste som kan se temaer.

  • Bare de som er autorisert til å se brukerspørringene, kan se fordelingen i temaer.

  • Temaene gjenspeiler innholdet i brukerspørringene, slik at de gir et ærlig sammendrag som skaperne og administratorene kan se.

Disse sikkerhetstiltakene bidrar til å sikre at temaer gir nyttig innsikt samtidig som du opprettholder en trygg og kontrollert opplevelse.

Analyse av egendefinerte måledata

Hva er den tiltenkte bruken av egendefinerte måledata?

Bruk egendefinert analyse av måledata til å forstå hvor mye samtaleagentene dine påvirker forretningsresultater. Disse måledataene utfyller spareanalyse. Eksempler på egendefinerte måledata inkluderer oppløsningsfrekvens, kundeintensjonsklassifisering og andre domenespesifikke resultater.

Egendefinerte måledata kan vise hvor agenter går glipp av tiltenkte mål. Definer hva du skal måle, teste måledata mot reelle øktdata og begrense definisjoner basert på resultatene.

Hvilke data brukes til å beregne egendefinerte måledata?

Beregn egendefinerte måledata ved hjelp av et utvalg av tidligere agentøkter. Beregningen bruker samtalemeldingene som utveksles under en økt.

AI-modellen klassifiserer øktdata basert på metrisk definisjon. Agenten aggregerer resultater på tvers av utvalget for å vise generell metrisk ytelse for den valgte tidsperioden.

Hva er begrensningene for egendefinerte måledata, og hvordan kan brukere minimere virkningene av begrensninger?

Egne måleverdier bruker ikke alle agentøkter. I stedet måler de et utvalg av økter fra den valgte tidsperioden. Fordi resultatene er basert på et utvalg, kan du behandle dem som retningsindikatorer i stedet for nøyaktige tall.

Vurder at måleberegningen er basert på utskriften av meldinger når du tolker måledata. Unngå å trekke konklusjoner om virkemåter som hovedsakelig forekommer utenfor meldinger, for eksempel emner og verktøy.

AI-modellen kan feilklassifisere økter. Aggregerte resultater er generelt nøyaktige. Økter som ikke samsvarer med en definert kategori, plasseres i kategorien Basis (annet). Hvis testresultatene ikke samsvarer med forventede resultater, kan du oppdatere målebeskrivelsen og kategoridefinisjonene.

Hvis du endrer en agents instruksjoner eller konfigurasjon betydelig etter at du har definert en metrikkverdi, kan det hende at måleverdien ikke lenger gjenspeiler agentens oppdaterte virkemåte. Se gjennom de egendefinerte måledataene etter å ha gjort vesentlige endringer i agenten.

Hvilke beskyttelser er på plass for egendefinerte måledata i Copilot Studio for ansvarlig kunstig intelligens?

Agentutviklere og administratorer er de eneste som har tilgang til egendefinerte måleresultater. Brukere av agenten har ikke tilgang til analyseresultater.

Du ser gjennom og godkjenner alle egendefinerte måledata før du lagrer. Under metrisk definisjon tester du måledata mot eksempeløktdata og ser gjennom individuelle resultater og modelleringsresonnering. Hvis resultatene ikke oppfyller forventningene, kan du oppdatere eller forkaste måleverdien. Måledata brukes ikke uten din eksplisitte bekreftelse.

Den AI-genererte ledeteksten som brukes til å klassifisere økter, er synlig for deg i brukergrensesnittet, slik at du kan forstå hvordan modellen tolker den metriske definisjonen. Du kan redigere eller fjerne egendefinerte måledata når som helst.

I sjeldne tilfeller kan individuelle øktklassifiseringer være unøyaktige. Resultatene bør tolkes aggregert i stedet for på det individuelle øktnivået.

Relatert innhold

  • Last updated on