Merk
Tilgang til denne siden krever autorisasjon. Du kan prøve å logge på eller endre kataloger.
Tilgang til denne siden krever autorisasjon. Du kan prøve å endre kataloger.
Disse vanlige spørsmålene beskriver KI-effekten av hjelpefunksjoner for analyse i Copilot Studio.
Hvordan brukes generativ kunstig intelligens til analyse?
Copilot Studio bruker kunstig intelligens til å måle kvaliteten på generative svarresponser og til å opprette klynger, som brukes til å gi innsikt i agentytelse.
Generative svar bruker kunnskapskilder du velger for å generere et svar. Funksjonen samler også inn tilbakemeldinger du gir. Analyse bruker storspråkmodeller (LLM-er) til å klassifisere nettpratmeldinger mellom brukere og agenter til nivåer som angir kvaliteten på generative svarsvar. Copilot Studio samler disse indikatorene for å gi skaperne et sammendrag av en agents totale prestasjoner.
Klynger bruker storspråkmodeller til å sortere brukernes meldinger i grupper basert på delte emner og gi hver gruppe et beskrivende navn. Copilot Studio bruker navnene på disse klyngene til å gi forskjellige typer innsikter du kan bruke til å forbedre agenten din.
Kvaliteten på generative svar
Hva er kvaliteten på svartiltenkt bruk?
Opprettere bruker kvaliteten på svaranalyse til å oppdage innsikt i agentbruk og -ytelse, og deretter opprette handlinger for agentforbedring. For øyeblikket kan analyser brukes til å forstå om kvaliteten på en agents generative svar oppfyller skaperens forventninger.
I tillegg til generell kvalitet identifiserer kvalitetsanalyse av respons områder hvor en agent presterer dårlig eller ikke oppfyller skaperens tiltenkte mål. Skapere kan definere områder hvor generative svar fungerer dårlig og ta grep for å forbedre kvaliteten.
Når du identifiserer dårlig ytelse, finnes det i tillegg anbefalte fremgangsmåter som kan bidra til å forbedre kvaliteten. Etter for eksempel å ha identifisert kunnskapskilder med dårlig ytelse, kan en skaper redigere kunnskapskilden eller dele kunnskapskilden i flere, mer fokuserte kilder for økt kvalitet.
Hvilke data brukes til å opprette analyser for svarkvalitet?
Kvaliteten på svaranalyse beregnes ved hjelp av et utvalg av generative svar. Det krever brukerspørringen, agentsvaret og de relevante kunnskapskildene som den generative modellen bruker for det generative svaret.
Kvaliteten på svaranalysen bruker denne informasjonen til å vurdere om den generative svarkvaliteten er god, og hvis ikke hvorfor kvaliteten er dårlig. Kvaliteten på svaret kan for eksempel identifisere ufullstendige, irrelevante eller ikke fullstendig grunnfestede svar.
Hva er begrensningene for kvaliteten på svaranalyse, og hvordan kan brukere minimere virkningen av begrensninger?
Kvaliteten på svaranalyse beregnes ikke ved hjelp av alle generative svar. Analyser måler i stedet et utvalg av brukeragentøkter. Agenter under et minimum antall vellykkede generative svar kan ikke motta en kvalitet på svaranalysesammendrag.
Det finnes tilfeller der analyser ikke evaluerer et individuelt svar nøyaktig. På et aggregert nivå bør det være nøyaktig for de fleste tilfeller.
Kvalitetsanalyse av respons gir ikke en oversikt over de spesifikke spørringene som førte til lav ytelse. De gir heller ikke en oversikt over vanlige kunnskapskilder eller emner som ble brukt når svar av lav kvalitet forekommer.
Analyse beregnes ikke for svar som bruker generativ kunnskap.
Svarfullstendighet er en av måleparametrene som brukes for å vurdere svarkvalitet. Denne målingen måler hvor fullstendig responsen adresserer innholdet i det hentede dokumentet.
Hvis systemet ikke henter et relevant dokument med tilleggsinformasjon for spørsmålet, evaluerer det ikke fullstendighetsmetrikken for det dokumentet.
Hvilke beskyttelser finnes for kvalitetsanalyse av respons i Copilot Studio for ansvarlig AI?
Brukere av agenter ser ikke analyseresultater. De er bare tilgjengelige for agentutviklere og administratorer.
Opprettere og administratorer kan bare bruke kvaliteten på svaranalyse for å se prosentandelen av svar av god kvalitet og eventuelle forhåndsdefinerte årsaker til dårlig ytelse. Opprettere kan bare se prosentandelen av svar av god kvalitet og forhåndsdefinerte årsaker.
Vi testet analyser for kvaliteten på svarene grundig under utviklingen for å sikre god ytelse. Men i sjeldne tilfeller kan kvalitetsvurderinger av respons være unøyaktige.
Sentimentanalyse for samtaleøkter
Hva er den tiltenkte bruken av sentimentanalyse?
Skapere bruker sentimentanalyse for å forstå nivået av brukertilfredshet i samtaleøkter basert på en AI-analyse av brukermeldinger til agenten. Skapere kan forstå den overordnede stemningen i økten (positiv, negativ eller nøytral), undersøke årsakene og iverksette tiltak for å håndtere den.
Hvilke data brukes for å definere følelser i en samtaleøkt?
Copilot Studio beregner sentimentanalyse basert på brukermeldinger til agenten for et utvalg av samtaleøkter.
Sentimentanalyse bruker denne informasjonen til å vurdere om brukertilfredsheten under økten er positiv, negativ eller nøytral. For eksempel kan en bruker bruke ord og en tonefall som indikerer frustrasjon eller misnøye basert på interaksjonen med agenten. I dette tilfellet klassifiseres sesjonen som negativ stemning.
Hva er begrensningene ved sentimentanalyse, og hvordan kan brukere redusere disse begrensningene?
Sentimentanalyse beregnes ikke ut fra alle samtaleøkter. Analyser måler i stedet et utvalg av brukeragentøkter. Agenter under et minimum antall daglige vellykkede generative svar kan ikke få en sentiment-score.
Sentimentanalyse er for øyeblikket avhengig av generative svar og krever et minimum antall daglige vellykkede svar for å beregne sentiment-score for agenten.
For å beregne sentiment for en økt, må det være minst to brukermeldinger. I tillegg, på grunn av dagens tekniske begrensninger, utføres ikke sentimentanalyse på økter som overstiger totalt 26 meldinger (inkludert både bruker- og agentmeldinger)
Sentimentanalyse gir ikke en oversikt over de spesifikke brukermeldingene som førte til sentimentscoren.
Hvilke beskyttelser finnes for sentimentanalyse i Copilot Studio for ansvarlig AI?
Brukere av agenter ser ikke analyseresultater. De er bare tilgjengelige for agentutviklere og administratorer.
Skapere og administratorer kan bare bruke sentimentanalyse for å se oppløsningen av sentiment på tvers av alle økter.
Vi testet sentimentanalyse grundig under utviklingen for å sikre god ytelse. Men i sjeldne tilfeller kan sentimentvurderinger være unøyaktige.
Temaer for brukerspørsmål
Hva er den tiltenkte bruken av temaer?
Denne funksjonen analyserer automatisk store sett med brukerforespørsler og grupperer dem i overordnede emner kalt temaer. Hvert tema representerer et enkelt emne på høyt nivå som brukerne blir spurt om. Temaer gir en uovervåket, datadrevet visning av brukerinnhold. Denne visningen hjelper team med å forstå hva brukerne er mest opptatt av, uten det manuelle trinnet med å gjennomgå tusenvis av spørringer.
Hvilke data brukes til å lage klynger?
Temafunksjonen bruker brukerforespørsler som utløser generative svar. Temaer analyserer alle søk fra de siste sju dagene for å generere nye foreslåtte temaer.
Temaer bruker semantisk likhet til gruppespørringer. En språkmodell brukes deretter til å generere tittelen og beskrivelsen for hver klynge. Tilbakemeldinger fra utviklere (som tommelen opp/ned) samles også inn for å forbedre kvaliteten på klyngingen.
Hva er begrensningene ved klynging for temaer, og hvordan kan brukere redusere disse begrensningene?
Vellykket gruppering i temaer avhenger av spørrevolum. Hvis det ikke er nok spørringer, eller hvis spørringene er for urelaterte til hverandre, kan Copilot Studio gruppere spørringer i temaer som er for brede eller for smale.
Temaer kan av og til dele lignende emner eller slå sammen urelaterte.
Endring av språk i spørringer kan påvirke konsistensen av klynger over tid.
Utviklere kan gjennomgå temaer regelmessig og gi tilbakemeldinger for å forbedre navngivningskvaliteten.
Hvilke beskyttelsestiltak for temaer finnes i Copilot Studio når det gjelder ansvarlig KI?
Temaer er bare synlige for utviklere og administratorer. Innholdsmoderering brukes ved generering av navn og beskrivelser for å redusere risikoen for skadelige eller upassende resultater.