Analyser effektiviteten til samtaleagenten

På Analyse-siden i Copilot Studio finner du samlet innsikt i den generelle effektiviteten til agenten din i alle analyseøkter. Siden er delt inn i kjerneområder som fokuserer på ulike ytelseskontekster. Siden viser også et oversiktsområde som gir KPI-måledata (nøkkelindikator) på høyt nivå for agenten din, et spareområde som analyserer tids- og kostnadsbesparelser som kan tilskrives agenten din eller agentens verktøy, og et sammendragsområde som gir viktig analytisk innsikt i agentens ytelse.

Hvis du vil ha mer informasjon om:

• Områdene Sammendrag og Oversikt, kan du se Analyseoversikt
• Området Besparelser, kan du se Analyser tid og kostnadsbesparelser for agenter

Det er seks kjerneområder å fokusere på når du gjennomgår og forbedrer effektiviteten til samtaleagenten:

• Temaer: Temaer hjelper deg med å få analyseinnsikt ved å gruppere brukerspørsmål i KI-foreslåtte kategorier.
• Samtaleresultat: Når du vet sluttresultatet av en samtale, kan du begynne å identifisere hvor agenten lykkes og hvor den trenger forbedring.
• Agenter: Se samtalevolummålinger, suksessrater og gjeldende status for underordnede og tilkoblede agenter.
• Generert svarfrekvens og kvalitet: Forståelse når agenten sliter med å gi svar på brukerspørsmål og hvordan den bruker kunnskapskilder, kan hjelpe deg med å finne måter å forbedre agentens svarfrekvens og kvalitet på.
• Verktøybruk: Å lære hvor ofte verktøy brukes, og hvor ofte de lykkes, kan hjelpe deg med å forstå om disse verktøyene er nyttige og vellykkede for brukerne.
• Tilfredshet: Gjennomgang av tilbakemeldinger fra brukere hjelper deg med å identifisere nye brukerscenarioer og problemer og gjøre forbedringer basert direkte på hva brukerne ber om.

Du kan vise analyser for hendelser som har skjedd de siste 90 dagene.

Samtaleresultater

Samtaleresultater-seksjonen viser et diagram som sporer typen resultat for hver økt mellom agenten din og brukerne.

Diagrammet, enten det vises som et stablet histogram eller et stablet arealdiagram, visualiserer de relative volumene av utfall, fargekodet og stablet etter type. Hver av Løste, Eskalerte, Forlatt og Uengasjert er representert med sine respektive farger for hvert datapunkt. Y-aksen angir antall økter.

For å se målinger om individuelle utfall som er spesifikke for ett datapunkt (en bestemt dag), hold musepekeren over et område som representerer fargen på et utfall av interesse (for eksempel blågrønn for Forlatt) på dagen du er interessert i. I eksemplet var det 90 avbrutte økter, som representerte 35,6 % av alle øktutfall den 24. november.

I forklaringen under diagrammet holder du musepekeren over en av resultatetikettene for å utheve det resultatet i diagrammet.

Velg (på eller av) én eller flere av forklaringsetikettene for å enten vise eller skjule resultater fra det stablede områdediagrammet. Gjør dette for å gi mer klarhet i resultatene som gjenstår når:

• Individuelle resultatlinjer vises visuelt tett sammen.
• Du vil se tydeligere når trendlinjer har en positiv eller negativ trend, men summen av stablede utfall på diagrammet flater ut disse trendlinjene.

Notat

Når du fjerner et utfall fra diagrammet på denne måten, fjerner du også det utfallet fra det større bassenget med viste utfall. Hvis du fjerner viste resultater, endres den viste prosentverdien av eventuelle gjenværende resultater mot poolen fordi det endrer nevneren i forholdet.

I det følgende eksemplet, Eskalert og Uengasjert-etiketter ble fjernet fra diagrammet. Verktøytipset viser at det var 95 forlatte økter den 23. november, som representerer 60,5 % av de gjenværende synlige resultatene på diagrammet (som er summen av Løst + Forlatt-utfall).

Hvis du vil laste ned resultatdata for samtaler (data visualisert i grafen), velger du menyikonet og velger Last ned CSV.

Notat

Hvis noen resultater er fjernet fra diagrammet når du laster ned, vises ikke dataene deres i CSV-filen.

For å åpne et sidepanel med detaljert informasjon om samtaleresultater, velg Se detaljer i diagrammet. Samtaleresultater-sidepanelet inkluderer:

• En sektordiagramfordeling av økt-utfall, som viser relativ vekting (uttrykt som en prosentandel) av Løst, Eskalert, og Forlatt-utfall.
• Et stablet søylediagram som viser den relative vektingen (uttrykt som en prosentandel) av Resolved confirmed and Løst implisitt resultatårsaker som beskriver alle resultater av løste økter.
• Et stablet søylediagram som viser den relative vektingen (uttrykt som en prosentandel) av System beregnet, Utilsiktet system, og Brukerforespurt utfallsårsaker som beskriver alle utfall av eskalerte økter.
• De viktigste temaene som førte til hvert resultat.

Notat

For å se et verktøytips med rådalltallsinformasjon, hold musepekeren over et av sektordiagrammet eller det stablede stolpediagrammet.

En økt faller inn i en av følgende to tilstander:

• Ikke engasjert: En økt starter når en bruker samhandler med agenten, eller når agenten sender en melding til brukeren. Økten starter i en ikke-engasjert tilstand.

• Engasjert: Brukeren samhandler aktivt med agenten. Det er en forskjell i atferd basert på agentens iverksettingsmodus.

  • Klassisk iverksetting: En økt blir engasjert når et av følgende emner utløses:

    • Egendefinert emne direkte utløst av brukeren
    • Eskaler emne
    • Basisemne
    • Emnet Samtaleforbedring

  • Generativ KI-iverksetting: En økt blir engasjert når en bruker direkte utløser en plan og inneholder et av følgende elementer:

    • Ikke-systememne
    • Eskaler emne
    • Basisemne
    • En kunnskapskilde
    • Et verktøy

En engasjert økt har ett av følgende resultater:

Resultatkategori	Resultat	Description
Avsluttet		En økt avsluttes. Det finnes to typer løste økter: Løst bekreftet og Løst underforstått.
	Løst bekreftet	En økt regnes som Løst bekreftet når Slutt på samtale-emnet utløses, og brukeren bekrefter at samhandlingen var vellykket.
	Løst implisitt	En økt er Løst implisitt når økten er fullført uten brukerbekreftelse, men i stedet basert på agentens logikk. Tilstanden Løst underforstått avhenger av om agenten bruker klassisk eller generativ KI-iverksetting: - Klassisk orkestrering: En økt regnes som Løst implisitt når Slutt på samtale-emnet utløses, og brukeren lar økten tidsavbrytes uten å gi en bekreftelse. - Generativ KI-orkestrering: En økt regnes som Løst implisitt når en økt får tidsavbrudd og det ikke finnes noen gjenværende aktive planer. En aktiv plan er en plan som venter på en brukers inndata.
Oppjustert		En økt avsluttes, men anses som eskalert når Eskaler-emnet utløses eller et Overfør til agent-noden kjøres (gjeldende analyseøkt avsluttes, enten samtalen overføres til en aktiv agent eller ikke). Det finnes tre typer eskalerte økter: System tilsiktet, Utilsiktet system, og Brukerforespurt.
	System tilsiktet	En økt eskaleres automatisk som et resultat av en automatisk forretningsregel angitt av en utvikler. Eskaleringen er et forventet resultat av samtalen og er ikke noe som trenger etterforskning eller endring. Eksempel: En bruker ønsker å overføre mer enn 25 000 dollar til en tredjepart. Dette beløpet overstiger en terskel i en forretningsregel, og økten eskaleres automatisk som et resultat av dette.
	System utilsiktet	En eskalering skjer automatisk som et resultat av at en økt overskrider én eller flere terskler angitt av en utvikler. Vanligvis indikerer dette at brukeren sitter fast i samtalen og trenger hjelp. Eksempel: En økt eskaleres etter tre feil med å utføre en bestemt oppgave.
	Bruker forespurt	En økt eskaleres fordi det kom en eksplisitt brukerforespørsel under samtalen. Eksempel: En bruker skriver inn Transfer me to an agent.
Forlatt		En økt avsluttes og regnes som Forlatt når en engasjert økt tidsavbrytes etter 30 minutter og ikke nådde en løst eller eskalert tilstand.

Du kan også angi resultatet for verktøy med parameteren conversationOutcome ved hjelp av redigeringsprogrammet for verktøykode. For eksempel conversationOutcome: ResolvedConfirmed for bekreftet suksess eller conversationOutcome: ResolvedImplied for underforstått suksess.

Se veiledningsdokumentasjonen Mål kopilot-engasjement for forslag og anbefalte fremgangsmåter for hvordan du kan måle og forbedre engasjement.

Agenter

Listen Agenter viser volum- og ytelsesdata på høyt nivå for tilkoblede og underordnede agenter for hovedagenten. Listen identifiserer relasjonstypen den oppførte agenten har til hovedagenten i kolonnen Type. Hvis en agent er en underordnet agent, er typen Child. Tilkoblede agenter har en listetype som gjenspeiler hvor de ble opprettet (f.eks. Copilot Studio, Azure AI Foundry). Måledataene Anrop for hver oppførte agent beskriver volumet av anrop fra hovedagenten til den tilkoblede eller underordnede agenten. Suksessraten gjenspeiler andelen kall (som prosent av alle anrop) som er fullført. Status angir den individuelle administrative statusen for hver tilkoblet og underordnet agent.

Som standard viser listen Agents de fem (5) beste tilkoblede og underordnede agentene til hovedagenten din, rangert fra høyest til laveste totale antall spørsmål. Hvis det er mer enn fem agenter, velger du Se alle for å vise alle agenter.

Notat

Knappen Se alle er bare synlig hvis det er mer enn fem tilkoblede eller underordnede agenter til hovedagenten.

Generert svarandel og -kvalitet (forhåndsversjon)

Viktig!

Denne artikkelen inneholder dokumentasjon for Microsoft Copilot Studio-forhåndsversjonen og kan bli endret.

Evalueringsfunksjonalitet er ikke ment for produksjonsbruk og kan ha begrensninger. Disse funksjonene er tilgjengelige før en offisielle utgivelsen slik at du kan få tidlig tilgang og gi tilbakemeldinger.

Hvis du skal bygge en produksjonsklar agent, kan du se Oversikt over Microsoft Copilot Studio.

Med generative svar kan agenten din bruke kunstig intelligens til å generere svar på brukerspørringer ved hjelp av kunnskapskilder og instruksjonene du gir. Det kan imidlertid hende at agenten ikke kan svare på alle brukerspørringer. Delen Generert svarfrekvens og -kvalitet sporer, organiserer og analyserer ubesvarte spørringer og svarkvalitet for å gi deg veiledning for å forbedre agentens svarytelse.

Svarfrekvensen viser antall besvarte og ubesvarte spørsmål i den valgte tidsperioden og prosentvis endring over tid.

Svarkvalitet måler kvaliteten på svarene ved hjelp av kunstig intelligens. Copilot Studio ser på et utvalg av besvarte spørsmål og analyserer forskjellig kvalitet, inkludert fullstendighet, relevans og nivå av grunnfesting av et svar. Hvis svaret oppfyller en angitt standard, merker Copilot Studio svaret som god kvalitet. Copilot Studio etiketter svar som ikke oppfyller den standarden som dårlig kvalitet. For dårlige svar tildeler Copilot Studio en årsak til kvalitetsvurderingen, og viser prosentandelen svar som er tildelt hver kategori.

Hold musepekeren over et hvilket som helst segment av en søyle i diagrammet for å se den relative vektingen av en individuell årsak for enten en God eller Dårlig kvalitetsmerke. Verktøytipset indikerer også antall svar som er samplet for å komme frem til den beregnede prosentverdien.

I forklaringen under diagrammet holder du musepekeren over en av årsakene til kvalitetsetiketten for å fremheve den i diagrammet.

Du kan gi tilbakemelding til Microsoft om denne inndelingen med tommel opp- og tommel ned-ikonene . Bruk panelet Send tilbakemelding til Microsoft til å legge til en kommentar og dele relaterte filer. Ved å gi beskrivende tilbakemeldinger som dette, kan vi samarbeide for å kontinuerlig forbedre produktet vårt.

1. På panelet Send inn tilbakemelding til Microsoft kan du beskrive på naturlig språk som liker eller misliker, avhengig av hvilket ikon du valgte for å åpne panelet.
2. Velg om du vil dele instruksjon, generert svar, relevante innholdseksempler og flere loggfiler.
3. Velg Send inn.

Velg Se detaljer for å åpne et sidepanel med svarfrekvenser for spørsmål, bruk av kunnskapskilder og feilfrekvenser i løpet av den valgte tidsperioden. Du kan bruke disse diagrammene til å finne ut hvilke kunnskapskilder som er til hjelp for brukere, og hvilke som kan forbedres.

Hvis agenten din har underordnede agenter, velger du Alle på sidepanelet for å vise måledata for både hovedagenten og underordnede agenter, hovedagenten for måledata om bare hovedagenten eller underordnet agent for måledata om bare underordnede agenter.

• Ubesvarte spørsmål viser årsakene til at agenten ikke svarte på en brukerspørring.
• Kunnskapskildebruk viser prosentandelen av økter som brukte hver kunnskapskilde agenten har tilgang til.
• Alle kilder viser prosentandelen av spørsmål som brukte hver kunnskapskilde.
• Feil viser prosentandelen av spørringer som resulterte i en kunnskapsrelatert feil for hver kunnskapskildetype (f.eks. SharePoint).

Velg en individuell kilde under Alle kilder for å se mer informasjon på nivået til en av de oppførte kunnskapskildene. Verktøytipset inkluderer:

• Totalt antall spørsmål som henviste til denne kunnskapskilden, samt antall tommel opp- og tommel ned-reaksjoner.
• Et stablet stolpediagram som viser nedbrytingen av kvaliteten på svarrelative vektinger for spørsmål som henviser til denne kunnskapskilden. Hold pekeren over et segment av stolpediagrammet for å se verdien av segmentets relative vekting og antall spørsmål som er utvalgt for å komme frem til denne verdien.

Verktøybruk

Delen Verktøybruk viser et diagram og måledata som sporer hvor ofte verktøyene startes over tid, og hvor ofte agenten din brukte disse verktøyene. Den viser også trendindikatorer for hvor ofte agenten din bruker hvert verktøy og prosentandelen av kalt verktøy som brukes.

Diagrammet viser de fem beste verktøyene som brukes over datoperioden som er definert øverst på siden Analyse.

I forklaringen under diagrammet holder du musepekeren over et av verktøyene for å markere det i diagrammet.

Hvis du vil åpne et sidepanel med en liste over alle verktøyene som brukes i den angitte tidsperioden, velger du Se detaljer i diagrammet sammen med trendindikatorer. På panelet Verktøybruk kan du vise beregninger av prosentandelen av spørsmål som brukes for hvert verktøy. Hvis agenten din har underordnede agenter, kan du velge å vise beregninger for både hovedagenten og underordnede agenter (alle), bare hovedagenten eller underordnet agent.

Tilfredsstillelse

Delen Tilfredshet viser tilbakemeldinger fra brukere som er hentet fra reaksjoner på agentsvar og evalueringsresultater for en økt. Tilfredshet deles inn i to mindre deler: en Reaksjoner-del, som viser tilbakemelding via tommel opp eller tommel ned for bestemte agentsvar og en Evalueringsresultater-del, som viser kundetilfredshetsresultatet (CSAT) for hele økten.

Tilbakemeldingsdata lagres i samtaleutskriftstabellen i Dataverse. Hvis du vil ha en liste over kanaler som støtter denne funksjonen, kan du se Funksjonsdetaljer.

Reaksjoner

Reaksjoner-delen viser tilbakemeldinger fra brukere som er hentet fra reaksjoner på agentsvar og evalueringsresultater for en økt. Diagrammet teller hvor mange ganger brukere valgte enten tommel opp (positiv) eller tommel ned (negativ) for hvert svar de fikk fra agenten din.

Når en bruker har angitt en reaksjon, kan de legge igjen en kommentar. Hvis du vil vise kommentarer, velger du Se detaljer. Velg Alle, Tommel opp eller Tommel ned i panelet Reaksjoner for å filtrere kommentarer.

Notat

• Agenter publisert til Microsoft 365 Copilot-kanalen støtter ikke reaksjoner.
• For å se kommentarer må du ha sikkerhetsrollen Bot Transcript Viewer.

Hvis du vil se den tilknyttede brukerspørringen og agentsvaret for hver reaksjon, velger du veksleknappen ved siden av kommentaren. Siden Analyse lagrer brukerspørringer og agentsvar i opptil 28 dager.

Tilbakemelding fra brukere er På som standard. Du kan deaktivere denne funksjonen hvis du vil. Du kan også legge til eller redigere en ansvarsfraskrivelse for brukere om hvordan tilbakemeldingen deres brukes:

1. Åpne agenten, gå deretter til Innstillinger, og finn delen Tilbakemelding fra brukere.

2. Velg På eller Av for La brukere gi tilbakemelding når de bruker denne agenten.

3. Legg til eller rediger en ansvarsfraskrivelse, slik at brukerne vet hvordan tilbakemeldingen brukes. Du kan også gi informasjon og tips om personvern.

Undersøkelsesresultater

I delen Evalueringsresultater vises et diagram og måleverdier som sporer gjennomsnittlig kundetilfredshet (CSAT) for økter der kunder svarer på en forespørsel om avsluttet økt for å gjennomføre en evaluering.

Notat

Poengsummene 1 og 2 tilordnes til Misfornøyd, en poengsum på 3 anses Nøytral, og poengsummene 4 og 5 tilordnes til Fornøyd.

Velg Se detaljer for å se trenden i tilfredshetsresultatene i løpet av rapportens konfigurerte tidsperiode.