Analysere samtaleagenter

Siden Analytics i Copilot Studio gir et aggregert innblikk i agentens generelle effektivitet på tvers av analytics-økter. Siden er delt inn i kjerneområder som fokuserer på ulike ytelseskontekster. Siden viser også et oversiktsområde som gir KPI-måledata (nøkkelindikator) på høyt nivå for agenten din, et spareområde som analyserer tids- og kostnadsbesparelser som kan tilskrives agenten din eller agentens verktøy, og et sammendragsområde som gir viktig analytisk innsikt i agentens ytelse.

Det finnes fire kjernedeler å fokusere på når du gjennomgår og forbedrer effektiviteten til samtaleagenten.

• Delen Sammendrag, Oversikt og Besparelser viser viktige analyseinnsikter om agentene dine sammen med fakturerings- og kostnadsbesparelsesstatistikk. se Sammendrag, Oversikt og Besparelser for å finne ut mer om hvert avsnitt.
• Med delen Egendefinerte måledata kan du definere forretningsspesifikke måledata for agentenes brukstilfeller.
• Effektivhet-delen hjelper deg med å evaluere kvaliteten på brukeropplevelsene ved å vise hvor samtalene lykkes, hvor de bryter sammen, og hvordan brukerne føler for resultatene.
• Bruk-delen hjelper deg med å forbedre driftsytelsen ved å vise hvor godt agenten svarer på spørsmål, hvor pålitelig verktøy og kunnskapskilder støtter disse svarene, og hvor målrettede oppdateringer kan øke dekningen og konsistensen.

Du kan vise analyser for hendelser som har skjedd de siste 90 dagene.

Tilpassede måleverdier

Med delen Egendefinerte måledata kan du definere opptil tre forretningsspesifikke måledata på naturlig språk og spore hvor ofte hvert resultat vises på tvers av eksempeløkter. Bruk disse måledataene til å utfylle din standard analyseinnsikt med indikatorer som gjenspeiler agentens mål og forretningsbruk. Hvis du vil lære hvordan du oppretter, tester og finjusterer egendefinerte måledata, kan du se Analysere agenten med egendefinerte måledata.

Effektiviteten

Effektivhet-delen viser tilbakemeldinger fra brukere som er hentet fra reaksjoner, agentsvar, undersøkelsesresultater og sentimentpoengsum for en økt. Effektiviteten deles på tvers av mange underseksjoner:

• Samtaleutfall: Når du vet sluttresultatet av en samtale, kan du begynne å identifisere hvor agenten lykkes og hvor den trenger forbedring.
• Reaksjoner: Brukersvar inkludert tommel opp/tommel ned tilbakemelding og brukerkommentarer for bestemte agentsvar.
• Kundetilfredshet: Visning av kundetilfredshet (CSAT)-poengsum.
• Sentiment (forhåndsvisning): En AI-basert sentimentanalyse for hele økten.
• Agenter: Se måledata for anropsvolum, suksessrater og gjeldende status for underordnede og tilkoblede agenter.

Tilbakemeldingsdata lagres i samtaleutskriftstabellen i Dataverse. Hvis du vil ha en liste over kanaler som støtter denne funksjonen, kan du se Funksjonsdetaljer.

Samtaleresultater

Samtaleresultater-seksjonen viser et diagram som sporer typen resultat for hver økt mellom agenten din og brukerne.

Diagrammet, enten det vises som et stablet histogram eller et stablet arealdiagram, visualiserer de relative volumene av utfall, fargekodet og stablet etter type. Hver av Løste, Eskalerte, Forlatt og Uengasjert er representert med sine respektive farger for hvert datapunkt. Y-aksen angir antall økter.

For å se målinger om individuelle utfall som er spesifikke for ett datapunkt (en bestemt dag), hold musepekeren over et område som representerer fargen på et utfall av interesse (for eksempel blågrønn for Forlatt) på dagen du er interessert i.

Hvis du vil laste ned resultatdata for samtaler (data visualisert i grafen), velger du menyikonet og velger Last ned CSV.

Bemerkning

Hvis noen resultater er fjernet fra diagrammet når du laster ned, vises ikke dataene deres i CSV-filen.

For å åpne et sidepanel med detaljert informasjon om samtaleresultater, velg Se detaljer i diagrammet. Samtaleresultater-sidepanelet inkluderer:

• En sektordiagramfordeling av økt-utfall, som viser relativ vekting (uttrykt som en prosentandel) av Løst, Eskalert, og Forlatt-utfall.
• Et stablet søylediagram som viser den relative vektingen (uttrykt som en prosentandel) av Løst bekreftet og Løst implisitt resultatårsaker som beskriver alle resultater av løste økter.
• Et stablet søylediagram som viser den relative vektingen (uttrykt som en prosentandel) av System beregnet, Utilsiktet system, og Brukerforespurt utfallsårsaker som beskriver alle utfall av eskalerte økter.
• De viktigste temaene som førte til hvert resultat.

Bemerkning

For å se et verktøytips med rådantallsinformasjon holder du musepekeren over et av sektordiagrammet eller det stablede stolpediagrammet.

En sesjon faller inn i en av følgende to moduser:

• Ikke engasjert: En økt starter når en bruker samhandler med agenten, eller når agenten sender en melding til brukeren. Økten starter i en ikke-engasjert tilstand.

• Engasjert: Brukeren samhandler aktivt med agenten. Det er en forskjell i atferd basert på agentens orkestreringsmodus.

  • Klassisk orkestrering: En økt blir aktivert når et av følgende emner utløses:

    • Egendefinert emne direkte utløst av brukeren
    • Heve saken
    • Tilbakefallsemne
    • Samtalefremmende emne

  • Generativ AI-orkestrering: En økt blir engasjert når en bruker direkte utløser en plan og inneholder ett av følgende elementer:

    • Ikke-systememne
    • Heve saken
    • Tilbakefallsemne
    • En kunnskapskilde
    • Et verktøy

En engasjert økt har ett av følgende resultater:

Resultatkategori	Resultat	Beskrivelse
Avsluttet		En økt avsluttes suksessfullt. Det finnes to typer avsluttede økter: Avsluttet bekreftet og Avsluttet antydet.
	Løst bekreftet	En økt regnes som Løst bekreftet når Slutt på samtale-emnet utløses, og brukeren bekrefter at samhandlingen var vellykket.
	Implisitt løst	En økt er Løst implisitt når økten er fullført uten brukerbekreftelse, men i stedet basert på agentens logikk. Den løste underforståtte tilstanden avhenger av om agenten din bruker klassisk eller generativ AI-orkestrering: - Klassisk orkestrering: En økt regnes som Løst implisitt når Slutt på samtale-emnet utløses, og brukeren lar økten tidsavbrytes uten å gi en bekreftelse. - Generativ KI-orkestrering: En økt regnes som Løst implisitt når en økt får tidsavbrudd og det ikke finnes noen gjenværende aktive planer. En aktiv plan er en plan som venter på en brukers inndata.
Oppjustert		En økt avsluttes, men anses som eskalert når Eskaler-emnet utløses eller et Overfør til agent-noden kjøres (gjeldende analyseøkt avsluttes, enten samtalen overføres til en aktiv agent eller ikke). Det finnes tre typer eskalerte økter: System tilsiktet, Utilsiktet system, og Brukerforespurt.
	System tilsiktet	En økt eskaleres automatisk som et resultat av en automatisk forretningsregel angitt av en utvikler. Eskaleringen er et forventet resultat av samtalen og er ikke noe som trenger etterforskning eller endring. Eksempel: En bruker ønsker å overføre mer enn 25 000 dollar til en tredjepart. Dette beløpet overstiger en terskel i en forretningsregel, og økten eskaleres automatisk som et resultat av dette.
	Utilsiktet systemhendelse	En eskalering skjer automatisk som et resultat av at en økt overskrider én eller flere terskler angitt av en utvikler. Vanligvis indikerer dette utfallet at brukeren sitter fast i samtalen og trenger hjelp. Eksempel: En økt eskaleres etter tre feil med å utføre en bestemt oppgave.
	Brukerforespurt	En økt eskaleres fordi det kom en eksplisitt brukerforespørsel under samtalen. Eksempel: En bruker skriver inn Transfer me to an agent.
Forlatt		En økt avsluttes og regnes som Forlatt når en engasjert økt tidsavbrytes etter 30 minutter og ikke nådde en løst eller eskalert tilstand.

Du kan også angi resultatet for verktøy med parameteren conversationOutcome ved hjelp av redigeringsprogrammet for verktøykode. For eksempel conversationOutcome: ResolvedConfirmed for bekreftet suksess eller conversationOutcome: ResolvedImplied for underforstått suksess.

Se veiledningsdokumentasjonen om måling av engasjement for forslag og beste praksis for hvordan man kan måle og forbedre engasjementet.

Reaksjoner

Reaksjoner-delen viser tilbakemeldinger fra brukere som er hentet fra reaksjoner på agentsvar. Diagrammet teller hvor mange ganger brukere valgte enten tommel opp (positiv) eller tommel ned (negativ) for hvert svar de fikk fra agenten din.

Bemerkning

• Agenter publisert til Microsoft 365 Copilot-kanalen støtter ikke reaksjoner.
• For å se kommentarer må du ha sikkerhetsrollen Bot Transcript Viewer.

Reaksjoner-funksjonen er aktivert som standard. Du kan deaktivere denne funksjonen hvis du vil. Du kan også legge til eller redigere en ansvarsfraskrivelse for brukere om hvordan tilbakemeldingen deres brukes:

1. Åpne agenten, gå deretter til Innstillinger, og finn delen Tilbakemelding fra brukere.

2. Slå samle inn brukerreaksjoner på agentmeldinger enten på eller av.

3. Legg til eller rediger en ansvarsfraskrivelse, slik at brukerne vet hvordan tilbakemeldingen brukes. Du kan også gi informasjon og tips om personvern.

Brukere med Bot Transcript Viewer-rettigheten kan drille ned til agentsvar for individuelle reaksjoner og filtrere etter brukerkommentarer.

Se reaksjonstrender over tid

Velg Se detaljer på reaksjonsflisen for å åpne reaksjonssidepanelet . Panelet viser hvordan positive og negative reaksjoner (fra Tommel opp og Tommel ned) trend over tid.

Kundetilfredshet

Delen Kundetilfredshet viser informasjon om brukertilfredshet basert på resultater fra brukerundersøkelser:

• Tilfredshetspoengsum: En poengsum på 5 beregnet ut fra gjennomsnittlig kundetilfredshet (CSAT) score for økter der brukerne svarte på forespørsler om slutt på økten for å ta en undersøkelse.

  Bemerkning

  Poengsummene 1 og 2 tilordnes til Misfornøyd, en poengsum på 3 anses Nøytral, og poengsummene 4 og 5 tilordnes til Fornøyd.

• Tilfredshet per økt: Et stablet stolpediagram som visualiserer den relative vektingen for hver av undersøkelsens poengkategorier, nemlig Dissatisfied, Neutral, og Satisfied. Hold musepekeren over hvert segment av diagrammet for å se størrelsen på utvalget og den numeriske verdien av vektingen av hver scorekategori. For brukere med Bot Transcript Viewer-rettigheten kan du drille ned til en liste over kundeøkter filtrert basert på delen av det valgte stolpesegmentet.

Velg Se detaljer for å vise tilfredshetsresultattrenden over den valgte tidsperioden.

Sentiment (forhåndsvisning)

[Denne delen er forhåndsutgavedokumentasjon og kan bli endret.]

Sentimentanalyse bruker KUNSTIG intelligens til å analysere brukermeldinger fra et utvalg av økter for å evaluere en generell brukersentiment for agenten. Den numeriske verdien representerer prosentandelen økter med negativ brukerstemning.

Viktig!

Denne artikkelen inneholder dokumentasjon for Microsoft Copilot Studio-forhåndsversjonen og kan bli endret.

Evalueringsfunksjonalitet er ikke ment for produksjonsbruk og kan ha begrensninger. Disse funksjonene er tilgjengelige før en offisielle utgivelsen slik at du kan få tidlig tilgang og gi tilbakemeldinger.

Hvis du skal bygge en produksjonsklar agent, kan du se Oversikt over Microsoft Copilot Studio.

Velg Se detaljer for å vise sentimentdataene for relativ vekting for hver av sentimentkategoriene (er Positive, Neutralog Negative).

Du kan aktivere og deaktivere sentimentanalyse for agenten din under Innstillinger. Når sentimentanalyse er deaktivert, analyseres ikke brukersentiment under økter.

1. Gå til Innstillinger , og velg Avansert.

2. Aktiver eller deaktiver sentimentanalyse.

   

Agenter

Listen Agenter viser volum- og ytelsesdata på høyt nivå for tilkoblede og underordnede agenter for hovedagenten. Listen identifiserer relasjonstypen den oppførte agenten har til hovedagenten i kolonnen Type. Hvis en agent er en underordnet agent, er typen Child. Tilkoblede agenter har en listetype som gjenspeiler hvor de ble opprettet (for eksempel Copilot Studio, Azure AI Foundry). Måledataene Anrop for hver oppførte agent beskriver volumet av anrop fra hovedagenten til den tilkoblede eller underordnede agenten. Suksessraten gjenspeiler andelen kall (som prosent av alle anrop) som er fullført. Status angir den individuelle administrative statusen for hver tilkoblet og underordnet agent.

Som standard viser listen Agents de fem (5) beste tilkoblede og underordnede agentene til hovedagenten din, rangert fra høyest til laveste totale antall spørsmål. Hvis det er mer enn fem agenter, velger du Se alle for å vise alle agenter.

Bemerkning

Knappen Se alle er bare synlig hvis det er mer enn fem tilkoblede eller underordnede agenter til hovedagenten.

Bruk

Bruk-delen hjelper deg med å forstå hvordan brukere samhandler med agenten din og hvor du kan forbedre påliteligheten til svar. Bruk deles på tvers av mange underseksjoner:

• Temaer: Temaer hjelper deg med å få analyseinnsikt ved å gruppere brukerspørsmål i ai-foreslåtte kategorier.
• Generert svarfrekvens og kvalitet: Forståelse når agenten sliter med å gi svar på brukerspørsmål og hvordan den bruker kunnskapskilder, kan hjelpe deg med å finne måter å forbedre agentens svarfrekvens og kvalitet på.
• Verktøybruk: Lære hvor ofte verktøy brukes, og hvor ofte de lykkes, kan hjelpe deg med å forstå om disse verktøyene er nyttige og vellykkede for brukerne.
• Kunnskapskildebruk: Å lære hvor ofte individuelle kunnskapskilder brukes, og hvor ofte de returnerer feil, hjelper deg med å forbedre kvaliteten og dekningen av agentens svar.

Generert svarrate og kvalitet

Med generative svar kan agenten din bruke kunstig intelligens til å generere svar på brukerspørringer ved hjelp av kunnskapskilder og instruksjonene du gir. Det kan imidlertid hende at agenten ikke kan svare på alle brukerspørringer. Delen Generert svarfrekvens og kvalitet sporer, organiserer og analyserer ubesvarte spørringer og svarkvalitet for å gi deg veiledning for å forbedre agentens svarytelse.

Svarfrekvensen viser antall besvarte og ubesvarte spørsmål i den valgte tidsperioden og prosentvis endring over tid.

Svarkvalitet måler kvaliteten på svarene ved hjelp av KUNSTIG INTELLIGENS. Copilot Studio ser på et utvalg av besvarte spørsmål og analyserer forskjellig kvalitet, inkludert fullstendighet, relevans og nivå av jording av et svar. Hvis svaret oppfyller en angitt standard, merker Copilot Studio svaret som god kvalitet. Copilot Studio merker svar som ikke oppfyller denne standarden som dårlig kvalitet. For dårlige svar tilordner Copilot Studio en årsak til kvalitetsvurderingen, og viser prosentandelen svar som er tilordnet hver kategori.

Hold musepekeren over et hvilket som helst segment av en søyle i diagrammet for å se den relative vektingen av en individuell årsak for enten en God eller Dårlig kvalitetsmerke. Verktøytipset indikerer også antall svar som er samplet for å komme frem til den beregnede prosentverdien.

I forklaringen under diagrammet holder du musepekeren over en av årsakene til kvalitetsetiketten for å fremheve den i diagrammet.

Velg et segment i stolpediagrammet for å åpne en side med brukerspørsmål som er filtrert etter denne svarkvaliteten. Velg Se spørsmål for å se en ufiltrert liste over alle spørsmål i den konfigurerte tidsperioden.

Bruk av verktøy

Verktøybruk-delen viser et diagram og måledata som sporer hvor ofte verktøyene startes over tid, og hvor ofte agenten din brukte disse verktøyene. Den viser også trendindikatorer for hvor ofte agenten din bruker hvert verktøy og prosentandelen av kalt verktøy som brukes.

Diagrammet viser de fem beste verktøyene som brukes over datoperioden som er definert øverst på siden Analyse.

I forklaringen under diagrammet holder du musepekeren over et av verktøyene for å markere det i diagrammet.

Hvis du vil åpne et sidepanel med en liste over alle verktøyene som brukes i den angitte tidsperioden, velger du Se detaljer i diagrammet sammen med trendindikatorer. På panelet Verktøybruk kan du vise beregninger av prosentandelen av spørsmål som brukes for hvert verktøy. Hvis agenten din har underordnede agenter, kan du velge å vise beregninger for både hovedagenten og underordnede agenter (alle), bare hovedagenten eller underordnet agent.

Bruk av kunnskapskilder

Kunnskapskildebruksdelen gir innsikt i hvordan agenten din bruker kunnskapskildene og hvor ofte disse kildene returnerer feil. Hvis du vil ha mer informasjon om tilgjengelige måledata, filtrerings- og neddrillingsfunksjoner, kan du se Kunnskapskildebruk.