Overvåk agentens ytelse i Copilot Studio

Bemerkning

Denne artikkelen beskriver funksjoner som brukes i agenter eller agentstrømmer drevet av standardledningsnettet.

Bruk analyse til å forstå ytelsen til agenten, og til å identifisere områder for forbedring.

Monitor-siden i Copilot Studio oppsummerer nøkkelmålinger og gir bruksanalyse for agentens komponenter. Åpne individuelle måleparametere for å utforske de underliggende dataene.

Monitor-opplevelsen er tilpasset samtaleagenter og autonome agenter.

Overvåking er tilgjengelig i alle geografiske områder. Monitordata er tilgjengelige i opptil 360 dager. Øktdetaljer og transkripsjonsinformasjon er tilgjengelig for de siste 28 dagene. Tids- og datostempler i analyse er i koordinert universell tid (UTC). Tids- og datostemplene inkluderer start- og slutttider for dag, sessionstider og eventuelle andre tidsmarkører i agentens data.

Bemerkning

Overvåk-siden viser ikke analyser for aktivitet du fullfører når du tester agenten din i Copilot Studio ved å bruke testpanelet.

Gi begrenset visningstilgang til analyse

Hvis du er agent-eier, del agenten med delingsrollen Analytics Viewer for kun å gi tilgang til Monitor-siden. For å få tilgang til informasjon om samtaletranskriptet, må personen også ha sikkerhetsrollen som Bot Transcript Viewer .

Lær mer i Del en agents analyse.

Important

Som agenteier kan du bare dele analysevisningsrollen med enkeltpersoner og ikke med grupper av brukere.

For å få tilgang til Monitor-siden til agenten din:

1. Åpne agenten i Copilot Studio.
2. Velg Monitor i øverste menyfelt.

Sammendrag

Sammendrag-området bruker Copilot til å generere et AI-sammendrag av viktige analyseinnsikter om agenten din. Velg Vis mer for å se den fullstendige sammendragslisten over innsikter.

Det hjelper deg raskt å forstå vanlige temaer og måledata og identifisere forbedringsområder for agenten ved å oppsummere dem i en punktliste for den valgte rapporteringsperioden. Denne listen kan inkludere engasjementsmålinger, kundesentiment og tilbakemeldinger, samt trender siden forrige rapporteringsperiode.

Sammendrag av kundekommentarer (forhåndsvisning)

[Denne delen er forhåndsutgavedokumentasjon og kan bli endret.]

Oppsummeringen av kundekommentarer hjelper deg å forstå kundenes overordnede oppfatning av agenten gjennom tilbakemeldinger og kommentarer. Innsikt prioriteres basert på både volumet av relaterte kommentarer og deres generelle betydning. Sammendraget filtrerer ut lavverdige eller irrelevante kommentarer, og samler relatert tilbakemelding.

Important

Denne artikkelen inneholder dokumentasjon for Microsoft Copilot Studio-forhåndsversjonen og kan bli endret.

Evalueringsfunksjonalitet er ikke ment for produksjonsbruk og kan ha begrensninger. Disse funksjonene er tilgjengelige før en offisielle utgivelsen slik at du kan få tidlig tilgang og gi tilbakemeldinger.

Hvis du skal bygge en produksjonsklar agent, kan du se Oversikt over Microsoft Copilot Studio.

For å gi tilbakemelding til Microsoft om denne delen, velg Tommel opp eller Tommel ned. Bruk panelet Send tilbakemelding til Microsoft for å legge til en kommentar og velge om du vil dele relaterte filer.

1. På Send tilbakemelding til Microsoft-panelet beskriver du på naturlig språk hva du liker eller ikke liker, avhengig av hvilket ikon du valgte for å åpne panelet.
2. Velg om du vil dele prompt, generert svar, relevante innholdsprøver og ekstra loggfiler.
3. Velg Send.

Oversikt

Sjekk en overordnet ytelsesoppsummering i Oversikt-området , og utforsk deretter individuelle måleparametere mer detaljert.

Aktive brukere

Aktive brukermetrikker viser innføring av en konversasjonsagent og hvordan den endrer seg over tid. En aktiv bruker er en unik bruker som samhandlet med samtaleagenten minst én gang i løpet av rapportens periode. Monitor-siden viser daglige aktive brukere (DAU) og månedlige aktive brukere (MAU). Den daglige tellingen dekker en full 24-timers dag i UTC. Den månedlige tellingen følger kalendermåneden i UTC.

Important

Funksjonen for aktive brukermetrikk støttes bare hvis du angir at agenten skal kreve godkjenning under Sikkerhetsgodkjenning for innstillinger>>.

Gjennomsnittlig DAU for den valgte perioden, pluss prosentvis endring fra forrige periode, vises som en KPI (key performance indicator) i delen Oversikt .

Bemerkning

Formelen for den gjennomsnittlige BEREGNEDE DAU-måleverdien er: (sum of all full-day active user counts in the period) / (count of full days in the period).

Hvis du vil se flere detaljer om daglige og månedlige aktive brukerantall etter hvert som de trendover tid, velger du Se aktive brukere-knappen øverst til høyre i oversiktspanelet.

Bare samtaleøkter

Analytics for conversational agents i Copilot Studio sporer brukerengasjement med agenten din og prøver å fange opp hvor godt agenten din håndterer brukeroppgaver.

Samtaleanalyse bruker følgende konsepter og begreper:

• Samtaler er en pågående interaksjon mellom en spesifikk bruker, eller gruppe brukere, på en kanal og agenten din.

• Samtaler kan stanse midlertidig og fortsette senere, eller overføres til en kundeservicerepresentant. Samtalen kan være enveiskjørt, enten fra kunden til agenten, eller fra agenten til kunden, men det er oftere en frem-og-tilbake-interaksjon mellom kunden og agenten.

• En samtale blir tidsavbrutt etter 30 minutter med inaktivitet.

• Samtaler for agenter publisert på Telephony-kanalen går ut 3 minutter etter en "Avslutt samtale-hendelse".

• Én enkelt samtale kan inneholde en eller flere analyseøkter.

• En analyseøkt drevet av Standard harness er knyttet til det siste tilpassede temaet som sist ble utløst av en bruker. Hvis sesjonen ikke inkluderer egendefinerte emner, er det det siste systemtemaet som utløses direkte av brukeren.

Kun hendelsesutløsersesjoner

En selvstendig agent er en agent med en hendelsesutløser. Disse agentene støtter bare analyse for agenter med utløsere.

En analyseøkt for agenter med utløsere sporer fra når en agent mottar en nyttelast fra en utløser, til alle handlinger agenten kjører som svar. Disse analyseøktene registrerer hva agenten svarer på, og hvor godt agenten presterer.

Bemerkning

Hvis en utløser mislykkes og agenten ikke mottar en utløsernyttelast, kan ikke en analyseøkt starte. Analyse sporer bare vellykkede utløste kjøringer.

Hybridvisning – både samtale- og hendelsesutløste økter

Når agentens data inkluderer økter for minst én samtale og minst én trigger-basert kjøring i rapportens periode, viser Monitor-siden en hybridvisning av relevante måleparametere for både samtalebaserte og autonome økter. I dette bildet viser seksjonene Oversikt og Effektivitet måleparametere side om side for både samtale- og hendelsesutløste økter. Bruk-delen lar deg velge mellom samtaler eller kjøringer, som bare viser relevante data. Hvis du velger Alle , vises alle bruksrelaterte data. Tilfredshet-delen viser metrikk for tilfredshet for samtaleøkter.

Finn ut mer i:

• Overvåk effektiviteten til konversasjonsagenter for måleparametere for samtaleøkter

• Overvåk autonom agenthelse for hendelsesutløste øktmålinger

Last ned samtaleutskrifter

Du kan laste ned sesjonstranskripsjoner i Copilot Studio for perioder innenfor de siste 28 dagene. Det kan ta opptil en time etter at en analyseøkt er ferdig før de relaterte dataene vises på analysedashbordet. Lær mer om tilgjengelighet, tillatelser og nedlastingstrinn i Nedlasting av samtaletranskripsjoner i Copilot Studio.

Dataverse-transkripsjonsoppbevaring er separat fra 28-dagers sesjonsdata-vinduet i Copilot Studio. Lær mer i Last ned samtaletranskripsjoner i Power Apps.

Analyse av emnebruk

I Copilot Studio definerer et emne hvordan en agentsamtale utvikler seg og representerer en del av en samtale mellom en bruker og en agent. Temaovervåkingspanelet viser hvordan et enkelt tema presterer, inkludert hvor ofte det utløses, hvordan øktene som inkluderer det løses, og hvor fornøyde brukerne er med disse øktene. Bruk disse innsiktene til å identifisere temaer som ofte eskalerer eller blir forlatt, og prioriter dem deretter for forbedring. Finn ut mer i Opprett og rediger emner.

Bemerkning

Topic Monitor er kun tilgjengelig for agenter som drives av Standard harness og for temaer knyttet til en økt. Hvis agenten din bruker generativ orkestrering, bruk samtaleresultater og temaer på Monitor-siden i stedet.

For å se emnet Monitorpanel:

1. Gå til agentens Topics-side i Copilot Studio.

2. Velg emnet du vil analysere. Hvis ingen emner er tilgjengelige, kan du se Opprette og redigere emner.

3. Øverst til høyre på Emner-siden, velg Mer (...) >Overvåk.

Temaet Monitor-panelet viser:

• Emneresultater: Et diagram med øktresultater, Escalated, Resolvedog Abandoned, for økter der dette emnet ble utløst. Bruk dette diagrammet til raskt å vurdere emnetilstand. En høy andel av Escalated eller Abandoned resultater kan bety at emnet må forbedres.
• Total emnebruk: Et diagram over emneresultattrenden over tid. Bruk denne til å oppdage regresjoner, for eksempel en topp i forlatte økter etter at et emne ble redigert, eller for å bekrefte at nylige endringer forbedret oppløsningshastigheten.
• Kundetilfredshetspoengsum: En poengsum basert på svar på brukerundersøkelser fra økter som er knyttet til dette emnet.
• Trend for tilfredshetspoengsum: Et diagram som viser hvordan tilfredshetspoengsummen endres over tid. Bruk denne trenden til å identifisere perioder der brukernes sentiment gikk ned eller ble bedre.

For å endre tidsintervallet, velg nedtrekksmenyen for tidsintervall øverst i temapanelet Monitor.

Relatert informasjon

Måle avkastningen på investeringen (ROI) og forretningsverdien til AI-agenter