Merk
Tilgang til denne siden krever autorisasjon. Du kan prøve å logge på eller endre kataloger.
Tilgang til denne siden krever autorisasjon. Du kan prøve å endre kataloger.
[Denne artikkelen inneholder dokumentasjon for forhåndsversjonen og kan bli endret.]
Temaer grupperer relaterte brukerspørsmål som utløser generative svar. Ved å gruppere relaterte spørsmål hjelper temaer deg med å organisere innsikt i kundehensikter, identifisere hyppige emner og fokusere på områder som trenger forbedring. Du kan utforske individuelle spørsmål i et tema og overvåke ytelsen for å forstå måledata på temanivå.
Viktig!
Denne artikkelen inneholder Microsoft Copilot Studio forhåndsvisningsdokumentasjon og kan endres.
Evalueringsfunksjonalitet er ikke ment for produksjonsbruk og kan ha begrensninger. Disse funksjonene er tilgjengelige før en offisielle utgivelsen slik at du kan få tidlig tilgang og gi tilbakemeldinger.
Hvis du bygger en produksjonsklar agent, kan du se Microsoft Copilot Studio Oversikt.
Forslag til nøkkelverdi
Temafunksjonen analyserer automatisk alle uklassifiserte spørsmål som utløste generative AI-svar den siste uken, og foreslår temaer basert på denne analysen. Denne prosessen kjøres ukentlig. Mellom ukentlige temaforslag kjører, utfører funksjonen daglig klassifisering av eventuelle nye spørsmål som utløser generative AI-svar og legger til disse dataene i temamålingene. Listen over foreslåtte temaer oppdateres regelmessig, slik at temaene forblir relevante og gjenspeiler de nyeste brukerdataene. Denne automatiske oppdateringen sparer deg for tid ved å:
- Evaluerer temarelevans kontinuerlig mot nye data.
- Klassifisere individuelle spørsmål automatisk i temaer.
- Automatisere henting av rå metriske data for hvert tema.
- Beregner aggregerte metriske data for hvert tema.
Forhåndskrav
Slik får du mest mulig ut av temafunksjonen, inkludert muligheten til å vise komponentspørsmål og svar for hvert tema:
Du trenger sikkerhetsrollen Bot Transcript Viewer for å vise listen og måledataene. Bare administratorer kan gi denne rollen ved å tilordne sikkerhetsrollen Bot Transcript Viewer under agentdeling.
Innstillingene på miljønivå for lagring av samtaleavskrifter i Dataverse er aktivert.
Foreslåtte temaer og klassifiserte spørsmål
Copilot Studio foreslår temaer basert på registreringer av spørsmål som ble stilt i den siste tiden. Ved å skreddersy hvert foreslåtte tema som passer organisasjonens struktur og kundeopplevelsesstrategi, kan du få bedre innsikt gjennom temaspesifikke nøkkelindikatorer (KPI-er). Denne dypere detaljnivået gjør det enklere å finne ut hvor agentene underpresterer.
Temaer hjelper utviklere med å forstå hvilke spørsmål brukerne stiller agenten og hvordan agenten utfører. I den første kjøringen av temabasert analyse ser Copilot Studio på alle spørsmål fra den siste uken og foreslår opptil 10 temaer som grupperer brukerspørsmål basert på likheter med hverandre. Hvert tema inneholder måledata som totalt antall spørsmål, svarfrekvens og brukerreaksjon. Den valgte analyseperioden justerer dataene som vises i Temaer-listen .
Etter den første kjøringen klassifiserer Copilot Studio nye spørsmål til eksisterende temaer på løpende, daglig basis, og genererer en ny liste over foreslåtte temaer på ukentlig basis.
Note
- Minst 50 spørsmål med generative svar må logges i løpet av de siste sju dagene før Copilot Studio genererer foreslåtte temaer.
- Et spørsmål som utløser et generativt AI-svar, kan klassifiseres til mer enn ett tema. Dette scenariet kan bli mer vanlig i generativ orkestreringsmodus , der et agentsvar kan komme fra flere forskjellige kilder.
- Eventuelle spørsmål som forblir uklassifiserte, settes inn i et uklassifisert tema.
- Det kan ta noen minutter å fullføre de ukentlige forslagene. I løpet av denne tiden er Temaer-delen utilgjengelig for bruk.
Temalisten
Temalisten viser som standard de fem øverste temaene, rangert etter totalt antall spørsmål klassifisert til hvert tema. Velg Se alle for å utvide listen og vise alle temaer.
Med automatiske ukentlige temaforslag og daglig spørsmålsklassifisering utvikler Temaer-funksjonen seg automatisk og tilpasser seg endringer i brukeratferd.
Temaer-listen viser beregninger for hvert oppførte tema.
| Column | Beskrivelse |
|---|---|
| Navn | Navnet på temaet. |
| Totalt antall spørsmål | Totalt antall spørsmål klassifisert i dette temaet for den konfigurerte tidsperioden. |
| Besvarte spørsmål | Andel av totalt antall spørsmål som resulterer i et svar på brukerspørsmålet. |
| Svarkvalitet | Andel av summen av alle svar (basert på et utvalg spørsmål) som har et Good kvalitetssvar. |
| Reaksjoner | Rått antall positive (tommel opp) og negative (tommel ned) reaksjoner fra spørsmålene klassifisert til hvert tema. |
Hold musepekeren over et tema for å se Evaluer-knappen . Lær mer om evaluering.
Note
Hvorfor er det ubesvarte spørsmål i temaet mitt når alle klassifiserte spørsmål utløste generative AI-svar?
Per definisjon kan bare spørsmål som utløser et generativt AI-svar klassifiseres til et tema. Men å utløse et kall til generative svar er ikke det samme som å ha et svar på en brukerspørring.
Det er for eksempel vanlig at det er et samtaleforsterkende emne som er koblet til en kunnskapskilde. I dette tilfellet, hvis en hensikt ikke gjenkjennes, kan emnet utløses som kaller kunnskapskilden, selv om det ikke er noe svar på spørsmålet i denne kunnskapskilden.
Drill ned på et tema
Viktig!
Hvis du vil ha tilgang til neddrillingsfunksjonalitet, må begge følgende være sanne:
Følgende miljøinnstillinger er aktivert:
- Tillat at agenteiere og -redaktører ser øktutskrifter fra samtalesamhandlinger i agentene sine.
- Tillat at samtaleavskrifter og tilhørende metadata lagres i Dataverse.
Hvis du vil ha mer informasjon, kan du se Konfigurere utskriftsinnstillinger for ett enkelt miljø.
Sikkerhetsrollen Bot Transcript Viewer er tilordnet til brukeren. Hvis du vil ha mer informasjon, kan du se Legge til brukere i en sikkerhetsrolle.
Hvis du vil drille ned til spørsmålene som er gruppert i ett tema, velger du temaet i Temaer-listen . Når du driller ned, åpnes et panel som er spesifikt for det valgte temaet, og viser måledata på nivåene for både tema og individuelle spørsmål.
Note
Temalisten inkluderer:
- De siste 100 spørsmålene klassifisert i hvert tema.
- Spørsmål fra de siste 30 dagene, uavhengig av den konfigurerte tidsperioden. Hvis den konfigurerte perioden er fullstendig utenfor de siste 30 dagene, viser Copilot Studio et varsel om at listen ikke er tilgjengelig.
I et temas neddrillingspanel vises måledata på temanivå først.
| Metrikk på temanivå | Beskrivelse |
|---|---|
| Totalt antall spørsmål | Totalt antall spørsmål klassifisert i dette temaet som utløste generative AI-svar for den konfigurerte tidsperioden. |
| Besvarte spørsmål | Andelen av temaets totale spørsmål som resulterte i et svar på brukerspørsmålet. |
| Ubesvarte spørsmål | Andelen av temaets totale spørsmål som ikke resulterte i et svar på brukerspørsmålet. |
| Reaksjoner | Rått antall positive (tommel opp) og negative (tommel ned) reaksjoner fra spørsmålene klassifisert til dette temaet, som registrert i Learn Feedback-mekanismen. |
Hvis du vil vise en oversikt over kvaliteten på svaret for et utvalg av besvarte spørsmål, og alle refererte kunnskapskilder i dette temaet, velger du Se detaljer.
Hvis du vil se mer informasjon om én svarkvalitetsverdi på temanivået, holder du pekeren over et enkelt stolpesegment under Svarkvalitet i Temametrikk-panelet. Verktøytipset inkluderer verdien av segmentets relative vekting og antall spørsmål som er samplet for å komme frem til denne verdien.
For å se mer informasjon på nivå med en av de oppførte kunnskapskildene i temaet, under bruk av kunnskapskilder, velg en individuell kunnskapskilde. Verktøytipset inkluderer:
- Totalt antall spørsmål som henviste til denne kunnskapskilden, samt antall tommel opp- og tommel ned-reaksjoner.
- Et stablet stolpediagram som viser nedbrytingen av kvaliteten på svarrelative vektinger for spørsmål som henviser til denne kunnskapskilden. Hold pekeren over et segment i stolpediagrammet for å se verdien av segmentets relative vekting og antall spørsmål som er samplet for å komme frem til denne verdien.
En temabasert spørsmålsliste gjenspeiler alle spørsmål som utløste generative AI-svar og ble klassifisert i dette temaet, og viser måledata per spørsmål .
Måledata på spørsmålsnivå inkluderer:
| Dimensjon på spørsmålsnivå eller metrikkverdi | Beskrivelse |
|---|---|
| Spørsmål (dimensjon) | Spørsmål som utløste et generativt AI-svar klassifisert til dette temaet. |
| Besvart? | Svar på spørsmålet om brukerspørringen ble besvart eller ikke. Mulige verdier er Answered og Unanswered. |
| Svarkvalitet1 | Svar på spørsmålet om kvaliteten på svaret på brukerspørringen. Mulige verdier er Poor og Good. |
| Reaksjon | To parametere, som er den boolske tommelen opp / Tommel ned metrisk, og en tekstbasert kommentarparameter . |
| Dato | Dato da spørsmålet ble stilt. |
| Kunnskapskilde | Kommadelt liste over kunnskapskilder referert til av dette spørsmålet i dette temaet. |
1 Svarkvalitet er ikke alltid tilgjengelig og vises bare hvis spørsmålet ble samplet for kvalitetsanalyse.
Hvis du vil, kan du utføre følgende handlinger på den temaspesifikke spørsmålslistesiden:
- Bruk mer filtrering for å begrense listen over spørsmål ytterligere ved hjelp av listens dimensjonale filtre.
- Evaluer de oppførte spørsmålene i henhold til kriteriene du definerer i evalueringens testmetode.
- Last ned de oppførte spørsmålene som en .csv fil.
Velg et spørsmål i listen for å vise mer informasjon om spørsmålet i et spørsmålsdetaljerpanel . Dette panelet inkluderer:
| Detaljert parameter på spørsmålsnivå | Beskrivelse |
|---|---|
| Tidsangivelse | Tidsstempel for den siste forekomsten av når spørsmålet ble besvart. |
| Brukerspørring | Spørsmålet ble stilt. |
| Svar | Det generative AI-svaret. |
| Tommel opp-/Tommel ned-verdi | Verdi for det nyeste eksemplet av dette spørsmålet for tommel opp/tommel ned-parameteren. |
| Kommentar | Valgfri ekstra tekstbasert kommentar, gitt av brukeren, i tillegg til Tommel opp / Tommel ned-reaksjonen . |
| Svarkvalitet1 | Svar på spørsmålet om kvaliteten på svaret på brukerspørringen. Mulige verdier er Poor og Good. |
| Årsak2 | I tilfeller der svarkvaliteten er Poor, forklarer denne parameteren hvorfor. |
1 Svarkvalitet er ikke alltid tilgjengelig og vises bare hvis spørsmålet ble samplet for kvalitetsanalyse.
2 Hvis svarkvaliteten er Good eller hvis spørsmålet ikke ble samplet, har ikke årsaksparameteren en verdi.
Vurder agentens svar basert på tema
Note
Når du velger Evaluer for et tema som er oppført på Temaer-siden , oppretter du et nytt testsett på temanivå. Testsettet inneholder alle spørsmål klassifisert til dette temaet, opptil 100 spørsmål. Hvis du vil bruke mer filtrering på listen over spørsmål, må du først drille ned på temaet før du oppretter et evalueringstestsett. Bruk deretter filtrering på listen. Når du har brukt all ønsket filtrering, velger du Evaluer fra spørsmålslistesiden.
Du kan teste agentens svar på spørsmål relatert til et tema ved hjelp av agentevaluering (forhåndsvisning).
Temabaserte evalueringer tester spesifikke deler av agentens ansvarsområde. For eksempel, hvis du har en kundeservicemedarbeider, kan du spore svarkvaliteten for fakturering og betalingsspørsmål separat fra andre bruksområder som feilsøking.
Lær mer om å lage testsett basert på et tema.
