Kjøre tester med flersvingede samtaler

Med samtaleevaluering kan du vurdere agentens generelle virkemåte over en lengre samhandling. Det gjenspeiler hvordan ekte brukere samhandler med agenter, der hvert svar avhenger av tidligere kontekst i en pågående samtale. Du kan bruke disse evalueringene til å avgjøre om en agent kan opprettholde kontekst, be om avklaringer og fullføre flertrinnsoppgaver.

Du kan også kjøre evalueringer av enkeltsvar, som er bra for når du vil teste agenten din på hvordan den svarer på bestemte spørsmål, hvilke funksjoner den kaller, og på den nøyaktige ordlyden den bruker i svarene.

Evalueringer bruker testsett. Et testsett for samtaleevalueringer består av en gruppe på opptil 20 testtilfeller. Når du kjører en agentvurdering, velger du et testsett, og Copilot Studio kjører alle testtilfellene i det settet mot agenten din.

Du kan opprette testtilfeller i et testsett ved å importere dem ved hjelp av et regneark eller bruke kunstig intelligens til å generere meldinger basert på agentens utforming og ressurser. Du kan deretter velge hvordan du vil måle kvaliteten på agentens svar for hvert testtilfelle i et testsett.

For mer informasjon om hvordan agentvurdering fungerer, se Om agentvurdering.

For å lære hvordan du redigerer et eksisterende testsett, se Endre detaljene i et testsett.

Viktig!

Testresultatene er tilgjengelige i Copilot Studio i 89 dager. For å lagre testresultatene dine over lengre tid, eksporter resultatene til en CSV-fil.

Opprette et samtaletestsett

1. Gå til agentens evalueringsside .

1. Velg Ny evaluering, og velg deretter Samtale.

   

2. Du kan opprette flersvingede testtilfeller ved hjelp av en av følgende metoder:

   • Hurtigsamtalesett: Generer automatisk 10 korte samtaler basert på agentens beskrivelse, instruksjoner og funksjoner.

   • Fullstendig samtalesett: Generer samtaler ved hjelp av agentens kunnskap eller definerte emner. I dette alternativet kan du velge å opprette korte eller lange samtaler.

   • Bruk testchatten: Konverter den nyeste testchatten til et testtilfelle.

Bemerkning

Samtaletest angir støtte for opptil 20 testtilfeller. Hvert testtilfelle støtter opptil 12 totalt meldinger, som er seks par spørsmål og svar.

1. Skriv inn et navn for testsettet under Navn.

2. Endre eller legg til testmetodene du vil bruke. For samtaletestsett kan du legge til generell kvalitet, nøkkelordssekk, funksjoner samsvarer eller klassifiseringsmetodene for egendefinerte testmetoder.

   • Legg til en ny metode:
     1. Velg Legg til testmetode.
     2. Velg alle metodene du vil teste med, og velg deretter OK. Du kan legge til flere metoder.
     3. For noen metoder, sett en beståttscore, og velg OK. Beståttresultatet avgjør hvilken poengsum som resulterer i bestått, eller stryk.
     4. Noen metoder krever at du legger til forventede svar eller nøkkelord for hvert av testtilfellene dine. For mer informasjon, se Velg evalueringsmetoder.
   • Velg en eksisterende testmetode for å redigere eller slette.

   Testmetode	Tiltak	Testsetttype	Poengberegning	Konfigurasjoner
   Generell kvalitet	Hvor god er svaret(e) til et testtilfelle basert på spesifikke kvaliteter	Enkelt svar eller samtale	Fikk poeng av 100%	Ingen
   Sammenlign betydning	Hvor godt betydningen av testtilfellets svar stemmer overens med det forventede svaret	Enkelt svar	Fikk poeng av 100%	Bestått, forventet svar
   Kapasitetsbruk	Om testtilfellet brukte alle eller noen av de forventede ressursene	Enkelt svar	Bestått/ikke bestått.	Forventede kapasiteter
   Nøkkelordmatch	Om testtilfellet brukte alle eller noen av de forventede nøkkelordene eller frasene	Enkelt svar eller samtale	Bestått/ikke bestått.	Forventede nøkkelord eller fraser
   Tekstlikhet	Hvor godt teksten i testtilfellets svar stemmer overens med det forventede svaret	Enkelt svar	Fikk poeng av 100%	Bestått, forventet svar
   Eksakt samsvar	Om testtilfellets svar samsvarer nøyaktig med det forventede svaret	Enkelt svar	Bestått/ikke bestått.	Forventet svar

3. Rediger detaljene i testtilfellene. Alle testmetoder, bortsett fra generell kvalitet, krever forventede svar eller nøkkelord. Hvis du vil ha mer informasjon om redigering av testtilfeller, kan du se Endre et testsett.

4. Velg brukerprofil, og velg deretter eller legg til kontoen du vil bruke for dette testsettet, eller fortsett uten autentisering. Evalueringen bruker denne kontoen til å koble til kunnskapskilder og verktøy under testing. For informasjon om å legge til og administrere brukerprofiler, se Administrer brukerprofiler og forbindelser.

Bemerkning

Automatisert testing bruker autentisering av den valgte testkontoen. Hvis agenten din har kunnskapskilder eller kontakter som krever spesifikk autentisering, velg riktig konto for testingen din.

1. Rediger eller opprett flere testtilfeller. Finn ut mer i Rediger testtilfeller i et testsett.

2. Velg Save for å oppdatere testsettet uten å kjøre testtilfellene, eller Evaluate for å kjøre testsettet umiddelbart.