Lag et enkelt svartestsett

En enkel svarevaluering tester agenten din på ett uavhengig spørsmål om gangen, i stedet for en full samtale. For eksempel vil en enkel svarevaluering for en kundeserviceagent stille spørsmålet: Hva er åpningstidene deres?, registrere agentens svar på det spørsmålet og deretter starte med et nytt spørsmål: Hvordan finner jeg bestillingshistorikken min?

Enkle svarevalueringer egner seg godt når du ønsker å teste agenten din på hvordan den besvarer bestemte spørsmål, hvilke funksjoner den kaller, og den nøyaktige ordlyden den bruker i svarene sine. Du kan også utføre samtaleevaluering, som lar deg vurdere agentens oppførsel gjennom lengre samhandlinger.

Evalueringer bruker testsett. Et testsett for enkle svarevalueringer inneholder opptil 100 testtilfeller. Når du kjører en agentvurdering, velger du et testsett, og Copilot Studio kjører alle testtilfellene i det settet mot agenten din.

Du kan opprette testtilfeller i et testsett manuelt, importere dem fra et regneark, eller bruke kunstig intelligens til å generere meldinger basert på agentens design og ressurser. Du kan deretter velge hvordan du vil måle kvaliteten på agentens svar for hvert testtilfelle i et testsett.

For mer informasjon om hvordan agentevaluering fungerer, se Om agentevaluering.

For å lære hvordan du redigerer et eksisterende testsett, se Endre detaljene for et testsett.

Viktig!

Testresultatene er tilgjengelige i Copilot Studio i 89 dager. Hvis du vil lagre testresultatene for en lengre periode, kan du eksportere resultatene til en CSV-fil.

Opprett et nytt testsett

  1. Gå til agentens Evaluering-side.

    Skjermbilde av hvordan du velger Evaluering-fanen når fanevalget komprimeres på grunn av skjermstørrelsen.

  2. Velg Ny evaluering, og velg deretter Ett svar.

    Skjermbilde som viser knappen Opprett ny test på siden Evaluering.

  3. Velg metoden du vil bruke til å opprette testsettet. Et testsett kan ha opptil 100 testtilfeller.

    • Hurtigspørsmålssett for å få Copilot Studio til å automatisk lage testtilfeller basert på agentens beskrivelse, instruksjoner og kapasiteter. Dette alternativet genererer 10 spørsmål for å kjøre små, raske evalueringer eller for å begynne å bygge et større testsett.
    • Fullt spørsmålssett for å få Copilot Studio til å opprette testtilfeller ved hjelp av en kunnskapskilde eller emner og velge antallet spørsmål som skal genereres.
    • Bruk testnettpratsamtalen til å fylle ut testsettet automatisk med spørsmålene du oppgav i testnettpraten. Denne metoden bruker spørsmål fra den siste testnettpraten. Du kan også starte en evaluering fra testnettpraten ved å bruke Evaluer -ikonet.
      Skjermbilde som viser knappen Opprett ny test i testnettpraten.
    • Importer testtilfeller fra en fil ved å dra filen til det angitte området, ved å velge Bla gjennom for å laste opp en fil, eller ved å velge et av de andre opplastingsalternativene.
    • Eller skriv noen spørsmål selv for å manuelt opprette et testsett. Følg trinnene for å redigere et testsett for å legge til og redigere testtilfeller.
    • Bruk produksjonsdata basert på temaer fra agentens analyser. Skjermbilde som viser

  4. Skriv inn et navn på testsettet under Navn.

  5. Endre eller legg til testmetodene du ønsker å bruke:

    • Legg til en ny metode:
      1. Velg Legg til testmetode.
      2. Velg alle metodene du vil teste med, og velg deretter OK.
      3. Noen metoder krever bestått. Beståttresultatet avgjør hvilken poengsum som resulterer i bestått eller stryk. Angi poengsummen, og velg deretter OK.
      4. Noen metoder krever at du legger til forventede svar eller nøkkelord for hvert av testtilfellene dine. Se Velg evalueringsmetoder for mer informasjon
    • Velg en eksisterende testmetode for å redigere eller slette.
    Testmetode Mål Type testsett Poengberegning Konfigurasjoner
    Generell kvalitet Hvor god er testtilfellets svar ut fra spesifikke kvaliteter Enkelt svar eller samtale Poengsum av 100 % Ingen
    Sammenlign mening Hvor godt meningen av testtilfellets svar samsvarer med det forventede svaret Ett svar Poengsum av 100 % Bestått poeng, forventet svar
    Verktøybruk Om testtilfellet brukte alle eller noen av de forventede ressursene Ett svar Bestått / ikke bestått Forventede funksjoner
    Nøkkelordsamsvar Om testtilfellet brukte alle eller noen av de forventede nøkkelordene eller frasene Enkelt svar eller samtale Bestått / ikke bestått Forventede nøkkelord eller fraser
    Tekstlikhet Hvor godt teksten i testtilfellets svar samsvarer med det forventede svaret Ett svar Poengsum av 100 % Bestått poeng, forventet svar
    Nøyaktig treff Om testtilfellets svar samsvarer nøyaktig med det forventede svaret Ett svar Bestått / ikke bestått Forventet svar
    Egendefinert Om testtilfellets svar oppfyller dine definerte kriterier eller forventninger. Enkelt svar eller samtale Bestått / ikke bestått (oppfyller de definerte vurderingskriteriene) Navn, evalueringsinstruksjoner, etiketter

  6. Rediger detaljene i testtilfellene. Alle testmetoder, bortsett fra generell kvalitet, krever forventede svar eller nøkkelord. For mer informasjon om redigering av testtilfeller, se Endre et testsett.

  7. Velg Brukerprofil, og velg eller legg til kontoen du vil bruke for dette testsettet, eller fortsett uten autentisering. Evalueringen bruker denne kontoen til å koble til kunnskapskilder og verktøy under testing. Hvis en annen konto velges for evaluering enn kontoen med koblingsgodkjenning, vil agenter som bruker koblinger eller verktøy, feile. For informasjon om å legge til og administrere brukerprofiler, se Administrer brukerprofiler og koblinger.

    Notat

    Automatisert testing bruker autentisering av den valgte testkontoen. Hvis agenten din har kunnskapskilder eller forbindelser som krever spesifikk autentisering, velg riktig konto for testing. Når Copilot Studio genererer testtilfeller, benyttes autentiseringsinformasjonen fra en tilknyttet konto for å få tilgang til agentens kunnskapskilder og verktøy. Genererte testtilfeller kan inneholde sensitive data som den tilknyttede kontoen har tilgang til. Enhver oppretter med tilgang til agenten kan også se testsettene som er knyttet til den agenten.

  8. Velg Lagre for å oppdatere testsettet uten å kjøre testsakene eller Evaluer for å kjøre testsettet umiddelbart.

Begrensning for generering av testtilfeller

Generering av testtilfeller feiler hvis ett eller flere spørsmål bryter med agentens innstillinger for innholdsmoderering. Mulige grunner inkluderer:

  • Agentens instruksjoner eller emner leder modellen til å generere innhold som systemet flagger.
  • Den tilknyttede kunnskapskilden inkluderer sensitivt eller begrenset innhold.
  • Agentens innstillinger for innholdsmoderering er altfor strenge.

For å løse problemet, prøv ulike handlinger, for eksempel å justere kunnskapskilder, oppdatere instruksjoner eller modifisere moderasjonsinnstillinger.

Et testsett kan inneholde opptil 100 testtilfeller.

Generer et testsett fra kunnskap eller emner

Du kan teste agenten din ved å generere spørsmål ved bruk av informasjonen og samtalekildene agenten allerede har. Denne testmetoden er nyttig for å teste hvordan agenten din bruker en kunnskapskilde eller emner den allerede har, men den er ikke egnet til å identifisere informasjonshull.

Du kan generere testtilfeller ved å bruke følgende kunnskapskilder:

  • Tekst

  • Microsoft Word

  • Microsoft Excel

  • PDF-filer

  • SharePoint-innhold

Du kan bruke filer på inntil 5 MB til å generere testspørsmål.

Slik genererer du et testsett:

  1. I Ny evaluering, velg Fullt spørsmålssett.

  2. Velg enten Kunnskap eller Emner.

    • Kunnskap fungerer best for agenter som bruker generativ iverksetting. Denne metoden genererer spørsmål ved å bruke en av agentens kunnskapskilder.
    • Emner fungerer best for agenter som bruker klassisk iverksetting. Denne metoden genererer spørsmål ved å bruke agentens emner.

  3. For Kunnskap, velg kunnskapskilden du ønsker å bruke for å generere spørsmål.

    Skjermbilde som viser valget av kunnskapskilder som skal inkluderes i genereringen av testtilfeller.

  4. For Kunnskap og Emner, velg og dra glidebryteren for å velge hvor mange spørsmål som skal genereres.

    Skjermbilde som viser glidebryteren for å velge hvor mange spørsmål som skal genereres.

  5. Velg Generer.

  6. Skriv inn et navn på testsettet under Navn.

  7. Endre eller legg til testmetodene du ønsker å bruke:

    • Legg til en ny metode:
      1. Velg Legg til testmetode.
      2. Velg alle metodene du vil teste med, og velg deretter OK. Du kan legge til flere metoder.
      3. For noen metoder angir du en beståttgrense og velger deretter OK. Beståttresultatet avgjør hvilken poengsum som resulterer i bestått eller stryk.
      4. Noen metoder krever at du legger til forventede svar eller nøkkelord for hvert av testtilfellene dine. Se Velg evalueringsmetoder for mer informasjon
    • Velg en eksisterende testmetode for å redigere eller slette.

  8. Rediger detaljene i testtilfellene. Alle testtilfeller som bruker metoder, unntatt generell kvalitet, krever forventede svar. For mer informasjon om redigering, se Endre et testsett.

  9. Velg Lagre for å oppdatere testsettet uten å kjøre testsakene eller Evaluer for å kjøre testsettet umiddelbart.

Opprett en testsettfil som skal importeres

I stedet for å bygge testsakene direkte i Copilot Studio, kan du opprette en regnearkfil med alle testsakene og importere dem for å opprette testsettet. Du kan skrive hvert testspørsmål, bestemme testmetoden du vil bruke, og angi de forventede svarene for hvert spørsmål. Når du har opprettet filen, lagre den som en .csv- eller .txt-fil og importer den til Copilot Studio.

Viktig!

  • Filen kan inneholde opptil 100 spørsmål.
  • Hvert spørsmål kan være på opptil 1000 tegn, inkludert mellomrom.
  • Filen må være i kommadelte verdier (CSV) eller tekstformat.

Slik oppretter du importfilen:

  1. Åpne et regnearkprogram (f.eks. Microsoft Excel). Du kan laste ned en CSV-mal under Datakilde etter å ha valgt Ny evaluering.

  2. Legg til følgende overskrifter i denne rekkefølgen i den første raden:

    • Spørsmål
    • Forventet svar
    • Testmetode

  3. Skriv inn testspørsmålene i kolonnen Spørsmål. Hvert spørsmål kan være på opptil 1000 tegn, inkludert mellomrom.

  4. Skriv inn en av følgende testmetoder for hvert spørsmål i kolonnen Testmetode:

    • Generell kvalitet
    • Sammenlign mening
    • Likhet
    • Nøyaktig treff
    • Nøkkelordsamsvar

  5. Skriv inn de forventede svarene for hvert spørsmål i kolonnen Forventet svar. Forventede svar er valgfrie for import av et testsett. Du trenger imidlertid forventede svar for å kjøre testsaker for samsvar, likhet og sammenligning av mening.

  6. Lagre filen som en CSV- eller TXT-fil.

  7. Importer filen ved å følge trinnene i Opprett et nytt testsett.

Opprett et testsett basert på et tema

Opprett et testsett med spørsmål fra samtaler med ekte brukere. Denne metoden bruker temaer (forhåndsversjon) som finnes i agentens analyser.

Temaer er grupperinger av spørsmål hentet fra samlingen av brukerspørsmål som utløser generative svar. Når du oppretter et testsett basert på et tema, genererer du testtilfellene fra spørsmål som brukere har stilt om det temaet.

Bruk disse testsettene til å utføre evalueringer med fokus på ett område eller emne innen agentens omfang. Hvis du for eksempel har en kundeserviceagent, kan du spore svarkvaliteten for spørsmål om fakturering og betaling separat fra andre bruksområder, som feilsøking.

Notat

Før du oppretter testsett fra temaer, må du ha tilgang til temaer i Analytics. Gå gjennom forutsetningene for temaer (forhåndsversjon).

  1. Gå til Temaer på siden Analyse i agenten din.

  2. Plasser musepekeren over et tema, og velg Evaluer.

    Skjermbilde som viser alternativet Evaluer for et tema i Temaer-listen.

    Du kan også velge Se alle for å se flere temaer og deretter velge Evaluer.

  3. Velg Opprett og åpne.

  4. Rediger detaljene i testsettene og testtilfellene. Alle testtilfeller som bruker metoder, unntatt generell kvalitet, krever forventede svar. For mer informasjon om redigering, se Endre et testsett.

  5. Velg Lagre for å oppdatere testsettet uten å kjøre testsakene eller Evaluer for å kjøre testsettet umiddelbart.

  • Last updated on