Opret et enkelt svar-test-setup

Bemærkning

Denne artikel beskriver funktioner, der anvendes i agenter eller agentstrømme, drevet af standardledningsnettet.

En enkelt svarevaluering tester din agent på ét spørgsmål, der ikke er forbundet ad gangen, i stedet for en fuld samtale. En enkelt svarevaluering for en kundeserviceagent spørger f.eks. Hvad er din åbningstider?, registrerer agentens svar på dette spørgsmål og starter derefter med et nyt spørgsmål: Hvordan finder jeg min ordrehistorik?

Enkelt svarevalueringer er gode til, når du vil teste din agent om, hvordan den besvarer specifikke spørgsmål, hvilke funktioner den kalder, og om den nøjagtige ordlyd, den bruger i sine svar. Du kan også køre samtaleevaluering, hvilket giver dig mulighed for at vurdere din agents funktionsmåde over en længere interaktion.

Evalueringer bruger testsæt. Et testsæt til enkelt svarevalueringer består af en gruppe på op til 100 testcases. Når du kører en agentevaluering, vælger du et testsæt og Copilot Studio kører alle testcases i dette sæt i forhold til din agent.

Du kan manuelt oprette testcases inden for et testsæt, importere dem ved hjælp af et regneark eller bruge AI til at generere beskeder baseret på din agents design og ressourcer. Du kan derefter vælge, hvordan du vil måle kvaliteten af din agents svar for hver testcase i et testsæt.

Lær mere om, hvordan agentvurdering fungerer i Om agentvurdering.

For at lære, hvordan man redigerer et eksisterende testsæt, se Ændr detaljerne i et testsæt.

Vigtigt!

Testresultaterne er tilgængelige i Copilot Studio i 89 dage. For at gemme dine testresultater i længere tid, eksporter resultaterne til en CSV-fil.

Opret et nyt testsæt

  1. Gå til din agents vurderingsside .

    Skærmbillede, der viser, hvordan man vælger fanen Evaluering, når fanevalget er komprimeret på grund af skærmstørrelse.

  2. Vælg Ny evaluering, og vælg derefter Enkeltsvar.

    Skærmbillede, der viser knappen Opret ny test på Evalueringssiden.

  3. Vælg den metode, du vil bruge til at oprette testsættet. Et testsæt kan have op til 100 testcases.

    • Sæt et hurtigt spørgsmål for at få Copilot Studio til automatisk at oprette testcases baseret på din agents beskrivelse, instruktioner og kapaciteter. Denne mulighed genererer 10 spørgsmål til at køre små, hurtige evalueringer eller til at begynde at opbygge et større testsæt.
    • Det fulde spørgsmålssæt skal få Copilot Studio til at generere testcases ved hjælp af en videnkilde eller emner og vælge det antal spørgsmål, der skal genereres.
    • Brug din testchat-samtale til automatisk at udfylde testsættet med de spørgsmål, du har givet i din testchat. Denne metode bruger spørgsmål fra den seneste testchat. Du kan også starte en evaluering fra testchatten ved hjælp af evalueringsikonet .
      Skærmbillede, der viser knappen Opret ny test i testchatten.
    • Importer testcases fra en fil ved at trække din fil ind i det udpegede område, vælge Gennemse for at uploade en fil eller vælge en af de andre uploadmuligheder.
    • Eller skriv selv nogle spørgsmål for manuelt at lave et testsæt. Følg trinene for at redigere et testsæt for at tilføje og redigere testcases.
    • Brug produktionsdata baseret på temaer fra din agents analyser. Skærmbillede, der viser Evaluer-muligheden for et tema i Tema-listen for ét tema.

  4. Angiv et navn til testsættet under Navn.

  5. Under Vælg testmetoder kan du ændre eller tilføje de testmetoder , du ønsker at bruge:

    • Tilføj en ny metode:
      1. Vælg Tilføj testmetode.
      2. Vælg alle de metoder, du vil teste med, og vælg derefter OK.
      3. Nogle metoder kræver en beståelsesscore. Beståelsesscoren bestemmer, hvilken score der resulterer i bestået eller ikke-bestået. Sæt scoren, og vælg derefter OK.
      4. Nogle metoder kræver, at man tilføjer forventede svar eller nøgleord for hvert af dine testtilfælde. Læs mere i Vælg evalueringsmetoder
    • Vælg en eksisterende testmetode til redigering eller sletning.
    Testmetode Målepunkter Testsættype Bedømmelse Konfigurationer
    Generel kvalitet Hvor god er en testcases svar(er) baseret på specifikke kvaliteter Enkelt svar eller samtale Scoret ud af 100% Ingen
    Sammenlign betydning Hvor godt betydningen af testtilfældets svar matcher det forventede svar Enkelt svar Scoret ud af 100% Bestået karakter, forventet svar
    Værktøjsbrug Om testcasen brugte alle eller nogen af de forventede ressourcer Enkelt svar Bestået/ikke bestået Forventede kapaciteter
    Nøgleordsmatch Om testsagen brugte alle eller nogle af de forventede nøgleord eller fraser Enkelt svar eller samtale Bestået/ikke bestået Forventede nøgleord eller fraser
    Tekstlighed Hvor godt teksten i testtilfældets svar matcher det forventede svar Enkelt svar Scoret ud af 100% Bestået karakter, forventet svar
    Præcist match Om testtilfældets svar præcist matcher det forventede svar Enkelt svar Bestået/ikke bestået Forventet svar
    Brugerdefineret Om testcasens svar opfylder dine definerede kriterier eller forventninger. Enkelt svar eller samtale Bestået/mislykket (overfører de definerede mærkatkriterier) Navn, evalueringsinstruktioner, etiketter

  6. Rediger detaljerne i testtilfældene. Alle testmetoder, undtagen generel kvalitet, kræver forventede svar eller nøgleord. Lær mere om redigering af testcases i Modify a test set.

  7. Under Yderligere konfiguration vælger du Administrere.

    Skærmbillede viser Administrér-knappen under Yderligere konfiguration.

  8. I Administrer profil og forbindelser, under Bruger, vælg eller tilføj den konto, du vil bruge til dette datasæt. Evalueringen bruger denne konto til at forbinde til videnskilder og værktøjer under testning. Lær mere i Administrer brugerprofiler og forbindelser.

    Bemærkning

    Automatiseret test bruger autentificeringen af den valgte testkonto. Hvis din agent har videnskilder eller forbindelser, der kræver specifik autentificering, vælg den relevante konto til din testning. Når Copilot Studio genererer testcases, bruger den autentificeringsoplysningerne fra en tilknyttet konto til at få adgang til din agents videnskilder og værktøjer. Genererede testcases kan omfatte følsomme data, som den forbundne konto kan få adgang til. Alle oprettere med adgang til agenten kan også få vist de testsæt, der er knyttet til den pågældende agent.

  9. Vælg Save for at opdatere datasættet uden at køre evalueringen eller Run for at køre datasættet med det samme.

Generer et enkelt svardatasæt ud fra viden eller emner

Du kan teste din mægler ved at generere spørgsmål ud fra de oplysninger og samtalekilder, din mægler allerede har. Denne testmetode er god til at teste, hvordan din agent bruger en videnskilde eller emner, den allerede har, men den er ikke god til at teste informationshuller.

Generer datacases ved at bruge følgende videnskilder:

  • Tekst

  • Microsoft Word

  • Microsoft Excel

  • PDF-filer

  • SharePoint-filer

Bemærkning

Brug kun individuelle SharePoint-filer som videnskilde til at generere et testsæt. SharePoint-mapper understøttes ikke.

Du kan bruge filer op til 5 MB til at generere testspørgsmål.

For at generere et datasæt:

  1. Gå til din agents vurderingsside .

  2. Vælg Ny evaluering.

  3. Vælg Generer-muligheden i knappen:

    Skærmbillede, der viser Generer-tog-knappen valgt for enkelte svar.

  4. Under Vælg datatype, vælg Single responses.

    • Vælg Vis genereringsmuligheder for at konfigurere følgende indstillinger:

      Skærmbillede, der viser skyderen til at vælge, hvor mange spørgsmål der skal genereres.

      1. Under Antal spørgsmål til generering, vælg og træk skyderen for at vælge antallet af spørgsmål, der skal genereres i dit testsæt.
      2. Under Hvad skal vi bruge som reference?, vælg det område, du ønsker, at din agent skal referere til, når du genererer spørgsmål til en ny evaluering. Du har to muligheder:
        • Videnskilder: Scanner agentens viden for at skabe et relevant spørgsmålssæt. Viden fungerer bedst for agenter, der bruger generativ orkestrering.
        • Emner: Tjekker agentens emner og skaber spørgsmål om disse emner. Bedst for agenter, der bruger klassisk tilstand. Topics fungerer bedst for agenter, der bruger klassisk orkestrering.

    Skærmbillede, der viser alle genereringsmuligheder, når man opretter en ny evaluering.

  5. Vælg Generer datasæt.

  6. Under Gennemgå datasættet indtastes detaljerne for testtilfældene. Alle testmetoder, undtagen generel kvalitet, kræver forventede svar eller nøgleord. Lær mere om redigering af testcases i Modify a test set.

    Skærmbillede, der viser producenten indtaste forventede svar til en ny evaluering.

  7. Under Vælg testmetoder skal du vælge eller ændre de testmetoder , du ønsker at bruge:

    • For at tilføje en ny metode:
      1. Vælg Tilføj testmetode.
      2. Vælg alle de metoder, du vil teste med, og vælg derefter OK. Du kan tilføje flere metoder.
      3. For nogle metoder skal du sætte en beståelsesscore, og derefter vælge OK. Beståelsesscoren bestemmer, hvilken score der resulterer i bestået eller ikke-bestået.
      4. Nogle metoder kræver, at man tilføjer forventede svar eller nøgleord for hvert af dine testtilfælde. Læs mere i Choose evalueringsmetoder.
    • Vælg en eksisterende testmetode til redigering eller sletning.

  8. Under Yderligere konfiguration vælger du Administrere.

    Skærmbillede viser Administrér-knappen under Yderligere konfiguration.

  9. I Administrer profil og forbindelser, under Bruger, vælg eller tilføj den konto, du vil bruge til dette datasæt. Evalueringen bruger denne konto til at forbinde til videnskilder og værktøjer under testning. Lær mere i Administrer brugerprofiler og forbindelser.

    Bemærkning

    Automatiseret test bruger autentificeringen af den valgte testkonto. Hvis din agent har videnskilder eller forbindelser, der kræver specifik autentificering, vælg den relevante konto til din testning. Når Copilot Studio genererer testcases, bruger den autentificeringsoplysningerne fra en tilknyttet konto til at få adgang til din agents videnskilder og værktøjer. Genererede testcases kan omfatte følsomme data, som den forbundne konto kan få adgang til. Alle oprettere med adgang til agenten kan også få vist de testsæt, der er knyttet til den pågældende agent.

  10. Vælg Save for at opdatere datasættet uden at køre evalueringen eller Run for at køre datasættet med det samme.

Begrænsning for generering af testtilfælde

Generering af testcases fejler, hvis et eller flere spørgsmål overtræder din agents indholdsmoderationsindstillinger. Mulige årsager inkluderer:

  • Agentens instruktioner eller emner fører modellen til at generere indhold, som systemet markerer.
  • Den tilknyttede videnskilde indeholder følsomt eller begrænset indhold.
  • Agentens indholdsmoderationsindstillinger er for strenge.

For at løse problemet kan du prøve forskellige handlinger, såsom at justere videnskilder, opdatere instruktioner eller ændre moderationsindstillinger.

Et testsæt kan indeholde op til 100 testtilfælde.

Opret en testsætfil til import

I stedet for at bygge dine testcases direkte i Copilot Studio, kan du oprette en regnearksfil med alle dine testcases og importere den for at oprette dit testsæt. Du kan sammensætte hvert testspørgsmål og angive de forventede svar på hvert spørgsmål. Når du er færdig med at oprette filen, skal du gemme den som en .csv- eller .txt-fil og importere den i Copilot Studio.

Vigtigt!

  • Filen kan indeholde op til 100 spørgsmål.
  • Hvert spørgsmål kan være op til 1.000 tegn, herunder mellemrum.
  • Filen skal være i CSV-format (kommaseparerede værdier) eller tekstformat.

Sådan oprettes importfilen:

  1. Åbn et regnearksprogram (f.eks. Microsoft Excel). Du kan downloade en CSV-skabelon under Eller uploade en fil efter at have valgt Ny evaluering>Import. Du kan også downloade kundesessioner fra Analytics for at redigere i Excel.

  2. Tilføj følgende overskrifter i denne rækkefølge i den første række:

    • Spørgsmål
    • Forventet svar

  3. Angiv dine testspørgsmål i kolonnen Spørgsmål. Hvert spørgsmål kan være på 1.000 tegn eller mindre, inklusive mellemrum.

  4. Angiv de forventede svar for hvert spørgsmål i kolonnen Forventet svar. Forventede svar er valgfrie for import af et testsæt. Du skal dog have forventede svar for at afvikle testtilfælde for match, similarity og compare meaning.

  5. Gem filen som en .csv- eller .txt-fil.

  6. Importer filen ved at følge trinene i Opret et nyt testsæt.

Opret et enkelt svardatasæt ved at importere sættfilen

  1. Gå til din agents vurderingsside .

  2. Vælg Ny evaluering.

  3. Under Vælg datatype, vælg Single responses.

  4. Vælg Import-muligheden i knappen.

    Skærmbillede, der viser Import-knappen valgt til enkeltsvar.

  5. Importer data ved at vælge Forhåndsvisning chat for at bruge data fra en af dine nuværende forhåndsvisningschatsessioner, eller ved at importere testcases fra en CSV-fil ved at trække filen ind i det udpegede område eller uploade efter at have valgt Træk en fil eller klik for at uploade (CSV).

    Skærmbillede, der viser alle importmuligheder, når man opretter en ny evaluering.

  6. Under Gennemgå datasættet, rediger detaljerne i testtilfældene. Alle testmetoder, undtagen generel kvalitet, kræver forventede svar eller nøgleord. Lær mere i Ændr et testsæt.

  7. Under Vælg testmetoder skal du vælge eller ændre de testmetoder , du ønsker at bruge:

    • For at tilføje en ny metode:
      1. Vælg Tilføj testmetode.
      2. Vælg alle de metoder, du vil teste med, og vælg derefter OK. Du kan tilføje flere metoder.
      3. For nogle metoder skal du sætte en beståelsesscore, og derefter vælge OK. Beståelsesscoren bestemmer, hvilken score der resulterer i bestået eller ikke-bestået.
      4. Nogle metoder kræver, at man tilføjer forventede svar eller nøgleord for hvert af dine testtilfælde. Læs mere i Choose evalueringsmetoder.
    • Vælg en eksisterende testmetode til redigering eller sletning.

  8. Under Yderligere konfiguration vælger du Administrere.

  9. Under Administrer profil og forbindelser under Bruger, vælg eller tilføj den konto, du vil bruge til dette datasæt. Evalueringen bruger denne konto til at forbinde til videnskilder og værktøjer under testning. Lær mere i Administrer brugerprofiler og forbindelser.

  10. Vælg Save for at opdatere datasættet uden at køre evalueringen eller Run for at køre datasættet med det samme.

Lav et testsæt baseret på et tema

Lav et testsæt med spørgsmål fra samtaler med rigtige brugere. Denne metode bruger temaer (forhåndsvisning), som findes i din agents analyser.

Temaer er grupperinger af spørgsmål, der er taget fra gruppen af brugerspørgsmål, der udløser generative svar. Når du opretter et testsæt med et tema, genererer du testcases ud fra spørgsmål stillet af brugere relateret til det tema.

Brug disse testsæt til at udføre evalueringer med fokus på ét område eller emne inden for din agents omfang. For eksempel, hvis du har en kundeservicemedarbejder, kan du spore svarkvaliteten på fakturerings- og betalingsspørgsmål separat fra andre anvendelsestilfælde som fejlfinding.

Bemærkning

Før du opretter testsæt ud fra temaer, har du brug for adgang til temaer i analytics. Gennemgå adgangskravene til temaer (forhåndsvisning).

  1. På din agents Monitor-side skal du gå til listen over temaer .

  2. Hold musen over et tema, og vælg derefter Evaluer.

    Skærmbillede, der viser Evaluer-muligheden for et tema i Tema-listen.

    Du kan også vælge Se alle for at se flere temaer og derefter vælge Evaluer.

  3. Vælg Opret og åbn.

  4. Rediger detaljerne om testsættene og sagerne. Alle testcases, der bruger metoder, undtagen generel kvalitet, kræver forventede svar. Lær mere om redigering i Modify a test set.

  5. Vælg Save for at opdatere testsættet uden at køre testcases eller Evaluate for at køre testsættet med det samme.

  • Last updated on