Opret eller modificere et testsæt for at evaluere din agent

[Denne artikel er til dokumentationen til den foreløbige udgivelse. Der kan forekomme ændringer.]

Et testsæt består af en gruppe på op til 100 testtilfælde. Når du kører en agentvurdering, vælger du et testsæt, og Copilot Studio kører alle testcases i det sæt mod din agent.

Du kan manuelt oprette testcases inden for et testsæt, importere dem ved hjælp af et regneark eller bruge AI til at generere beskeder baseret på din agents design og ressourcer. Du kan derefter vælge, hvordan du vil måle kvaliteten af din agents svar for hver testcase i et testsæt.

For mere information om, hvordan agentvurdering fungerer, se Om agentvurdering.

Vigtigt!

Testresultater er tilgængelige i Copilot Studio i 89 dage. For at gemme dine testresultater i længere tid, eksporter resultaterne til en CSV-fil.

Opret et nyt testsæt

1. Gå til din agents vurderingsside .

2. Vælg nyt testsæt.

   

3. På siden Nyt testsæt vælger du den metode, du vil bruge til at oprette dit testsæt. Et testsæt kan have op til 100 testcases.

   • Sæt et hurtigt spørgsmål for at få Copilot Studio til automatisk at oprette testcases baseret på din agents beskrivelse, instruktioner og kapaciteter. Denne mulighed genererer 10 spørgsmål til at køre små, hurtige evalueringer eller til at begynde at opbygge et større testsæt.
   • Hele spørgsmålssæt for at få Copilot Studio til at generere testcases ved hjælp af din agents videnskilder eller emner.
   • Brug din testchat-samtale til automatisk at udfylde testsættet med de spørgsmål, du har givet i din testchat. Denne metode bruger spørgsmål fra den seneste testchat. Du kan også starte en evaluering fra testchatten ved at bruge evaluer-knappen .
   • Importer testcases fra en fil ved at trække din fil ind i det udpegede område, vælge Gennemse for at uploade en fil eller vælge en af de andre uploadmuligheder.
   • Eller skriv selv nogle spørgsmål for manuelt at lave et testsæt. Følg trinene for at redigere et testsæt for at tilføje og redigere testcases.

4. Rediger detaljerne i testtilfældene. Alle testcases, der bruger metoder, undtagen generel kvalitet, kræver forventede svar. For mere information om redigering, se Ændr et testsæt.

5. Angiv et navn til testsættet under Navn.

6. Vælg brugerprofil, og vælg eller tilføj derefter den konto, du vil bruge til dette testsæt, eller fortsæt uden autentificering. Evalueringen bruger denne konto til at forbinde til videnskilder og værktøjer under testning. For information om at tilføje og administrere brugerprofiler, se Administrer brugerprofiler og forbindelser.

Notat

Automatiseret test bruger autentificeringen af den valgte testkonto. Hvis din agent har videnskilder eller forbindelser, der kræver specifik autentificering, vælg den relevante konto til din testning.

1. Vælg Save for at opdatere testsættet uden at køre testcases eller Evaluate for at køre testsættet med det samme.

Begrænsning for generering af testtilfælde

Generering af testcases kan fejle, hvis et eller flere spørgsmål overtræder din agents indholdsmoderationsindstillinger. Årsagerne inkluderer:

• Agentens instruktioner eller emner får modellen til at generere indhold, der bliver markeret.
• Den tilknyttede videnskilde indeholder følsomt eller begrænset indhold.
• Agentens indholdsmoderationsindstillinger er alt for strenge.

For at løse problemet kan du prøve forskellige handlinger, såsom at justere videnskilder, opdatere instruktioner eller ændre moderationsindstillinger.

Et testsæt kan indeholde op til 100 testtilfælde.

Generer et testsæt ud fra viden eller emner

Du kan teste din agent ved at generere spørgsmål ved hjælp af de oplysninger og samtalekilder, din agent allerede har. Denne testmetode er god til at teste, hvordan din agent bruger den viden og de emner, den allerede har, men den er ikke god til at teste for informationshuller.

Du kan generere testcases ved at bruge disse videnskilder:

• Tekst
• Microsoft Word
• Microsoft Excel

Du kan bruge filer på op til 293 KB til at generere testspørgsmål.

For at generere et testsæt:

1. I Nyt testsæt skal du vælge Fuld spørgsmålssæt.

2. Vælg enten Viden eller Emner.

   • Viden fungerer bedst for agenter, der bruger generativ orkestrering. Denne metode skaber spørgsmål ved at bruge et udvalg af din agents videnskilder.
   • Topics fungerer bedst for agenter, der bruger klassisk orkestrering. Denne metode skaber spørgsmål ved at bruge din agents emner.

3. For Knowledge skal du vælge de videnskilder, du vil inkludere i spørgsmålsgenereringen.

1. For Viden og emner skal du vælge og trække skyderen for at vælge, hvor mange spørgsmål der skal genereres.

1. Vælg Generer.

2. Rediger detaljerne i testtilfældene. Alle testcases, der bruger metoder, undtagen generel kvalitet, kræver forventede svar. For mere information om redigering, se Ændr et testsæt.

3. Vælg Administrer profil for at vælge eller forbinde den konto, du vil bruge til dette testsæt. Du kan også fortsætte uden at tilføje en konto til autentificering.

Notat

Automatiseret test bruger autentificeringen af den valgte testkonto. Hvis din agent har videnskilder eller forbindelser, der kræver specifik autentificering, vælg den relevante konto til din testning.

Når Copilot Studio genererer testcases, bruger den autentificeringsoplysningerne fra en tilknyttet konto til at få adgang til din agents videnskilder og værktøjer. De genererede testcases eller resultater kan indeholde følsomme oplysninger, som den tilknyttede konto har adgang til, og disse oplysninger er synlige for alle skabere, der kan få adgang til testsættet.

1. Vælg Save for at opdatere testsættet uden at køre testcases eller Evaluate for at køre testsættet med det samme.

Opret en testsætfil til import

I stedet for at bygge dine testcases direkte i Copilot Studio kan du oprette en regnearksfil med alle dine testcases og importere dem for at oprette dit testsæt. Du kan skrive hvert testspørgsmål, bestemme den testmetode, du vil bruge, og angive de forventede svar for hvert spørgsmål. Når du er færdig med at oprette filen, skal du gemme den som en .csv- eller .txt-fil og importere den i Copilot Studio.

Vigtigt!

• Filen kan indeholde op til 100 spørgsmål.
• Hvert spørgsmål kan være op til 1.000 tegn, herunder mellemrum.
• Filen skal være i CSV-format (kommaseparerede værdier) eller tekstformat.

Sådan oprettes importfilen:

1. Åbn et regnearksprogram (f.eks. Microsoft Excel).

2. Tilføj følgende overskrifter i denne rækkefølge i den første række:

   • Spørgsmål
   • Forventet svar
   • Testmetode

3. Angiv dine testspørgsmål i kolonnen Spørgsmål. Hvert spørgsmål kan være på 1.000 tegn eller mindre, inklusive mellemrum.

4. Indtast en af følgende testmetoder for hvert spørgsmål i kolonnen Testmetode :

   • Generel kvalitet
   • Sammenlign betydning
   • Lighed
   • Nøjagtigt match
   • Nøgleordsmatch

5. Angiv de forventede svar for hvert spørgsmål i kolonnen Forventet svar. Forventede svar er valgfrie for import af et testsæt. Du skal dog have forventede svar for at køre match, lighed og sammenligne betydningstestcases.

6. Gem filen som en .csv- eller .txt-fil.

7. Importer filen ved at følge trinene i Opret et nyt testsæt.