Skapa en testuppsättning med ett enda svar

En enskild svarsutvärdering testar din agent på en oberoende fråga åt gången, istället för en hel konversation. Till exempel består en enskild svarutvärdering för en kundtjänstagent av att ställa frågan Vilka är era öppettider?, notera agentens svar på den frågan och sedan börja med en ny fråga, Hur hittar jag min orderhistorik?

Enskilda svarutvärderingar är användbara när du vill testa din agent på hur den besvarar specifika frågor, vilka funktioner den använder och exakt vilken formulering den använder i sina svar. Du kan också köra samtalsutvärdering, vilket gör att du kan utvärdera din agents beteende under en längre interaktion.

Utvärderingar använder testuppsättningar. En testuppsättning för utvärderingar av ett enkelt svar består av en grupp på upp till 100 testfall. När du genomför en agentutvärdering väljer du en testuppsättning och Copilot Studio kör varje testfall i den uppsättningen mot din agent.

Du kan skapa testfall inom en testuppsättning manuellt, importera dem via ett kalkylblad eller använda AI för att generera meddelanden utifrån din agents design och resurser. Du kan sedan välja hur du vill mäta kvaliteten på din agents svar för varje testfall inom en testuppsättning.

Mer information om hur agentutvärdering fungerar finns i Om agentutvärdering.

För att lära dig hur du redigerar en befintlig testuppsättning, se Ändra detaljerna för en testuppsättning.

Viktigt

Testresultaten finns tillgängliga i Copilot Studio i 89 dagar. För att spara dina testresultat under en längre period, exportera resultaten till en CSV-fil.

Skapa en ny testuppsättning

Gå till din agents utvärderingssida.
Välj Ny utvärdering, välj sedan Enkel respons.
Välj den metod som du vill använda för att skapa testuppsättningen. Ett testuppsättning kan ha upp till 100 testfall.
- Snabb frågeuppsättning för att Copilot Studio automatiskt ska skapa testfall utifrån din agents beskrivning, instruktioner och funktioner: Detta alternativ genererar 10 frågor för att köra små, snabba utvärderingar eller för att börja bygga en större testuppsättning.
- Fullständig frågeuppsättning för att Copilot Studio ska generera testfall med hjälp av en kunskapskälla eller ämnen och välja antalet frågor som ska genereras.
- Välj Använd din testchattkonversation för att automatiskt fylla i testuppsättningen med de frågor som du angav i din testchatt. Denna metod använder frågor från den senaste testchatten. Du kan också starta en utvärdering från testchatten genom att använda ikonen Utvärdera .
- Importera testfall från en fil genom att dra din fil till det angivna området, genom att välja Bläddra för att ladda upp en fil, eller genom att välja något av de andra uppladdningsalternativen.
- Eller, skriv några frågor själv för att manuellt skapa en testuppsättning. Följ stegen för att redigera en testuppsättning för att lägga till och redigera testfall.
- Använd produktionsdata baserat på teman från din agents analysdata.
Under Namn anger du ett namn för testuppsättningen.

Ändra eller lägg till testmetoder du vill använda:

Lägg till en ny metod:
1. Välj Lägg till testmetod.
2. Välj alla metoder du vill testa med och välj OK.
3. Vissa metoder kräver en godkänt poäng. Godkänd poäng avgör vilket resultat som leder till godkänt eller underkänt. Ange poängen, välj sedan OK.
4. Vissa metoder kräver att du lägger till förväntade svar eller nyckelord för varje testfall. För mer information, se Välj utvärderingsmetoder
Välj en befintlig testmetod för att redigera eller ta bort.

Testmetod	Mått	Testuppsättningstyp	Bedömning	Konfigurationer
Allmän kvalitet	Hur bra är ett testfalls svar baserat på specifika egenskaper	Enskilt svar eller samtal	Fick poäng av 100 %	Ingen
Jämför innebörden	Hur väl innebörden i testfallets svar överensstämmer med det förväntade svaret	Enkelt svar	Fick poäng av 100 %	Godkänd poäng, förväntat svar
Användning av verktyg	Om testfallet använde alla eller några av de förväntade resurserna	Enkelt svar	Godkänt/underkänt	Förväntade förmågor
Nyckelordsmatchning	Huruvida testfallet använde alla eller några av de förväntade nyckelorden eller fraserna	Enskilt svar eller samtal	Godkänt/underkänt	Förväntade nyckelord eller fraser
Textlikhet	Hur väl texten i testfallets svar stämmer överens med det förväntade svaret	Enkelt svar	Fick poäng av 100 %	Godkänd poäng, förväntat svar
Exakt matchning	Om testfallets svar exakt motsvarar det förväntade svaret	Enkelt svar	Godkänt/underkänt	Förväntat svar
Anpassat	Huruvida testfallets svar uppfyller de definierade kriterierna eller förväntningarna.	Enskilt svar eller samtal	Godkänd/underkänd (uppfyller de definierade etikettkriterierna)	Namn, utvärderingsinstruktioner, etiketter

Redigera detaljerna i testuppsättningarna. Alla testmetoder, förutom allmän kvalitet, kräver förväntade svar eller nyckelord. För mer information om redigering av testfall, se Modifiera en testuppsättning.
Välj Användarprofil, välj sedan eller lägg till ett konto som du vill använda för denna testuppsättning, eller fortsätt utan autentisering. Utvärderingen använder detta konto för att ansluta till kunskapskällor och verktyg under testningen. Om ett annat konto väljs för utvärdering än det konto som har autentisering för anslutningsprogram, kommer agenter som använder anslutningsprogram eller verktyg att misslyckas. För information om hur du lägger till och hanterar användarprofiler, se Hantera användarprofiler och anslutningar.

Kommentar

Automatiserad testning använder autentiseringen för det valda testkontot. Om din agent har kunskapskällor eller anslutningar som kräver specifik autentisering, välj det lämpliga kontot för din testning. När Copilot Studio genererar testfall använder den autentiseringsuppgifterna för ett anslutet konto för att få tillgång till din agents kunskapskällor och verktyg. Genererade testfall kan innehålla känsliga data som det anslutna kontot kan komma åt. Alla skapare med tillgång till agenten kan också se testuppsättningar som är länkade till agenten.
Välj Spara för att uppdatera testuppsättningen utan att köra testkörningen eller Utvärdera för att köra testuppsättningarna ommedelbart.

Begränsning av testfallsgenerering

Testfallsgenerering misslyckas om en eller flera frågor bryter mot din agents inställningar för innehållsmoderering. Möjliga orsaker innefattar:

Agentens instruktioner eller ämnen leder modellen till att generera innehåll som systemet flaggar.
Den anslutna kunskapskällan inkluderar känsligt eller begränsat innehåll.
Agentens innehållsmodereringsinställningar är alltför strikta.

För att lösa problemet, prova olika åtgärder, såsom att justera kunskapskällor, uppdatera instruktioner eller ändra modereringsinställningar.

Ett testuppsättning kan innehålla upp till 100 testfall.

Generera ett testuppsättning från kunskapskällor eller ämnen

Du kan testa din agent genom att generera frågor med hjälp av den information och de samtalskällor din agent redan har. Denna testmetod passar för att utvärdera hur agenten använder en kunskapskälla eller befintliga ämnen, men är inte lämplig för att identifiera informationsluckor.

Du kan generera testfall genom att använda följande kunskapskällor:

Text
Microsoft Word
Microsoft Excel
PDF-filer
Sharepoint-innehåll

Du kan använda filer upp till 5 MB för att generera testfrågor.

För att generera en testuppsättning:

I Ny utvärdering, välj Fullständig frågeuppsättning.
Välj antingen Kunskap eller Ämnen.
- Kunskap fungerar bäst för agenter som använder generativ orkestrering. Denna metod skapar frågor genom att använda en av din agents kunskapskällor.
- Ämnen fungerar bäst för agenter som använder klassisk orkestrering. Denna metod skapar frågor genom att använda din agents ämnen.
För Kunskap, välj den kunskapskälla du vill använda för att generera frågor.
För Kunskap och Ämnen, välj och dra reglaget för att välja antalet frågor som ska genereras.
Välj Generera.
Under Namn anger du ett namn för testuppsättningen.
Ändra eller lägg till testmetoder du vill använda:
- Lägg till en ny metod:
  1. Välj Lägg till testmetod.
  2. Välj alla metoder du vill testa med och välj OK. Du kan lägga till flera metoder.
  3. För vissa metoder, sätt ett godkänt resultat och välj sedan OK. Godkänd poäng avgör vilket resultat som leder till godkänt eller underkänt.
  4. Vissa metoder kräver att du lägger till förväntade svar eller nyckelord för varje testfall. För mer information, se Välj utvärderingsmetoder
- Välj en befintlig testmetod för att redigera eller ta bort.
Redigera detaljerna i testuppsättningarna. Alla testfall som använder metoder, förutom allmän kvalitet, kräver förväntade svar. För mer information om redigering, se Modifiera en testuppsättning.
Välj Spara för att uppdatera testuppsättningen utan att köra testkörningen eller Utvärdera för att köra testuppsättningarna ommedelbart.

Skapa en testuppsättningsfil som ska importeras

I stället för att skapa dina testkörningar direkt i Copilot Studio kan du skapa en kalkylbladsfil med alla dina testkörningar och importera dem för att skapa en testuppsättning. Du kan skriva varje testfråga, fastställa vilken testmetod du vill använda och ange de förväntade svaren för varje fråga. När du är klar med att skapa filen, spara den som en .csv-fil eller .txt-fil och importera den in i Copilot Studio.

Viktigt

Filen kan innehålla upp till 100 frågor.
Varje fråga kan vara upp till 1 000 tecken, inklusive mellanslag.
Filen måste vara i CSV-format (kommaavgränsade värden) eller textformat.

Så här skapar du importfilen:

Öppna en kalkylbladsapp (till exempel Microsoft Excel). Du kan ladda ner en CSV-mall under Datakälla efter att ha valt Ny utvärdering.
Lägg till följande rubriker i den här ordningen på den första raden:
- Question
- Förväntat svar
- Testmetod
Ange dina testfrågor i kolumnen Fråga . Varje fråga kan vara 1 000 tecken eller mindre, inklusive mellanslag.
Ange någon av följande testmetoder för varje fråga i kolumnen Testmetod:
- Allmän kvalitet
- Jämför innebörden
- Likhet
- Exakt matchning
- Nyckelordsmatchning
Ange förväntade svar för varje fråga i kolumnen Förväntat svar. Förväntade svar är valfria för att import av en testuppsättning. Du behöver dock förväntade svar för att testkörningar av matchning, likhet och jämföra innebörden.
Spara filen som .csv- eller .txt-fil.
Importera filen genom att följa stegen i Skapa en ny testuppsättning.

Skapa en testuppsättning baserad på ett tema

Skapa en testuppsättning med frågor från samtal med riktiga användare. Denna metod använder teman (förhandsversion) som finns i din agents analys.

Teman är grupperingar av frågor hämtade från användarnas frågepool som utlöser generativa svar. När du skapar en testuppsättning baserad på ett tema genererar du testfallen från frågor som ställts av användare relaterade till det temat.

Använd dessa testuppsättning för att utföra utvärderingar med fokus på ett område eller ämne inom din agents tillämpningsområde. Till exempel, om du har en kundtjänstagent kan du spåra svarkvaliteten för fakturerings- och betalningsfrågor separat från andra användningsfall som felsökning.

Kommentar

Innan du skapar testuppsättning från teman behöver du tillgång till teman i Analys. Gå igenom kraven för teman (förhandsversion).

På sidan Analys i agenten går du till listan Teman.
Håll muspekaren över ett tema och klicka på Utvärdera.

Du kan också klicka på Se allt för att visa fler teman och sedan klicka på Utvärdera.
Välj Skapa och öppna.
Redigera detaljerna i testuppsättningarna och körningarna. Alla testfall som använder metoder, förutom allmän kvalitet, kräver förväntade svar. För mer information om redigering, se Modifiera en testuppsättning.
Välj Spara för att uppdatera testuppsättningen utan att köra testkörningen eller Utvärdera för att köra testuppsättningarna ommedelbart.

Feedback

Var den här sidan till hjälp?

Last updated on 2026-07-30