Skapa en testuppsättning för ett enda svar

Note

Denna artikel beskriver funktioner i agenter eller agentflöden som använder standard harness.

En utvärdering av ett svar testar din agent på en oansluten fråga i taget i stället för en fullständig konversation. Till exempel frågar en enskild svarsutvärdering för en kundtjänstagent Vad är din kontorstid?, registrerar agentens svar på den frågan och börjar sedan med en ny fråga, Hur hittar jag min orderhistorik?

Utvärderingar av enskilda svar är bra för när du vill testa din agent på hur den svarar på specifika frågor, vilka funktioner den anropar och på den exakta formulering som används i dess svar. Du kan också köra konversationsutvärdering, vilket gör att du kan utvärdera agentens beteende under en längre interaktion.

Utvärderingar använder testuppsättningar. En testuppsättning för utvärderingar av enskilda svar består av en grupp på upp till 100 testfall. När du kör en agentutvärdering väljer du en testuppsättning och Copilot Studio kör varje testfall i den uppsättningen mot din agent.

Du kan skapa testfall inom en testuppsättning manuellt, importera dem med hjälp av ett kalkylblad, eller använda AI för att generera meddelanden baserat på din agents design och resurser. Du kan sedan välja hur du vill mäta kvaliteten på din agents svar för varje testfall inom en testuppsättning.

Läs mer om hur agentutvärdering fungerar i Om agentutvärdering.

För att lära dig hur man redigerar en befintlig testuppsättning, se Ändra detaljerna för en testuppsättning.

Important

Testresultaten finns tillgängliga i Copilot Studio i 89 dagar. För att spara dina testresultat under en längre period, exportera resultaten till en CSV-fil.

Skapa en ny testuppsättning

  1. Gå till din agents utvärderingssida.

    Skärmdump som visar hur man väljer fliken Utvärdering när flikvalet komprimeras på grund av skärmstorleken.

  2. Välj Ny utvärdering och välj sedan Enkla svar.

    Skärmdump som visar knappen Skapa nytt test på Utvärderingssidan.

  3. Välj den metod som du vill använda för att skapa testuppsättningen. Ett testset kan ha upp till 100 testfall.

    • Snabb frågesamling för att Copilot Studio ska skapa testfall automatiskt baserat på din agents beskrivning, instruktioner och kapacitet. Detta alternativ genererar 10 frågor för att köra små, snabba utvärderingar eller för att börja bygga en större testuppsättning.
    • Fullständig frågeuppsättning för att låta Copilot Studio generera testfall med hjälp av en kunskapskälla eller ämnen och välja antalet frågor som ska genereras.
    • Använd din testchattkonversation för att automatiskt fylla testuppsättningen med de frågor du gav i din testchatt. Denna metod använder frågor från den senaste testchatten. Du kan också starta en utvärdering från testchatten med hjälp av utvärderingsikonen .
      Skärmdump som visar knappen Skapa nytt test i testchatten.
    • Importera testfall från en fil genom att dra filen till det angivna området, välja Bläddra för att ladda upp en fil eller välja ett av de andra uppladdningsalternativen.
    • Eller skriv några frågor själv för att manuellt skapa en testuppsättning. Följ stegen för att redigera en testuppsättning för att lägga till och redigera testfall.
    • Använd produktionsdata baserat på teman från din agents analys. Skärmdump som visar alternativet Utvärdera för ett tema i Teman-listan för ett tema.

  4. Under Namn anger du ett namn för testuppsättningen.

  5. Under Välj testmetoder, ändra eller lägg till de testmetoder du vill använda:

    • Lägg till en ny metod:
      1. Välj Lägg till testmetod.
      2. Välj alla metoder du vill testa med, välj sedan OK.
      3. Vissa metoder kräver en godkänt poäng. Godkänd poäng avgör vilket resultat som leder till godkänt eller underkänt. Sätt poängen, välj sedan OK.
      4. Vissa metoder kräver att du lägger till förväntade svar eller nyckelord för varje testfall. Läs mer i Välj utvärderingsmetoder
    • Välj en befintlig testmetod att redigera eller ta bort.
    Testmetod Mått Typ av testuppsättning Poängsättning Configurations
    Allmän kvalitet Hur väl bedöms svaren från ett testfall baserat på specifika egenskaper Enskilt svar eller en konversation Fick poäng av 100% Ingen
    Jämför betydelsen Hur väl betydelsen av testfallets svar stämmer överens med det förväntade svaret Enkelt svar Fick poäng av 100% Godkänt resultat, förväntat svar
    Verktygsanvändning Om testfallet använde alla eller några förväntade resurser Enkelt svar Godkänd/underkänd Förväntade kapaciteter
    Nyckelordsmatchning Oavsett om testfallet använde alla eller några av de förväntade nyckelorden eller fraserna Enskilt svar eller en konversation Godkänd/underkänd Förväntade nyckelord eller fraser
    Textlikhet Hur väl texten i testfallets svar stämmer överens med det förväntade svaret Enkelt svar Fick poäng av 100% Godkänt resultat, förväntat svar
    Exakt träff Om testfallets svar exakt motsvarar det förväntade svaret Enkelt svar Godkänd/underkänd Förväntat svar
    Skräddarsydd Om testfallets svar uppfyller dina definierade kriterier eller förväntningar. Enskilt svar eller en konversation Pass/fail (uppfyller de definierade etikettvillkoren) Namn, utvärderingsinstruktioner, etiketter

  6. Redigera detaljerna om testfallen. Alla testmetoder, förutom allmän kvalitet, kräver förväntade svar eller nyckelord. Läs mer om redigering av testfall i Modify a test set.

  7. Under Ytterligare konfiguration, välj Hantera.

    Skärmdump som visar Hantera-knappen under Ytterligare konfiguration.

  8. I Hantera profil och anslutningar, under Användare, välj eller lägg till det konto du vill använda för denna datamängd. Utvärderingen använder detta konto för att koppla till kunskapskällor och verktyg under testning. Läs mer i Hantera användarprofiler och kontakter.

    Note

    Automatiserad testning använder autentisering av det valda testkontot. Om din agent har kunskapskällor eller kontakter som kräver specifik autentisering, välj rätt konto för din testning. När Copilot Studio genererar testfall använder den autentiseringsuppgifterna för ett anslutet konto för att komma åt agentens kunskapskällor och verktyg. Genererade testfall kan innehålla känsliga data som det anslutna kontot kan komma åt. Alla tillverkare med åtkomst till agenten kan också visa testuppsättningarna som är länkade till agenten.

  9. Välj Spara för att uppdatera datamängden utan att köra utvärderingen eller Kör för att köra datamängden omedelbart.

Generera en enda svarsdatamängd från kunskap eller ämnen

Du kan testa din mäklare genom att generera frågor utifrån den information och de samtalskällor din mäklare redan har. Denna testmetod är bra för att testa hur din agent använder en kunskapskälla eller ämnen den redan har, men den är inte bra för att testa informationsluckor.

Generera datafall genom att använda följande kunskapskällor:

  • Text

  • Microsoft Word

  • Microsoft Excel

  • PDF-filer

  • SharePoint-filer

Note

Använd endast enskilda SharePoint-filer som kunskapskälla för att generera en testuppsättning. SharePoint-mappar stöds inte.

Du kan använda filer på upp till 5 MB för att generera testfrågor.

För att generera en datamängd:

  1. Gå till din agents utvärderingssida.

  2. Välj Ny utvärdering.

  3. Välj alternativet Generera i växlingsknappen:

    Skärmdump som visar att Generera-knappen är vald för enskilda svar.

  4. Under Välj datatyp, välj Enskilda svar.

    • Välj Show-genereringsalternativ för att konfigurera följande inställningar:

      Skärmdump som visar reglaget för att välja hur många frågor som ska genereras.

      1. Under Antal frågor att generera, välj och dra reglaget för att välja antalet frågor som ska genereras i din testuppsättning.
      2. Under Vad ska vi använda som referens?, välj det område du vill att din mäklare ska referera till när de genererar frågor för en ny utvärdering. Du har två alternativ:
        • Kunskapskällor: Skannar agentens kunskap för att skapa en relevant frågeuppsättning. Kunskap fungerar bäst för agenter som använder generativ orkestrering.
        • Ämnen: Kontrollerar agentens ämnen och skapar frågor om dessa ämnen. Bäst för agenter som använder klassiskt läge. Topics fungerar bäst för agenter som använder klassisk orkestrering.

    Skärmdump som visar alla generationsalternativ när man skapar en ny utvärdering.

  5. Välj Generera datamängd.

  6. Under Granska datauppsättningen, ange detaljerna för testfallen. Alla testmetoder, förutom allmän kvalitet, kräver förväntade svar eller nyckelord. Lär dig mer om redigering av testfall i Modify a test set.

    Skärmdump som visar att skaparen matar in förväntade svar för en ny utvärdering.

  7. Under Välj testmetoder, välj eller ändra de testmetoder du vill använda:

    • För att lägga till en ny metod:
      1. Välj Lägg till testmetod.
      2. Välj alla metoder du vill testa med, och välj sedan OK. Du kan lägga till flera metoder.
      3. För vissa metoder, sätt ett godkänt resultat och välj sedan OK. Godkänd poäng avgör vilket resultat som leder till godkänt eller underkänt.
      4. Vissa metoder kräver att du lägger till förväntade svar eller nyckelord för varje testfall. Läs mer i Välj utvärderingsmetoder.
    • Välj en befintlig testmetod att redigera eller ta bort.

  8. Under Ytterligare konfiguration, välj Hantera.

    Skärmdump som visar Hantera-knappen under Ytterligare konfiguration.

  9. I Hantera profil och anslutningar, under Användare, välj eller lägg till det konto du vill använda för denna datamängd. Utvärderingen använder detta konto för att koppla till kunskapskällor och verktyg under testning. Läs mer i Hantera användarprofiler och kontakter.

    Note

    Automatiserad testning använder autentisering av det valda testkontot. Om din agent har kunskapskällor eller kontakter som kräver specifik autentisering, välj rätt konto för din testning. När Copilot Studio genererar testfall använder den autentiseringsuppgifterna för ett anslutet konto för att komma åt agentens kunskapskällor och verktyg. Genererade testfall kan innehålla känsliga data som det anslutna kontot kan komma åt. Alla tillverkare med åtkomst till agenten kan också visa testuppsättningarna som är länkade till agenten.

  10. Välj Spara för att uppdatera datamängden utan att köra utvärderingen eller Kör för att köra datamängden omedelbart.

Begränsning av testfallsgenerering

Testfallsgenerering misslyckas om en eller flera frågor bryter mot din agents innehållsmodereringsinställningar. Möjliga orsaker innefattar:

  • Agentens instruktioner eller ämnen leder modellen till att generera innehåll som systemet flaggar.
  • Den anslutna kunskapskällan inkluderar känsligt eller begränsat innehåll.
  • Agentens inställningar för innehållsmoderering är för strikta.

För att lösa problemet, prova olika åtgärder, såsom att justera kunskapskällor, uppdatera instruktioner eller ändra modereringsinställningar.

Ett testset kan innehålla upp till 100 testfall.

Skapa en testuppsättningsfil för import

Istället för att bygga dina testfall direkt i Copilot Studio kan du skapa ett kalkylblad med alla dina testfall och importera det för att skapa din testuppsättning. Du kan skriva varje provfråga och ange de förväntade svaren på varje fråga. När du är klar med att skapa filen sparar du den som en .csv eller .txt fil och importerar den till Copilot Studio.

Important

  • Filen kan innehålla upp till 100 frågor.
  • Varje fråga kan innehålla upp till 1 000 tecken, inklusive blanksteg.
  • Filen måste vara i CSV-format (kommaavgränsade värden) eller textformat.

Så här skapar du importfilen:

  1. Öppna ett kalkylbladsprogram (till exempel Microsoft Excel). Du kan ladda ner en CSV-mall under Eller ladda upp en fil efter att ha valt Ny utvärdering>Import. Du kan också ladda ner kundsessioner från analys för att redigera i Excel.

  2. Lägg till följande rubriker i den här ordningen på den första raden:

    • Question
    • Förväntat svar

  3. Ange dina testfrågor i kolumnen Fråga . Varje fråga kan vara högst 1 000 tecken, inklusive blanksteg.

  4. Ange förväntade svar för varje fråga i kolumnen Förväntat svar. Förväntade svar är valfria vid import av en testuppsättning. Du behöver dock förväntade svar för att testkörningar av matchning, likhet och jämföra innebörden.

  5. Spara filen som CSV eller TXT.

  6. Importera filen genom att följa stegen i Skapa en ny testuppsättning.

Skapa en enda svarsdatamängd genom att importera set file

  1. Gå till din agents utvärderingssida.

  2. Välj Ny utvärdering.

  3. Under Välj datatyp, välj Enskilda svar.

  4. Välj alternativet Importera i växlingsknappen.

    Skärmdump som visar Importera-knappen vald för enstaka svar.

  5. Importera data genom att välja Förhandsgranska chatt för att använda data från en av dina nuvarande förhandsgranskningschattsessioner, eller genom att importera testfall från en CSV-fil genom att dra filen till det angivna området eller ladda upp efter att ha valt Dra en fil eller klicka för att ladda upp (CSV).

    Skärmdump som visar alla importalternativ när man skapar en ny utvärdering.

  6. Under Granska datauppsättningen, redigera detaljerna för testfallen. Alla testmetoder, förutom allmän kvalitet, kräver förväntade svar eller nyckelord. Läs mer i Modifiera ett testset.

  7. Under Välj testmetoder, välj eller ändra de testmetoder du vill använda:

    • För att lägga till en ny metod:
      1. Välj Lägg till testmetod.
      2. Välj alla metoder du vill testa med, och välj sedan OK. Du kan lägga till flera metoder.
      3. För vissa metoder, sätt ett godkänt resultat och välj sedan OK. Godkänd poäng avgör vilket resultat som leder till godkänt eller underkänt.
      4. Vissa metoder kräver att du lägger till förväntade svar eller nyckelord för varje testfall. Läs mer i Välj utvärderingsmetoder.
    • Välj en befintlig testmetod att redigera eller ta bort.

  8. Under Ytterligare konfiguration, välj Hantera.

  9. Under Hantera profil och anslutningar under Användare, välj eller lägg till det konto du vill använda för denna datamängd. Utvärderingen använder detta konto för att koppla till kunskapskällor och verktyg under testning. Läs mer i Hantera användarprofiler och kontakter.

  10. Välj Spara för att uppdatera datamängden utan att köra utvärderingen eller Kör för att köra datamängden omedelbart.

Skapa en testuppsättning baserad på ett tema

Skapa en testuppsättning med frågor från samtal med riktiga användare. Denna metod använder teman (förhandsversion) som finns i din agents analys.

Teman är grupper av frågor som tas från poolen med användarfrågor som utlöser generativa svar. När du skapar en testuppsättning med ett tema genererar du testfallen från frågor som ställts av användare relaterade till det temat.

Använd dessa testset för att utföra utvärderingar med fokus på ett område eller ämne inom din agents ansvarsområde. Till exempel, om du har en kundtjänstagent kan du spåra svarkvaliteten för fakturerings- och betalningsfrågor separat från andra användningsfall som felsökning.

Note

Innan du skapar testset från teman behöver du tillgång till teman inom analys. Gå igenom förkunskapskraven för teman (förhandsvisning).

  1. På agentens Monitor-sida går du till listan Teman.

  2. Håll muspekaren över ett tema och välj sedan Utvärdera.

    Skärmdump som visar alternativet Utvärdera för ett tema i Teman-listan.

    Du kan också välja Se allt för att se fler teman och sedan välja Utvärdera.

  3. Välj Skapa och öppna.

  4. Redigera detaljerna i testuppsättningarna och körningarna. Alla testfall som använder metoder, förutom allmän kvalitet, kräver förväntade svar. Läs mer om redigering i Modify a test set.

  5. Välj Save för att uppdatera testsetet utan att köra testfallen eller Evaluate för att köra testsetet omedelbart.

  • Last updated on