Utvärdera agenter (förhandsversion)

[Denna artikel är en förhandsversion av dokumentationen och kan komma att ändras.]

Fliken Utvärdera i den nya agentupplevelsen ger strukturerad, upprepbar testning för din agent. Använd utvärderingar för att mäta agentkvalitet över testfall, följa förbättringar över tid och validera din agents beteende innan du publicerar det.

Important

Vad är agentutvärdering?

Med agentutvärdering kan du systematiskt testa din agents svar mot kvalitetsstandarder. Istället för att testa varje scenario manuellt i fliken Förhandsgranskning , skapa utvärderingar med testkonversationer, definiera hur svaren ska mätas och kör utvärderingarna för att få kvantitativa resultat.

Utvärdering hjälper dig att besvara frågor som dessa:

  • Svarar agenten korrekt i en rad förväntade scenarier?
  • Förbättrade eller försämrade en konfigurationsändring svarskvaliteten?
  • Ringer agenten Tools när den borde?

Viktiga begrepp

Följande nyckelbegrepp är centrala när du genomför utvärderingar i Copilot Studio:

Konversationer

En konversation är ett testfall som representerar ett scenario du vill att din agent ska hantera. Varje konversation innehåller användarmeddelanden och eventuellt förväntade agent svar. Organisera konversationer i utvärderingar. Skapa konversationer manuellt, generera dem med AI eller ladda upp dem från en CSV-fil.

Evaluations

En utvärdering är en namngiven testuppsättning som kombinerar konversationer med en testmetod. Du skapar utvärderingar från fliken Utvärdera, lägger till konversationer i dem och kör dem sedan för att få poängsatta resultat.

Testmetoder

Testmetoder definierar hur agentens svar poängsätts. För närvarande är den enda tillgängliga testmetoden General quality, en AI-baserad bedömning av om svaren uppfyller kvalitetsstandarder, såsom relevans och fullständighet.

Note

General quality-testmetoden jämför inte svar med förväntade svar.

Användarprofil

Utvärderingar utförs med en användarprofil. Hantera vilken autentiserad profil som kör utvärderingen så att agentens verktyg och kopplingar är fullt testbara.

Utvärderingsarbetsflöde

Följ dessa steg för att utvärdera en mäklare:

  1. Skapa en utvärdering: På fliken Utvärdera, starta en ny utvärdering. Läs mer i Skapa en testuppsättning för en agent.
  2. Lägg till konversationer: Lägg till testkonversationer genom att skriva dem manuellt, generera dem med AI eller ladda upp en CSV-fil.
  3. Konfigurera: Namnge utvärderingen, välj en testmetod, välj agentversionen och sätt användarprofilen.
  4. Kör utvärderingen: Välj Utvärdera för att köra testet och vänta på resultaten. Läs mer i Gör en utvärdering av en mäklare.
  5. Granska resultat: Analysera poäng och identifiera områden för förbättring. Läs mer i Visa utvärderingsresultat för en mäklare.
  6. Iterera: Justera din agents instruktioner, kunskap eller verktyg, och kör sedan utvärderingen igen för att mäta effekten.
  • Last updated on