Voer tests uit en bekijk resultaten

[Dit artikel maakt deel uit van de voorlopige documentatie en kan nog veranderen.]

Voer de resultaten van evaluaties uit en analyseer deze om het gedrag van uw makelaar te optimaliseren en te bevestigen dat uw makelaar voldoet aan uw bedrijfs- en kwaliteitseisen. Je kunt ook meerdere keren een testset uitvoeren om veranderingen in de loop van de tijd te zien naarmate je je agent verbetert.

Testresultaten zijn 89 dagen beschikbaar in Copilot Studio. Om je testresultaten langer op te slaan, exporteer je de resultaten naar een CSV-bestand.

Een testset uitvoeren

Nadat je een testset hebt gemaakt, kun je deze uitvoeren of opnieuw uitvoeren om resultaten over tijd en iteraties te vergelijken . Een test kan tot enkele minuten duren om uit te voeren. Je kunt één test tegelijk uitvoeren.

Belangrijk

Agent-evaluaties die gebruikmaken van gebruikersauthenticatie vereisen toegang via de Microsoft Copilot Studio-connector. Als je beheerder deze verbinding uitschakelt, kun je geen tests uitvoeren met de evaluatietool. Voor meer informatie, zie Copilot Studio connectors en datagroepen.

1. Ga naar de beoordelingspagina van je makelaar.

2. Voer een test uit door een van de volgende acties uit te voeren:

   • Aan het einde van het maken of bewerken van een testset selecteer je Evalueren.
   • In het gedeelte Recente resultaten beoordeel je de testresultaten door een van de volgende te doen:
     • Beweeg je muis over het testresultaat dat je wilt evalueren, selecteer de drie stippen (...) en selecteer dan opnieuw Testset evalueren.
     • Selecteer het testresultaat om het te openen, selecteer vervolgens de drie stippen (...) in het Evaluatie-overzichtspaneel , en selecteer vervolgens opnieuw Testset evalueren.

   Als het gebruikersprofiel van de testset verbroken verbindingen heeft, of als de testset geen gebruikersprofiel heeft, verschijnt het dialoogvenster Verbindingen beheren . Je hoeft geen gebruikersprofiel te gebruiken voor testen. Maar als je een profiel gebruikt, moeten alle verbindingen werken. Voor informatie over het repareren van verbindingen, zie Gebruikersprofielen en verbindingen beheren.

Een evaluatie kan een paar minuten duren. Er verschijnt een melding in Copilot Studio wanneer de testresultaten klaar zijn om te bekijken.

Duik in testresultaten

Telkens wanneer u een evaluatie uitvoert met een testset, Copilot Studio:

1. Gebruikt het verbonden gebruikersaccount om gesprekken met de agent te simuleren, waarbij elke vraag in de testcase naar de agent wordt verzonden.

2. Verzamelt de responsen van de agent.

3. Meet en analyseert het succes van elke reactie. Elke testcase ontvangt een geslaagde of mislukte test, op basis van de criteria van de testcase.

4. Hiermee wordt een score voor een slagingspercentage toegewezen op basis van het slagings/mislukkingspercentage van de testset.

Je kunt het slagingspercentage van elke testset zien op de Evaluatiepagina van je agent, onder Recente resultaten. Om meer uitgevoerde testsets te zien, selecteert u Alles weergeven.

Zie een gedetailleerde analyse voor een testgeval

Wanneer je een testresultaat opent, zie je de details van de testrun, een lijst van de gebruikte zoekopdrachten, hoe de agent reageerde en de Geslaagde of Mislukte score.

Selecteer een testgeval in de lijst om een gedetailleerde beoordeling van elk antwoord te zien.

De beoordeling omvat de verwachte en daadwerkelijke antwoorden, de redenering achter het testresultaat, en de kennis, onderwerpen en hulpmiddelen die de agent gebruikte om te reageren.

Selecteer een geciteerde kennis of onderwerp om het te openen.

Vergelijk testresultaten

Je wilt één versie van je agent testen en veranderingen in prestaties zien vóór en na het uitvoeren van wijzigingen. Je kunt twee runs van dezelfde testset vergelijken met behulp van het Tool Vergelijk met .

Om een vergelijking te zien, moet je dezelfde testset minstens twee keer uitvoeren.

1. Open op de Evaluatiepagina van je agent, onder Recente testresultaten, de testrun die je als basis voor de vergelijking wilt gebruiken.

2. Selecteer het keuzemenu 'Vergelijken met ' en selecteer vervolgens de tijd en datum van de testrun die je wilt vergelijken met de momenteel geopende testresultaten.

In de testcaselijst tonen pijlen welke testcaseresultaten verbeterden door te veranderen van falen naar slagen , of geweigerd door van voldoende naar zakken te veranderen.

Selecteer een testgeval om meer details te zien. In het paneel Evaluatie-samenvatting zie je een directe vergelijking van testresultaten, met het resultaat van de huidige testrun bovenaan.

Testresultaten exporteren

Je kunt testresultaten exporteren naar een CSV-bestand. Het bestand vermeldt de vraag, het verwachte antwoord (indien van toepassing), de testmethode, de slagingsscore (indien van toepassing), het antwoord van de agent, het testresultaat en de analyse voor elk testgeval.

1. Ga naar de beoordelingspagina van je makelaar.
2. In het gedeelte Recente resultaten kun je een testresultaat exporteren door een van de volgende stappen te volgen:
   • Beweeg je muis over het testgeval dat je wilt exporteren, selecteer de drie stippen (...) en selecteer dan Testresultaten exporteren.
   • Selecteer de testcase om deze te openen, selecteer vervolgens de drie stippen (...) in het Evaluatie-overzichtspaneel , en selecteer vervolgens Testresultaten exporteren.

De testresultaten downloaden als naam van je testset.csv.