Suorita testit monikierroksisilla keskusteluilla.

Keskustelevan arvioinnin avulla voit arvioida agenttisi yleistä käyttäytymistä pidemmän vuorovaikutuksen kautta. Se kuvastaa sitä, miten oikeat käyttäjät ovat vuorovaikutuksessa agenttien kanssa, ja jossa jokainen vastaus riippuu edellisestä kontekstista meneillään olevassa keskustelussa. Näiden arviointien avulla voit määrittää, pystyykö agentti säilyttämään kontekstinsa, pyytää selvennyksiä ja suorittaa monivaiheisia tehtäviä.

Voit myös suorittaa yksittäisten vastausten arviointeja, mikä on hyväksi, kun haluat testata agenttiasi siitä, miten se vastaa tiettyihin kysymyksiin, mitä ominaisuuksia se kutsuu, ja miten se käyttää tarkkaa sanamuotoa vastauksissaan.

Arvioinneissa käytetään testijoukkoja. Keskusteluarviointien testijoukko koostuu enintään 20 testitapauksen ryhmästä. Kun suoritat agentin arvioinnin, valitset testisetin ja Copilot Studio ajaa kaikki kyseisen setin testitapaukset agenttiasi vastaan.

Voit luoda testitapauksia testijoukossa tuomalla ne laskentataulukon avulla tai luomalla tekoälyn avulla viestejä agenttisi suunnittelun ja resurssien perusteella. Voit sitten valita, miten haluat mitata agenttisi vastausten laatua kussakin testitapauksessa testisarjassa.

Lisätietoja agentin arvioinnista löytyy kohdasta Tietoa agentin arvioinnista.

Jos haluat oppia, miten muokata olemassa olevaa testijoukkoa, katso Muuta testijoukon yksityiskohtia.

Tärkeää

Testitulokset ovat käytettävissä Copilot Studiossa 89 päivän ajan. Jos haluat tallentaa testituloksesi pidemmäksi aikaa, vie tulokset CSV-tiedostoon.

Keskustelutestijoukon luominen

1. Mene agenttisi arviointisivulle .

1. Valitse Uusi arviointi ja valitse sitten Keskustelu.

   

2. Voit luoda monikäännisiä testitapauksia käyttämällä mitä tahansa seuraavista menetelmistä:

   • Pikakeskustelujoukko: Luo automaattisesti 10 lyhyttä keskustelua agenttisi kuvauksen, ohjeiden ja ominaisuuksien perusteella.

   • Koko keskustelujoukko: Luo keskusteluja käyttämällä agenttisi tietoja tai määritettyjä aiheita. Tässä vaihtoehdossa voit valita luomalla lyhyitä tai pitkiä keskusteluja.

   • Käytä testikeskusteluasi: Muunna viimeisin testikeskustelu testitapaukseksi.

Muistio

Keskustelutestijoukot tukevat enintään 20 testitapausta. Jokainen testitapaus tukee enintään 12 viestiä, jotka ovat 6 paria kysymyksiä ja vastauksia.

1. Kirjoita Nimi-kohtaan testijoukkosi nimi.

2. Muuta tai lisää testimenetelmiä , joita haluat käyttää. Voit lisätä keskustelutestijoukkoihin yleisen laadun, avainsanavastaavuuden, ominaisuuksien vastaavuuden tai mukautetut Luokitus-testimenetelmät .

   • Lisää uusi menetelmä:
     1. Valitse Lisää testimenetelmä.
     2. Valitse kaikki testattavat menetelmät ja valitse OK. Voit lisätä useita menetelmiä.
     3. Joissain menetelmissä aseta läpäisypiste ja valitse OK. Läpäisypisteet määrittävät, mikä piste johtaa läpäisemiseen tai hylkäämiseen.
     4. Jotkut menetelmät vaativat odotettujen vastausten tai avainsanojen lisäämistä jokaiseen testitapaukseen. Lisätietoja löytyy kohdasta Valitse arviointimenetelmät.
   • Valitse olemassa oleva testimenetelmä muokataksesi tai poistaaksesi sen.

   Testimenetelmä	Mittarit	Testijoukon tyyppi	Pisteytys	Konfiguraatiot
   Yleinen laatu	Kuinka hyvä on testitapauksen vastaus, joka perustuu tiettyihin laaduihin	Yksittäinen vastaus tai keskustelu	Pisteet 100:sta%	Ei ole
   Vertaa merkitystä	Kuinka hyvin testitapauksen vastauksen merkitys vastaa odotettua vastausta	Yksittäinen vastaus	Pisteet 100:sta%	Läpäisypisteet, odotettu vastaus
   Kyvykkyyden käyttö	Käytettiinkö testitapauksessa kaikkia vai odotettuja resursseja	Yksittäinen vastaus	Hyväksytty/hylätty	Odotetut kyvyt
   Avainsanavastaavuus	Käytettiinkö testitapauksessa kaikkia tai jotakin odotetuista avainsanoista tai ilmauksista	Yksittäinen vastaus tai keskustelu	Hyväksytty/hylätty	Odotetut avainsanat tai ilmaukset
   Tekstin samankaltaisuus	Kuinka hyvin testitapauksen vastauksen teksti vastaa odotettua vastausta	Yksittäinen vastaus	Pisteet 100:sta%	Läpäisypisteet, odotettu vastaus
   Täsmälleen osuma	Vastaako testitapauksen vastaus täsmälleen odotettua vastausta	Yksittäinen vastaus	Hyväksytty/hylätty	Odotettu vastaus

3. Muokkaa testitapausten yksityiskohtia. Kaikki testimenetelmät yleistä laatua lukuun ottamatta edellyttävät odotettuja vastauksia tai avainsanoja. Lisätietoja testitapausten muokkaamisesta on kohdassa Testijoukon muokkaaminen.

4. Valitse Käyttäjäprofiili, valitse tai lisää tili, jota haluat käyttää tähän testijoukkoon, tai jatka ilman todennusta. Arviointi käyttää tätä tiliä yhdistääkseen tietolähteisiin ja työkaluihin testauksen aikana. Lisätietoja käyttäjäprofiilien lisäämisestä ja hallinnasta löytyy kohdasta Käyttäjäprofiilien ja yhteyksien hallinta.

Muistio

Automaattinen testaus käyttää valitun testitilin todennusta. Jos agentillasi on tietolähteitä tai yhteyksiä, jotka vaativat erityistä tunnistautumista, valitse oikea tili testaukseen.

1. Muokkaa tai luo lisää testitapauksia. Lisätietoja on kohdassa Testitapausten muokkaaminen testijoukossa.

2. Valitse Tallenna päivittääksesi testijoukon ilman testitapausten suorittamista tai Arvioi suorittaaksesi testijoukon välittömästi.