Yksittäisen vastaustestijoukon luominen

Muistio

Tässä artikkelissa kuvataan ominaisuuksia, joita käytetään agenteissa tai agenttivirroissa, joita käytetään standardivaljastuksen voimalla.

Yksittäinen vastauksen arviointi testaa agenttiasi yhdestä toisiinsa yhdistämättömästä kysymyksestä kerrallaan kokonaisen keskustelun sijaan. Esimerkiksi asiakaspalveluagentin yksittäinen vastausarviointi kysyy Mitä ovat työaikasi? kirjaa agentin vastauksen tähän kysymykseen ja alkaa sitten uudella kysymyksellä: Miten löydän tilaushistoriani?

Yksittäisten vastausten arvioinnit sopivat hyvin, kun haluat testata agenttia sen suhteen, miten se vastaa tiettyihin kysymyksiin, mitä ominaisuuksia se kutsuu ja mitä sanoja se käyttää vastauksissaan. Voit myös suorittaa keskustelullisen arvioinnin, jonka avulla voit arvioida agenttisi toimintaa pidemmän vuorovaikutuksen aikana.

Arvioinneissa käytetään testijoukkoja. Yhden vastauksen arviointien testijoukko koostuu enintään 100 testitapauksen ryhmästä. Kun suoritat agentin arvioinnin, valitset testisetin ja Copilot Studio ajaa kaikki kyseisen setin testitapaukset agenttiasi vastaan.

Voit luoda testitapauksia testijoukon sisälle manuaalisesti, tuoda ne taulukon avulla tai käyttää tekoälyä viestien tuottamiseen agenttisi suunnittelun ja resurssien perusteella. Voit sitten valita, miten haluat mitata agenttisi vastausten laatua kussakin testitapauksessa testisarjassa.

Lue lisää agentin arvioinnista artikkelista Tietoa agentin arvioinnista.

Jos haluat oppia, miten muokata olemassa olevaa testijoukkoa, katso Muuta testijoukon yksityiskohtia.

Important

Testitulokset ovat käytettävissä Copilot Studiossa 89 päivän ajan. Jos haluat tallentaa testituloksesi pidemmäksi aikaa, vie tulokset CSV-tiedostoon.

Uuden testijoukon luominen

1. Mene agenttisi arviointisivulle .

   

2. Valitse Uusi arviointi ja sitten Yksittäiset vastaukset.

   

3. Valitse menetelmä, jolla haluat luoda testijoukon. Testisarjassa voi olla jopa 100 testitapausta.

   • Nopea kysymyssarja antaa Copilot Studion luoda testitapauksia automaattisesti agenttisi kuvauksen, ohjeiden ja ominaisuuksien perusteella. Tämä vaihtoehto tuottaa 10 kysymystä pienten ja nopeiden arviointien suorittamiseen tai suuremman testijoukon rakentamisen aloittamiseen.
   • Täydellinen kysymysjoukko jotta Copilot Studio voi luoda testitapauksia käyttäen tietolähdettä tai aiheita sekä valitse luotavien kysymysten määrä.
   • Käytä testichat-keskustelua täyttääksesi automaattisesti testisetin kysymyksillä, jotka annoit testichatissa. Tämä menetelmä käyttää kysymyksiä viimeisimmästä testichatista. Voit aloittaa arvioinnin myös testikeskustelusta käyttämällä Laske-kuvaketta .
     
   • Tuo testitapauksia tiedostosta vetämällä tiedostosi määrättyyn alueeseen, valitsemalla Selaa ladataksesi tiedoston tai valitsemalla jokin muu latausvaihtoehto.
   • Tai kirjoita itse kysymyksiä luodaksesi manuaalisesti testisarjan. Seuraa ohjeita muokataksesi testijoukkoa lisätäksesi ja muokataksesi testitapauksia.
   • Käytä tuotantodataa, joka perustuu agenttisi analytiikan teemoihin .

4. Kirjoita Nimi-kohtaan testijoukkosi nimi.

5. Valitse testimenetelmät -osiossa muuta tai lisää testimenetelmät , joita haluat käyttää:

   • Lisää uusi menetelmä:
     1. Valitse Lisää testimenetelmä.
     2. Valitse kaikki testattavat menetelmät ja valitse OK.
     3. Jotkut menetelmät vaativat läpäisypisteet. Läpäisypisteet määrittävät, mikä piste johtaa läpäisemiseen tai hylkäämiseen. Aseta pisteet ja valitse OK.
     4. Jotkut menetelmät vaativat odotettujen vastausten tai avainsanojen lisäämistä jokaiseen testitapaukseen. Lue lisää kohdasta Valitse arviointimenetelmät
   • Valitse olemassa oleva testimenetelmä muokataksesi tai poistaaksesi sen.

   Testimenetelmä	Mittarit	Testijoukon tyyppi	Pisteytys	Konfiguraatiot
   Yleinen laatu	Kuinka hyvä on testitapauksen vastaus, joka perustuu tiettyihin laaduihin	Yksittäinen vastaus tai keskustelu	Pisteet 100:sta%	Ei mikään
   Vertaa merkitystä	Kuinka hyvin testitapauksen vastauksen merkitys vastaa odotettua vastausta	Yksi vastaus	Pisteet 100:sta%	Läpäisypisteet, odotettu vastaus
   Työkalujen käyttö	Käytettiinkö testitapauksessa kaikkia vai odotettuja resursseja	Yksi vastaus	Hyväksytty/hylätty	Odotetut kyvyt
   Avainsanavastaavuus	Käytettiinkö testitapauksessa kaikkia tai jotakin odotetuista avainsanoista tai ilmauksista	Yksittäinen vastaus tai keskustelu	Hyväksytty/hylätty	Odotetut avainsanat tai ilmaukset
   Tekstin samankaltaisuus	Kuinka hyvin testitapauksen vastauksen teksti vastaa odotettua vastausta	Yksi vastaus	Pisteet 100:sta%	Läpäisypisteet, odotettu vastaus
   Täsmälleen osuma	Vastaako testitapauksen vastaus täsmälleen odotettua vastausta	Yksi vastaus	Hyväksytty/hylätty	Odotettu vastaus
   Mukautettu	Täyttääkö testitapauksen vastaus määritetyt ehdot vai odotukset.	Yksittäinen vastaus tai keskustelu	Hyväksytty/hylätty (täyttää määritetyt otsikkoehdot)	Nimi, arviointiohjeet, otsikot

6. Muokkaa testitapausten yksityiskohtia. Kaikki testimenetelmät yleistä laatua lukuun ottamatta edellyttävät odotettuja vastauksia tai avainsanoja. Lue lisää testitapausten muokkaamisesta kohdasta Muokkaa testijoukkoa.

7. Lisäasetukset -kohdasta valitse Hallinnoi.

   

8. Profiilin ja yhteyksien hallinta -osiossa, Käyttäjä-kohdassa, valitse tai lisää tili, jota haluat käyttää tälle tietojoukolle. Arviointi käyttää tätä tiliä yhdistääkseen tietolähteisiin ja työkaluihin testauksen aikana. Lue lisää käyttäjäprofiilien ja yhteyksien hallinta -osiosta.

   Muistio

   Automaattinen testaus käyttää valitun testitilin todennusta. Jos agentillasi on tietolähteitä tai yhteyksiä, jotka vaativat erityistä tunnistautumista, valitse oikea tili testaukseen. Kun Copilot Studio luo testitapauksia, se käyttää yhdistetyn tilin todennustietoja päästäkseen käsiksi agenttisi tietolähteisiin ja työkaluihin. Luodut testitapaukset voivat sisältää arkaluonteisia tietoja, joita yhdistetty tili voi käyttää. Kuka tahansa tekijä, jolla on agentin käyttöoikeus, voi myös tarkastella kyseiseen agenttiin liittyviä testijoukkoja.

9. Valitse Tallenna päivittääksesi aineiston ilman arviointia tai Run , jotta datajoukko ajetaan välittömästi.

Luo yksi vastausaineisto tiedoista tai aiheista

Voit testata agenttiasi luomalla kysymyksiä jo olemassa olevista tiedoista ja keskustelulähteistä. Tämä testausmenetelmä on hyvä testaukseen, miten agenttisi käyttää jo olemassa olevaa tietolähdettä tai aiheita, mutta se ei sovi tiedon aukkojen testaamiseen.

Luo datatapauksia käyttämällä seuraavia tietolähteitä:

• Viesti

• Microsoft Word

• Microsoft Excel

• PDF-tiedostot

• SharePoint-tiedostot

Muistio

Käytä vain yksittäisiä SharePoint-tiedostoja tietolähteenä testijoukon luomiseen. SharePoint-kansioita ei tueta.

Voit luoda testikysymyksiä enintään 5 Mt:n tiedostoilla.

Tietojoukon luominen:

1. Mene agenttisi arviointisivulle .

2. Valitse Uusi arviointi.

3. Valitse Generoi-vaihtoehto kytkimestä:

   

4. Valitse datatyyppi -osiossa Yksittäiset vastaukset.

   • Valitse Näytä generointiasetukset määrittääksesi seuraavat asetukset:

     

     1. Kohdassa Luotavien kysymysten määrä, valitse ja vedä liukusäädintä valitaksesi testisarjan kysymysten määrän.
     2. Kohdassa Mitä meidän tulisi käyttää viitteeksi? valitse alue, johon haluat agenttisi viittaavan, kun luot kysymyksiä uutta arviointia varten. Sinulla on kaksi vaihtoehtoa:
        • Tiedonlähteet: Skannaa agentin tiedot luodakseen relevantin kysymysjoukon. Tieto toimii parhaiten agenteille, jotka käyttävät generatiivista orkestrointia.
        • Aiheet: Tarkistaa agentin aiheet ja luo kysymyksiä niistä. Sopii parhaiten agenteille, jotka käyttävät perinteistä tilaa. Topics toimii parhaiten agenteille, jotka käyttävät klassista orkestrointia.

   

5. Valitse Luo datajoukko.

6. Review dataset -osioon syötä testitapausten tiedot. Kaikki testimenetelmät yleistä laatua lukuun ottamatta edellyttävät odotettuja vastauksia tai avainsanoja. Lue lisää testitapausten muokkaamisesta kohdasta Muokkaa testijoukkoa.

   

7. Valitse testimenetelmät -osiossa valitse tai muuta testimenetelmät , joita haluat käyttää:

   • Lisätään uusi menetelmä:
     1. Valitse Lisää testimenetelmä.
     2. Valitse kaikki haluamasi menetelmät ja valitse OK. Voit lisätä useita menetelmiä.
     3. Joillekin menetelmille aseta läpäisypiste ja valitse OK. Läpäisypisteet määrittävät, mikä piste johtaa läpäisemiseen tai hylkäämiseen.
     4. Jotkut menetelmät vaativat odotettujen vastausten tai avainsanojen lisäämistä jokaiseen testitapaukseen. Lue lisää kohdasta Valitse arviointimenetelmiä.
   • Valitse olemassa oleva testimenetelmä muokataksesi tai poistaaksesi sen.

8. Lisäasetukset -kohdasta valitse Hallinnoi.

   

9. Profiilin ja yhteyksien hallinta -osiossa, Käyttäjä-kohdassa, valitse tai lisää tili, jota haluat käyttää tälle tietojoukolle. Arviointi käyttää tätä tiliä yhdistääkseen tietolähteisiin ja työkaluihin testauksen aikana. Lue lisää käyttäjäprofiilien ja yhteyksien hallinta -osiosta.

   Muistio

   Automaattinen testaus käyttää valitun testitilin todennusta. Jos agentillasi on tietolähteitä tai yhteyksiä, jotka vaativat erityistä tunnistautumista, valitse oikea tili testaukseen. Kun Copilot Studio luo testitapauksia, se käyttää yhdistetyn tilin todennustietoja päästäkseen käsiksi agenttisi tietolähteisiin ja työkaluihin. Luodut testitapaukset voivat sisältää arkaluonteisia tietoja, joita yhdistetty tili voi käyttää. Kuka tahansa tekijä, jolla on agentin käyttöoikeus, voi myös tarkastella kyseiseen agenttiin liittyviä testijoukkoja.

10. Valitse Tallenna päivittääksesi aineiston ilman arviointia tai Run , jotta datajoukko ajetaan välittömästi.

Testitapausten generoinnin rajoitus

Testitapausten generointi epäonnistuu, jos yksi tai useampi kysymys rikkoo agenttisi sisällön moderointiasetuksia. Mahdollisia syitä ovat:

• Agentin ohjeet tai aiheet ohjaavat mallia tuottamaan sisältöä, jonka järjestelmä merkitsee.
• Yhdistetty tietolähde sisältää arkaluontoista tai rajoitettua sisältöä.
• Agentin sisällön moderointiasetukset ovat liian tiukat.

Ongelman ratkaisemiseksi kokeile erilaisia toimenpiteitä, kuten tiedonlähteiden säätämistä, ohjeiden päivittämistä tai moderointiasetuksia.

Testisarja voi sisältää jopa 100 testitapausta.

Luo testisarjatiedosto tuotavaksi

Sen sijaan, että rakentaisit testitapaukset suoraan Copilot Studio:ssa, voit luoda taulukkotiedoston kaikista testitapauksistasi ja tuoda sen testisetin luomiseksi. Voit laatia jokaisen testikysymyksen ja ilmaista odotetut vastaukset jokaiselle kysymykselle. Kun olet luonut tiedoston, tallenna se .csv tai .txt -tiedostona ja tuo se Copilot Studioon.

Important

• Tiedostossa voi olla enintään 100 kysymystä.
• Kussakin kysymyksessä voi olla enintään 1 000 merkkiä välilyönnit mukaan lukien.
• Tiedoston on oltava csv-muodossa tai tekstimuodossa.

Tuontitiedoston luominen:

1. Avaa laskentataulukkosovellus (esimerkiksi Microsoft Excel). Voit ladata CSV-mallipohjan kohdasta Tai ladata tiedoston valittuasi New evaluation>Import. Voit myös ladata asiakasistuntoja analytiikasta ja muokata Excel-ohjelmassa.

2. Lisää seuraavat otsikot tässä järjestyksessä ensimmäiselle riville:

   • Tiedustelu
   • Odotettu vastaus

3. Kirjoita testikysymyksesi Kysymys-sarakkeeseen . Jokainen kysymys voi olla enintään 1 000 merkkiä välilyönnit mukaan lukien.

4. Anna odotetut vastaukset jokaiselle kysymykselle Odotetun vastauksen sarakkeessa. Odotetut vastaukset ovat valinnaisia testijoukon tuomista varten. Tarvitset kuitenkin odotettuja vastauksia ajoittaa vastaavuudet, samankaltaisuutta ja merkityksen vertailutapauksia.

5. Tallenna tiedosto .csv- tai .txt-tiedostomuodossa.

6. Tuo tiedosto seuraamalla ohjeita kohdassa Luo uusi testijoukko.

Luo yksittäinen vastausaineisto tuomalla joukko-tiedosto

1. Mene agenttisi arviointisivulle .

2. Valitse Uusi arviointi.

3. Valitse datatyyppi -osiossa Yksittäiset vastaukset.

4. Valitse Import-vaihtoehto kytkimestä.

   

5. Tuo dataa valitsemalla Esikatseluchatin käyttääksesi tietoa jostakin nykyisestä esikatselukeskustelusessiostasi, tai tuomalla testitapauksia CSV-tiedostosta vetämällä tiedostosi määrättyyn alueeseen tai lataamalla tiedoston Vedä tiedostoa tai klikkaa lataa (CSV) -valintaa.

   

6. Review dataset -osiossa muokkaa testitapausten yksityiskohtia. Kaikki testimenetelmät yleistä laatua lukuun ottamatta edellyttävät odotettuja vastauksia tai avainsanoja. Lue lisää kohdasta Muokkaa testisarjaa.

7. Valitse testimenetelmät -osiossa valitse tai muuta testimenetelmät , joita haluat käyttää:

   • Lisätään uusi menetelmä:
     1. Valitse Lisää testimenetelmä.
     2. Valitse kaikki haluamasi menetelmät ja valitse OK. Voit lisätä useita menetelmiä.
     3. Joillekin menetelmille aseta läpäisypiste ja valitse OK. Läpäisypisteet määrittävät, mikä piste johtaa läpäisemiseen tai hylkäämiseen.
     4. Jotkut menetelmät vaativat odotettujen vastausten tai avainsanojen lisäämistä jokaiseen testitapaukseen. Lue lisää kohdasta Valitse arviointimenetelmiä.
   • Valitse olemassa oleva testimenetelmä muokataksesi tai poistaaksesi sen.

8. Lisäasetukset -kohdasta valitse Hallinnoi.

9. Käyttäjä-osiossa Valitse tai lisää tili, jota haluat käyttää tälle tietojoukolle. Arviointi käyttää tätä tiliä yhdistääkseen tietolähteisiin ja työkaluihin testauksen aikana. Lue lisää käyttäjäprofiilien ja yhteyksien hallinta -osiosta.

10. Valitse Tallenna päivittääksesi aineiston ilman arviointia tai Run , jotta datajoukko ajetaan välittömästi.

Luo testisetti teeman pohjalta

Luo testisarja, jossa on kysymyksiä keskusteluista oikeiden käyttäjien kanssa. Tämä menetelmä käyttää teemoja (esikatselu), jotka löytyvät agenttisi analytiikasta.

Teemat ovat käyttäjäkysymyksistä otettujen kysymysten ryhmittelyjä, jotka käynnistävät luotavia vastauksia. Kun luot testisarjan teeman avulla, generoit testitapaukset käyttäjien kysymyksistä, jotka liittyvät kyseiseen teemaan.

Käytä näitä testisettejä arvioitaaksesi arviointeja, jotka keskittyvät yhteen agenttisi alueeseen tai aiheeseen. Esimerkiksi, jos sinulla on asiakaspalvelija, voit seurata laskutus- ja maksukysymysten vastausten laatua erillään muista käyttötapauksista, kuten vianetsinnästä.

Muistio

Ennen kuin luot teemoista testisettejä, tarvitset pääsyn analytiikan teemoihin. Käy läpi teemojen edellytykset (esikatselu).

1. Agenttisi Monitor-sivulla mene Teemalistaan .

2. Vie hiiri teeman päälle ja valitse sitten Arvioi.

   

   Voit myös valita Näytä kaikki nähdäksesi lisää teemoja ja valita sitten Arvioi.

3. Valitse Luo ja avaa.

4. Muokkaa testisarjojen ja tapausten yksityiskohtia. Kaikki menetelmät käyttävät testitapaukset, paitsi yleistä laatua, edellyttävät odotettuja vasteita. Lue lisää muokkauksesta kohdasta Muokkaa testijoukkoa.

5. Valitse Tallenna päivittääksesi testijoukon ilman testitapausten suorittamista tai Arvioi suorittaaksesi testijoukon välittömästi.