Jaa

Luo tai muokkaa testijoukko agentin arvioimiseksi

[Tämä artikkeli sisältää julkaisua edeltävää materiaalia ja voi muuttua.]

Testijoukko koostuu jopa 100 testitapauksen ryhmästä. Kun suoritat agentin arvioinnin, valitset testisetin ja Copilot Studio ajaa kaikki kyseisen setin testitapaukset agenttiasi vastaan.

Voit luoda testitapauksia testijoukon sisälle manuaalisesti, tuoda ne taulukon avulla tai käyttää tekoälyä viestien tuottamiseen agenttisi suunnittelun ja resurssien perusteella. Voit sitten valita, miten haluat mitata agenttisi vastausten laatua kussakin testitapauksessa testisarjassa.

Lisätietoja agentin arvioinnista löytyy kohdasta Tietoa agentin arvioinnista.

Jos haluat oppia, miten muokata olemassa olevaa testijoukkoa, katso Muuta testijoukon yksityiskohtia.

Tärkeää

Testitulokset ovat saatavilla Copilot Studiossa 89 päivän ajan. Jos haluat tallentaa testituloksesi pidemmäksi aikaa, vie tulokset CSV-tiedostoon.

Uuden testijoukon luominen

  1. Mene agenttisi arviointisivulle .

Kuvakaappaus, jossa näytetään, miten valitaan Arviointi-välilehti, kun välilehtien valinta on pakattu näytön koon vuoksi.

  1. Valitse Uusi arviointi.

    Kuvakaappaus, jossa näkyy Uuden testin luominen -painike Arviointisivulla.

  2. Uusi arviointi -sivulla valitse menetelmä, jolla haluat luoda testisarjasi. Testisarjassa voi olla jopa 100 testitapausta.

    • Pikakysymysten asettaminen niin, että Copilot Studio luo testitapauksia automaattisesti agenttisi kuvauksen, ohjeiden ja kykyjen perusteella. Tämä vaihtoehto tuottaa 10 kysymystä pienten ja nopeiden arviointien suorittamiseen tai suuremman testijoukon rakentamisen aloittamiseen.
    • Täysi kysymyssarja , jossa Copilot Studio generoi testitapauksia agenttisi tietolähteiden tai aiheiden avulla ja valitsee kysymysten määrän.
    • Käytä testichat-keskustelua täyttääksesi automaattisesti testisetin kysymyksillä, jotka annoit testichatissa. Tämä menetelmä käyttää kysymyksiä viimeisimmästä testichatista. Voit myös aloittaa arvioinnin testichatista käyttämällä arviointipainiketta . Kuvakaappaus, jossa näkyy uusi testi -painike testichatissa.
    • Tuo testitapauksia tiedostosta vetämällä tiedostosi määrättyyn alueeseen, valitsemalla Selaa ladataksesi tiedoston tai valitsemalla jokin muu latausvaihtoehto.
    • Tai kirjoita itse kysymyksiä luodaksesi manuaalisesti testisarjan. Seuraa ohjeita muokataksesi testijoukkoa lisätäksesi ja muokataksesi testitapauksia.
    • Käytä tuotantodataa, joka perustuu agenttisi analytiikan teemoihin . Kuvakaappaus, jossa näytetään Evaluate -vaihtoehto teemalle Them-listassa yhdelle teemalle.

  3. Muokkaa testitapausten yksityiskohtia. Kaikki menetelmät käyttävät testitapaukset, paitsi yleistä laatua, edellyttävät odotettuja vasteita. Lisätietoja muokkauksesta löytyy kohdasta Muokkaa testijoukkoa.

  4. Kirjoita Nimi-kohtaan testijoukkosi nimi.

  5. Muuta tai lisää testimenetelmät , joita haluat käyttää:

    • Lisää uusi menetelmä:
      1. Valitse Lisää testimenetelmä.
      2. Valitse kaikki testattavat menetelmät ja valitse OK. Voit lisätä useita menetelmiä.
      3. Joissain menetelmissä aseta läpäisypiste ja valitse OK. Läpäisypisteet määrittävät, mikä piste johtaa läpäisemiseen tai hylkäämiseen.
      4. Jotkut menetelmät vaativat odotettujen vastausten tai avainsanojen lisäämistä jokaiseen testitapaukseen. Lisätietoja löytyy kohdasta Valitse arviointimenetelmät.
    • Valitse olemassa oleva testimenetelmä muokataksesi tai poistaaksesi sen.
    Testimenetelmä Mittarit Pisteytys Määritykset
    Yleinen laatu Kuinka hyvä on testitapauksen vastaus tiettyjen ominaisuuksien perusteella Pisteet 100:sta% Ei mikään
    Vertaa merkitystä Kuinka hyvin testitapauksen vastauksen merkitys vastaa odotettua vastausta Pisteet 100:sta% Läpäisypisteet, odotettu vastaus
    Kyvykkyyden käyttö Käytettiinkö testitapaus odotettuja resursseja Läpäisy/hylätty Odotetut kyvyt
    Avainsanavastaavuus Käytettiinkö testitapauksessa kaikkia tai jotakin odotetuista avainsanoista tai ilmauksista Läpäisy/hylätty Odotetut avainsanat tai ilmaukset
    Tekstin samankaltaisuus Kuinka hyvin testitapauksen vastauksen teksti vastaa odotettua vastausta Pisteet 100:sta% Läpäisypisteet, odotettu vastaus
    Täsmälleen osuma Vastaako testitapauksen vastaus täsmälleen odotettua vastausta Läpäisy/hylätty Odotettu vastaus

  6. Valitse Käyttäjäprofiili ja valitse tai lisää tili, jota haluat käyttää tässä testisetissä, tai jatka ilman todennusta. Arviointi käyttää tätä tiliä yhdistääkseen tietolähteisiin ja työkaluihin testauksen aikana. Lisätietoja käyttäjäprofiilien lisäämisestä ja hallinnasta löytyy kohdasta Käyttäjäprofiilien ja yhteyksien hallinta.

    Note

    Automaattinen testaus käyttää valitun testitilin todennusta. Jos agentillasi on tietolähteitä tai yhteyksiä, jotka vaativat erityistä tunnistautumista, valitse oikea tili testaukseen. Kun Copilot Studio luo testitapauksia, se käyttää yhdistetyn tilin todennustietoja päästäkseen käsiksi agenttisi tietolähteisiin ja työkaluihin. Luodut testitapaukset tai tulokset voivat sisältää arkaluontoista tietoa, johon yhdistetyllä tilillä on pääsy, ja tämä tieto näkyy kaikille tekijöille, jotka pääsevät testijoukkoon käsiksi.

  7. Valitse Tallenna päivittääksesi testijoukon ilman testitapausten suorittamista tai Arvioi suorittaaksesi testijoukon välittömästi.

Testitapausten generoinnin rajoitus

Testitapausten generointi epäonnistuu, jos yksi tai useampi kysymys rikkoo agenttisi sisällön moderointiasetuksia. Mahdollisia syitä ovat:

  • Agentin ohjeet tai aiheet ohjaavat mallia tuottamaan sisältöä, jonka järjestelmä merkitsee.
  • Yhdistetty tietolähde sisältää arkaluontoista tai rajoitettua sisältöä.
  • Agentin sisällön moderointiasetukset ovat liian tiukat.

Ongelman ratkaisemiseksi kokeile erilaisia toimenpiteitä, kuten tiedonlähteiden säätämistä, ohjeiden päivittämistä tai moderointiasetuksia.

Testisarja voi sisältää jopa 100 testitapausta.

Luo testijoukko tiedosta tai aiheista

Voit testata agenttiasi luomalla kysymyksiä käyttäen hänen jo olemassa olevia tietoja ja keskustelulähteitä. Tämä testausmenetelmä on hyvä testaukseen, miten agenttisi käyttää jo olemassa olevaa tietoa ja aiheita, mutta se ei sovi tiedon aukkojen testaamiseen.

Voit luoda testitapauksia käyttämällä näitä tietolähteitä:

  • Tekstiviesti

  • Microsoft Word

  • Microsoft Excel

Voit käyttää jopa 293 KB kokoisia tiedostoja testikysymysten luomiseen.

Testijoukon luomiseksi:

  1. Uudessa arvioinnissa valitse Koko kysymyssarja.

  2. Valitse joko Tieto tai Aiheet.

    • Tieto toimii parhaiten agenteille, jotka käyttävät generatiivista orkestrointia. Tämä menetelmä luo kysymyksiä käyttämällä agenttisi tietolähteitä.
    • Topics toimii parhaiten agenteille, jotka käyttävät klassista orkestrointia. Tämä menetelmä luo kysymyksiä käyttämällä agenttisi aiheita.

  3. Tietoa varten valitse ne tiedonlähteet, jotka haluat sisällyttää kysymysten generointiin.

Kuvakaappaus, jossa näytetään valinta tietolähteille testitapausten generointiin.

  1. Tietoa ja aiheita varten valitse ja vedä liukusäädintä valitaksesi kysymysten määrän.

Kuvakaappaus, jossa näkyy liukusäädin, jolla valitaan, kuinka monta kysymystä tuottaa.

  1. Valitse Luo.

  2. Kirjoita Nimi-kohtaan testijoukkosi nimi.

    1. Muuta tai lisää testimenetelmät , joita haluat käyttää:
    • Lisää uusi menetelmä:
      1. Valitse Lisää testimenetelmä.
      2. Valitse kaikki testattavat menetelmät ja valitse OK. Voit lisätä useita menetelmiä.
      3. Joissain menetelmissä aseta läpäisypiste ja valitse OK. Läpäisypisteet määrittävät, mikä piste johtaa läpäisemiseen tai hylkäämiseen.
      4. Jotkut menetelmät vaativat odotettujen vastausten tai avainsanojen lisäämistä jokaiseen testitapaukseen. Lisätietoja löytyy kohdasta Valitse arviointimenetelmät
    • Valitse olemassa oleva testimenetelmä muokataksesi tai poistaaksesi sen.

  4. Muokkaa testitapausten yksityiskohtia. Kaikki menetelmät käyttävät testitapaukset, paitsi yleistä laatua, edellyttävät odotettuja vasteita. Lisätietoja muokkauksesta löytyy kohdasta Muokkaa testijoukkoa.

  5. Valitse Tallenna päivittääksesi testijoukon ilman testitapausten suorittamista tai Arvioi suorittaaksesi testijoukon välittömästi.

Luo testisarjatiedosto tuotavaksi

Sen sijaan, että rakentaisit testitapauksia suoraan Copilot Studiossa, voit luoda laskentataulukkotiedoston, joka sisältää kaikki testitapauksesi, ja tuoda ne testijoukon luomiseksi. Voit kirjoittaa kunkin testikysymyksen, määrittää käytettävän testimenetelmän ja määrittää kunkin kysymyksen odotetut vastaukset. Kun olet luonut tiedoston, tallenna se .csv tai .txt -tiedostona ja tuo se Copilot Studioon.

Tärkeää

  • Tiedostossa voi olla enintään 100 kysymystä.
  • Kussakin kysymyksessä voi olla enintään 1 000 merkkiä välilyönnit mukaan lukien.
  • Tiedoston on oltava csv-muodossa tai tekstimuodossa.

Tuontitiedoston luominen:

  1. Avaa laskentataulukkosovellus (esimerkiksi Microsoft Excel).

  2. Lisää seuraavat otsikot tässä järjestyksessä ensimmäiselle riville:

    • Kysymys
    • Odotettu vastaus
    • Testausmenetelmä

  3. Kirjoita testikysymyksesi Kysymys-sarakkeeseen . Jokainen kysymys voi olla enintään 1 000 merkkiä välilyönnit mukaan lukien.

  4. Syötä jokin seuraavista testimenetelmistä jokaiselle kysymykselle Testausmenetelmä-sarakkeeseen:

    • Yleinen laatu
    • Vertaile merkitystä
    • Samanlaisuus
    • Tarkka vastaavuus
    • Avainsanavastaavuus

  5. Anna odotetut vastaukset jokaiselle kysymykselle Odotetun vastauksen sarakkeessa. Odotetut vastaukset ovat valinnaisia testijoukon tuomista varten. Tarvitset kuitenkin odotettuja vastauksia vastineita, samankaltaisuutta ja testitapausten vertailua.

  6. Tallenna tiedosto .csv- tai .txt-tiedostomuodossa.

  7. Tuo tiedosto seuraamalla ohjeita kohdassa Luo uusi testijoukko.

Luo testisetti teeman pohjalta

Luo testisarja, jossa on kysymyksiä keskusteluista oikeiden käyttäjien kanssa. Tämä menetelmä käyttää teemoja (esikatselu), jotka löytyvät agenttisi analytiikasta.

Teemat ovat käyttäjäkysymyksistä otettujen kysymysten ryhmittelyjä, jotka käynnistävät luotavia vastauksia. Kun luot testisarjan teeman avulla, generoit testitapaukset käyttäjien kysymyksistä, jotka liittyvät kyseiseen teemaan.

Käytä näitä testisettejä arvioitaaksesi arviointeja, jotka keskittyvät yhteen agenttisi alueeseen tai aiheeseen. Esimerkiksi, jos sinulla on asiakaspalvelija, voit seurata laskutus- ja maksukysymysten vastausten laatua erillään muista käyttötapauksista, kuten vianetsinnästä.

Note

Ennen kuin luot teemoista testisettejä, tarvitset pääsyn analytiikan teemoihin. Käy läpi teemojen edellytykset (esikatselu).

  1. Agenttisi Analytiikka-sivulla mene Teemat-listaan.

  2. Vie hiiri teeman päälle ja valitse sitten Arvioi.

    Kuvakaappaus, jossa näkyy Teemo-listalla Evaluate -vaihtoehto teemalle.

    Voit myös valita Näytä kaikki nähdäksesi lisää teemoja ja valita sitten Arvioi.

  3. Valitse Luo ja avaa.

  4. Muokkaa testisarjojen ja tapausten yksityiskohtia. Kaikki menetelmät käyttävät testitapaukset, paitsi yleistä laatua, edellyttävät odotettuja vasteita. Lisätietoja muokkauksesta löytyy kohdasta Muokkaa testijoukkoa.

  5. Valitse Tallenna päivittääksesi testijoukon ilman testitapausten suorittamista tai Arvioi suorittaaksesi testijoukon välittömästi.

  • Last updated on