Jaa

Luo tai muokkaa testijoukko agentin arvioimiseksi

[Tämä artikkeli sisältää julkaisua edeltävää materiaalia ja voi muuttua.]

Testijoukko koostuu jopa 100 testitapauksen ryhmästä. Kun suoritat agentin arvioinnin, valitset testisetin ja Copilot Studio ajaa kaikki kyseisen setin testitapaukset agenttiasi vastaan.

Voit luoda testitapauksia testijoukon sisälle manuaalisesti, tuoda ne taulukon avulla tai käyttää tekoälyä viestien tuottamiseen agenttisi suunnittelun ja resurssien perusteella. Voit sitten valita, miten haluat mitata agenttisi vastausten laatua kussakin testitapauksessa testisarjassa.

Lisätietoja agentin arvioinnista löytyy kohdasta Tietoa agentin arvioinnista.

Tärkeää

Testitulokset ovat saatavilla Copilot Studiossa 89 päivän ajan. Jos haluat tallentaa testituloksesi pidemmäksi aikaa, vie tulokset CSV-tiedostoon.

Uuden testijoukon luominen

  1. Mene agenttisi arviointisivulle .

  2. Valitse Uusi testisarja.

    Kuvakaappaus, jossa näkyy Uuden testin luominen -painike Arviointisivulla.

  3. Uusi testisarja -sivulla valitse menetelmä, jolla haluat luoda testisarjasi. Testisarjassa voi olla jopa 100 testitapausta.

    • Pikakysymysten asettaminen niin, että Copilot Studio luo testitapauksia automaattisesti agenttisi kuvauksen, ohjeiden ja kykyjen perusteella. Tämä vaihtoehto tuottaa 10 kysymystä pienten ja nopeiden arviointien suorittamiseen tai suuremman testijoukon rakentamisen aloittamiseen.
    • Täysi kysymyspaketti , jossa Copilot Studio tuottaa testitapauksia käyttäen agenttisi tietolähteitä tai aiheita.
    • Käytä testichat-keskustelua täyttääksesi automaattisesti testisetin kysymyksillä, jotka annoit testichatissa. Tämä menetelmä käyttää kysymyksiä viimeisimmästä testichatista. Voit myös aloittaa arvioinnin testichatista käyttämällä arviointipainiketta . Kuvakaappaus, jossa näkyy uusi testi -painike testichatissa.
    • Tuo testitapauksia tiedostosta vetämällä tiedostosi määrättyyn alueeseen, valitsemalla Selaa ladataksesi tiedoston tai valitsemalla jokin muu latausvaihtoehto.
    • Tai kirjoita itse kysymyksiä luodaksesi manuaalisesti testisarjan. Seuraa ohjeita muokataksesi testijoukkoa lisätäksesi ja muokataksesi testitapauksia.

  4. Muokkaa testitapausten yksityiskohtia. Kaikki menetelmät käyttävät testitapaukset, paitsi yleistä laatua, edellyttävät odotettuja vasteita. Lisätietoja muokkauksesta löytyy kohdasta Muokkaa testijoukkoa.

  5. Kirjoita Nimi-kohtaan testijoukkosi nimi.

  6. Valitse Käyttäjäprofiili, valitse tai lisää tili, jota haluat käyttää tähän testijoukkoon, tai jatka ilman todennusta. Arviointi käyttää tätä tiliä yhdistääkseen tietolähteisiin ja työkaluihin testauksen aikana. Lisätietoja käyttäjäprofiilien lisäämisestä ja hallinnasta löytyy kohdasta Käyttäjäprofiilien ja yhteyksien hallinta.

Note

Automaattinen testaus käyttää valitun testitilin todennusta. Jos agentillasi on tietolähteitä tai yhteyksiä, jotka vaativat erityistä tunnistautumista, valitse oikea tili testaukseen.

  1. Valitse Tallenna päivittääksesi testijoukon ilman testitapausten suorittamista tai Arvioi suorittaaksesi testijoukon välittömästi.

Testitapausten generoinnin rajoitus

Testitapausten generointi voi epäonnistua, jos yksi tai useampi kysymys rikkoo agenttisi sisällön moderointiasetuksia. Syitä ovat muun muassa:

  • Agentin ohjeet tai aiheet ohjaavat mallia tuottamaan sisältöä, joka on merkitty.
  • Yhdistetty tietolähde sisältää arkaluontoista tai rajoitettua sisältöä.
  • Agentin sisällön moderointiasetukset ovat liian tiukat.

Ongelman ratkaisemiseksi kokeile erilaisia toimenpiteitä, kuten tiedonlähteiden säätämistä, ohjeiden päivittämistä tai moderointiasetuksia.

Testisarja voi sisältää jopa 100 testitapausta.

Luo testijoukko tiedosta tai aiheista

Voit testata agenttiasi luomalla kysymyksiä käyttäen hänen jo olemassa olevia tietoja ja keskustelulähteitä. Tämä testausmenetelmä on hyvä testaukseen, miten agenttisi käyttää jo olemassa olevaa tietoa ja aiheita, mutta se ei sovi tiedon aukkojen testaamiseen.

Voit luoda testitapauksia käyttämällä näitä tietolähteitä:

  • Tekstiviesti
  • Microsoft Word
  • Microsoft Excel

Voit käyttää jopa 293 KB kokoisia tiedostoja testikysymysten luomiseen.

Testijoukon luomiseksi:

  1. Uudessa testisarjassa valitse Täysi kysymyssarja.

  2. Valitse joko Tieto tai Aiheet.

    • Tieto toimii parhaiten agenteille, jotka käyttävät generatiivista orkestrointia. Tämä menetelmä luo kysymyksiä käyttämällä agenttisi tietolähteitä.
    • Topics toimii parhaiten agenteille, jotka käyttävät klassista orkestrointia. Tämä menetelmä luo kysymyksiä käyttämällä agenttisi aiheita.

  3. Tietoa varten valitse ne tiedonlähteet, jotka haluat sisällyttää kysymysten generointiin.

Kuvakaappaus, jossa näytetään valinta tietolähteille testitapausten generointiin.

  1. Tietoa ja aiheita varten valitse ja vedä liukusäädintä valitaksesi kysymysten määrän.

Kuvakaappaus, jossa näkyy liukusäädin, jolla valitaan, kuinka monta kysymystä tuottaa.

  1. Valitse Luo.

  2. Muokkaa testitapausten yksityiskohtia. Kaikki menetelmät käyttävät testitapaukset, paitsi yleistä laatua, edellyttävät odotettuja vasteita. Lisätietoja muokkauksesta löytyy kohdasta Muokkaa testijoukkoa.

  3. Valitse Hallinnoi profiilia valitaksesi tai yhdistääksesi tilin, jota haluat käyttää tässä testisetissä. Voit myös jatkaa ilman tilin lisäämistä tunnistautumista varten.

Note

Automaattinen testaus käyttää valitun testitilin todennusta. Jos agentillasi on tietolähteitä tai yhteyksiä, jotka vaativat erityistä tunnistautumista, valitse oikea tili testaukseen.

Kun Copilot Studio luo testitapauksia, se käyttää yhdistetyn tilin todennustietoja päästäkseen käsiksi agenttisi tietolähteisiin ja työkaluihin. Luodut testitapaukset tai tulokset voivat sisältää arkaluontoista tietoa, johon yhdistetyllä tilillä on pääsy, ja tämä tieto näkyy kaikille tekijöille, jotka pääsevät testijoukkoon käsiksi.

  1. Valitse Tallenna päivittääksesi testijoukon ilman testitapausten suorittamista tai Arvioi suorittaaksesi testijoukon välittömästi.

Luo testisarjatiedosto tuotavaksi

Sen sijaan, että rakentaisit testitapauksia suoraan Copilot Studiossa, voit luoda laskentataulukkotiedoston, joka sisältää kaikki testitapauksesi, ja tuoda ne testijoukon luomiseksi. Voit kirjoittaa kunkin testikysymyksen, määrittää käytettävän testimenetelmän ja määrittää kunkin kysymyksen odotetut vastaukset. Kun olet luonut tiedoston, tallenna se .csv tai .txt -tiedostona ja tuo se Copilot Studioon.

Tärkeää

  • Tiedostossa voi olla enintään 100 kysymystä.
  • Kussakin kysymyksessä voi olla enintään 1 000 merkkiä välilyönnit mukaan lukien.
  • Tiedoston on oltava csv-muodossa tai tekstimuodossa.

Tuontitiedoston luominen:

  1. Avaa laskentataulukkosovellus (esimerkiksi Microsoft Excel).

  2. Lisää seuraavat otsikot tässä järjestyksessä ensimmäiselle riville:

    • Kysymys
    • Odotettu vastaus
    • Testausmenetelmä

  3. Kirjoita testikysymyksesi Kysymys-sarakkeeseen . Jokainen kysymys voi olla enintään 1 000 merkkiä välilyönnit mukaan lukien.

  4. Syötä jokin seuraavista testimenetelmistä jokaiselle kysymykselle Testausmenetelmä-sarakkeeseen:

    • Yleinen laatu
    • Vertaile merkitystä
    • Samanlaisuus
    • Tarkka vastaavuus
    • Avainsanavastaavuus

  5. Anna odotetut vastaukset jokaiselle kysymykselle Odotetun vastauksen sarakkeessa. Odotetut vastaukset ovat valinnaisia testijoukon tuomista varten. Tarvitset kuitenkin odotettuja vastauksia vastineita, samankaltaisuutta ja testitapausten vertailua.

  6. Tallenna tiedosto .csv- tai .txt-tiedostomuodossa.

  7. Tuo tiedosto seuraamalla ohjeita kohdassa Luo uusi testijoukko.

  • Last updated on