Agentin arvioiminen (esiversio)

[Tämä artikkeli on esijulkaisuasiakirja, ja se voi muuttua.]

Uuden agenttikokemuksen Arviointi-välilehti mahdollistaa agentin jäsennetyn ja toistettavan testauksen. Käytä arviointeja agentin laadun mittaamiseen testitapauksissa, seuraamaan parannuksia ajan myötä ja validoimaan agentin toiminta ennen julkaisua.

Tärkeää

Mitä agentin arviointi on?

Agentin arviointi mahdollistaa agentin vastausten järjestelmällisen testauksen laatuvaatimusten perusteella. Sen sijaan, että testaisit jokaisen skenaarion manuaalisesti Esikatselu-välilehdellä, luo arviointeja testikeskusteluilla, määrittele, miten vastauksia mitataan, ja suorita arvioinnit saadaksesi määrällisiä tuloksia.

Arviointi auttaa vastaamaan näihin kysymyksiin:

  • Vastaako agentti oikein erilaisissa odotetuissa skenaarioissa?
  • Paransiko vai heikensikö määrityksen muutos vastauksen laatua?
  • Kutsuuko agentti työkaluja silloin kun pitäisi?

Avainkäsitteet

Seuraavat käsitteet ovat keskeisiä Copilot Studion arvioinneissa:

Keskustelut

Keskustelu on testitapaus, joka ilmaisee skenaarion, jonka agentin on käsiteltävä. Jokaisessa keskustelussa on käyttäjäviestejä ja valinnaisesti agentilta odotettavat vastaukset. Järjestä keskustelut arvioinneiksi. Luo keskusteluja manuaalisesti, luo ne tekoälyllä tai lataa ne CSV-tiedostosta.

Arvioinnit

Arviointi on nimetty testijoukko, joka yhdistää keskustelut testimenetelmään. Voit luoda arviointeja Arviointi-välilehdestä, lisätä niihin keskusteluja ja suorittaa ne sekä saada tällä tavoin pisteytettyjä tuloksia.

Testimenetelmä

Testimenetelmät määrittävät, miten agentin vastauksia pisteytetään. Tällä hetkellä ainoa saatavilla oleva testimenetelmä on yleinen laatu, tekoälypohjainen arviointi siitä, täyttävätkö vastaukset laatustandardeja, kuten relevanssia ja täydellisyyttä.

Huomautus

Yleinen laatu -testimenetelmä ei vertaa vastauksia odotettuihin vastauksiin.

Käyttäjäprofiili

Arviointien suorittamiseen tarvitaan käyttäjäprofiili. Hallinnoi, mikä todennettu profiili suorittaa arvioinnin, jotta agentin työkalut ja yhteydet ovat täysin testattavissa.

Arviointityönkulku

Seuraa näitä vaiheita arvioidaksesi agenttia:

  1. Luo arviointi: aloita uusi arviointi Arviointi-välilehdessä. Lue lisää artikkelista Create a test set for an agent.
  2. Lisää keskusteluja: Lisää testikeskusteluja kirjoittamalla ne manuaalisesti, luomalla ne tekoälyn avulla tai lataamalla CSV-tiedosto.
  3. Määritä: anna arvioinnille nimi, valitse testimenetelmä, valitse agentin versio ja määritä käyttäjäprofiili.
  4. Suorita arviointi: Valitse Arvioi suorittaaksesi testin ja odota tuloksia. Lue lisää artikkelista Suorita arviointi agentille.
  5. Arvioi tulokset: Analysoi tulokset ja tunnista parannuskohteet. Lue lisää kohdasta Katso arviointitulokset agentille.
  6. Iterointi: Säädä agenttisi ohjeita, tietoa tai työkaluja ja suorita arviointi uudelleen vaikutuksen mittaamiseksi.
  • Last updated on