Seuraa keskusteluagentin tehokkuutta

Huomautus

Tässä artikkelissa kuvataan ominaisuuksia, joita käytetään agenteissa tai agenttivirroissa, joita käytetään standardivaljastuksen voimalla.

Käytä Copilot Studio:n Monitor-sivua arvioidaksesi keskusteluagenttisi tehokkuutta eri analytiikkaistuntojen välillä. Tunnista, missä keskustelut onnistuvat tai katkeavat, tarkastele käyttäjäpalautetta ja etsi mahdollisuuksia parantaa vastauksia ja työkalujen käyttöä.

Tarkista seuraavat alueet:

• Yhteenveto-, yleiskatsaus- ja säästötalueet esittelevät keskeiset näkemykset, keskeiset suorituskykymittarit (KPI:t) sekä arvioidut ajan ja kustannusten säästöt.
• Mukautetut mittarit (esikatselu) -osio antaa sinun määritellä liiketoimintakohtaisia mittareita agenttisi käyttötapauksille.
• Tehokkuus-osiossa voit arvioida käyttäjäkokemusten laatua näyttämällä, missä keskustelut onnistuvat, missä ne hajoavat ja miten käyttäjät tuntevat tuloksia.
• Käytä-osion avulla voit parantaa toiminnallista suorituskykyä näyttämällä, miten hyvin agenttisi vastaa kysymyksiin, miten luotettavasti työkalut ja tietolähteet tukevat näitä vastauksia ja missä kohdennetut päivitykset voivat lisätä kattavuutta ja johdonmukaisuutta.

Voit tarkastella viimeisen 360 päivän aikana tapahtuneiden tapahtumien analyysia.

Mukautetut mittarit (esikatselu)

[Tämä osa on esijulkaisuasiakirja, ja se voi muuttua.]

Mukautetut mittarit -osion avulla voit määrittää enintään kolme liiketoimintakohtaista mittausarvoa luonnollisella kielellä ja seurata, kuinka usein kukin tulos näkyy malliistuntojen aikana. Näiden mittareiden avulla voit täydentää vakioanalytiikan merkityksellisiä tietojasi agentin tavoitteita ja liiketoimintakäyttöä vastaavilla indikaattorilla.

Important

Tämä artikkeli sisältää Microsoft Copilot Studion esiversiota koskevia ohjeita. Tiedot voivat muuttua.

Esiversiotoimintoja ei ole tarkoitettu tuotantokäyttöön, ja niiden toiminnot voivat olla rajoitettuja. Nämä toiminnot ovat käytettävissä ennen virallista julkaisua, jotta voit käyttää niitä aikaisessa vaiheessa ja antaa palautetta.

Jos olet luomassa tuotantovalmista agenttia, katso lisätietoja kohdasta Microsoft Copilot Studion yleiskuvaus.

Bot Transcript Viewer -oikeudet omaavat käyttäjät voivat siirtyä asiakasistuntojen luetteloon, joka on suodatettu donitsitaulukon valitun segmentin perusteella. Valitse yksittäinen istunto nähdäksesi mittarin taustalla olevan perustelun ja saadaksesi käsiksi sen transkription.

Lue lisää mittareiden luomisesta, testaamisesta ja hiomisesta artikkelissa Monitor your agent with custom metrics (preview).

Tehokkuutta

Tehokkuus-osiossa näkyy istunnon reaktioista, agenttivastauksista, kyselyn tuloksista ja asennepisteistä kerätty palaute. Tehokkuus jakautuu useisiin alaosioihin:

• Keskustelun tulokset: Keskustelun lopputuloksen tietäminen auttaa sinua tunnistamaan, missä agenttisi onnistuu ja missä se tarvitsee parannusta.
• Reaktiot: Käyttäjän vastaukset, mukaan lukien peukalo ylös/peukalo alas -palaute ja käyttäjän kommentit agenttivastauksia varten.
• Asiakastyytyväisyys: Asiakastyytyväisyyden (CSAT) pistemäärä.
• Asenne (esiversio): Tekoälypohjainen asenneanalyysi koko istunnolle.
• Agentit: Katso kutsun volyymitiedot, onnistumisprosentit ja nykyinen tila aliagenteille ja yhdistetyille agenteille.

Järjestelmä tallentaa palautetiedot keskustelun tallennetauluun Dataversessä.

Keskustelun tulokset

Keskustelun tulokset -osassa on kaavio, jonka avulla seurataan agentin ja käyttäjien välisten istuntojen tulostyyppiä.

Kaavio näyttää pinotun histogrammin tai pinotun aluekaavion istuntojen tuloksia. Ratkaistu, Eskaloitu, Keskeytynyt ja Sitoutumaton -tiloilla on vastaava väri selitteessä. Y-akseli ilmaisee istuntojen määrän.

Jos haluat nähdä mittarit tietyn päivän lopputuloksesta, käytä kaavion legendaa lopputuloksen tunnistamiseen ja vie hiiri kyseisen päivän segmentin päälle.

Ladataksesi keskustelun tulostiedot, avaa kaaviovalikko ja valitse Lataa CSV.

Huomautus

Jos poistat taulukosta tuloksia lataamisen yhteydessä, niiden tiedot eivät näy CSV:ssä.

Keskustelun tuloksia koskevat tarkat tiedot sisältävä sivupaneeli avataan valitsemalla kaaviossa Näytä tiedot. Keskustelun tulokset -sivupaneelin sisältö:

• Istunnon tulosten ympyräkaavion erittely, jossa näkyy ratkaistujen, eskaloitujen ja hylättyjen tulosten suhteellinen painotus (joka ilmaistaan prosenttiosuutena).
• Pinotussa pylväskaaviossa näkyy vahvistetun ratkaisun ja oletetun ratkaisun tuloksen syiden suhteellisen painotuksen (prosenttiosuutena ilmaistuna), jotka kuvaavat kaikkia ratkaistuja istuntotuloksia.
• Pinotussa palkkikaaviossa näkyy järjestelmän tarkoittaman, järjestelmän tarkoittamattoman ja käyttäjän pyytämän tuloksen syiden suhteellinen painotus (prosenttiosuutena ilmaistuna), jotka kuvaavat kaikkia eskaloituja istuntotuloksia.
• Tärkeimmät kuhunkin tulokseen johtaneet aiheet.

Huomautus

Raakamäärätiedot sisältävä työkaluvihje saadaan näkyviin pitämällä osoitinta jonkin ympyräkaavion tai pinotun pylväskaavion segmentin päällä.

Istunto kuuluu jompaankumpaan seuraavista kahdesta tilasta:

• Ei osallistuttu: Istunto alkaa, kun käyttäjä on vuorovaikutuksessa agentin kanssa tai agentti lähettää käyttäjälle viestin ennakoivasti. Istunto alkaa Ei osallistuttu-tilassa.

• Varattu: Käyttäjä on aktiivisesti vuorovaikutuksessa agentin kanssa. Toimintatavassa on eroa agentin orkestrointitilan perusteella.

  • Perinteinen orkestrointi: Istunto käynnistyy, kun jokin seuraavista aiheista käynnistetään:

    • Mukautettu aihe, jonka käyttäjä käynnistää suoraan
    • aiheen eskalointi
    • Vara-aihe
    • keskustelua tehostava aihe.

  • Generatiivinen tekoälyn orkestrointi: Istunnosta tulee aktiivinen, kun käyttäjä käynnistää suunnitelman suoraan ja sisällyttää jonkin seuraavista elementeistä:

    • Ei-järjestelmäaihe
    • aiheen eskalointi
    • Vara-aihe
    • Tietolähde
    • Työkalu

Osallistuttu-tilassa olevan istunnon tulos on jokin seuraavista:

Tulosluokka	Tulos	Kuvaus
Ratkaistu		Istunto päättyy onnistuneesti. Ratkaistuja istuntoja on kahdenlaisia: ratkaistut vahvistetut ja ratkaistut implisiittiset.
	Ratkaistu – vahvistettu	Istunto katsotaan olevan Ratkaistu – vahvistettu, kun Keskustelun päättyminen -aihe käynnistetään, ja käyttäjä vahvistaa, että vuorovaikutus onnistui.
	Ratkaistu – oletettu	Istunnon katsotaan olevan Ratkaistu – oletettu, kun istunto päätetään agentin logiikan perusteella ilman käyttäjän vahvistusta. Ratkaistu implisiittinen tila määräytyy sen mukaan, käyttääkö agenttisi perinteistä vai luotua tekoälyorkestroinnia: - Perinteinen orkestrointi: istunnon katsotaan olevan Ratkaistu – oletettu -tilaa, kun Keskustelun lopettaminen -aihe käynnistetään ja käyttäjä antaa istunnon päättyä aikakatkaisuun ilman vahvistusta. - Generatiivinen tekoälyn orkestrointi: istunnon katsotaan olevan Ratkaistu – oletettu, kun istunto päättyy aikakatkaisuun ja jäljellä olevia aktiivisia suunnitelmia ei ole. Aktiivinen suunnitelma on suunnitelma, joka odottaa käyttäjän syötettä.
Eskaloitu		Istunto päättyy mutta sen katsotaan olevan eskaloitu, kun Eskaloi-aihe käynnistetään tai Siirto asiakaspalvelijalle -solmu suoritetaan (nykyinen analytiikkaistunto päättyy riippumatta siitä, siirtyykö keskustelu live-asiakaspalvelijalle vai ei). Eskaloituja istuntotyyppejä on kolme: Järjestelmän tarkoittama, Järjestelmän tarkoittamaton ja Käyttäjän pyytämä.
	Järjestelmän tarkoittama	Istunto eskaloidaan automaattisesti tekijän määrittämän automaattisen liiketoimintasäännön seurauksena. Eskalaatio on keskustelun odotettu lopputulos, eikä se kaipaa tutkimista tai muutosta. Esimerkki: Käyttäjä haluaa siirtää yli 25 000 dollaria kolmannelle osapuolelle. Tämä summa ylittää liiketoimintasäännön raja-arvon ja istunto eskaloituu automaattisesti.
	Järjestelmän odottamaton toiminta	Eskalointi tapahtuu automaattisesti, kun istunto ylittää tekijän määrittämän raja-arvon. Yleensä tämä lopputulos tarkoittaa, että käyttäjä on jumissa keskustelussa ja tarvitsee apua. Esimerkki: Istunto eskaloituu, kun tietyn tehtävän suoritus epäonnistuu kolme kertaa.
	Käyttäjän pyytämä	Istunto eskaloituu, koska käyttäjä esitti nimenomaisen pyynnön keskustelun aikana. Esimerkki: Käyttäjä kirjoittaa Transfer me to an agent.
Hylätty		Istunto päättyy ja se katsotaan hylätyksi, kun istunto, johon on osallistuttu, aikakatkaistaan 30 minuutin kuluttua eikä se ole saavuttanut Ratkaistu- tai Eskaloitu-tilaa.

Voit myös määrittää työkalujen tuloksen parametrin conversationOutcome avulla työkalukoodieditorin avulla. Esimerkki conversationOutcome: ResolvedConfirmed vahvistetusta onnistumisesta tai conversationOutcome: ResolvedImplied epäsuorasta onnistumisesta.

Reaktiot

Reaktiot-osiossa näytetään palautetta, joka on kerätty reaktioista agenttivastauksiin. Kaaviossa lasketaan, miten monta kertaa käyttäjät valitsivat Peukku ylös (positiivinen)- ja Peukku alas (negatiivinen) -painikkeet, jotka ovat saatavilla kaikissa agentilta saaduissa vastauksissa.

Huomautus

• Microsoft Copilot -kanavalle julkaistut agentit vaativat ylläpitäjän suostumuksen Microsoft 365 -hallintakeskus -keskuksessa käyttäjäpalautteen, mukaan lukien reaktioiden ja kommenttien, jakamiseen. Voit katsoa tämän palautteen Monitor-sivulla . Lue lisää Microsoft 365 -hallintakeskus -agenttiasetuksista.
• Microsoft Copilot -kanavan reaktioita ei koota tai lasketa Reaktiot-sarakkeessa Teemat ja Tietolähde -käyttöosioissa.
• Kommenttien tarkasteleminen edellyttää botin transkription tarkastelijan käyttöoikeusroolin.

Reaktiot-ominaisuus on oletuksena päällä kaikilla kanavilla paitsi Microsoft Copilot-kanavalla. Voit halutessasi poistaa tämän ominaisuuden käytöstä. Voit myös lisätä käyttäjille ilmoituksen palautteen käytöstä tai muokata sitä seuraavasti:

1. Avaa Agent, mene Asetuksiin ja etsi Käyttäjäpalaute -osio.

2. Ota Käyttäjien reaktioiden kerääminen agenttiviesteihinkäyttöön tai poista ne käytöstä.

3. Lisää ilmoitus tai muokkaa sitä, jotta käyttäjät tietävät, miten heidän palautettaan käytetään. Voit myös antaa tietosuojatietoja ja vinkkejä.

Käyttäjät, joilla on Bot Transcript Viewer -oikeus, voivat porautua yksittäisten reaktioiden agentin vastauksiin ja suodattaa käyttäjien kommenttien mukaan.

Reaktiotrendien tarkasteleminen ajan kuluessa

Avaa Reaktiot-sivupaneeli valitsemalla Reaktiot-ruudustaNäytä tiedot. Paneelista näet, miten positiiviset ja negatiiviset reaktiot ( peukalo ylös- ja peukalo alas) -trendit ajan mittaan.

Asiakastyytyväisyys

Asiakastyytyväisyys-osiossa näkyy käyttäjätyytyväisyyttä koskevia tietoja käyttäjäkyselyn tulosten perusteella:

• Tyytyväisyyspisteet: Tuloksesi/ 5 laskettuna asiakastyytyväisyyden (CSAT) keskiarvosta istunnoissa, joissa käyttäjät vastasivat istunnon loppupyyntöihin kyselyn ottamiseksi.

  Huomautus

  Pistemäärät 1 ja 2 saavat arvon Tyytymätön, pistemäärä 3 arvon Neutraali ja pistemäärät 4 ja 5 arvon Tyytyväinen.

• Tyytyväisyys istunnoittain: Pinottu pylväskaavio, joka visualisoi kunkin kyselyn pistekategorian suhteellisen painotuksen, eli Dissatisfied, Neutral, ja Satisfied. Vie hiiri jokaisen kaavion osan päälle nähdäksesi otoksen koon ja kunkin pistekategorian painotuksen numeerisen arvon. Jos käyttäjällä on Botin tallennuksen katselu -oikeus, voit porautua alaspäin asiakasistuntojen luetteloon, joka suodatetaan valitun palkkisegmentin osan perusteella.

Valitse Näytä tiedot , jos haluat tarkastella tyytyväisyyspisteytyksen trendiä valitulla ajanjaksolla.

Asenne (esikatselu)

[Tämä osa on esijulkaisuasiakirja, ja se voi muuttua.]

Asenneanalyysi analysoi tekoälyn avulla käyttäjäviestejä istuntomallista ja arvioi agentin yleisen käyttäjätunnuksen. Numeerinen arvo kuvaa sessioiden osuutta, jossa käyttäjien mielipiteet ovat negatiivisia.

Important

Tämä artikkeli sisältää Microsoft Copilot Studion esiversiota koskevia ohjeita. Tiedot voivat muuttua.

Esiversiotoimintoja ei ole tarkoitettu tuotantokäyttöön, ja niiden toiminnot voivat olla rajoitettuja. Nämä toiminnot ovat käytettävissä ennen virallista julkaisua, jotta voit käyttää niitä aikaisessa vaiheessa ja antaa palautetta.

Jos olet luomassa tuotantovalmista agenttia, katso lisätietoja kohdasta Microsoft Copilot Studion yleiskuvaus.

Valitse Näytä tiedot , jos haluat tarkastella asennetietojen tietoja kunkin asenneluokan suhteellisesta painotuksesta (ovat Positive, Neutralja Negative).

Voit ottaa käyttöön ja poistaa käytöstä agenttisi asenneanalyysin kohdassa Asetukset. Kun asenneanalyysi on poistettu käytöstä, käyttäjien asennetta ei analysoida istuntojen aikana.

1. Siirry kohtaan Asetukset ja valitse Lisäasetukset.

2. Ota Sentiment Analysis käyttöön tai pois päältä.

   

Agentit

Agentit-luettelossa on pääagentin yhdistettyjen agenttien ja aliagenttien korkean tason määrä, suorituskyky ja tilamittari. Luettelossa määritetään suhteen tyyppi, joka luettelossa olevalla agentilla on pääagenttiin Tyyppi-sarakkeessa. Jos agentti on aliagentti, sen tyyppi on Child. Yhdistetyillä agenteilla on luettelotyyppi, joka kuvastaa luontipaikastaan (esimerkiksi Copilot Studio, Azure AI Foundry). Kunkin luettelossa olevan agentin Puhelut-mittari kuvaa pääagentilta yhdistetylle agentille tai aliagentille siirtyvien puheluiden määrää. Onnistumisprosentti kuvaa onnistuneiden puheluiden osuutta (prosenttiosuutena kaikista puheluista). Tila ilmaisee jokaisen yhdistetyn agentin ja aliagentin yksittäisen järjestelmänvalvojan tilan.

Oletuksena Agentit-luettelo näyttää pääagenttisi viisi yhdistettyä agenttia ja aliagenttia, järjestettyinä kysymysten kokonaismäärän mukaan suurimmasta pienimpään. Jos agentteja on enemmän kuin viisi, näet kaikki agentit valitsemalla Näytä kaikki -kohdan.

Huomautus

Näytä kaikki -painike on näkyvissä vain, jos pääagentissa on yli viisi yhdistettyä agenttia tai aliagenttia.

Käytä

Käytä-osion avulla ymmärrät, miten käyttäjät käyttävät agenttiasi ja missä voit parantaa vastausten luotettavuutta. Käyttö on jaettu useisiin aliosioihin:

• Teemat: Teemojen avulla voit saada analytiikan merkityksellisiä tietoja klusteroinmalla käyttäjien kysymyksiä tekoälyn ehdottamiin luokkiin.
• Vastausprosentti ja laatu: Tunnista, milloin agenttisi kamppailee vastatakseen kysymyksiin ja miten hän käyttää tietolähteitä parantaakseen vastausprosenttiaan ja laatuaan.
• Työkalun käyttö: Kun opit, kuinka usein työkaluja käytetään ja kuinka usein ne onnistuvat, voit auttaa ymmärtämään, ovatko työkalut hyödyllisiä ja onnistuneita käyttäjille.
• Tietolähteen käyttö: Kun opit, kuinka usein yksittäisiä tietolähteitä käytetään ja kuinka usein ne palauttavat virheitä, voit parantaa agenttisi vastausten laatua ja kattavuutta.

Generoitu vastausprosentti ja laatu

Generatiivisten vastausten avulla agenttisi voi käyttää tekoälyä vastatakseen käyttäjien kysymyksiin käyttämällä tietolähteitä ja antamiasi ohjeita. Agenttisi ei kuitenkaan välttämättä pysty vastaamaan kaikkiin käyttäjän kyselyihin. Luotujen vastausten määrä ja laatu -osiossa seurataan, järjestetään ja analysoidaan vastaamattomia kyselyitä ja vastauksen laatua, jotta saat ohjeita agenttisi vastaustehon parantamiseen.

Vastausprosentti näyttää vastattujen ja vastaamattomien kysymysten määrän valitulla ajanjaksolla ja prosenttimuutoksen ajan kuluessa.

Vastauksen laatu mittaa vastausten laatua tekoälyn avulla. Copilot Studio analysoi otoksen vastatuista kysymyksistä täydellisyyden, relevanssin ja perustuneisuuden osalta. Jos vastaus täyttää tietyn standardin, Copilot Studio luokittelee sen laadultaan Good. Vastaukset, jotka eivät täytä tätä standardia, on merkitty Huono-laatuisiksi. Huonoille vastauksille Copilot Studio antaa syyn laatuarviolle ja näyttää kunkin kategorian vastausten prosenttiosuuden.

Joko Hyvä- tai Huono-laatuselitteen yksittäisen syyn suhteellinen painotus saadaan näkyviin pitämällä osoitinta jonkin kaavion pylvään segmentin päällä. Työkaluvihje ilmaisee myös otoksen saapuvien vastausten määrän lasketulla prosenttiarvolla.

Kun osoitat kaavion alapuolella olevan selitteen laatusyyn kohdalle, kyseinen syy korostuu kaaviossa.

Valitse palkkikaavion segmentti, jolloin avautuu sivu käyttäjän kysymyksistä , jotka on suodatettu kyseisen vastauksen laadun mukaan. Valitse Katso kysymykset nähdäksesi suodattamattoman listan kaikista kysymyksistä määritetyn ajanjakson aikana.

Työkalujen käyttö

Työkalujen käyttö -osio näyttää kaavion ja mittareita, jotka seuraavat, kuinka usein työkalusi käynnistyvät ajan myötä ja kuinka usein agenttisi käyttää näitä työkaluja onnistuneesti. Osa sisältää myös trendi-ilmaisimia, jotka osoittavat, miten usein agentti käyttää kutakin työkalua sekä kutsuttujen työkalujen onnistuneen käytön prosenttiosuuden.

Kaavio näyttää viisi parasta työkalua, joita on käytetty Monitor-sivun yläosassa määritellyn ajanjakson aikana.

Kaavion alla olevassa selityksessä vie hiiri minkä tahansa työkalun päälle korostaaksesi kyseisen työkalun kaaviossa.

Jos haluat avata kaikkien määritetyllä ajanjaksolla käytettyjen työkalujen luettelon ja trendi-ilmaisimet sisältävän sivupaneelin, valitse kaaviossa Näytä tiedot. Työkalun käyttö -paneelissa näkyvät kysymysten prosenttiosuuksien laskelmat kunkin työkalun osalta. Jos agentilla on aliagentteja, voit määrittää näytettäväksi sekä pää- että aliagenttien laskelmat (Kaikki) tai vain pää- tai aliagentin laskelmat.

Tietolähteiden käyttö

Tietolähteen käyttö -osiossa on tietoja siitä, miten agenttisi käyttää tietolähteitään ja kuinka usein nämä lähteet palauttavat virheitä. Lue lisää tietolähteiden käytöstä.