Keskusteluagentin tehokkuuden analysointi

Copilot Studion Analytiikka-sivulla on kootut tiedot agentin yleisestä tehokkuudesta analytiikkaistunnoissa. Sivu on jaettu pääalueisiin, joilla keskitytään erilaisiin suorituskykyä koskeviin konteksteihin. Sivulla on myös Yleiskatsaus-alue, joka sisältää korkean tason tunnuslukuja (KPI-lukuja) agenttia varten, Säästöt-alue, jolla analysoidaan agentin ja agentin työkalujen tuomat aika- ja kustannussäästöt, sekä Yhteenveto-alue, joka sisältää tärkeitä merkityksellisiä analyysitietoja agentin suorituskyvystä.

Saat lisätietoja seuraavista:

• Yhteenveto- ja Yleiskatsaus-alue, katso Analytiikan yleiskatsaus
• Säästöt-alue, katso Agenttien aika- ja kustannussäästöjen analysoiminen

Keskusteluagenttien tehokkuutta tarkasteltaessa ja parannettaessa on keskityttävä seuraaviin kuuteen pääalueeseen:

• Teemat: Teemat auttavat saamaan analytiikasta merkityksellisiä tietoja klusteroimalla käyttäjien kysymykset tekoälyn ehdottamiin luokkiin.
• Keskustelun tulokset: Kun keskustelun lopputulos on tiedossa, on mahdollista määrittää, missä agentti onnistuu ja missä sitä on parannettava.
• Agentit: puhelumäärän mittarin, onnistumisprosenttien sekä aliagenttien ja yhdistettyjen agenttien nykyisen tilan näyttäminen.
• Luotujen vastausten määrä ja laatu: Tiedot siitä, milloin agentilla on vaikeuksia käyttäjän kysymyksiin vastaamisessa ja miten agentti käyttää tietolähteitä, voivat auttaa agentin vastausten määrän ja laadun parantamisessa.
• Työkalun käyttö: Työkalujen käyttömäärän ja onnistumisasteen tunteminen voi auttaa määrittämään, onko näistä työkaluista hyötyä käyttäjille ja onnistuuko niiden käyttö.
• Tyytyväisyys: Käyttäjien palautteen tarkasteleminen auttaa tunnistamaan uudet käyttäjäskenaariot ja ongelmat sekä tekemään parannuksia suoraan sen perusteella, mitä käyttäjät pyytävät.

Voit tarkastella kuluneen 90 päivän tapahtumien analytiikkaa.

Keskustelun tulokset

Keskustelun tulokset -osassa on kaavio, jonka avulla seurataan agentin ja käyttäjien välisten istuntojen tulostyyppiä.

Kaavio, joka voidaan näyttää pinottuna histogrammina tai pinottuna aluekaaviona, visualisoi tulosten suhteelliset määrätä värikoodattuina ja tyypin mukaan pinottuina. Kukin ratkaistu, eskaloitu, hylätty ja ei osallistuttu ilmaistaan kunkin tietopisteen osalta omalla värillä. Y-akseli ilmaisee istuntojen määrän.

Tiettyä arvopistettä (tiettyä päivää) koskevat yksittäiset tulokset saadaan näkyviin pitämällä osoitinta toivotun tuloksen värisellä alueella (esimerkiksi sinivihreä, jos kyseessä on hylätty) toivottuna päivänä. Esimerkiksi 24. marraskuuta 90 hylättyä istuntoa vastasi 35,6 % kaikista istunnon tuloksista.

Kun osoitinta pidetään kaavion alapuolella olevassa selitteessä tuloksen selitteen yläpuolella, kyseinen tulos korostuu kaaviossa.

Valitse (päälle tai pois) vähintään yksi selitteistä, jolloin tulokset joko näytetään tai piilotetaan pinotussa aluekaaviossa. Tämä tehdään, kun jäljellä olevia tuloksia halutaan selkeyttää seuraavissa tilanteissa:

• Yksittäiset tulosviivat näkyvät lähellä toisiaan.
• Trendiviivojen halutaan näyttävän selkeämmin, onko trendi positiivinen vai negatiivinen, mutta pinottu tuloskooste tasoittaa nämä trendiviivat kaaviossa.

Muistiinpano

Kun tulos poistetaan kaaviosta tällä tavoin, tulos poistetaan suuresta näytettyjen tulosten määrästä. Näytettyjen tulosten poistaminen muuttaa jäljellä olevien tulosten näytettyä prosenttiarvoa kokonaisuuteen verrattuna, sillä suhteen nimittäjä muuttuu.

Seuraavassa esimerkissä Eskaloitu- ja Ei osallistuttu -selitteet poistettiin kaaviosta. Työkaluvihje näyttää, että 23. lokakuuta hylättiin 95 istuntoa, mikä 60,5 % jäljellä olevista kaaviossa näkyvistä tuloksista (eli ratkaistut + hylätyt tulosten summa).

Lataa keskustelun tuloksen tiedot (kaaviossa visualisoidut tiedot) valitsemalla valikkokuvake ja valitsemalla sitten Lataa CSV.

Muistiinpano

Jos kaaviosta poistetaan ladattaessa tuloksia, kyseiset tiedot eivät näy CSV-tiedostossa.

Keskustelun tuloksia koskevat tarkat tiedot sisältävä sivupaneeli avataan valitsemalla kaaviossa Näytä tiedot. Keskustelun tulokset -sivupaneelin sisältö:

• Istunnon tulosten ympyräkaavion erittely, jossa näkyy ratkaistujen, eskaloitujen ja hylättyjen tulosten suhteellinen painotus (joka ilmaistaan prosenttiosuutena).
• Pinotussa pylväskaaviossa näkyy vahvistetun ratkaisun ja oletetun ratkaisun tuloksen syiden suhteellisen painotuksen (prosenttiosuutena ilmaistuna), jotka kuvaavat kaikkia ratkaistuja istuntotuloksia.
• Pinotussa palkkikaaviossa näkyy järjestelmän tarkoittaman, järjestelmän tarkoittamattoman ja käyttäjän pyytämän tuloksen syiden suhteellinen painotus (prosenttiosuutena ilmaistuna), jotka kuvaavat kaikkia eskaloituja istuntotuloksia.
• Tärkeimmät kuhunkin tulokseen johtaneet aiheet.

Muistiinpano

Raakamäärätiedot sisältävä työkaluvihje saadaan näkyviin pitämällä osoitinta jonkin ympyräkaavion tai pinotun pylväskaavion segmentin päällä.

Istunto kuuluu jompaankumpaan seuraavista kahdesta tilasta:

• Ei osallistuttu: Istunto alkaa, kun käyttäjä on vuorovaikutuksessa agentin kanssa tai agentti lähettää käyttäjälle viestin ennakoivasti. Istunto alkaa Ei osallistuttu-tilassa.

• Aktiivinen: Käyttäjä on aktiivisesti vuorovaikutuksessa agentin kanssa. Toiminta on erilainen agentin orkestrointitilan perusteella.

  • Perinteinen orkestrointi: Istunto käynnistyy, kun jokin seuraavista aiheista käynnistetään:

    • mukautettu aihe, jonka käyttäjä käynnistää suoraan
    • aiheen eskalointi
    • vara-aihe
    • keskustelua tehostava aihe.

  • Generatiivinen tekoälyn orkestrointi: Istunnosta tulee aktiivinen, kun käyttäjä käynnistää suunnitelman suoraan ja sisällyttää jonkin seuraavista elementeistä:

    • muu kuin järjestelmäaihe
    • aiheen eskalointi
    • vara-aihe
    • tietolähde
    • työkalu.

Osallistuttu-tilassa olevan istunnon tulos on jokin seuraavista:

Tulosluokka	Tulos	Description
Ratkaistu		Istunto päättyy onnistuneesti. Ratkaistuja istuntoja on kaksi eri tyyppiä: Ratkaistu – vahvistettu ja Ratkaistu – oletettu.
	Ratkaistu – vahvistettu	Istunto katsotaan olevan Ratkaistu – vahvistettu, kun Keskustelun päättyminen -aihe käynnistetään, ja käyttäjä vahvistaa, että vuorovaikutus onnistui.
	Ratkaistu – oletettu	Istunnon katsotaan olevan Ratkaistu – oletettu, kun istunto päätetään agentin logiikan perusteella ilman käyttäjän vahvistusta. Ratkaistu – oletettu -tila riippuu siitä, käyttääkö agentti perinteistä orkestrointia vai generatiivista tekoälyn orkestrointia seuraavalla tavalla: - Perinteinen orkestrointi: istunnon katsotaan olevan Ratkaistu – oletettu -tilaa, kun Keskustelun lopettaminen -aihe käynnistetään ja käyttäjä antaa istunnon päättyä aikakatkaisuun ilman vahvistusta. - Generatiivinen tekoälyn orkestrointi: istunnon katsotaan olevan Ratkaistu – oletettu, kun istunto päättyy aikakatkaisuun ja jäljellä olevia aktiivisia suunnitelmia ei ole. Aktiivinen suunnitelma on suunnitelma, joka odottaa käyttäjän syötettä.
Eskaloitu		Istunto päättyy mutta sen katsotaan olevan eskaloitu, kun Eskaloi-aihe käynnistetään tai Siirto asiakaspalvelijalle -solmu suoritetaan (nykyinen analytiikkaistunto päättyy riippumatta siitä, siirtyykö keskustelu live-asiakaspalvelijalle vai ei). Eskaloituja istuntotyyppejä on kolme: Järjestelmän tarkoittama, Järjestelmän tarkoittamaton ja Käyttäjän pyytämä.
	Järjestelmän tarkoittama	Istunto eskaloidaan automaattisesti tekijän määrittämän automaattisen liiketoimintasäännön seurauksena. Eskalaatio on keskustelun odotettu tulos, eikä sitä tarvitse tutkia tai muuttaa. Esimerkki: Käyttäjä haluaa siirtää yli 25 000 dollaria kolmannelle osapuolelle. Tämä summa ylittää liiketoimintasäännön raja-arvon ja istunto eskaloituu automaattisesti.
	Järjestelmän tarkoittamaton	Eskalointi tapahtuu automaattisesti, kun istunto ylittää tekijän määrittämän raja-arvon. Yleensä tämä ilmaisee, että käyttäjä on jumissa keskustelussa ja tarvitsee apua. Esimerkki: Istunto eskaloituu, kun tietyn tehtävän suoritus epäonnistuu kolme kertaa.
	Käyttäjän pyytämä	Istunto eskaloituu, koska käyttäjä esitti nimenomaisen pyynnön keskustelun aikana. Esimerkki: Käyttäjä kirjoittaa Transfer me to an agent.
Hylätty		Istunto päättyy ja se katsotaan hylätyksi, kun istunto, johon on osallistuttu, aikakatkaistaan 30 minuutin kuluttua eikä se ole saavuttanut Ratkaistu- tai Eskaloitu-tilaa.

Voit myös määrittää työkalujen tuloksen parametrilla conversationOutcome käyttämällä työkalun koodieditoria. Esimerkki conversationOutcome: ResolvedConfirmed vahvistetusta onnistumisesta tai conversationOutcome: ResolvedImplied epäsuorasta onnistumisesta.

Katso ohjedokumentaation Avustajan vuorovaikutuksen mittaaminen -kohdasta ehdotuksia ja parhaita käytäntöjä vuorovaikutuksen mittaamiseen ja parantamiseen.

Asiakaspalvelijat

Agentit-luettelossa on pääagentin yhdistettyjen agenttien ja aliagenttien korkean tason määrä, suorituskyky ja tilamittari. Luettelossa määritetään suhteen tyyppi, joka luettelossa olevalla agentilla on pääagenttiin Tyyppi-sarakkeessa. Jos agentti on aliagentti, sen tyyppi on Child. Yhdistetyillä agenteilla on luettelossa tyyppi, joka kuvastaa agenttien luontisijaintia (esimerkiksi Copilot Studio, Azure AI Foundry). Kunkin luettelossa olevan agentin Puhelut-mittari kuvaa pääagentilta yhdistetylle agentille tai aliagentille siirtyvien puheluiden määrää. Onnistumisprosentti kuvaa onnistuneiden puheluiden osuutta (prosenttiosuutena kaikista puheluista). Tila ilmaisee jokaisen yhdistetyn agentin ja aliagentin yksittäisen järjestelmänvalvojan tilan.

Oletusarvoisesti Agentit-luettelossa näkyvät pääagentin viisi (5) yleisintä yhdistettyä agenttia ja aliagenttia kysymysten määrän mukaan järjestettyinä suurimmasta pienimpään. Jos agentteja on enemmän kuin viisi, näet kaikki agentit valitsemalla Näytä kaikki -kohdan.

Muistiinpano

Näytä kaikki -painike on näkyvissä vain, jos pääagentissa on yli viisi yhdistettyä agenttia tai aliagenttia.

Luotujen vastausten määrä ja laatu (esiversio)

Tärkeää

Tämä artikkeli sisältää Microsoft Copilot Studion esiversiota koskevia ohjeita. Artikkeliin saatetaan tehdä muutoksia.

Esikatselutoimintoja ei ole tarkoitettu tuotantokäyttöön, ja niiden toiminnot voivat olla rajoitettuja. Nämä toiminnot ovat käytettävissä ennen virallista julkaisua, jotta voit käyttää niitä aikaisessa vaiheessa ja antaa palautetta.

Jos olet luomassa tuotantovalmista agenttia, katso lisätietoja kohdasta Microsoft Copilot Studion yleiskuvaus.

Generatiivisten vastausten avulla agentti voi käyttää tekoälyä käyttäjien kyselyihin vastatessaan. Tätä varten käytössä ovat määritetyt tietolähteet ja ohjeet. Agentti ei kuitenkaan välttämättä pysty vastaamaan kaikkiin käyttäjien kyselyihin. Luotujen vastausten määrä ja laatu -osa seuraa, järjestää ja analysoi kyselyjä, joihin ei ole vastattu, sekä vastausten laatua. Näiden tietojen avulla voit parantaa agentin vastaamiseen liittyvää suorituskykyä.

Vastausten määrä -kohdassa on vastattujen ja vastaamattomien kysymysten määrä tiettyjä ajanjaksona sekä prosenttiosuuden muutos ajan kuluessa.

Vastausten laatu mittaa vastausten laatua tekoälyn avulla. Copilot Studio tarkastelee vastattuja kysymyksiä esimerkkijoukkoa ja analysoi erilaisia laatumittareita, joita ovat esimerkiksi vastauksen täydellisyys, osuvuus ja yhdistettävyys. Jos vastaus täyttää määritetyn standardin, Copilot Studio määrittää vastauksen laadun olevan hyvä. Jos vastaus ei täytä standardia, Copilot Studio määrittää vastauksen laadun olevan heikko. Heikkolaatuisille vastauksille Copilot Studio määrittää syyn laatuarviolle. Se myös näyttää kuhunkin luokkaan määritettyjen vastausten prosenttiosuuden.

Joko Hyvä- tai Huono-laatuselitteen yksittäisen syyn suhteellinen painotus saadaan näkyviin pitämällä osoitinta jonkin kaavion pylvään segmentin päällä. Työkaluvihje ilmaisee myös otoksen saapuvien vastausten määrän lasketulla prosenttiarvolla.

Kun osoitinta pidetään kaavion alapuolella olevassa selitteessä laatuselitteiden syiden päällä, kyseinen syy korostuu kaaviossa.

Voit antaa Microsoftille palautetta tästä osasta Peukku ylös- ja Peukku alas -kuvakkeilla . Lähetä palautetta Microsoftille -paneelin avulla voit lisätä kommentteja ja jakaa liittyviä tiedostoja. Tällaisen kuvailevan palautteen avulla voimme yhdessä parantaa tuotetta jatkuvasti.

1. Valitsemasi kuvakkeen perusteella avautuvassa Lähetä palautetta Microsoftille -paneelissa voit luonnollisella kielellä kertoa sen, mistä pidät tai mistä et pidä.
2. Määritä, haluatko jakaa kehotteen, luodun vastauksen, asiaankuuluvia sisältöesimerkkejä vai muita lokitiedostoja.
3. Valitse Lähetä.

Valitse Näytä tiedot, jos haluat avata kysymysten vastausmäärät, tietolähteen käytön ja virhemäärät valitulla ajanjaksolla sisältävän sivupaneelin. Näiden kaavioiden avulla on mahdollista tunnistaa tietolähteet, jotka toimivat hyvin käyttäjien auttamiseksi, ja tietolähteet, joita kannattaa parantaa.

Jos agentilla on aliagentteja, valitse sivupaneelissa Kaikki, jolloin näkyviin tulevat sekä pää- että aliagenttien mittarit. Vaihtoehtoisesti voit valita Pääagentti-kohdan, jolloin näkyviin tulevat vain pääagenttia koskevat mittarit, tai Aliagentti-kohdan, jolloin näkyviin tulevat vain aliagenttia koskevat mittarit.

• Vastaamattomat kysymykset -kohdassa näytetään syyt sille, miksi agentti ei vastannut käyttäjän kyselyyn.
• Tietolähteiden käyttö näyttää niiden istuntojen prosenttiosuuden, joissa käytettiin tietolähteitä, joihin agentilla on käyttöoikeus.
• Kaikki lähteet -kohdassa näytetään kutakin tietolähdettä käyttäneiden kysymysten prosenttiosuus.
• Virheet -kohdassa näytetään niiden kysymysten prosenttiosuus, joiden tuloksena saatiin tietoihin liittyvä virhe kutakin tietolähdetyyppiä kohti (esimerkiksi SharePoint).

Valitse Kaikki lähteet -kohdassa yksittäinen lähde, jos haluat lisätietoja jonkin luettelossa olevan tietolähteen tasolla. Työkaluvihje sisältää seuraavat tiedot:

• Tähän tietolähteeseen viittaavien kysymysten kokonaismäärä sekä Peukku ylös- ja Peukku alas -reaktioiden määrä.
• Pinottu pylväskaavio, joka näyttää tähän tietolähteeseen viittaaviin kysymyksiin annettujen vastausten suhteellisten painotusten laadun erittelyn. Valitse osoittamalla mikä tahansa pylväskaavion segmentti, kun haluat nähdä kyseisen segmentin suhteellisen painotuksen ja tälle arvolle saapuvien kysymysten määrän.

Työkalun käyttö

Työkalun käyttö -osa sisältää kaavion ja mittarit, jotka seuraavat työkalujen käynnistyskertojen määrää ajan kuluessa sekä sitä, miten usein agentti käytti työkaluja onnistuneesti. Osa sisältää myös trendi-ilmaisimia, jotka osoittavat, miten usein agentti käyttää kutakin työkalua sekä kutsuttujen työkalujen onnistuneen käytön prosenttiosuuden.

Kaaviossa näkyvät viisi eniten käytettyä työkalua Analytiikka-sivun yläosassa määritettynä päivämääräjaksona.

Kun osoitinta pidetään kaavion alapuolella olevassa selitteessä työkalujen päällä, kyseinen työkalu korostuu kaaviossa

Jos haluat avata kaikkien määritetyllä ajanjaksolla käytettyjen työkalujen luettelon ja trendi-ilmaisimet sisältävän sivupaneelin, valitse kaaviossa Näytä tiedot. Työkalun käyttö -paneelissa näkyvät kysymysten prosenttiosuuksien laskelmat kunkin työkalun osalta. Jos agentilla on aliagentteja, voit määrittää näytettäväksi sekä pää- että aliagenttien laskelmat (Kaikki) tai vain pää- tai aliagentin laskelmat.

Tyytyväisyys

Tyytyväisyys-osa sisältää agentin vastauksille annetuista reaktioista kerätyn käyttäjän palautteen sekä istunnon kyselyn tulokset. Tyytyväisyys on jaettu seuraaviin kahteen pienempään osaan: Reaktiot-osa, joka sisältää agenttien tiettyihin vastauksiin annetun Peukku ylös- ja Peukku alas -palautteen, sekä Kyselyn tulokset -osa, joka sisältää asiakastyytyväisyyden pistemäärän koko istunnon ajalta.

Palautteen tiedot tallennetaan keskustelutallenteen taulukkoon Dataversessa. Tätä ominaisuutta tukevien kanavien luettelo löytyy kohdasta Ominaisuuden tiedot.

Reaktiot

Reaktiot-osa sisältää agentin vastauksille annetuista reaktioista kerätyn käyttäjän palautteen sekä istunnon kyselyn tulokset. Kaaviossa lasketaan, miten monta kertaa käyttäjät valitsivat Peukku ylös (positiivinen)- ja Peukku alas (negatiivinen) -painikkeet, jotka ovat saatavilla kaikissa agentilta saaduissa vastauksissa.

Kun käyttäjä on reagoinut, hän voi lisätä kommentin. Jos haluat tarkastella kommentteja, valitse Näytä tiedot. Valitse Reaktiot-paneelissa Kaikki, Peukku ylös tai Peukku alas, jos haluat suodattaa kommentit.

Muistiinpano

• Microsoft 365 Copilot -kanavaan julkaistut agentit eivät tue reaktioita.
• Kommenttien tarkasteleminen edellyttää botin transkription tarkastelijan käyttöoikeusroolin.

Valitse kommentin vieressä oleva vaihtopainike, jos haluat nähdä liittyvän käyttäjän kyselyn ja agentin vastauksen kaikki reaktiot. Käyttäjien kyselyt ja agenttien vastaukset säilytetään Analytiikka-sivulla 28 päivän ajan.

Käyttäjäpalaute on oletusarvoisesti Käytössä. Voit halutessasi poistaa tämän ominaisuuden käytöstä. Voit myös lisätä käyttäjille ilmoituksen palautteen käytöstä tai muokata sitä seuraavasti:

1. Avaa agentti, valitse sitten asetukset ja etsi Käyttäjäpalaute-osa.

2. Määritä Anna käyttäjien antaa palautetta käyttäessään tätä agenttia -arvoksi joko Käytössä tai Pois käytöstä.

3. Lisää ilmoitus tai muokkaa sitä, jotta käyttäjät tietävät, miten heidän palautettaan käytetään. Voit myös antaa tietosuojatietoja ja vinkkejä.

Kyselyn tulokset

Kyselytulokset-osassa näkyvät kaavio ja mittarit, jotka seuraavat keskimääräisiä asiakastyytyväisyyspisteitä sellaisia istuntoja kohti, joissa asiakkaat vastaavat istunnon loppumisen jälkeiseen kyselyyn.

Muistiinpano

Pistemäärät 1 ja 2 saavat arvon Tyytymätön, pistemäärä 3 arvon Neutraali ja pistemäärät 4 ja 5 arvon Tyytyväinen.

Valitse Näytä tiedot, jos haluat nähdä, miten tyytyväisyyspisteet muuttuvat raportille määritettynä ajanjaksona.