Keskusteluagentin tehokkuuden analysointi

[Tämä artikkeli sisältää julkaisua edeltävää materiaalia ja voi muuttua.]

Copilot Studion Analytiikka-sivulla on kootut tiedot agentin yleisestä tehokkuudesta analytiikkaistunnoissa.

Agentin tehokkuuden tarkastamisessa ja parantamisessa on seuraavat neljä ydinaluetta:

• Tulokset ja vuorovaikutus: Keskustelun lopputuloksen tunteminen auttaa sinua tunnistamaan, missä agentti onnistuu ja missä sitä on parannettava.
• Vastausten osuus ja laatu: Kun ymmärrät, milloin agentti kamppailee antaakseen vastauksia käyttäjien kysymyksiin ja miten se käyttää tietolähteitä, voit löytää tapoja parantaa agenttisi vastausastetta ja laatua.
• Työkalun käyttö: Kun opit, kuinka usein työkaluja käytetään ja kuinka usein ne onnistuvat, voit auttaa ymmärtämään, ovatko työkalut hyödyllisiä ja onnistuneita käyttäjille.
• Tyytyväisyys: Käyttäjien palautteen tarkistaminen auttaa tunnistamaan uusia käyttäjäskenaarioita ja ongelmia sekä tekemään parannuksia suoraan sen perusteella, mitä käyttäjäsi pyytävät.

Voit tarkastella viimeisen 90 päivän aikana tapahtuneiden tapahtumien analyysia.

Tulokset ja vuorovaikutus

Tulokset ja vuorovaikutus -osassa on kaavio, joka seuraa kunkin agentin ja käyttäjien välisen istunnon tulostyyppiä.

Jos haluat avata sivupaneelin, jossa on ympyräkaavion erittely istunnon tuloksista sekä kuhunkin tulokseen johtaneet suosituimmat aiheet, valitse kaaviossa Näytä tiedot.

Istunto kuuluu jompaankumpaan seuraavista kahdesta tilasta:

• Ei osallistuttu: Istunto alkaa, kun käyttäjä on vuorovaikutuksessa agentin kanssa tai agentti lähettää käyttäjälle viestin ennakoivasti. Istunto alkaa Ei osallistuttu-tilassa.
• Osallistuttu: Istunnon tilaksi tulee Osallistuttu, kun jokin seuraavista tapahtuu:
  • aihe, joka ei ole järjestelmä, käynnistetään
  • istunto eskaloidaan
  • vara-aihe käynnistyy
  • keskusteluiden tehostamisen aihe käynnistyy

Kun istunto on vuorovaikutustilassa, se pysyy sellaisena. Osallistuttu-tilassa olevan istunnon tulos on jokin seuraavista:

• Eskaloitu: Istunto päättyy ja sitä pidetään eskaloituna, kun Eskaloi-aihe käynnistetään tai Siirto asiakaspalvelijalle -solmu suoritetaan (nykyinen analytiikkaistunto päättyy riippumatta siitä, siirtyykö keskustelu live-asiakaspalvelijalle vai ei).
• Ratkaistu: Istunto päättyy ja sitä pidetään ratkaistuna, kun Keskustelun lopetus -aihe käynnistyy ja käyttäjä vahvistaa, että vuorovaikutus onnistui, tai antaa istunnon päättyä aikakatkaisuun.
• Hylätty: Istunto päättyy ja sitä pidetään hylättynä, kun istunto, johon on osallistuttu, aikakatkaistaan 36 minuutin kuluttua eikä se ole saavuttanut Ratkaistu- tai Eskaloitu-tilaa.

Voit myös määrittää työkalujen tuloksen parametrin conversationOutcome avulla työkalukoodieditorin avulla. Esimerkki conversationOutcome: ResolvedConfirmed vahvistetusta onnistumisesta tai conversationOutcome: ResolvedImplied epäsuorasta onnistumisesta.

Katso ohjedokumentaation Avustajan vuorovaikutuksen mittaaminen -kohdasta ehdotuksia ja parhaita käytäntöjä vuorovaikutuksen mittaamiseen ja parantamiseen.

Vastausten määrä ja laatu (esiversio)

Tärkeää

Tämä artikkeli sisältää Microsoft Copilot Studion esiversiota koskevia ohjeita. Artikkeliin saatetaan tehdä muutoksia.

Esiversiotoimintoja ei ole tarkoitettu tuotantokäyttöön, ja niiden toiminnot voivat olla rajoitettuja. Nämä toiminnot ovat käytettävissä ennen virallista julkaisua, jotta voit käyttää niitä aikaisessa vaiheessa ja antaa palautetta.

Jos olet luomassa tuotantovalmista agenttia, katso lisätietoja kohdasta Microsoft Copilot Studion yleiskuvaus.

Luotujen vastausten avulla agenttisi voi tekoälyn avulla luoda vastauksia käyttäjien kyselyihin käyttämällä tietolähteitä ja ohjeita. Agenttisi ei kuitenkaan välttämättä pysty vastaamaan kaikkiin käyttäjän kyselyihin. Vastausten määrä ja laatu -osiossa seurataan, järjestetään ja analysoidaan vastaamattomia kyselyitä ja vastauksen laatua, jotta saat ohjeita agenttisi suorituskykyyn vastaamisen parantamiseen.

Vastausprosentti näyttää vastattujen ja vastaamattomien kysymysten määrän valitulla ajanjaksolla sekä prosenttimuutoksen ajan kuluessa.

Vastauksen laatu mittaa vastausten laatua tekoälyn avulla. Copilot Studio tarkastelee vastatun kysymyksen mallijoukkoa ja analysoi sen eri laatua, kuten täydellisyyttä, osuvuutta ja vastauksen pohjautuvuutta. Jos vastaus vastaa määritettyä standardia, Copilot Studio luokittelee vastauksen hyväksi laaduksi. Copilot Studio -selitteiden vastaukset, jotka eivät täytä kyseistä standardia, ovat heikkolaatuisia . Huonojen vastausten kohdalla Copilot Studio määrittää laadun luokituksen syyn ja näyttää kullekin luokalle määritettyjen vastausten prosenttiosuuden.

Valitse Näytä tiedot , jos haluat avata sivupaneelin, jossa on kysymysvastaavuusasteista, tietolähteen käytöstä ja virhemääristä valitulla ajanjaksolla. Näiden kaavioiden avulla on mahdollista tunnistaa tietolähteet, jotka toimivat hyvin käyttäjien auttamiseksi, ja tietolähteet, joita kannattaa parantaa.

• Vastaamattomat kysymykset osoittavat syyt, miksi agentti ei vastannut käyttäjäkyselyyn.
• Tietolähteiden käyttö näyttää niiden istuntojen prosenttiosuuden, joissa käytettiin tietolähteitä, joihin agentilla on käyttöoikeus.
• Kaikki lähteet näyttävät kutakin tietolähdettä käyttäneiden kysymysten prosenttiosuuden.
• Errors näyttää niiden kyselyiden prosenttiosuuden, joiden tuloksena oli tietoon liittyvä virhe kullekin tietolähdetyypille (esimerkiksi SharePoint).

Merkitykselliset havainnot (esiversio)

Analytics tarjoaa tekoälyn avulla mukautettuja merkityksellisiä tietoja siitä, miten agenttisi vastaa käyttäjien kyselyihin onnistuneesti. Copilot Studio analysoi vastaamattomat kyselyt, ryhmittelee ne ryhmiin teeman mukaan ja luo sitten tilannekohtaisia merkityksellisiä tietoja niiden toimintojen perusteella, jotka voivat parantaa kunkin ryhmän suorituskykyä. Copilot Studio luo klustereita tälle merkityksellisten tietojen tyypille päivittäin käyttäen kaikkia vastaamattomia käyttäjäkyselyitä viimeisten seitsemän päivän ajalta. Voit tarkastella viittä parasta merkityksellistä tietoa.

1. Valitse MerkityksellisettiedotVastaajuus ja laatu -osiosta.

2. Käytä - < merkkiä ja > -nuolia vaihtaaksesi merkityksellisten tietojen välillä.

3. Valitse lainaukset, jotta näet lisätietoja merkityksellisistä tiedoista.

Voit myös valita Hae keskustelut -tiedot ladataksesi CSV-luettelon keskustelutunnuksista, joissa nämä vastaamattomat käyttäjäkyselyt näkyvät.

Työkalujen käyttö

Työkalun käyttö -osiossa näytetään kaavio ja mittausarvot, jotka seuraavat, kuinka usein työkalut käynnistetään ajan kuluessa ja kuinka usein agenttisi käytti näitä työkaluja onnistuneesti. Se näyttää myös trendi-ilmaisimet siitä, kuinka usein agenttisi käyttää kutakin työkalua, ja prosenttiosuus onnistuneesti käytetyistä kutsuista työkaluista.

Kaaviossa näkyvät viisi parasta työkalua, joita on käytetty analytiikkasivun yläreunassa määritetyn päivämäärän aikana.

Jos haluat avata sivupaneelin, jossa on luettelo kaikista määritetyllä ajanjaksolla käytetyistä työkaluista sekä trendiilmaisimet, valitse Näytä kaavion tiedot .

Tyytyväisyys

Tyytyväisyys-osiossa näkyy istunnon reaktioista ja kyselyn tuloksista kerätty käyttäjäpalaute. Tyytyväisyysmittarit ovat käytettävissä seuraavissa tiedoissa:

• Testikeskustelu
• Demo verkkosivusto
• Teams ja Microsoft 365 Copilot
• Mukautettu verkkosivusto
• Webchat SDK ja testikeskustelu

Käyttäjäpalaute on oletusarvoisesti Käytössä. Voit halutessasi poistaa tämän ominaisuuden käytöstä. Voit myös lisätä käyttäjille ilmoituksen palautteen käytöstä tai muokata sitä seuraavasti:

1. Avaa agentti, valitse sitten asetukset ja etsi Käyttäjäpalaute-osa.

2. Määritä Anna käyttäjien antaa palautetta käyttäessään tätä agenttia -arvoksi joko Käytössä tai Pois käytöstä.

3. Lisää ilmoitus tai muokkaa sitä, jotta käyttäjät tietävät, miten heidän palautettaan käytetään. Voit myös antaa tietosuojatietoja ja vinkkejä.

Reaktiot

Reaktiokaavio laskee, kuinka monta kertaa käyttäjä on valinnut agenttisi kunkin vastauksen peukalo ylös- (positiivinen) tai peukalo alas (negatiivinen) painikkeen.

Kyselyn tulokset

Kyselytulokset-osassa näkyvät kaavio ja mittarit, jotka seuraavat keskimääräisiä asiakastyytyväisyyspisteitä sellaisia istuntoja kohti, joissa asiakkaat vastaavat istunnon loppumisen jälkeiseen kyselyyn.