Muistiinpano
Tämän sivun käyttö edellyttää valtuutusta. Voit yrittää kirjautua sisään tai vaihtaa hakemistoa.
Tämän sivun käyttö edellyttää valtuutusta. Voit yrittää vaihtaa hakemistoa.
Tässä artikkelissa vastataan usein kysyttyihin kysymyksiin Copilot Studio analytiikkaominaisuuksissa käytettävistä tekoälytoiminnoista.
Miten generatiivista tekoälyä käytetään analytiikassa?
Copilot Studio käyttää tekoälyä luotavien vastausten laadun arviointiin ja mallien tunnistamiseen käyttäjäkyselyissä klusteroinnin kautta. Nämä klusterit tarjoavat merkityksellisiä tietoja agentin suorituskyvystä.
Luoduissa vastauksissa käytetään tietolähteitä, jotka päätät luoda vastauksen. Ominaisuus kerää myös antamasi palautteet. Analytiikka luokittelee käyttäjien ja agenttien väliset keskusteluviestit suurilla kielimalleilla tasolle, joka osoittaa luotavien vastausvastausten laadun. Nämä luokitukset koostetaan agentin suorituskyvyn yhteenvedon tarjoamiseksi.
Klusterointi käyttää LLM:iä käyttäjien viestien lajittelemiseen ryhmiin jaettujen aiheiden perusteella ja antamaan jokaiselle ryhmälle kuvaavan nimen. Copilot Studio käyttää näiden klustereiden nimiä tarjotakseen erityyppisiä merkityksellisiä tietoja, joiden avulla voit parantaa agenttiasi.
Generatiivisiin vastauksiin annettujen vastausten laatu
Mikä on vastauksen laadun aiottu käyttö?
Käytä reagoinnin laatua agentin suorituskyvyn ymmärtämiseen ja parannusten tunnistamiseen. Tällä hetkellä voit analytiikan avulla ymmärtää, vastaako agentin luovien vastausten laatu odotuksiasi.
Yleisen laadun lisäksi vastausanalytiikan laatu tunnistaa alueet, joilla agentti suoriutuu huonosti tai ei onnistu saavuttamaan aiotuja tavoitteitasi. Tunnista, missä luodut vastaukset toimivat huonosti, ja paranna niiden laatua toimimalla.
Kun tunnistat huonon suorituskyvyn, noudata parhaita käytäntöjä, jotka voivat auttaa parantamaan laatua. Kun olet esimerkiksi tunnistanut tietolähteet, joiden suorituskyky on heikko, voit muokata tietolähdettä tai jakaa tietolähteen useisiin, keskittyneempiin lähteisiin laadun parantamiseksi.
Mitä tietoja vastauksen laadun analytiikan luomisessa käytetään?
Vastausten laadun analytiikka perustuu generatiivisten vastausten vuorovaikutustapahtumien otokseen. Tämä vaatii käyttäjän kyselyn, agentin vastauksen ja asiaankuuluvat tietolähteet, joita generatiivinen malli käyttää generatiivisessa vastauksessa. Vastausanalytiikan laatu käyttää kyseisiä tietoja arvioimaan, onko tulokseksi luotavan vastauksen laatu hyvä, ja jos ei, miksi laatu on huono. Vastauksen laatu voi esimerkiksi tunnistaa epätäydelliset ja merkityksettömät vastaukset sekä vastaukset, joita ei ole perusteltu riittävästi.
Mitä ovat vasteanalyysin laadun rajoitukset ja miten käyttäjät voivat minimoida näiden rajoitusten vaikutukset?
Vastausanalytiikan laatu ei hyödynnä kaikkia generatiivisia vastauksia. Sen sijaan analytiikka mittaa osaa käyttäjien ja agenttien istunnoista. Jos agenttien laatimien vastausten vähimmäismäärä on pienempi, hän ei saa laadukkaita analyysiyhteenvedon tuloksia.
Joissakin tapauksissa analytiikka ei arvioi yksittäistä vastausta oikein. Koostetasolla sen pitäisi olla tarkka useimmissa tapauksissa.
Vastauslaatu-analytiikka ei anna erittelyä niistä erityisistä kyselyistä, jotka johtivat heikkolaatuiseen suorituskykyyn. Ne eivät myöskään sisällä erittelyä yleisistä tietolähteistä tai aiheista, joita käytettiin heikkolaatuisten vastausten yhteydessä.
Analytiikkaa ei lasketa vastauksille, jotka käyttävät generatiivista tietämystä.
Vastauksen täydellisyys on yksi mittareista, joilla arvioidaan vastauksen laatua. Tämä mittari mittaa, kuinka täysin vastaus käsittelee haetun dokumentin sisältöä.
Jos järjestelmä ei hae asiaankuuluvaa dokumenttia, jossa on lisätietoa kysymykseen, se ei arvioi kyseisen asiakirjan täydellisyysmittaria.
Mitä suojausta on käytössä vastausanalytiikan laadulle Copilot Studion vastuullisesta tekoälystä?
Agenttien käyttäjät eivät näe analyysituloksia. Tulokset ovat vain agenttien ja järjestelmänvalvojien käytettävissä.
Tekijät ja järjestelmänvalvojat voivat käyttää vastausten laadun analytiikkaa vain laadukkaiden vastausten prosenttiosuuden sekä huonon suorituskyvyn mahdollisten ennalta määritettyjen syiden osalta. Tulokset koostetaan ja esitetään prosenttiosuuksina ja esimääritettyinä luokissa.
Testasimme analytiikan vastausten laatua perusteellisesti kehityksen aikana hyvän suorituskyvyn varmistamiseksi. Kuitenkin harvinaisissa tapauksissa vasteen laadun arvioinnit voivat olla epätarkkoja.
Tunneanalyysi keskustelusessioihin
Mikä on tunneanalyysin tarkoitus?
Asenneanalyysin avulla voit ymmärtää käyttäjien tyytyväisyystason keskusteluistunnoissa agenttille lähetettyjen käyttäjäviestien tekoälyanalyysin perusteella. Voit ymmärtää istunnon yleisen asenteen (positiivinen, negatiivinen tai neutraali), tutkia syitä ja ryhtyä toimiin asian korjaamiseksi.
Mitä tietoja käytetään asenneanalyysiin?
Asenneanalyysi käyttää käyttäjäviestejä agentille näytekeskusteluistuntoja varten.
Tunneanalytiikka käyttää tätä tietoa arvioidakseen, onko käyttäjätyytyväisyys istunnon aikana positiivista, negatiivista vai neutraalia. Esimerkiksi käyttäjä voi käyttää sanoja ja äänensävyä, jotka ilmaisevat turhautumista tai tyytymättömyyttä agentin kanssa käydyn vuorovaikutuksen perusteella. Tässä tapauksessa sessio luokitellaan negatiiviseksi mielialaksi.
Mitkä ovat sentimenttianalyysin rajoitukset, ja miten käyttäjät voivat lieventää näitä rajoituksia?
Sentimentaalisuusanalytiikkaa ei lasketa pelkästään keskustelusessioiden perusteella. Sen sijaan analytiikka mittaa osaa käyttäjien ja agenttien istunnoista. Agentit, joilla on alle vähimmäismäärän päivittäisiä onnistuneita generatiivisia vastauksia, eivät voi saada sentimenttipisteitä.
Sentimentaalianalyysi perustuu tällä hetkellä generatiivisiin vastauksiin ja vaatii vähintään päivittäisen määrän onnistuneita vastauksia agentin tunnepisteiden laskemiseksi.
Session tunteen laskemiseksi käyttäjäviestiä on oltava vähintään kaksi. Lisäksi nykyisten teknisten rajoitteiden vuoksi sentimenttianalyysiä ei tehdä sessioissa, joissa on yli 26 viestiä (mukaan lukien sekä käyttäjä- että agenttiviestit)
Sentimenttianalyysi ei anna erittelyä niistä yksittäisistä käyttäjäviesteistä, jotka johtivat sentimenttipisteytykseen.
Mitä suojausta on käytössä asenneanalyysille Copilot Studion vastuulliselle tekoälylle?
Agenttien käyttäjät eivät näe analyysituloksia. Tulokset ovat vain agenttien ja järjestelmänvalvojien käytettävissä.
Asenneanalyysin avulla voit tarkastella vain asenne-erittelyä kaikissa istunnoissa.
Testasimme tunnelmaanalyysin perusteellisesti kehityksen aikana varmistaaksemme hyvän suorituskyvyn. Kuitenkin harvinaisissa tapauksissa tunteiden arvioinnit voivat olla epätarkkoja.
Käyttäjän kysymysten teemat
Mikä on teemojen käyttötarkoitus?
Klusterointi teemojen ja teematason analyysin mukaan auttaa sinua nopeasti ymmärtämään, mitä käyttäjät kysyvät suuressa mittakaavassa. Tämä ominaisuus analysoi suuria määriä käyttäjäkyselyitä ja nostaa esiin ylemmän tason aiheita ("teemoja"), jotka edustavat tärkeimpiä aiheita, joista käyttäjät ovat eniten kiinnostuneita. Tämän analyysin avulla voit tarkastella yksittäisiä keskusteluja ja tunnistaa laajempia malleja, nousevia tarpeita ja kiinnostavia alueita.
Tarjoamalla jäsennellisen, aineistopohjaisen yleiskatsauksen käyttäjän toiminnasta, teematason analyysi auttaa sinua:
Tunnista yleisimmät aiheet, joita käyttäjät käyttävät.
Havaitse kattavuuden puutteet tai epäselvät käyttökokemukset.
Valvo, miten käyttäjien kiinnostuksen kohteet kehittyvät ajan myötä.
Priorisoi parannukset käyttäjien todellisen kysynnän mukaan.
Miten teema-analyysi toimii korkealla tasolla?
Tämä ominaisuus toimii monivaiheisena prosessina, joka järjestää käyttäjien kyselyt jatkuvasti merkityksellisiksi ryhmiksi. Korkealla tasolla tämä prosessi sisältää kaksi tärkeää vaihetta:
Teemakandidaattien luominen
Järjestelmä analysoi viimeaikaiset käyttäjäkyselyt ja tunnistaa hakijateemat, jotka edustavat erillisiä korkean tason aiheita. Järjestelmä havaitsee kuviot, samankaltaisuudet ja toistuvat aiheet kyselyissä, jotta nämä ehdokkaat voidaan johtaa.
Kyselyn liittäminen teemoihin
Kun järjestelmä on luonut ehdokasteemoja, se liittää yksittäiset kyselyt kaikkein merkityksellisimpään teemaan. Jokainen teema edustaa käyttäjien toisiinsa liittyvien kysymysten kokoelmaa ja kehittyy sitä mukaa, kun järjestelmä käsittelee uusia kyselyitä. Järjestelmä tarkentaa näitä teemoja ajan kuluessa käyttämällä signaaleja, kuten semanttista samankaltaisuutta ja käyttäjien palautetta. Tämän hienosäätöprosessin avulla esitys voidaan mukauttaa, kun käyttäjän toiminta muuttuu.
Mitä tietoja käytetään teemojen luomiseen?
Käyttäjät luovat teemoja kyselyistä, joiden tuloksena on luotuja vastauksia. Prosessi keskittyy viimeaikaiseen toimintaikkunaan sen varmistamiseksi, että teemat kuvastavat nykyisiä käyttäjien etuja ja kehittyviä suuntauksia. Kun uusia tietoja tulee saataville, järjestelmä päivittää teemoja pitääkseen ne merkityksellisinä.
Koska Teemat perustuu käyttäjäkyselyissä esiintyviin malleihin, ominaisuus edellyttää, että analysoitavaa toimintaa on riittävästi. Tilanteissa, joissa tietoja on rajoitettu tai kyselyt ovat hyvin pirstoutuja, järjestelmä ei ehkä luo teemoja tai se voi tarjota rajallisia merkityksellisiä tietoja.
Mitkä ovat teema-analyysin rajoitukset ja miten voin lieventää niitä?
Teema-analyysi on tietoihin perustuva klusterointijärjestelmä, ja sen tehokkuus riippuu käyttäjien kyselyjen luonteesta ja määrästä. Mahdollisia rajoituksia ovat muun muassa seuraavat:
Puutteelliset tai erittäin monipuoliset tiedot saattavat johtaa liian laajoihin tai kapeihin teemoihin.
Tiiviisti toisiinsa liittyvät aiheet voidaan joskus jakaa erillisiin teemoihin.
Toisiinsa liittymättömät kyselyt voidaan toisinaan ryhmitellä yhteen.
Käyttäjän kielen muutokset ajan mittaan saattavat vaikuttaa teemojen johdonmukaisuuteen.
Saat teemoista eniten arvoa seuraavasti:
Tarkista luodut teemat säännöllisesti.
Anna palautetta (esimerkiksi peukalo ylös tai alas) laadun parantamiseksi.
Tulkitse teemat suunnan merkityksellisiksi tiedoiksi tarkan luokittelun sijaan.
Mitä vastuullisia tekoälysuojauksia on käytössä?
Teemaklusterointi ja analysointi on suunniteltu vastuullisten tekoälyperiaatteiden mukaisesti.
Vain valtuutetut tekijät ja järjestelmänvalvojat voivat tarkastella teemoja.
Vain ne, joilla on valtuudet tarkastella käyttäjän kyselyitä, näkevät niiden erittelyn teemoihin.
Teemat kuvastavat käyttäjien kyselyiden sisältöä, joten ne antavat rehellisen yhteenvedon, jonka tekijät ja järjestelmänvalvojat voivat nähdä.
Nämä suojaukset auttavat varmistamaan, että teemat antavat hyödyllisiä merkityksellisiä tietoja ja säilyttävät turvallisen ja hallitun käyttökokemuksen.
Mukautettujen mittarien analysointi
Mikä on mukautettujen mittareiden aiottu käyttö?
Käytä mukautettuja mittausarvoja analysointia ymmärtääksesi, kuinka paljon keskusteluagentisi vaikuttavat liiketoiminnan tuloksiin. Nämä mittarit täydentävät säästöanalyysia. Mukautettuja mittareita ovat esimerkiksi tarkkuusaste, asiakasaikeen luokitus ja muut toimialuekohtaiset tulokset.
Mukautetut mittarit voivat näyttää, missä agentit eivät ole tarkoittaneet tavoitteita. Määritä, mitä mitata, testata mittareita todellisiin istunnon tietoihin ja tarkentaa määritelmiä tulosten perusteella.
Mitä tietoja käytetään mukautettujen mittareiden laskemiseen?
Laske mukautettuja arvoja käyttämällä mallia aiemmista agenttiistuntoista. Laskenta käyttää istunnon aikana vaihdettuja keskusteluviestejä.
Tekoälymalli luokittelee istuntotiedot mittausarvon määrityksen perusteella. Agentti koostaa tulokset koko otoksesta näyttääkseen valitun ajanjakson yleisen mittausarvojen suorituskyvyn.
Mitkä ovat mukautettujen mittareiden rajoitukset ja miten käyttäjät voivat minimoida rajoitusten vaikutukset?
Mukautetut mittarit eivät hyödynnä kaikkia agentin istuntoja. Sen sijaan he mittaavat mallia istunnoista valitulta ajanjaksolta. Koska tulokset perustuvat otokseen, niitä käsitellään suuntailmaisimina tarkkojen lukujen sijaan.
Ota huomioon, että mittarin laskutoimitus perustuu viestien tallennusversioon mittareita tulkittaessa. Vältä päätelmiä käyttäytymisestä, jotka tapahtuvat pääasiassa viestien ulkopuolella, kuten aiheissa ja työkaluissa.
Tekoälymalli saattaa luokitella istunnot virheellisesti. Koostetulokset ovat yleensä tarkkoja. Istunnot, jotka eivät vastaa määritettyä luokkaa, sijoitetaan varaluokkaan (Muut). Jos testitulokset eivät vastaa odotettuja tuloksia, voit päivittää mittausarvon kuvauksen ja luokan määritykset.
Jos muutat huomattavasti agentin ohjeita tai määritystä arvon määrittämisen jälkeen, mittausarvo ei ehkä enää vastaa tarkasti agentin päivitettyä toimintaa. Tarkista niiden mukautetut mittarit sen jälkeen, kun olet tehnyt merkittäviä muutoksia edustajaan.
Mitkä suojaukset ovat käytössä Copilot Studion sisällä vastuullista tekoälyä varten?
Vain agenttien tekijät ja järjestelmänvalvojat voivat käyttää mukautettujen mittareiden tuloksia. Agentin käyttäjillä ei ole käyttöoikeutta analyysituloksiin.
Tarkista ja hyväksy kaikki mukautetut mittarit ennen tallentamista. Mittausarvon määrityksen aikana testaat mittausarvoja näyteistunnon tiedoista ja tarkastelet yksittäisiä tuloksia ja mallin päättelyä. Jos tulokset eivät vastaa odotuksia, voit päivittää tai hylätä arvon. Mittareita ei käytetä ilman eksplisiittistä vahvistusta.
Istuntojen luokittelemiseen käytettävä tekoälyn luoma kehote näkyy käyttöliittymässä, jotta ymmärrät, miten malli tulkitsee mittausarvomäärityksesi. Voit muokata tai poistaa mukautettuja mittareita milloin tahansa.
Joissain harvoissa tapauksissa yksittäisten istuntojen luokitukset saattavat olla virheellisiä. Tulokset tulee tulkita koosteina yksittäisen istunnon tason sijaan.