Suorituskyvyn optimointi älykkäille sovellusten työkuormille

2025-01-15

Suorituskyvyn tehokkuus tarkoittaa työkuorman kykyä skaalautua tehokkaasti vastaamaan käyttäjien sille asettamia vaatimuksia. Älykkään sovellustyökuorman suorituskyvyn seuranta on ratkaisevan tärkeää, jotta voidaan varmistaa, että työkuorma toimii tehokkaasti ja vaikuttavasti.

Työkuormatiimin on määritettävä tunnusluvut, tarkastettava järjestelmän suorituskyky säännöllisesti ja diagnosoitava mahdolliset ongelmat nopeasti. Tehokkaat seuranta- ja diagnostiikkamenettelyt auttavat ylläpitämään järjestelmän luotettavuutta ja käyttäjien tyytyväisyyttä.

Suorituskykytavoitteiden määrittäminen

Tunnuslukujen määrittäminen edellyttää niiden olennaisten mittausten määrittämistä, joilla seurataan edistymistä kohti työkuorman suorituskykytavoitteiden saavuttamista. Nämä mittarit tarjoavat mitattavissa olevan tavan mitata ja parantaa suorituskyvyn tehokkuutta.

Kun määrität tunnuslukuja, joihin haluat keskittyä, ota huomioon kapasiteettiin, vasteaikaan, poikkeamisprosenttiin sekä sitoutumiseen ja tuloksiin liittyvät mittarit:

Kapasiteetti: Siirtomäärä ja samanaikaisuus ovat esimerkkejä kapasiteettimittareista. Siirtomäärä tarkoittaa kykyä käsitellä tietty määrä tapahtumia tiettynä ajanjaksona. Agentti saattaa esimerkiksi käsitellä 200 000 keskusteluistuntoa kuukaudessa. Ota huomioon myös kausittaiset vaihtelut ja samanaikaisten keskustelujen odotettu enimmäishuippu. Samanaikaisuus mittaa samanaikaisia käyttäjiä tai toimintoja. Agentti saattaa esimerkiksi käsitellä enintään 5 000 samanaikaista keskustelua huippuaikoina. Kohdemäärien ymmärtäminen auttaa vahvistamaan kohdearkkitehtuurin ja mittakaavan.
Vastausaika:: Viive ja latausaika ovat yleisiä vastausajan mittausarvoja. Viive on pyyntöön vastaamiseen kuluva aika (200 millisekuntia). Latausaika on aika, jonka aikana agentti aktivoituu ja vastaa ensimmäiseen viestiin. Saat tietoja odotetusta enimmäisviiveestä, joka agentilla kuluu kyselyihin vastaamiseen ja voit määrittää pitkään suoritettavien toimintojen (esimerkiksi ulkoisen järjestelmän palauttamien tietojen odottaminen) käsittelymenetelmän.
Poikkeamaprosentti: Keskustelutekoälyn kontekstissa poikkeama osoittaa niiden pyyntöjen prosenttiosuuden, jotka on käsitelty omatoimisesti asiakaspalvelijan sijaan. Toisin sanoen se viittaa niiden tehtävien määrään, jota tiimin ei enää tarvitse käsitellä automaation ansioista. Agentin poikkeamaprosentin optimoiminen on tärkeää, kun organisaatiot haluavat saavuttaa esimerkiksi sijoitetun pääoman tuotolle ja asiakastyytyväisyydelle asetetut liiketoiminnan tavoitteet sekä parantaa agentin yleistä suorituskykyä. Microsoft Copilot Studio tarjoaa yleiskatsauksen agentin suorituskyvystä, mukaan lukien keskeiset tunnusluvut, kuten ratkaisu- ja eskalointiprosentti sekä asiakastyytyväisyys.
Aktiivisuus ja tulokset: Keskustelun aktiivisuuden ja tulosten seuraaminen on tärkeää, kun mitataan agentin suorituskykymittareita ja tunnistetaan parannusta vaativat alueet. Lisätietoja on kohdissa Agentin aktiivisuuden mittaaminen ja Agentin tulosten mittaaminen.

Suorituskyvyn suunnittelu

Työmäärän resursseilla on suorituskykyrajoituksia. Suorituskykyrajoitukset koskevat kunkin palvelun ominaisuuksia. Sinun on ymmärrettävä työmäärän resurssien rajoitukset ja otettava nämä rajoitukset huomioon suunnittelupäätöksissä. On esimerkiksi syytä tietää, edellyttävätkö resurssin rajoitukset suunnittelutavan muuttamista vai resurssien vaihtamista.

Ymmärrä tavoitemäärät. Tavoitemäärät auttavat tavoitearkkitehtuurin ja skaalauksen vahvistamisessa, agentin käyttöoikeuksien määrittämisessä sekä Dataversen tallennustilan mahdollisessa vaikutuksessa keskustelun transkriptioihin.
Tietoja ympäristön rajoista. Kun älykkään sovelluksen työmäärä integroidaan ulkoisiin järjestelmiin esimerkiksi Power Automaten tai HTTP-pyyntöjen kautta, on tärkeää varmistaa, että jokainen komponentti pystyy käsittelemään työmäärän.
Pullonkaulojen tunnistaminen. Mittaa käsittelynopeutta ja vasteaikoja tunnistaaksesi ne järjestelmän komponentit, joista saattaa tulla ongelmallisia työkuorman kasvaessa. Tunnista pullonkaulat koko prosessissa käyttämällä prosessilouhinnan analyysiominaisuuksia, kuten korjausta ja juurisyyanalyysiä.

Lisätietoja: Suorituskyvyn suunnittelua koskevat suositukset

Suorituskyvyn valvonta

Suorituskyvyn optimointi edellyttää tietoja, jotta voidaan mitata työmäärän tai työnkulun nykyistä suorituskykyä tai suhteessa sen suorituskykytavoitteisiin. Kerää riittävä määrä ja erilaisia tietoja, jotta koodin ja infrastruktuurin suorituskykyä voidaan mitata tarkasti määritettyihin suorituskykytavoitteisiin nähden. Varmista, että jokainen komponentti ja työnkulku työmäärän sisällä luo automaattisesti jatkuvia ja merkityksellisiä mittausarvoja ja lokeja.

Seuraa tarkasti älykkään sovelluksen työkuorman suorituskykyä varmistaaksesi, että se toimii mahdollisimman tehokkaasti.

Copilot Studio tarjoaa kattavan valmiin analytiikan , jonka avulla saat tietoja agentin käytöstä ja tunnusluvuista.

Voit tarkastella raportteja, jotka liittyvät seuraaviin:

Suorituskyky ja käyttöaste
Asiakastyytyväisyys
Istunnon tiedot
Aiheen käyttöaste
Laskutetut istunnot

Copilot Studioin omien analytiikkaominaisuuksien lisäksi telemetriatietoja voidaan lähettää Application Insightsiin. Lisätietoja on kohdassa Telemetrian sieppaaminen Application Insightsin avulla. Suorituskykyä valvotaan ja poikkeamia havaitaan jatkuvasti käyttämällä työkaluja, joita ovat esimerkiksi Azure Monitor, Log Analytics, Application Insights ja hälytykset.

Määritä tunnusluvut, joita valvotaan älykkään sovelluksen työmäärän onnistumisen mittaamiseksi. Tunnuslukuja ovat esimerkiksi osallistumis-, ratkaisu- ja poikkeamaprosentti. Tarkasta ensin alkuperäiset koontinäytöt, jotta ymmärrät käytettävissä olevat tiedot. Päätä sitten, vastaisiko mukautetun raportin luominen paremmin erityistarpeitasi.

Lisätietoja:

Jatkuva suorituskyvyn optimointi

Suorituskyvyn ennakoiva optimointi sisältää mittareiden käyttöönoton työmäärän suorituskyvyn parantamiseksi ennen mahdollisten ongelmien ilmaantumista. Ennakoivia toimenpiteitä ovat mahdollisten pullonkaulojen tunnistaminen, suorituskykymittareiden seuranta ja optimointien toteuttaminen sen varmistamiseksi, että työkuorma toimii tehokkaasti ja täyttää suorituskykytavoitteet.

Jos haluat parantaa älykkään sovelluksen työmäärää jatkuvasti, ajoita agentin suorituskyvyn säännölliset arvioinnit seuraavasti:

Suorituskykyilmaisin	Määritelmä
Ratkaisuprosentti	Niiden käyttäjäpyyntöjen prosenttiosuus, jotka agentti ratkaisee onnistuneesti ilman, että niitä tarvitsee eskaloida asiakaspalvelijalle.
Osallistumisprosentti	Aktivoitujen istuntojen prosenttiosuus kokonaismäärästä. Istuntoa pidetään aktiivisena, kun käyttäjä on yhteydessä agenttiin merkityksellisellä tavalla. Tämä tarkoittaa esimerkiksi järjestelmän ulkopuolisen aiheen käynnistämistä, istunnon eskaloimista ja vara-aiheen käynnistämistä.
Hylkäysprosentti	Niiden aktivoitujen istuntojen prosenttiosuus, jotka päättyvät ilman ratkaisua tai eskalointia. Tässä mitataan oikeastaan sitä, miten usein käyttäjät poistuvat tai lopettavat vuorovaikutuksen agentin kanssa ennen kuin heidän ongelmansa ratkaistaan tai eskaloidaan asiakaspalvelijalle.
Eskalointiprosentti	Asiakaspalvelijalle eskaloitujen aktiivisten istuntojen prosenttimäärä. Tämä mittari on tärkeä, kun halutaan tietoja siitä, miten usein agentti ei pysty ratkaisemaan käyttäjien kyselyjä itse, vaan ratkaisun löytäminen vaatii asiakaspalvelijan.
Tunnistamattomat ilmaisut	Tämä tarkoittaa tilanteita, joissa agentin luonnollisen kielen ymmärtämismalli (NLU) ei pysty täsmäyttämään käyttäjän syötettä mihinkään ennalta määritetyn tarkoituksen tai aiheen kanssa. Järjestelmä ei pysty määrittämään käyttäjän aietta annetun syötteen perusteella.
Asiakastyytyväisyys	Asiakastyytyväisyyteen.
Aiheet, joiden ratkaisuprosentti on matala	Viittaa keskusteluaiheisiin, jotka epäonnistuvat usein käyttäjäkyselyjen tehokkaassa ratkaisemisessa. Nämä aiheet johtavat usein siihen, että käyttäjä ei ole tyytyväinen, istunto hylätään tai se eskaloidaan asiakaspalvelijalle.

Tämä arvio auttaa priorisoimaan agentin päivitysten jonon. Jos esimerkiksi tunnistamattomat ilmaisut eskaloidaan usein asiakaspalvelijalle, poikkeamaa voidaan parantaa. Analysoi käyttömalleja, jotka käynnistävät vara-aiheen ja tunnistamattomat ilmaisut, ja kouluta aiemmin luotuja aiheita tai luo uusia aiheita. Näin agentti voi vastata käyttäjän tarpeisiin aiempaa paremmin.