Agenttikeskustelujen vianmääritys Copilot Agent Kitin agentin virheenkorjauksen avulla

Agentin virheenkorjaus on vianmääritystyökalu, joka auttaa lataamaan tallennetun keskustelun ja tarkastamaan jokaisen agentin tekemän päätöksen. Voit tarkastella jokaisessa keskusteluvuorossa suorituspolkua, vaiheen ajoitusta, tunnuksen käyttöä, tietolähteitä, vaiheen argumentteja ja orkestroijan perusteluja.

Agentin virheenkorjaus tukee kahta tietolähdettä:

Keskustelun transkriptio (Dataverse): Ympäristö tallentaa aktiviteettilokin keskustelun transkriptiona Dataversessa keskustelun ollessa käynnissä Copilot Studiossa. Agentin virheenkorjaus tekee kyselyjä suoraan näissä tietueissa, joten julkaistun agentin transkriptiotiedot ovat heti saatavana.
Copilot Studion tilannekuva (ZIP): Copilot Studion testipaneelissa on Lataa tilannekuva -vaihtoehto , joka vie nykyisen testikeskustelun ZIP-tiedostona. Kyseisen tiedoston lataaminen agentin virheenkorjaukseen mahdollistaa täyden analyysinäkymän käytön ilman Dataverse-yhteyttä. Tämä menetelmä on kätevä tuotantoa edeltävien keskustelujen virheenkorjauksessa, ongelmien toisintamisessa offline-tilassa tai epäonnistuneen istunnon jakamisessa kollegan kanssa.

Molemmat tietolähteet käyttävät samaa analyysiliittymää. Paneelit, vaihetiedot ja visualisoinnit ovat samat tietojen lataustavasta riippumatta.

Edellytykset

Agentin virheenkorjauksen käyttäminen edellyttää seuraavien edellytysten täyttymistä:

Agentti on agenttivarastossa ja siihen on tallennettu ainakin yksi keskustelun transkriptio. Tämä ehto voidaan varmistaa avaamalla Agenttivarasto-luettelonäkymä, valitsemalla agentti ja laajentamalla sitten lisäkentät valitsemalla Näytä lisää. On transkriptio saatavilla -kentän määrityksenä on oltava Kyllä. Agenttivaraston synkronointi määrittää tämän kentän automaattisesti, kun agentilla on ainakin yksi keskustelun transkriptio Dataversessa.
Kirjautuneella käyttäjällä on CSK – järjestelmänvalvoja- tai Järjestelmänvalvoja-käyttöoikeusrooli sarjan ympäristössä.
Kirjautuneella käyttäjällä on conversationtranscripts-, bot- ja botcomponents-taulukoiden Luku-oikeus kohdeympäristössä.

Muistiinpano

Jos agentti, jonka virheitä korjataan, ja asennettu sarja sijaitsevat eri ympäristössä, Dataverse-yhteys on todennettava etäympäristössä samoilla lukuoikeuksilla.

Keskustelun valinta

Kun agentin virheenkorjaus on avattu, analysoitava keskustelu voidaan hakea suodatinpalkin hallintamekanismien avulla.

Suodatin	Description
Ympäristö	Täytetty agenttivarastosta löytyneiden ympäristön nimien perusteella. Ympäristön valinta tarkentaa avattavan Agentti-luettelon kyseisessä ympäristössä rekisteröityihin agentteihin.
Agentti	Näyttää ne valitun ympäristön agentit, joiden On transkriptio saatavana -kentän määrityksenä on Kyllä. Agentin valinta lataa 50 viimeisintä valitun aikavälin keskustelua avattavaan Keskustelun tunnus -valikkoon.
Keskustelun tunnus	Näyttää 50 viimeisintä valitun agentin yksilöityä keskustelua määritetyllä aikavälillä. Ruutuun kirjoittaminen käynnistää haun kaikissa kyseisen agentin transkriptioissa (enintään 100 000 tietuetta), joten voi etsiä vanhoja keskusteluja tai tiettyjä keskusteluja aikavälistä riippumatta.
Aikaväli	Tarkentaa Keskustelun tunnus -luettelon tiettyyn ajankohtaan. Valittavana on Viimeiset 30 minuuttia, Viimeinen tunti, Viimeiset 4 tuntia, Viimeiset 24 tuntia, Viimeiset 7 päivää tai Mukautettu alue. Jos Mukautettu alue valitaan, aloitus- ja päättymisajankohdan voi määrittää näkyviin tulevilla päivämäärä- ja aikavalitsimilla.
Vain virheelliset keskustelut	Suodattaa avattavan Keskustelun tunnus -valikon keskusteluihin, joissa on aikakin yksi epäonnistunut vaihe tai järjestelmävirhe. Tätä vaihtoehtoa voi käyttää tapausten arviointiin tai sellaisten agenttien tarkasteluun, joiden luotettavuudessa tiedetään olevan ongelmia.

Kun Keskustelun tunnus on valittu, Analysointi on käytettävissä. Avaa analyysinäkymä valitsemalla se.

Muistiinpano

Keskustelun tunnuksen kirjoittaminen suoraan tekee aina haun kaikissa transkriptioissa aktiivisesta aikavälistä riippumatta. Vain virheelliset keskustelut -suodatin tarkistaa transkription sisällön asiakkaan puolella, ja se kestää vakiokyselyä kauemmin. Sitä ei kannata ottaa käyttöön, ellei suodatusperusteena käytetä nimenomaisesti virheitä.

Tilannekuvan lataaminen Copilot Studiosta

Lataa tilannekuva -välilehti on vaihtoehtoinen käyttötapa, joka ei edellytä Dataverse-käyttöoikeutta. Avattavista luetteloista valittavan live-keskustelun sijaan ladataan Copilot Studion testiruudusta ladattu tilannekuvan ZIP-tiedosto.

Tilannekuvan lataaminen Copilot Studiosta:

Avaa agentti Copilot Studiossa ja siirry Testaa agentti -paneeliin.
Suorita keskustelu tai tarkastele sitä.
Valitse Lataa tilannekuva testipaneelin työkalurivillä.

Copilot Studio lataa .zip-tiedoston, joka sisältää seuraavat:

dialog.json: kaikki keskustelun Bot Framework -aktiviteetit (pakollinen).
botContent.yml: agentin kaikki komponentti- ja työnkulkumääritelmät, joiden avulla vaiheen nimet ratkaistaan (valinnainen; jos puuttuu, raakarakenteen nimet näytetään).

Tilannekuvan lataaminen agentin virheenkorjaukseen:

Siirry Lataa tilannekuva -välilehteen agentin virheenkorjauksen otsikossa.
Vedä ja pudota .zip-tiedosto pudotusalueelle tai valitse se ja selaa sitä.

Agentin virheenkorjaus tarkistaa ZIP-tiedoston, purkaa tiedostot ja avaa analyysinäkymän. Ympäristöä, agenttia tai keskustelua ei tarvitse valita. Kaikki yleiset tietomittarit johdetaan ladatusta tiedostosta.

Käytä Lataa tilannekuva -tilaa seuraavissa tilanteissa:

Testiruudussa ennen agentin julkaisua tapahtuneen keskustelun korjaus.
Sellaisesta ympäristöstä peräisin olevan keskustelun analysointi, jota ei voi käyttää todennukseen.
Ongelmien toisintaminen offline-tilassa tai epäonnistuneen istunnon jakaminen kollegan kanssa ilman Dataverse-käyttöoikeuden myöntämistä.
Agentin toiminnan tarkistaminen paikallisessa kehitysympäristössä.

Keskustelun analysointi

Analyysinäkymä avautuu, kun Analysointi on valittu tai tilannekuva ladattu. Siinä on ylimmäisenä Yleisiä tietoja -yhteenvetoriviä, kutistettava analyysiosa, jossa on neljä paneelia (Suorituspolku, Suorituskyvyn aikajana, Agentin tiedot ja Suositukset), ja kaksi paneelia, joissa on näkyvissä Keskustelun esikatselu ja Tietojen virheenkorjaus -paneeli.

Yleistiedot

Yleistietorivillä näkyy keskustelun yhteenvedon mittariruudut.

Kenttä	Description
Istunnot	Keskusteluistuntojen määrä. Useita istuntoja esiintyy, kun käyttäjä palaa samaan keskusteluun passiivisuuden jälkeen.
Vuorot	Käyttäjän viestien määrä keskustelussa.
Tulos	Ympäristön ilmoittama istunnon tulos, kuten Ratkaistu, Eskaloitu, Hylätty tai Järjestelmävirhe.
Kesto	Keskustelun kokonaiskesto ensimmäisestä aktiviteetista viimeiseen aktiviteettiin.
Aloitusaika	Keskustelun aloitusaika (paikallista aikaa).
Kanava	Käytetty viestintäkanava, kuten verkkokeskustelu tai msteams. Näytetään, kun saatavana.
Malli	Tekoälymalli, jota agentin orkestroija käytti tässä keskustelussa.

Kun live-asiakaspalvelija ladataan Avaa agentti -linkki tulee näkyviin Yleiset tiedot -otsikossa. Linkki avaa agentin määrityssivun Copilot Studiossa.

Suorituspolku

Suorituspolku esittää koko suoritusjärjestyksen kaikissa keskusteluvuoroissa suunnattuna vuokaaviona. Vaiheet kulkevat vasemmalta oikealle suoritusjärjestyksessä. Pystysuorat katkoviivat osoittavat vuoron rajat, ja jokainen käyttäjäviesti aloittaa uuden osion. Vuoroselitteet näkyvät kunkin osion yläosassa. Vuoroselitteen valinta vierittää keskustelun esikatselun kyseiseen viestiin.

Kullakin vaihetyypillä on oma väri ja kaavion alaosassa oleva selite yhdistää värit vaiheluokkiin, kuten Aihe, Tieto, Työkalu, Yhdistin, Työnkulku, Koodi, MCP ja Yhdistetty agentti. Kukin solmu näyttää vaiheen nimen ja suorituksen keston. Epäonnistuneet vaiheet on korostettu punaisella. Yhdistetyt agentit näkyvät säilöinä, jotka ryhmittelevät suoritetut aliaiheet.

Suorituskyvyn aikajana

Suorituskyvyn aikajana näyttää vaiheen suoritusajat keskustelun vuorojen mukaan ryhmiteltynä vesiputouskaaviona. Vaihepalkit on skaalattu vuoron kokonaiskeston mukaan, mikä tuo suhteellisen ajoituksen näkyväksi. Värikoodaus vastaa suorituspolun selitteitä, ja epäonnistuneet vaiheet näkyvät punaisena.

Paneelissa on seuraavat ominaisuudet:

Laajenna/kutista kaikki -painikkeilla kaikki vuoro-osiot muuttuvat samanaikaisesti. Kukin vuoro-osio voidaan kutistaa myös erikseen.
Vuorokohtaiset tilastot näyttävät vaiheiden määrän, hitaimman vaiheen nimen ja keston sekä epäonnistumisten määrän.
Ylhäällä oleva yleinen yhteenveto näyttää vaiheiden kokonaismäärän, kuluneen kokonaisajan, koko keskustelun hitaimman vaiheen ja epäonnistumisten kokonaismäärän.
10 sekuntia hitaammat vaiheet merkitään varoitusilmaisimella.

Asiakaspalvelijan tiedot

Agentin tiedot -paneelissa on näkyvissä agentin koko määritys sellaisena, kun se oli keskustelun analysointihetkellä. Tiedot on järjestetty kuuteen välilehteen.

Sarkain	Description
Yleiskuvaus	Seuraavien tunnuslukujen ruudut: aiheet, työkalut, tieto, aliagentit, orkestrointitila, kieli, todennustila, mallitiedot, semanttinen haku ja uusimmat mallit. Kussakin ruusussa on asetuksen selittävä työkaluvihje.
Ohjeet	Agentin koko järjestelmäkehotus sellaisena kuin se on Copilot Studiossa määritetty.
Aiheet	Kaikki aiheet sekä niiden nimi, kuvaus, I/O-muuttujat ja Käytössä- tai Pois-tila.
Työkalut	Kaikki työkalut sekä niiden nimi, kuvaus, tyypin infopiste (MCP, työnkulku, yhdistin, kehote) ja Käytössä- tai Pois-tila.
Tiedot	Kaikki tietolähteet sekä niiden nimi, tyypin infopiste (SharePoint, verkko, Dataverse, tiedosto), URL-osoite ja Käytössä- tai Pois-tila.
Agentit	Kaikki yhdistetyt aliagentit sekä niiden nimi, suhteen tyyppi ja Käytössä- tai Pois-tila.

Suositukset

Suosituspaneeli tunnistaa keskustelun ongelmat automaattisesti ja näyttää ne toimintaa ohjaavina kortteina vakavuusluokituksineen.

Vakavuus	Description
Suuri	Aiheutti todennäköisesti epäonnistuneen tai virheellisen vastauksen. Tutki heti.
Keskitaso	Heikentynyt kokemus tai luotettavuusriski. Tarkista pian.
Matala	Vähäinen tehottomuus tai tiedoksianto.

Seuraavat ongelmatyypit tunnistetaan:

Varasto-otto	Vakavuus	Description
Epäonnistunut vaihe tai virhe	Suuri	Vaihe palautti virheen tai poikkeuksen.
Vastuullisen tekoälyn esto	Suuri	Vastuullinen tekoälyjärjestelmä suodatti sisällön.
Keskustelun eskaloiminen	Suuri	Keskustelu siirrettiin ihmisasiakaspalvelijalle.
Keskustelun keskeytys	Suuri	Käyttäjä poistui ilman ratkaisua.
Vara-aihe käynnistyi	Suuri	Agentti ei onnistunut reitittämään käyttäjän viestiä aiheeseen.
Hidas vaihe (> 10 s)	Normaali	Vaiheen suorittaminen kesti yli 10 sekuntia.
Tietohakuvirhe	Normaali	Tietolähteeseen tehtiin kyselyjä mutta tuloksia ei palautettu.
Tunnusraja lähestyy	Normaali	Tunnusten käyttö lähestyi mallin konteksti-ikkunan rajaa.
Koodivaiheen virhe	Suuri	Python-koodivaihe toi esiin poikkeuksen.
MCP-valmisteluvirhe	Suuri	MCP-palvelin ei käynnistynyt keskustelun aikana.

Kussakin suosituskortissa on näkyvissä vakavuuskuvake ja väri, luokan infopiste, havaitun ongelman otsikko ja kuvaus, ongelman tutkimis- tai ratkaisuehdotus sekä Siirry vuoroon -painike, joka vierittää keskustelun esikatselun sopivaan käyttäjän viestiin. Jos ongelmia ei havaita, paneelissa näkyy tyhjä tilaviesti.

Keskustelun esikatselu

Keskustelun esikatselupaneelissa on näkyvissä koko keskustelun sellaisena kuin se käyttäjä se näki, mukaan lukien botti- ja käyttäjäviestikuplat, keskustelun aikana hahmonnetut mukautetut kortit, ehdotetut toimintaelementit ja palautekehotteet.

Käyttäjän viestikuplan valitseminen lataa tämän vuoron vaiheet Tietojen virheenkorjaus -paneeliin. Valittu viesti on korostettu, mikä mahdollistaa aktiivisen vuoron seuraamisen. Paneelia voi vierittää itsenäisesti. Koko transkriptio avautuu JSON-ikkunassa valitsemalla Näytä JSON keskustelun esikatseluotsikossa.

Virheenkorjaustiedot

Virheenkorjaustiedot-paneelissa on näkyvissä valitun käyttäjän viestivuoron vaihetason tiedot. Paneelissa on vasemmalla vaiheluettelo ja vaihetietonäkymä, joka avautuu, kun vaihe valitaan.

Vaiheluettelossa on näkyvissä jokainen valitussa vaiheessa suoritettu orkestrointivaiheen sekä vaihetyypin ilmaiseva vaihekuvake ja väri, vaiheen nimi (mahdollisuuksien mukaan käyttäjäystävälliseen näyttönimeen ratkaistuna), suorituksen kesto ja onnistumisen tai epäonnistumisen ilmaisin. Yhdistettyyn agenttiin kuuluvat vaiheet ryhmitellään kutistettavaan säilökorttiin, jossa on käyvissä agentin nimi ja suorituksen kokonaisaika. Kontin Lataa yhdistetyn agentin tiedot -painike lataa aliagentin koko transkription tarpeen mukaan.

Seuraavia vaihetyyppejä ei tueta:

Laji	Description
Aihe	Nimetty aihe agentin aiheluettelossa.
Järjestelmän aihe	Sisäänrakennettu ympäristön aihe, kuten Tervehdys, Vara-aihe tai Eskalointi.
Tiedot	Tietolähdehakuvaihe.
Työkalu/toiminto	Power Automate -työnkulun tai -yhdistimen toiminto.
Koodi	Python-koodin suoritusvaihe.
Mukautettu kehote	Mukautettu generatiivisen tekoälyn kehotevaihe.
Perustelun antaja	Sisäinen perusteluvaihe, jota orkestroija käyttää.
MCP-palvelin	Mallin kontekstin protokolla -työkalun kutsuminen.
Yhdistetty agentti	Delegointi yhdistetylle aliagentille.

Vaiheen valitseminen avaa tietopaneelin, jossa on seuraavat osiot. Nämä osiot näkyvät, kun tiedot ovat transkriptiossa:

Ajatteluprosessi: Ennen vaiheen kutsumista tallennettu orkestroijan perusteluteksti. Näyttää, miten malli päätti nimetä tämän vaiheen ja mitä se odotti siltä.
Vaiheen tyyppi: vaiheen luokitteluselite.
Argumentit: Kutistettava vaiheeseen välitettyjen syöteparametrien JSON-puunäkymä. Sisältää kopiointivaihtoehdon, jolla voidaan siepata tukipalvelupyyntöjen JSON-tiedosto.
Havainto: Vaiheen tulos- tai palautusarvo. Näytetään myös kutistettavana JSON-puuna, joka tukee kopiointia.
Koodin esikatselu: lähdekoodi näytetään Python-koodin vaiheissa syntaksi korostettuna.
Tunnuksen käyttö: kehotetunnusmäärä, valmistuneiden tunnusten kokonaismäärä ja vaiheiden kokonaismäärä sekä käytetty mallin nimi.
Tietolähteet: Lähteet, joissa tehtiin hakuja, palautetut tulokset (tulos) ja lopullisessa vastauksessa käytetyt lähdeviitteet. Kussakin merkinnässä on lähteen nimi, tyyppi, mahdollinen URL-osoite ja lähteen avaava linkki.
MCP-palvelimen tiedot: MCP-vaiheissa näkyvissä on palvelimen protokollaversio, ilmoitetut ominaisuudet sekä luettelo työkaluista, joita palvelin on antanut valmistelun yhteydessä.
Virhetiedot: vaiheen epäonnistuessa näkyvissä on virhekoodi, virheilmoitus ja (vastuullisten tekoälyjen estoissa) suodattimen käynnistänyt sisällön turvallisuusluokka.
Mukautuvat kortit: jos vaihe tuottaa mukautuvan kortin vastauksen, kortti hahmonnetaan tietopaneelissa täsmälleen sellaisena kuin käyttäjä sen näki.

Transkription JSON

Kun keskustelun esikatseluotsikossa valitaan Näytä JSON, avautuvassa ikkunassa on näkyvissä transkription aktiviteettien koko raakaversio sekä syntaksin korostus, tekstihaku JSON-puussa ja kaikkien tietojen leikepöydälle kopiointivaihtoehto.

Käytä tätä näkymää, kun

on tarkasteltava tapahtumatyyppiä, jota ei näytetä Virheenkorjaustiedot-paneelissa
tukipalvelupyyntöä varten on kopioitava tiettyjä kenttiä
jäsennetyissä näkymissä tutkitaan odottamatonta toimintaa.