Agentti-isännän valinta

Kun arvioit toiminnan laatua, luotettavuutta ja kustannuksia, harkitse agentin isännän valintaa, kuten Microsoft 365 Copilot (deklaratiiviset agentit), Copilot Studion (mukautetut agentit) tai Azure. Pidä tämä päätös erillään agentin kirjoitusmenetelmästä. Se, missä agentti pyörii tai isännöidään, määrittää sen orkestrointikyvyt, mallin käyttöoikeudet ja toiminnalliset ominaisuudet. Nämä ominaisuudet vaikuttavat suoraan vastauksen laatuun, suorituskykyyn ja ratkaisun toiminnan kustannuksiin suuressa mittakaavassa.

Tässä artikkelissa selitetään, miten agentin isäntäalustat vaikuttavat ratkaisujen ominaisuuksiin. Saat tietää, miten eri luontimenetelmät voivat luoda agentteja samassa isäntäympäristössä säilyttäen tasaisen laadun ja käyttäytymisen, miten yksittäinen luontimenetelmä voi luoda agentteja eri alustoihin, joilla on erilaiset laatu- ja käyttäytymistulokset, ja miten isäntä muokkaa ratkaisun kustannusprofiilia.

Kustannukset käytettävyyteen vaikuttavana tekijänä

Pidä kustannuksia vakaan tilan toiminnallisena ominaisuutena, ei kertaluonteisena hankintakysymyksenä. Kaksi ratkaisua voivat tuottaa identtisiä vastauksia samalla, kun ne eroavat kustannusasteen mukaan, koska kustannukset johtuvat siitä, miten agentti toimii, ei vain siitä, mitä se palauttaa. Isäntäympäristö korjaa pitkälti saatavilla olevat vivut:

• Tokenien kulutus interaktiota kohti. Kaikki ohjeet, tietokatkelma ja työkalumääritelmät, joita malli käsittelee tietyllä käänteessä, laskutetaan siitä hyvästä. Jokaiseen vuorovaikutukseen ladataan pysyvä konteksti, riippumatta siitä, onko sillä merkitystä.
• Mallin vuorojen määrä. Orkestroija päättää, kuinka monta kertaa mallia kutsutaan tehtävän suorittamiseksi. Jos käytät enemmän työkalukutsusilmukoita ja uudelleensuunnittelua, tämä merkitsee enemmän päätelmiä.
• Mallin valinta. Suuremmat päättelymallit maksavat enemmän tunnusta kohti ja lisäävät viivettä. Isäntä määrittää, mitkä mallit ovat käytettävissä ja voitko reitittää eri vaiheita eri malleihin.
• Determinismi. Deterministinen työ ei tarvitse mallien tunnistusta lainkaan. Koodin tai toimintojen siirtäminen poistaa sekä tunnuskustannuksen että vaihtelun.

Seuraavat osiot erittelevät kustannuksetta eniten vaikuttavat ohjausobjektit: orkestrointivaljaat, mallivalinnat ja ohjeiden ja determinististen toimien arkkitehtuurin.

Microsoft 365 Copilot isännöinti

Microsoft 365 Copilot tarjoaa hallitun isännöintiympäristön deklaratiivisille agenteille, joilla on sisäiset hallinta-, suojaus- ja yhteensopivuusominaisuudet. Tämä alusta tarjoaa johdonmukaiset suorituskykyominaisuudet riippumatta siitä, millaista kirjoitusmenetelmää käytät agentin luomiseen.

Voit esimerkiksi luoda deklaratiivisia agentteja käyttämällä Agent Builder -ominaisuutta Microsoft 365 Copilot, Copilot Studio tai Microsoft 365 Agents Toolkit. Agentti-isäntä määrittää kehittäjän käytettävissä olevat orkestrointi-, luettelo- ja kielimallivaihtoehdot. Nämä vaihtoehdot ovat suurimmat vastauksen laadun vaikuttajat. Kirjoitus- ja luontialustojen tulisi olla toissijainen kriteeri ratkaisulle operatiivisessa tasapainotilassa.

Eri kirjoitusalustat tarjoavat vaihtelevia operatiivisia kykyjä, jotka vastaavat eri organisaation tarpeisiin ja kehityksen elinkaaren vaiheisiin. Kunhan pohjana oleva agenttiisäntä pysyy Microsoft 365 Copilot (deklaratiiviset agentit), laatu pysyy johdonmukaisena, kun etenet eri luontipohjalla operatiivisten tarpeidesi täyttämiseksi.

Seuraava taulukko tiivistää se, mitä kirjoitusalustaa tulisi käyttää deklaratiivisille agenteille havainnollistavana esimerkkinä.

Vaatimus	Copilot Agent Builder -ominaisuus	Copilot Studio	Pro-koodi
Ratkaisun omistaja	Yksilö	Ryhmä	Enterprise
Päivitys ja ylläpito	Ei versiointia	Versiointi lukitulla editoinnilla	Versiointi ja samanaikainen editointi
Arviointikehys	Testipaneeli	Testipaneeli ja Pro-koodi	Täysin muokattavissa
CI/CD	Ei mitään	Some	Yes
Reaaliaikainen valvonta	Ei mitään	Ei mitään	Yes
Telemetria	Rajoitettu	Some	Täysin muokattavissa
Kustannukset/sijoitetun pääoman tuotto	Sisältyy Microsoft 365 Copilot	Vaihtelee lisenssistä kulutukseen	Täysin muokattavissa pro-koodivalintojen perusteella
Töiden IQ-kulutuskustannukset	Work IQ -perustaminen sisältyy Microsoft 365 Copilot -käyttöoikeuteen; käyttäjiltä, joilla ei ole käyttöoikeutta, veloitetaan kulutuksen mukaan	Kulutukseen perustuva Copilot -saldoissa (käytön mukaan maksettava tai ennakkomaksu)	Kulutukseen perustuva Copilot-krediiteissä Work IQ APIen kautta; käytön mukaan mitattu ja ylärajoitettu Microsoft 365 -hallintakeskuksessa

Esimerkiksi kun agentti käyttää työtunnusta kontekstissa, noutamisessa tai toiminnoissa, kyseinen käyttö laskutetaan poikkeuksetta, jolloin luottokustannukset skaalataan skenaarion monimutkaisuuteen, mukaan lukien kontekstin koko, päättelysyvyys ja vaiheiden määrä.

Muistio

Olemassa ei ole erillistä työ-IQ-tilausta, SKU:ta tai käyttäjäkohtaista käyttöoikeutta. Keskustelu- ja kontekstikustannukset vaihtelevat, joten kaksi samankaltaista agenttia voivat käyttää hyvin erilaisia luottomääriä riippuen siitä, kuinka paljon kontekstia ne pohjana ovat ja kuinka paljon kerronnallista järkelyä ne toimivat. Voit seurata Microsoft 365 -hallintakeskus kustannusten hallinnan koontinäyttöä ja määrittää vuokraajien, ryhmien ja käyttäjien kulutusrajat. Kustannusten optimointimallit kohdassa Kustannusten optimointi – aina käytössä olevan kontekstin minimointi ja deterministisen työn siirtäminen komentosarviin ja toimintoihin – auttavat hallitsemaan työ-IQ-kuluja.

Ota huomioon myös muita tekijöitä, kuten kehittäjän nosto- ja virheenkorjaustyökalut (ei taulukossa esitetty). Muista, että näihin tekijöihin vaikuttavat vahvasti organisaatiosi turvallisuusasema ja sen kyky tietyn kehitysalustan suhteen.

Siirrä Agent Builderissa rakennetut Microsoft 365 Copilot -deklaratiiviset agentit Microsoft 365 Agents Toolkitin avulla kirjoitetuiksi deklaratiivisiksi agenteiksi. Tämä strategia pitää yllä Microsoft 365 Copilot järjestäjänä yhdenmukaisen agentin toiminnan varmistamiseksi. Jos Copilot Studiossa rakennettu kokeellinen mukautettu agentti täyttää soveltuvuusselvityksen arviointiehdot ja lähdekoodin hallinta vaaditaan yritystoimintoja varten, korota agentti hallittuun pipelineen Power Platformissa. Tämä lähestymistapa varmistaa, että Copilot Studion järjestäjä pysyy ensisijaisena mekanismina agenttien käyttäytymisen ylläpitämiselle.

Orkestrointi ja agenttikehys

Välittäjä eli valjastaja on suorituksenaikainen silmukka, joka suunnittelee vaiheita, valitsee ja käynnistää työkaluja, hallitsee kontekstiikkunaa ja päättää, milloin tehtävä on valmis. Se on yksi suurimmista ohjaimista sekä vastauksen laatuun että toiminnallisiin kustannuksiin, koska se määrittää, kuinka monta mallia muuttuu, kuinka paljon kontekstia kertyy joka käänteessä ja miten työkalutulokset syötetään takaisin malliin.

Koska isäntäalusta tarjoaa orkestroijan, isäntäalustan valinta määrittää pitkälti kustannus- ja viiverajat:

• Microsoft 365 Copilot tarjoaa hallitun orkestroinnin. Saat ennustettavissa olevia, käyttöoikeuksiin sisältyviä kustannuksia ja johdonmukaisen käyttäytymisen, joiden itse silmukkaa hallitaan rajoitetusti.
• Copilot Studio tarjoaa määritettävissä olevan orkestroinnin (esimerkiksi aiheet ja muodostavan orkestroinnin). Kustannukset vaihtelevat käyttöoikeuspohjaisesta kulutukseen sen mukaan, kuinka paljon luodaan malliin delegoitua työtä.
• Azure ja ammattilaiskoodaus antavat sinulle täyden hallinnan silmukkaan. Arvioi koodin ylläpitokustannukset verrattuna hyvin hoidettujen valjaiden tai SDK:n, kuten Copilot SDK:n, hyödyntämiseen.

Kun isäntäkone tarjoaa ne, orkestroinnin ohjauskeinot ovat seuraavat:

• Vuorobudjetti. Rajoita tai säädä orkesterin ennen paluuta suunnittelu- ja työkalukutsujen iterointien määrää.
• Rinnakkaiset ja peräkkäiset työkalukutsut. Suorita riippumattomia työkalukutsuja samanaikaisesti viivettä lyhentämiseksi. Yhdistä kutsuja aina kun mahdollista, jotta vuorojen määrä vähenee.
• Kontekstin hallinta. Lyhennä, tiivistä tai rajaa keskustelua, jotta konteksti ei kasva hallitsemattomasti. Tämä pitää vuorokohtaiset tokenkustannukset tasaisina sen sijaan, että ne kasautuisivat.
• Välimuistiin tallentaminen. Käytä välimuistissa olevia kehotteiden etuliitteitä uudelleen vuorotellen tai istunnoissa, jotta vältät vakaan kontekstin uudelleenlaskutuksen.

Muistio

Kykenevämpi orkestroija voi samanaikaisesti nostaa laatua ja kustannuksia. Sovittaa orkestroinnin hienostuneisuus tehtävään. Yksinkertainen hakuagentti ei tarvitse monivaiheista generattiivista suunnittelua, ja sen maksaminen nostaa kustannuksia parantamatta tuloksia.

Mallin valinta

Valitsemasi malli vaikuttaa tunnuskohtaisiin kustannuksiin ja viivettän, ja se on pitkälti riippumaton luontimenetelmästä. Suuremmat päättelymallit tuottavat parempilaatuisia tuloksia monimutkaisissa tehtävissä, mutta ne maksavat tunnuksen mukaan enemmän ja reagoivat hitaammin. Vertaa mallia tehtävän vaikeuteen sen sijaan, että se toimisi oletuksena tehokkaimpaan vaihtoehtoon jokaisessa tehtävässä.

Mallin reitityksen arkkitehti, kun isäntä tukee sitä:

• Reserve frontier -päättelymalleja aidosti koville askelille, kuten moniselitteiselle päättelylle, synteesille tai avoimelle sukupolvelle.
• Reititä deterministisiä tai yksinkertaisia aliveroja , kuten luokitus-, poiminta-, muotoilu- ja reitityspäätöksiä pienempiin, halvempiin ja nopeampiin malleihin.
• Yhdistele malleja yhdessä agentissa , kun järjestäjä tukee vaihekohtaista mallin valintaa, joten jokainen vaihe maksaa vain tarvitsemansa ominaisuuden.

Isäntäympäristö määrittää, mitkä mallit ovat luettelossa, voitko reitittää vaiheittain, suurimman kontekstiikkunan (suuremmat ikkunat sallivat enemmän kontekstia, mutta maksavat enemmän vuoroa kohti) ja onko kehote välimuistitallennus käytettävissä. Vahvista nämä ominaisuudet osana isäntäpäätöstä, koska ne rajoittavat mallitason kustannusoptimointia, jonka voit suorittaa myöhemmin.

Kustannusoptimoinnin arkkitehtuuri

Isännän, järjestäjän ja mallin valitsemisen lisäksi agentin ohjeiden ja toimintojen rakenteella on suora, toistuva kustannusvaikutus. Kaksi periaatetta ohjaavat kustannustehokasta suunnittelua:

1. Älä maksa mallin päätelmiä työstä, joka on determinististä. Niputa deterministisiä toimintoja komentosarkoihin, toimintoihin tai liittimiin sen sijaan, että ne kuvailtaisiin luonnollisen kielen ohjeiksi, joita mallin on tulkittava joka suorituksen aikana. Koodi suoritetaan kerran halvalla, ja se tuottaa ennakoitavan tuloksen, ei tunnuskustannuksia ja vähemmän vaihtelua. Luonnollisen kielen käyttäminen samaan menettelyyn aiheuttaa inferenssikustannuksia joka kerta ja voi tuottaa epäjohdonmukaisia tuloksia.

2. Älä maksa pysyvästä tunnuskustannuksella ohjeista, joita käytät harvoin. Esilatattuja agenttitason ohjeita laskutetaan jokaisen vuorovaikutuksen joka käänteessä, vaikka ne eivät olisi merkityksettömiä käyttäjän pyynnölle. Ohjeiden ja tietämyksen lataaminen pyydettäessä – vain kun tehtävä vastaa – tarkoittaa sitä, että maksat tästä kontekstista, kun sitä käytetään, ei jatkuvasti. Tämä vaiheittaisten tietojen julkistamismalli pitää jokaisen vuorovaikutuksen peruskustannukset alhaisina.

Seuraavassa taulukossa esitetään yhteenveto siitä, milloin ohjeet kannattaa ladata etukäteen agenttiin ja milloin työ kannattaa siirtää deterministisiin komentosarjoihin tai tarpeen mukaan käytettäviin resursseihin.

Esilataa agenttitason ohjeet, kun...	Käytä komentosarjoja, toimintoja tai pyydettäessä käytettäviä resursseja, kun...
Käyttäytyminen koskee lähes kaikkia vuorovaikutuksia (ydinrooli, sävy, turvakaiteet).	Toiminta on tehtäväkohtaista tai vain satunnaisesti merkityksellistä.
Ohjeet ovat lyhyitä ja aina olennaisia.	Ohjeet ovat pitkiä, ja niihin liittyy suuri viite- tai tietämysmateriaali.
Mallin on aidosti perusteltava toiminta tai mukautettava sitä.	Toiminto on deterministinen, toistettavissa ja sen tuloste on määritelty hyvin.
Ylimääräisen nouto- tai työkalukutsun viive vahingoittaisi käyttökokemusta.	Kontekstin joka käänteessä kantamisen tunnuskustannukset ovat merkittävämpiä kuin satunnainen kuormitus.

Kustannustehokas agentti pitää aina ohjeensa mahdollisimman vähäisinä ja keskittyy käyttäjätietoihin ja turvallisuuteen. Se käsittelee kiinteitä toimintosarjoja komentosarjoina tai toimintoina ja tarjoaa erityisosaamista ja tehtäväkohtaisia ohjeita pyydettäessä suoritettavina resursseina, jotka latautuvat vain tarvittaessa. Tämä lähestymistapa vähentää kunkin vuorovaikutuksen tunnuskustannuksia, tekee toiminnasta ennustettavamman ja pitää ydinkehotteen pienemmänä ja helpommin ylläpidettävänä siitä tinkimättä ominaisuudesta.

Seuraavat vaiheet

Opi mittaamaan agenttien laatua, validoimaan suorituskykyä erilaisissa tilanteissa ja varmistamaan operatiivinen valmius ennen käyttöönottoa käyttämällä arviointikehyksiä.

Arviointikehykset