CodeAct

A CodeAct lehetővé teszi, hogy az ügynök egy kódot írva és egy eszközzel végrehajtva oldjon meg egy execute_code feladatot. Ahelyett, hogy arra kérné a modellt, hogy egyszerre egyetlen eszközhívást adjon ki, a CodeAct egy tesztkörnyezetet biztosít a vezérlési folyamat, az adatátalakítás és az eszközök vezénylése egyetlen végrehajtási lépésben való kombinálásához.

Az Agent Frameworkben a CodeAct egy beépített magtípus helyett háttérspecifikus csomagokon keresztül érhető el. Az összekötő hozzáadhatja a execute_code eszközt, beillesztheti a futásidejű útmutatást, és opcionálisan elérhetővé teheti a tesztkörnyezetből hívható, szolgáltatói tulajdonú eszközöket.

Miért a CodeAct?

A modern AI-ügynököket gyakran nem a modell minősége korlátozza, hanem a vezérlési terhelés. Ha egy ügynök számos kis eszközhívást láncolja össze, minden lépéshez általában egy másik modellfordulás szükséges, ami növeli a késést és a tokenhasználatot is.

A CodeAct összevonja a modell –> eszköz –> modellhurkot. Ahelyett, hogy azt kérné a modelltől, hogy egyszerre válasszon ki egy eszközt, az Ügynök-keretrendszer egyetlen execute_code eszközt tehet közzé, és lehetővé teszi, hogy a modell rövid programként fejezze ki a teljes tervet. Az eszközök változatlanok maradnak, a modell változatlan marad, és a fő változás az, hogy a terv egyszer fut egy tesztkörnyezetben ahelyett, hogy több eszközhívási fordulóban szétszóródna.

Az eszközigényes számítási feladatok esetében, amelyek jelentősen csökkenthetik a végpontok közötti késést és a tokenhasználatot, miközben a terv kompakt és naplózható marad egy kódblokkban. A Hyperlight-referenciaminta közvetlenül hasonlítja össze ezt az alakzatot.

Ha a CodeAct jó választás

A CodeAct használata, ha egy tevékenység a következő előnyökből származik:

  • több eszközhívás összekapcsolása hurkokkal, elágaztatással, szűréssel vagy összesítéssel
  • az eszköz eredményeinek átalakítása a végső válasz visszaadása előtt
  • nagyobb strukturált kimenetek vagy összetevők generálása futtatás részeként
  • bizonyos eszközök csak ellenőrzött végrehajtási környezetben érhetők el
  • sok kis, láncolható lekérdezés vagy könnyű számítás összevonása egyetlen végrehajtási lépésben

Maradjon közvetlen eszközhívással, ha:

  • a feladatnak csak egy vagy két eszközhívásra van szüksége, ezért kevés vezénylési többletterhelést kell eltávolítani
  • minden hívásnak vannak mellékhatásai, amelyeknek külön-külön láthatónak kell maradniuk a modell és a felhasználó számára
  • hívásonkénti jóváhagyási kérésekre van szüksége, nem pedig egy jóváhagyási döntésre az egész execute_code futtatás során

Hogyan illeszkedik a CodeAct az Agent Frameworkben?

A CodeAct-összekötők általában négy dolgot hajtanak végre egy futtatáshoz:

  1. Hozzáad egy execute_code eszközt a modell irányába néző eszközfelülethez.
  2. Útmutatás a konfigurált tesztkörnyezeti futtatókörnyezethez.
  3. Opcionálisan közzéteheti a szolgáltató tulajdonában lévő eszközöket.call_tool(...)
  4. Olyan képességkorlátokat alkalmaz, mint a fájlrendszer-hozzáférés vagy a kimenő hálózati engedélyezési listák.

Mivel az összekötő a futtatókörnyezet konfigurációjának tulajdonosa, a pontos beállítás részletei a választott háttérrendszertől függenek.

Jelenlegi korlátozások

A CodeAct erősen alkalmas az eszközigényes munkafolyamatokhoz, de figyelembe kell venni néhány jelenlegi korlátozást:

  • A dokumentált Agent Framework-összekötő jelenleg elsődlegesen Python-alapú a Hyperlight CodeAct keresztül. A .NET dokumentációja hamarosan megjelenik.
  • A jóváhagyások jelenleg a execute_code hívás egészére vonatkoznak. Ha az egyes műveleteket egyenként kell jóváhagyni, tartsa ezeket a műveleteket közvetlen ügynökeszközökként ahelyett, hogy call_tool(...)-ra támaszkodna.
  • A(z) call_tool(...) által elért eszközök még mindig a gazdafolyamatban kerülnek végrehajtásra. Használjon korlátozott, ellenőrzött gazdagép eszközöket a bizalmas I/O-hoz ahelyett, hogy szükségtelenül bővíti a tesztkörnyezeti hozzáférést.
  • A CodeAct akkor működik a legjobban, ha a vezénylési többletterhelés dominál. Az egy-két eszközhívásos kis feladatok esetében a többlet absztrakció nem biztos, hogy jelentős előnyt nyújtana.
  • Az eszköznevek, a paraméter-metaadatok és a visszaadott alakzatok itt sokkal fontosabbak, mivel a modell nem egy közvetlen eszközhívásból, hanem a szerződés alapján ír kódot.

Első lépések

Hamarosan.

Első lépések

A Python esetében a dokumentált összekötő ma a Hyperlight CodeAct.

A Hyperlight csomag a következő lehetőségeket biztosítja:

  • HyperlightCodeActProvider környezetszolgáltató-alapú futtatásokhoz
  • HyperlightExecuteCodeTool amikor közvetlenül vezetékezni szeretne execute_code
  • szolgáltató által felügyelt eszközök, amelyek továbbra is elérhetők maradnak a sandboxban a call_tool(...)
  • nem kötelező fájlrendszer- és kimenő hálózati konfiguráció a sandbox környezet futtatásához

A Hyperlight CodeAct ismerteti a telepítést, példákat, valamint a futtatókörnyezet-specifikus útmutatást, például mikor használjuk a print(...) és /output/ elemeket, és az aktuális Hyperlight-specifikus korlátozásokat.

Következő lépések

Ügynökbiztonság

Kapcsolódó tartalom

  • Last updated on