CodeAct

CodeAct memungkinkan agen menyelesaikan tugas dengan menulis kode dan menjalankannya melalui execute_code alat. Alih-alih meminta model untuk melakukan satu panggilan alat dalam satu waktu, CodeAct memberikannya tempat terisolasi untuk menggabungkan aliran kontrol, transformasi data, dan orkestrasi alat dalam satu langkah eksekusi.

Dalam Agent Framework, CodeAct diekspos melalui paket khusus backend daripada satu jenis inti bawaan. Konektor dapat menambahkan execute_code alat, menyuntikkan panduan runtime, dan secara opsional mengekspos alat milik penyedia yang dapat dipanggil dari dalam sandbox.

Mengapa CodeAct

Agen AI modern sering kali tidak terhambat oleh kualitas model, tetapi oleh overhead orkestrasi. Ketika agen menautkan banyak panggilan alat kecil, setiap langkah biasanya memerlukan giliran model lain, yang meningkatkan latensi dan penggunaan token.

CodeAct menciutkan model tersebut -> alat -> perulangan model. Alih-alih meminta model untuk memilih satu alat pada satu waktu, Agent Framework dapat mengekspos satu execute_code alat dan membiarkan model mengekspresikan paket lengkap sebagai program singkat. Alat tetap sama, model tetap sama, dan perubahan utamanya adalah bahwa rencana berjalan sekali di dalam kotak pasir alih-alih tersebar di beberapa giliran panggilan alat.

Untuk beban kerja yang berorientasi alat, ini dapat secara signifikan mengurangi latensi end-to-end dan penggunaan token sambil menjaga rencana tetap ringkas dan dapat diaudit dalam satu blok kode. Sampel tolok ukur Hyperlight membandingkan bentuk tersebut secara langsung.

Ketika CodeAct cocok

Gunakan CodeAct saat tugas mendapat manfaat dari:

  • menggabungkan beberapa pemanggilan alat dengan perulangan, percabangan, pemfilteran, atau agregasi
  • mengubah hasil alat sebelum mengembalikan jawaban akhir
  • menghasilkan output atau artefak terstruktur yang lebih besar sebagai bagian dari eksekusi
  • menjaga beberapa alat hanya tersedia di dalam lingkungan eksekusi terkontrol
  • menggabungkan banyak pencarian kecil atau komputasi ringan yang dapat diantai ke dalam satu langkah eksekusi

Tetap menggunakan panggilan alat langsung saat:

  • tugas hanya membutuhkan satu atau dua panggilan alat, sehingga penghapusan beban pengaturan menjadi minimal
  • setiap panggilan memiliki efek samping yang harus tetap terlihat secara individual oleh model dan pengguna
  • Anda memerlukan permintaan persetujuan untuk setiap panggilan alih-alih satu keputusan persetujuan untuk seluruh execute_code eksekusi

Bagaimana CodeAct cocok dalam Kerangka Kerja Agen

Konektor CodeAct biasanya melakukan empat hal untuk dijalankan:

  1. execute_code Menambahkan alat ke permukaan alat yang menghadap model.
  2. Menyediakan instruksi untuk sebuah runtime sandbox yang dikonfigurasi.
  3. Secara opsional mengekspos alat milik penyedia melalui call_tool(...).
  4. Menerapkan batas kemampuan seperti akses sistem file atau daftar izin jaringan keluar.

Karena konektor memiliki konfigurasi runtime, detail penyiapan yang tepat bergantung pada backend yang Anda pilih.

Keterbatasan saat ini

CodeAct sangat cocok untuk alur kerja berat alat, tetapi ada beberapa batasan saat ini yang perlu diingat:

  • Konektor Agent Framework yang didokumentasikan hari ini adalah Python-first melalui Hyperlight CodeAct. Dokumentasi .NET masih akan segera hadir.
  • Persetujuan saat ini berlaku untuk execute_code panggilan secara keseluruhan. Jika Anda memerlukan operasi individual untuk disetujui satu per satu, pertahankan operasi tersebut sebagai alat agen langsung alih-alih mengandalkan call_tool(...).
  • Alat yang diakses melalui call_tool(...) masih dijalankan dalam proses host. Gunakan alat host yang sempit dan ditinjau untuk I/O sensitif alih-alih memperluas akses kotak pasir yang tidak perlu.
  • CodeAct berfungsi optimal ketika biaya tambahan dari orkestrasi lebih dominan. Untuk tugas kecil dengan hanya satu atau dua panggilan fungsi alat, abstraksi tambahan mungkin tidak memberikan banyak manfaat.
  • Nama alat, metadata parameter, dan bentuk pengembalian lebih penting di sini karena model menulis kode terhadap kontrak tersebut daripada memilih dari satu panggilan alat langsung pada satu waktu.

Get started

Segera datang.

Get started

Untuk Python, konektor yang didokumenkan hari ini adalah Hyperlight CodeAct.

Paket Hyperlight menyediakan:

  • HyperlightCodeActProvider untuk eksekusi berbasis penyedia konteks
  • HyperlightExecuteCodeTool ketika Anda ingin menyambungkan execute_code secara langsung
  • perangkat yang dikelola penyedia yang tetap tersedia melalui sandbox di dalam call_tool(...)
  • konfigurasi sistem berkas opsional dan jaringan eksternal untuk runtime sandbox

Lihat Hyperlight CodeAct untuk penginstalan, contoh, panduan khusus runtime seperti kapan harus menggunakan print(...) dan /output/, dan batasan khusus Hyperlight saat ini.

Langkah berikutnya

Keamanan Agen

Konten terkait

  • Last updated on