Pola orkestrasi agen AI

Ketika arsitek dan pengembang merancang beban kerja mereka untuk memanfaatkan sepenuhnya kemampuan model bahasa, sistem agen AI menjadi semakin kompleks. Sistem ini sering melebihi kemampuan satu agen yang memiliki akses ke banyak alat dan sumber pengetahuan. Sebaliknya, sistem ini menggunakan orkestrasi multi-agen untuk menangani tugas kolaboratif yang kompleks dan andal. Panduan ini mencakup pola orkestrasi mendasar untuk arsitektur multi-agen dan membantu Anda memilih pendekatan yang sesuai dengan persyaratan spesifik Anda.

Gambaran Umum

Saat Anda menggunakan beberapa agen AI, Anda dapat memecah masalah kompleks menjadi unit kerja atau pengetahuan khusus. Anda menetapkan setiap tugas ke agen AI khusus yang memiliki kemampuan khusus. Pendekatan ini mencerminkan strategi yang ditemukan dalam kerja tim manusia. Menggunakan beberapa agen memberikan beberapa keuntungan dibandingkan dengan solusi agen tunggal monolitik.

• Spesialisasi: Agen individu dapat berfokus pada domain atau kemampuan tertentu, yang mengurangi kompleksitas kode dan permintaan.

• Skalabilitas: Agen dapat ditambahkan atau dimodifikasi tanpa mendesain ulang seluruh sistem.

• Dapat Dipelihara: Pengujian dan penelusuran kesalahan dapat difokuskan pada agen individual, yang mengurangi kompleksitas tugas-tugas ini.

• Optimasi: Setiap agen dapat menggunakan model, pendekatan pemecahan tugas, pengetahuan, alat, dan komputasi yang berbeda untuk mencapai hasilnya.

Pola dalam panduan ini menunjukkan pendekatan yang terbukti untuk mengatur beberapa agen untuk bekerja sama dan mencapai hasil. Setiap pola dioptimalkan untuk berbagai jenis persyaratan koordinasi. Pola orkestrasi agen AI ini melengkapi dan memperluas pola desain cloud tradisional dengan mengatasi tantangan unik mengoordinasikan komponen otonom dalam kemampuan beban kerja berbasis AI.

Orkestrasi berurutan

Pola orkestrasi berurutan menautkan agen AI dalam urutan linier yang telah ditentukan sebelumnya. Setiap agen memproses output dari agen sebelumnya secara berurutan, yang membuat alur transformasi khusus.

Gambar memperlihatkan beberapa bagian yang memiliki panah dan garis penghubung. Panah menunjuk dari Input ke Agen 1. Garis menghubungkan Agen 1 ke bagian bertulisan Model, pengetahuan, dan alat. Panah mengarah dari Agen 1 ke Agen 2. Garis menghubungkan Agen 2 ke bagian yang bertuliskan Model, pengetahuan, dan alat. Panah menunjuk dari Agen 2 ke kotak yang memiliki elipsis. Arah panah dari kotak ini mengarah ke Agen n. Garis menghubungkan Agen n ke bagian yang bertuliskan Model, pengetahuan, dan alat. Sebuah panah menunjuk dari Agen n ke Hasil. Bagian Status Umum mencakup dari bagian Agen 1 hingga bagian Agen n.

Pola orkestrasi berurutan memecahkan masalah yang memerlukan pemrosesan langkah demi langkah, di mana setiap tahap dibangun pada tahap sebelumnya. Ini sesuai dengan alur kerja yang memiliki dependensi yang jelas dan meningkatkan kualitas output melalui penyempurnaan progresif. Pola ini menyerupai pola desain cloud Pipa dan Filter , tetapi menggunakan agen AI alih-alih komponen pemrosesan yang dikodekan khusus. Pilihan agen mana yang akan dipanggil berikutnya secara deterministik didefinisikan sebagai bagian dari alur kerja dan bukan pilihan yang diberikan kepada agen dalam proses.

Kapan menggunakan orkestrasi berurutan

Pertimbangkan pola orkestrasi berurutan dalam skenario berikut:

• Proses multistage yang memiliki dependensi linier yang jelas dan perkembangan alur kerja yang dapat diprediksi

• Alur transformasi data, di mana setiap tahap menambahkan nilai tertentu yang bergantung pada tahap berikutnya

• Tahap alur kerja yang tidak dapat diparalelkan

• Persyaratan penyempurnaan progresif, seperti draf, peninjauan, penyempurnaan alur kerja

• Sistem di mana Anda memahami ketersediaan dan karakteristik performa setiap agen AI dalam alur, dan di mana kegagalan atau keterlambatan dalam satu pemrosesan agen AI dapat ditoleransi agar tugas keseluruhan dapat dicapai

Kapan harus menghindari orkestrasi berurutan

Hindari pola ini dalam skenario berikut:

• Tahapannya paralel memalukan. Anda dapat memparallelkan mereka tanpa mengorbankan kualitas atau menciptakan pertentangan status bersama.

• Proses yang hanya mencakup beberapa tahap yang dapat dicapai oleh satu agen AI secara efektif.

• Tahap awal mungkin gagal atau menghasilkan output berkualitas rendah, dan tidak ada cara yang wajar untuk mencegah langkah-langkah selanjutnya dari pemrosesan dengan menggunakan akumulasi output kesalahan.

• Agen AI perlu berkolaborasi daripada menyerahkan pekerjaan.

• Alur kerja memerlukan penelusuran mundur atau iterasi.

• Anda memerlukan perutean dinamis berdasarkan hasil sementara.

Contoh orkestrasi berurutan

Perangkat lunak manajemen dokumen firma hukum menggunakan agen berurutan untuk pembuatan kontrak. Aplikasi cerdas memproses permintaan melalui alur empat agen khusus. Langkah-langkah alur berurutan dan yang telah ditentukan sebelumnya memastikan bahwa setiap agen bekerja dengan output lengkap dari tahap sebelumnya.

Gambar memperlihatkan beberapa bagian yang memiliki panah dan garis penghubung. Panah menunjuk dari persyaratan pembuatan dokumen ke agen pemilihan template. Baris menyambungkan agen bagian Templat ke bagian yang membaca Model, pustaka templat, dan alat penelitian. Panah menunjuk dari agen pemilihan Templat ke agen kustomisasi Klausa. Garis menghubungkan agen kustomisasi Klausul ke bagian yang diberi label Model yang Disesuaikan. Panah menunjuk dari agen kustomisasi Klausul ke agen kepatuhan peraturan. Satu garis menghubungkan agen kepatuhan peraturan ke bagian yang tertulis Model, pengetahuan regulasi. Panah menunjuk dari agen kepatuhan peraturan ke agen penilaian Risiko. Baris menghubungkan agen penilaian Risiko ke bagian yang bertuliskan Model, pengetahuan tentang kewajiban, dan alat persistensi. Panah menunjuk dari agen penilaian risiko ke bagian yang berlabel "Dokumen yang Diusulkan". Bagian yang membahas Status dokumen pada bagian ini mencakup dari agen kustomisasi Klausul sampai pada bagian Dokumen yang diusulkan.

1. Agen pemilihan templat menerima spesifikasi klien, seperti jenis kontrak, yurisdiksi, dan pihak yang terlibat, dan memilih templat dasar yang sesuai dari pustaka perusahaan.

2. Agen kustomisasi klausa mengambil templat yang dipilih dan memodifikasi klausul standar berdasarkan ketentuan bisnis yang dinegosiasikan, termasuk jadwal pembayaran dan batasan tanggung jawab.

3. Agen kepatuhan peraturan meninjau kontrak yang disesuaikan terhadap undang-undang yang berlaku dan peraturan khusus industri.

4. Agen penilaian risiko melakukan analisis komprehensif atas kontrak lengkap. Ini mengevaluasi eksposur tanggung jawab dan mekanisme penyelesaian sengketa sambil memberikan peringkat risiko dan rekomendasi bahasa pelindung.

Orkestrasi bersamaan

Pola orkestrasi bersamaan menjalankan beberapa agen AI secara bersamaan pada tugas yang sama. Pendekatan ini memungkinkan setiap agen untuk memberikan analisis atau pemrosesan independen dari perspektif atau spesialisasi uniknya.

Gambar berisi tiga bagian kunci. Di bagian atas, panah menunjuk dari Input ke Inisiator dan Agen Kolektor. Panah mengarah dari Inisiator dan agen pengumpul ke bagian yang menampilkan hasil agregat berdasarkan hasil yang digabungkan, dibandingkan, dan dipilih. Garis menghubungkan Inisiator dan agen kolektor ke garis yang menghubungkan keempat bagian tersebut melalui panah. Bagian ini adalah Agen 1, Agen 2, bagian tanpa label yang memiliki elipsis, dan Agen n. Panah menunjuk dari Agen 1 ke hasil Perantara. Sebuah garis mengarah dari Agen 1 dan bercabang menjadi dua jalur. Alur pertama menunjukkan bagian Sub agent 1.1 dan bagian bertuliskan Model, pengetahuan, dan alat. Alur kedua menunjukkan Sub agen 1.2 dan bagian yang bertuliskan Model, pengetahuan, dan alat. Panah menunjukkan arah dari Agen 2 ke hasil Sementara. Garis menghubungkan Agen 2 ke bagian yang bertuliskan Model, pengetahuan, dan alat. Panah menunjuk dari bagian tanpa label yang memiliki elipsis ke hasil Menengah. Panah menunjuk dari Agen n ke hasil Menengah. Garis menghubungkan Agen n ke bagian yang bertuliskan Model, pengetahuan, dan alat.

Pola ini membahas skenario di mana Anda memerlukan wawasan atau pendekatan yang beragam untuk masalah yang sama. Alih-alih pemrosesan berurutan, semua agen bekerja secara paralel, yang mengurangi waktu proses keseluruhan dan memberikan cakupan ruang masalah yang komprehensif. Pola orkestrasi ini menyerupai pola desain komputasi awan Fan-out/Fan-in. Hasil dari setiap agen sering digabungkan untuk memberikan hasil akhir, tetapi itu tidak diperlukan. Setiap agen dapat secara independen menghasilkan hasilnya sendiri dalam beban kerja, seperti memanggil alat untuk menyelesaikan tugas atau memperbarui penyimpanan data yang berbeda secara paralel.

Agen beroperasi secara independen dan tidak menyerahkan hasil satu sama lain. Agen mungkin memanggil agen AI tambahan dengan menggunakan pendekatan orkestrasinya sendiri sebagai bagian dari pemrosesan independennya. Agen yang tersedia harus mengetahui agen mana yang siap untuk menangani proses. Pola ini mendukung panggilan deterministik ke semua agen terdaftar dan pemilihan dinamis agen mana yang akan dipanggil berdasarkan persyaratan tugas.

Kapan menggunakan orkestrasi bersamaan

Pertimbangkan pola orkestrasi bersamaan dalam skenario berikut:

• Tugas yang dapat Anda jalankan secara paralel, baik dengan menggunakan sekumpulan agen tetap atau dengan memilih agen AI secara dinamis berdasarkan persyaratan tugas tertentu.

• Tugas yang mendapat manfaat dari beberapa perspektif independen atau spesialisasi yang berbeda, seperti pendekatan teknis, bisnis, dan kreatif, yang semuanya dapat berkontribusi pada masalah yang sama. Kolaborasi ini biasanya terjadi dalam skenario yang menampilkan teknik pengambilan keputusan multi-agen berikut:

  • Curah Pendapat

  • Penalaran ansambel

  • Keputusan berbasis kuorum dan pemungutan suara

• Skenario sensitif waktu di mana pemrosesan paralel mengurangi latensi.

Kapan harus menghindari orkestrasi bersamaan

Hindari pola orkestrasi ini dalam skenario berikut:

• Agen perlu membangun hasil kerja satu sama lain atau memerlukan konteks kumulatif yang tersusun dalam urutan tertentu.

• Tugas ini memerlukan urutan operasi tertentu agar hasilnya deterministik dan dapat direproduksi ketika dijalankan dalam urutan yang ditentukan.

• Kendala sumber daya, seperti kuota model, membuat pemrosesan paralel tidak efisien atau tidak mungkin.

• Agen tidak dapat mengoordinasikan perubahan dengan andal ke status bersama atau sistem eksternal saat berjalan secara bersamaan.

• Tidak ada strategi resolusi konflik yang jelas untuk menangani hasil yang bertentangan atau bertentangan dari setiap agen.

• Logika agregasi hasil terlalu kompleks atau menurunkan kualitas hasil.

Contoh orkestrasi bersamaan

Perusahaan jasa keuangan membangun aplikasi cerdas yang menggunakan agen bersamaan yang mengkhususkan pada berbagai jenis analisis untuk mengevaluasi saham yang sama secara bersamaan. Setiap agen berkontribusi dengan wawasan dari perspektif khususnya, yang memberikan beragam input relevan dengan waktu untuk pengambilan keputusan investasi yang cepat.

Gambar berisi tiga bagian kunci. Di bagian atas, panah menunjuk dari simbol Ticker ke agen analisis Saham. Sebuah garis menghubungkan Model dengan agen analisis Saham untuk menukar pengetahuan pemetaan simbol. Panah menunjuk dari agen analisis Saham ke bagian yang bertuliskan 'Keputusan' dengan bukti pendukung berdasarkan hasil antara gabungan. Garis menghubungkan agen analisis saham ke garis yang menunjuk ke empat bagian terpisah. Bagian ini adalah empat alur terpisah: Agen analisis dasar, Agen analisis teknis, agen analisis sentimen, dan agen ESG. Garis menyambungkan Model ke alur Agen analisis dasar. Panah menunjuk dari Alur agen analisis dasar ke hasil Menengah. Garis menunjukkan aliran dari agen analisis fundamental dan terbagi menjadi dua alur: agen analisis keuangan dan pendapatan serta agen analisis kompetitif. Garis menghubungkan keuangan dan agen analisis pendapatan ke bagian yang membaca Model, melaporkan pengetahuan keuangan. Garis menghubungkan agen analisis kompetitif ke bagian yang membaca Model, pengetahuan kompetitif. Panah menunjuk dari agen analisis teknikal ke hasil menengah. Garis menghubungkan agen analisis teknis ke bagian berjudul model yang disempurnakan, API pasar. Panah menunjuk dari agen analisis sentimen ke hasil menengah. Sebuah garis menghubungkan agen analisis Sentimen ke bagian yang bertuliskan Model, API sosial, API berita. Panah menunjuk dari agen ESG ke hasil menengah. Baris menghubungkan agen ESG ke bagian yang membaca Model, pengetahuan ESG.

Sistem memproses permintaan analisis stok dengan mengirimkan simbol ticker yang sama ke empat agen khusus yang berjalan secara paralel.

• Agen analisis fundamental mengevaluasi laporan keuangan, tren pendapatan, dan posisi kompetitif untuk menilai nilai intrinsik.

• Agen analisis teknis memeriksa pola harga, indikator volume, dan sinyal momentum untuk mengidentifikasi peluang perdagangan.

• Agen analisis sentimen memproses artikel berita, sebutan media sosial, dan laporan analis untuk mengukur sentimen pasar dan kepercayaan investor.

• Agen lingkungan, sosial, dan tata kelola (ESG) meninjau dampak lingkungan, tanggung jawab sosial, dan laporan praktik tata kelola untuk mengevaluasi risiko dan peluang keberlanjutan.

Hasil independen ini kemudian digabungkan menjadi rekomendasi investasi yang komprehensif, yang memungkinkan manajer portofolio untuk membuat keputusan berdasarkan informasi dengan cepat.

Orkestrasi percakapan grup

Pola orkestrasi obrolan grup memungkinkan beberapa agen menyelesaikan masalah, membuat keputusan, atau memvalidasi pekerjaan dengan berpartisipasi dalam utas percakapan bersama tempat mereka berkolaborasi melalui diskusi. Manajer obrolan mengoordinasikan alur dengan menentukan agen mana yang dapat merespons selanjutnya dan dengan mengelola mode interaksi yang berbeda, mulai dari curah gagasan kolaboratif hingga gerbang kualitas terstruktur.

Gambar memperlihatkan beberapa bagian yang memiliki panah dan garis penghubung. Panah menunjuk dari Input ke Manajer obrolan grup. Sebuah panah dimulai di Model, melewati Pengelola obrolan grup, dan menunjuk ke Pengakumulasian utas obrolan. Bagian di bawah baris ini menunjukkan instruksi grup baru berdasarkan konteks kumulatif. Baris terhubung ke bagian yang berbunyi peserta atau pengamat obrolan manusia. Sebuah panah menunjuk dari pengelola obrolan grup ke Agen 2. Panah dua sisi menghubungkan Agen 1, kotak tanpa label yang memiliki elipsis, dan Agen n. Baris menghubungkan Agen 1, Agen 2, kotak tanpa label, dan Agen n. Garis menghubungkan Agen 1 dengan Model dan pengetahuan. Garis menghubungkan Agen 2 dengan Model dan pengetahuan. Sebuah garis menghubungkan Agen n ke Model dan pengetahuan. Panah menunjuk dari bagian yang bertuliskan output obrolan dari agen ke mengakumulasi utas obrolan. Jalur menghubungkan utasan obrolan yang diakumulasi ke hasil.

Pola ini membahas skenario yang paling baik dicapai melalui diskusi grup untuk mencapai keputusan. Skenario ini mungkin mencakup ideasi kolaboratif, validasi terstruktur, atau proses kontrol kualitas. Pola ini mendukung berbagai mode interaksi, mulai dari curah gagasan yang mengalir bebas hingga alur kerja tinjauan formal yang memiliki peran tetap dan gerbang persetujuan.

Pola ini bekerja dengan baik untuk skenario human-in-the-loop di mana manusia dapat secara opsional mengambil tanggung jawab manajer obrolan dinamis dan memandu percakapan menuju hasil produktif. Dalam pola orkestrasi ini, agen biasanya dalam mode hanya-baca. Mereka tidak menggunakan alat untuk membuat perubahan dalam menjalankan sistem.

Kapan menggunakan pengelolaan obrolan grup

Pertimbangkan orkestrasi obrolan grup ketika skenario Anda dapat diselesaikan melalui kolaborasi spontan atau terpandu, atau perulangan dengan peran pembuat-pengoreksi iteratif. Semua pendekatan ini mendukung pengawasan atau partisipasi manusia real-time. Karena semua agen dan manusia di dalam loop mengeluarkan output menjadi satu alur tunggal yang terakumulasi, pola ini memberikan transparansi dan kemampuan audit.

Skenario kolaboratif

• Sesi curah gagasan kreatif di mana agen yang memiliki perspektif dan sumber pengetahuan yang berbeda membangun kontribusi satu sama lain dalam percakapan

• Proses pengambilan keputusan yang mendapat manfaat dari perdebatan dan pembangunan konensius

• Skenario pengambilan keputusan yang memerlukan penyempurnaan berulang melalui diskusi

• Masalah multidisiplin yang memerlukan dialog lintas fungsi

Skenario validasi dan kontrol kualitas

• Persyaratan jaminan kualitas yang melibatkan proses peninjauan terstruktur dan iterasi

• Kepatuhan dan validasi peraturan yang memerlukan beberapa perspektif ahli

• Alur kerja pembuatan konten yang memerlukan tinjauan editorial dengan pemisahan masalah yang jelas antara pembuatan dan validasi

Waktu untuk menghindari pengaturan obrolan grup

Hindari pola ini dalam skenario berikut:

• Delegasi tugas sederhana atau pemrosesan alur linier sudah cukup.

• Persyaratan pemrosesan real time membuat overhead diskusi tidak dapat diterima.

• Membuat keputusan hierarkis yang jelas atau alur kerja deterministik tanpa diskusi lebih tepat.

• Manajer obrolan tidak memiliki cara objektif untuk menentukan apakah tugas selesai.

Mengelola alur percakapan dan mencegah perulangan tak terbatas membutuhkan perhatian yang cermat, terutama karena lebih banyak agen membuat kontrol lebih sulit untuk dipertahankan. Untuk mempertahankan kontrol yang efektif, pertimbangkan untuk membatasi orkestrasi obrolan grup ke tiga agen atau lebih sedikit.

Proses pengecekan dua-langkah

Perulangan pembuat-pemeriksa adalah jenis orkestrasi obrolan grup tertentu di mana satu agen, pembuat, membuat atau mengusulkan sesuatu. Agen lain, pemeriksa, memberikan kritik atas hasilnya. Pola ini berulang, dengan agen pemeriksa mendorong percakapan kembali ke agen pembuat untuk membuat pembaruan dan mengulangi proses. Meskipun pola obrolan grup tidak mengharuskan agen untuk bergantian mengobrol, proses pembuat-pemeriksa memerlukan urutan berbasis giliran formal yang didukung oleh manajer obrolan.

Contoh orkestrasi chat grup

Sebuah taman kota dan departemen rekreasi menggunakan perangkat lunak yang mencakup orkestrasi obrolan grup untuk mengevaluasi proposal pengembangan taman baru. Perangkat lunak ini membaca proposal draf, dan beberapa agen spesialis memperdebatkan perspektif dampak komunitas yang berbeda dan bekerja menuju konsensus pada proposal. Proses ini terjadi sebelum proposal terbuka untuk tinjauan komunitas untuk membantu mengantisipasi umpan balik yang mungkin diterimanya.

Gambar memperlihatkan beberapa bagian yang memiliki panah dan garis penghubung. Sebuah panah menunjuk dari proposal pengembangan Park ke manajer obrolan grup. Garis dimulai di Model, melalui Pengelola obrolan grup, dan mengarah ke Percakapan terkumpul. Garis menghubungkan karyawan Departemen Taman ke garis ini. Bagian yang membaca Instruksi berdasarkan akumulasi konteks dan wawasan baru ada di bawah bagian ini. Ada sebuah panah yang menunjuk dari Manajer Obrolan Grup ke Agen Perencanaan Lingkungan. Panah dua sisi menghubungkan Agen Keterlibatan Komunitas dan Agen Anggaran dan Operasi Taman. Jalur menghubungkan agen keterlibatan Komunitas ke agen Perencanaan lingkungan dan agen anggaran dan operasi Parks. Baris menghubungkan agen keterlibatan komunitas ke bagian yang berbunyi Model dan pengetahuan kewarganegaraan. Garis menghubungkan agen Perencanaan lingkungan ke bagian yang membaca Model dan pengetahuan lingkungan lokal. Panah menyambungkan bagian yang bertuliskan output Obrolan dari agen sipil ke Mengakumulasi percakapan. Garis menghubungkan Percakapan yang Mengumpul ke konsensus proposal Taman. Garis menghubungkan anggaran Parks dan agen operasi ke bagian yang membaca Model dan pengetahuan kota.

Sistem ini memproses proposal pengembangan taman dengan memulai konsultasi grup dengan agen kota yang berspesialisasi yang terlibat dalam tugas dari beberapa perspektif sipil.

• Agen keterlibatan komunitas mengevaluasi persyaratan aksesibilitas, umpan balik penduduk yang diantisipasi, dan pola penggunaan untuk memastikan akses masyarakat yang merata.

• Agen perencanaan lingkungan menilai dampak ekologis, langkah-langkah keberlanjutan, perpindahan vegetasi asli, dan kepatuhan terhadap peraturan lingkungan.

• Agen anggaran dan operasi menganalisis biaya konstruksi, biaya pemeliharaan yang sedang berlangsung, persyaratan kepegawaian, dan keberlanjutan operasional jangka panjang.

Manajer obrolan memfasilitasi perdebatan terstruktur di mana agen menantang rekomendasi satu sama lain dan membela penalaran mereka. Karyawan departemen taman berpartisipasi dalam utas obrolan untuk menambahkan wawasan dan menanggapi permintaan pengetahuan agen secara real time. Proses ini memungkinkan karyawan memperbarui proposal asli untuk mengatasi kekhawatiran yang diidentifikasi dan mempersiapkan umpan balik komunitas dengan lebih baik.

Orkestrasi pengalihan

Pola orkestrasi alih memungkinkan delegasi tugas dinamis antara agen khusus. Setiap agen dapat menilai tugas yang ada dan memutuskan apakah akan menanganinya secara langsung atau mentransfernya ke agen yang lebih tepat berdasarkan konteks dan persyaratan.

Gambar menunjukkan lima bagian kunci. Bagian Agen 1 mencakup input, bagian model dan pengetahuan umum, dan hasilnya. Bagian Agen 2 mencakup bagian hasil, model, dan pengetahuan. Bagian Agen 3 mencakup bagian model, pengetahuan, dan alat; sebuah hasil; serta bagian tanpa label yang terhubung ke sebuah hasil. Bagian Agen n mencakup bagian model, bagian pengetahuan, dan hasilnya. Bagian Karyawan dukungan pelanggan mencakup hasilnya. Panah-panah melengkung mengalir dari satu agen ke agen lainnya dan menuju karyawan dukungan pelanggan.

Pola ini membahas skenario di mana agen optimal untuk tugas tidak diketahui di muka atau di mana persyaratan tugas menjadi jelas hanya selama pemrosesan. Hal ini memungkinkan perutean cerdas dan memastikan bahwa tugas diberikan kepada agen yang paling mampu. Agen dalam pola ini biasanya tidak berfungsi secara paralel. Transfer kontrol penuh dari satu agen ke agen lain.

Kapan menggunakan orkestrasi handoff

Pertimbangkan pola handoff agen dalam skenario berikut:

• Tugas yang memerlukan pengetahuan atau alat khusus, tetapi di mana jumlah agen yang diperlukan atau pesanannya tidak dapat ditentukan sebelumnya

• Skenario di mana persyaratan keahlian muncul selama pemrosesan, menghasilkan perutean tugas dinamis berdasarkan analisis konten

• Masalah multidomain yang memerlukan spesialis berbeda yang bekerja satu per satu

• Hubungan logis dan sinyal yang dapat Anda tentukan sebelumnya untuk menunjukkan kapan satu agen mencapai batas kemampuannya dan agen mana yang harus menangani tugas berikutnya

Kapan menghindari orkestrasi penyerahan

Hindari pola ini dalam skenario berikut:

• Para agen yang sesuai dan urutan mereka selalu diketahui sebelumnya.

• Perutean tugas sederhana dan berbasis aturan deterministik, bukan berdasarkan jendela konteks dinamis atau interpretasi dinamis.

• Keputusan perutean suboptimal dapat menyebabkan pengalaman pengguna yang buruk atau membuat frustrasi.

• Beberapa operasi harus berjalan bersamaan untuk mengatasi tugas.

• Menghindari perulangan handoff tak terbatas atau terlalu sering berpindah-pindah tugas antar agen merupakan tantangan tersendiri.

Contoh pola handoff agen

Solusi manajemen hubungan pelanggan telekomunikasi (CRM) menggunakan agen handoff di portal web dukungan pelanggannya. Agen awal mulai membantu pelanggan tetapi menemukan bahwa ia membutuhkan keahlian khusus selama percakapan. Agen awal meneruskan tugas ke agen yang paling tepat untuk mengatasi kekhawatiran pelanggan. Hanya satu agen yang memproses input asli pada satu waktu, dan rantai alih tugas menghasilkan satu hasil.

Gambar mencakup lima bagian kunci. Bagian agen dukungan Triage mencakup model dan bagian pengetahuan umum, input, dan hasilnya. Bagian Agen infrastruktur teknis mencakup bagian hasil dan model, pengetahuan infrastruktur, dan alat. Bagian Agen Resolusi Keuangan mencakup model, pengetahuan akun penagihan, akses API penagihan, dan hasilnya. Bagian Agen akses akun mencakup bagian hasil dan model serta bagian pengetahuan pelanggan. Bagian Karyawan dukungan pelanggan mencakup hasilnya. Panah melengkung mengalir dari agen ke agen dan ke karyawan dukungan Pelanggan.

Dalam sistem ini, agen dukungan triase menafsirkan permintaan dan mencoba menangani masalah umum secara langsung. Ketika mencapai batasnya, ia menyerahkan masalah jaringan ke agen infrastruktur teknis, sengketa penagihan ke agen resolusi keuangan, dan sebagainya. Penyerahan lebih lanjut terjadi di antara agen-agen tersebut ketika agen saat ini menyadari batas kemampuannya sendiri dan mengetahui bahwa agen lain dapat mendukung skenario tersebut dengan lebih baik.

Setiap agen mampu menyelesaikan percakapan jika menentukan bahwa keberhasilan pelanggan telah dicapai atau bahwa tidak ada agen lain yang dapat lebih menguntungkan pelanggan. Beberapa agen juga dirancang untuk menyerahkan pengalaman pengguna kepada agen dukungan manusia ketika masalah penting untuk diselesaikan tetapi tidak ada agen AI yang saat ini memiliki kemampuan untuk mengatasinya.

Salah satu contoh handoff disorot pada diagram. Dimulai dengan agen triase yang menyerahkan tugas ke agen infrastruktur teknis. Agen infrastruktur teknis kemudian memutuskan untuk menyerahkan tugas kepada agen resolusi keuangan, yang pada akhirnya mengalihkan tugas ke dukungan pelanggan.

Orkestrasi magnetik

Pola orkestrasi magentik dirancang untuk masalah terbuka dan kompleks yang tidak memiliki rencana pendekatan yang telah ditentukan. Agen dalam pola ini biasanya memiliki alat yang memungkinkan mereka membuat perubahan langsung dalam sistem eksternal. Fokusnya adalah untuk membangun dan mendokumentasikan pendekatan untuk menyelesaikan masalah seperti pada penerapan pendekatan tersebut. Daftar tugas dibangun dan disempurnakan secara dinamis sebagai bagian dari alur kerja melalui kolaborasi antara agen khusus dan agen manajer magentik. Seiring berkembangnya konteks, agen manajer magnetik membangun buku tugas untuk mengembangkan rencana pendekatan dengan tujuan dan subtujuan, yang akhirnya dirampungkan, diikuti, dan dilacak untuk mencapai hasil yang diinginkan.

Gambar menunjukkan bagian agen Manajer. Ini termasuk input dan model. Panah berlabel Panggil agen menunjuk dari agen Manajer ke Agen 2. Sebuah panah berlabel 'Evaluasi lingkaran tujuan' mengarah ke bagian 'Tugas selesai'. Panah berlabel Ya menunjuk ke bagian Hasil, dan panah berlabel Tidak menunjuk kembali ke agen Manajer. Panah menunjuk dari agen Manajer ke bagian Tugas dan buku besar kemajuan. Garis menghubungkan bagian Tugas dan buku besar kemajuan ke bagian Peserta manusia. Garis yang memiliki tiga panah menunjuk ke Agen 1, Agen 2, bagian tanpa label, dan Agen n. Baris menghubungkan Agen 1 ke bagian yang membaca Model dan pengetahuan. Garis menghubungkan Agen 2 ke bagian yang bertuliskan Model, pengetahuan, dan alat. Sebuah garis menghubungkan Agen n dengan Model dan alat. Panah menunjuk dari bagian yang bertuliskan Model, pengetahuan, dan alat ke sistem eksternal dan dari bagian Model dan alat ke sistem eksternal.

Agen manajer berkomunikasi langsung dengan agen khusus untuk mengumpulkan informasi saat membangun dan menyempurnakan ledger tugas. Ini melakukan iterasi, melacak kembali, dan delegasi sebanyak yang diperlukan untuk membangun rencana lengkap yang dapat dilaksanakan dengan sukses. Agen pengelola sering mengevaluasi apakah permintaan asli sepenuhnya terpenuhi atau mengalami kebuntuan. Ini memperbarui ledger untuk menyesuaikan rencana.

Dalam beberapa cara, pola orkestrasi ini adalah ekstensi dari pola obrolan grup . Pola orkestrasi magentik berfokus pada agen yang membangun rencana pendekatan, sementara agen lain menggunakan alat untuk membuat perubahan dalam sistem eksternal alih-alih hanya menggunakan penyimpanan pengetahuan mereka untuk mencapai hasil.

Kapan menggunakan orkestrasi magentik

Pertimbangkan pola magnetik dalam skenario berikut:

• Kasus penggunaan kompleks atau terbuka yang tidak memiliki jalur solusi yang telah ditentukan sebelumnya.

• Persyaratan untuk mempertimbangkan input dan umpan balik dari beberapa agen khusus untuk mengembangkan jalur solusi yang valid.

• Persyaratan bagi sistem AI untuk menghasilkan rencana pendekatan yang sepenuhnya dikembangkan yang dapat ditinjau manusia sebelum atau sesudah implementasi.

• Agen yang dilengkapi dengan alat yang berinteraksi dengan sistem eksternal, menggunakan sumber daya eksternal, atau dapat menginduksi perubahan dalam sistem yang sedang berjalan. Rencana terdokumen yang menunjukkan bagaimana agen tersebut diurutkan dapat disajikan kepada pengguna sebelum mengizinkan agen untuk mengikuti tugas.

Kapan menghindari orkestrasi magnetik

Hindari pola ini dalam skenario berikut:

• Jalur solusi dikembangkan atau harus didekati dengan cara deterministik.

• Tidak ada persyaratan untuk menghasilkan ledger.

• Tugas ini memiliki kompleksitas rendah dan pola yang lebih sederhana dapat menyelesaikannya.

• Pekerjaan ini sensitif terhadap waktu, karena pola berfokus pada membangun dan memperdebatkan rencana yang layak, tidak mengoptimalkan hasil akhir.

• Anda mengantisipasi macet atau perulangan tak terbatas yang tidak memiliki solusi yang jelas.

Contoh orkestrasi magentik

Tim rekayasa keandalan situs (SRE) membangun otomatisasi yang menggunakan orkestrasi magentik untuk menangani skenario respons insiden berisiko rendah. Ketika pemadaman layanan terjadi dalam cakupan otomatisasi, sistem harus membuat dan menerapkan rencana remediasi secara dinamis. Ini dilakukan tanpa mengetahui langkah-langkah spesifik yang diperlukan di muka.

Gambar menunjukkan bagian agen manajer otomatisasi SRE yang menyertakan input dan model. Panah menunjuk dari agen manajer otomatisasi SRE ke bagian Tugas dan buku besar kemajuan. Panah berlabel Memanggil agen pengetahuan dan tindakan menunjuk ke garis yang menunjuk ke agen Infrastruktur, Diagnostik, Memutar Balik, dan Komunikasi. Sebuah panah yang diberi label Evaluasi loop tujuan menunjuk dari agen manajer otomatisasi SRE ke bagian Penyelesaian masalah situs langsung. Panah dengan label 'Ya' menunjuk dari masalah situs langsung yang sudah diselesaikan ke Hasil. Bagian Tugas dan catatan kemajuan mencakup rencana pendekatan resolusi, status tugas resolusi, dan bagian Masalah di situs aktif yang telah diselesaikan. Panah berlabel "No" mengarah dari masalah situs yang aktif ke agen manajer otomatisasi SRE. Baris dimulai di agen Diagnostik, melewati bagian Pengetahuan Model, log, dan metrik, dan menunjuk ke sistem Beban Kerja. Garis dimulai pada agen Infrastruktur, melewati bagian model, pengetahuan grafik, dan alat CLI, lalu bergabung dengan garis yang menunjuk ke sistem Beban Kerja. Baris dimulai di agen Rollback, melewati model, akses Git, bagian alat CLI, dan menunjuk ke sistem Workload. Baris dimulai di agen komunikasi, melewati bagian Model dan Akses API komunikasi, dan menunjuk ke bagian Peserta Manusia.

Ketika otomatisasi mendeteksi insiden yang memenuhi syarat, agen manajer magentic dimulai dengan membuat ledger tugas awal dengan tujuan tingkat tinggi seperti memulihkan ketersediaan layanan dan mengidentifikasi akar penyebabnya. Agen manajer kemudian berkonsultasi dengan agen khusus untuk mengumpulkan informasi dan memperbaiki rencana remediasi.

1. Agen diagnostik menganalisis log sistem, metrik performa, dan pola kesalahan untuk mengidentifikasi potensi penyebabnya. Ini melaporkan temuan kepada agen manajer.

2. Berdasarkan hasil diagnostik, agen manajer memperbarui ledger tugas dengan langkah-langkah investigasi tertentu dan berkonsultasi dengan agen infrastruktur untuk memahami status sistem saat ini dan opsi pemulihan yang tersedia.

3. Agen komunikasi menyediakan kemampuan pemberitahuan pemangku kepentingan, dan agen manajer menggabungkan titik pemeriksaan komunikasi dan gerbang persetujuan ke dalam rencana yang berkembang sesuai dengan prosedur eskalasi tim SRE.

4. Saat skenario menjadi lebih jelas, agen manajer dapat menambahkan agen putar kembali ke rencana jika pembalikan penyebaran diperlukan, atau meningkatkan ke teknisi SRE manusia jika insiden melebihi cakupan otomatisasi.

Sepanjang proses ini, agen manajer terus menyempurnakan ledger tugas berdasarkan informasi baru. Ini menambahkan, menghapus, atau menyusun ulang tugas saat insiden berkembang. Misalnya, jika agen diagnostik menemukan masalah koneksi database, agen manajer mungkin mengalihkan seluruh paket dari strategi pembatalan penyebaran ke rencana yang berfokus pada pemulihan konektivitas database.

Agen manajer memonitor kemacetan yang berlebihan dalam memulihkan layanan dan mencegah siklus remediasi tak terbatas. Ini mempertahankan jejak audit menyeluruh atas perkembangan rencana dan tahapan penerapan, yang memberikan transparansi untuk tinjauan pasca-insiden. Transparansi ini memastikan bahwa tim SRE dapat meningkatkan beban kerja dan otomatisasi berdasarkan pelajaran yang dipelajari.

Pertimbangan implementasi

Ketika Anda menerapkan salah satu pola desain agen ini, beberapa pertimbangan harus ditangani. Meninjau pertimbangan ini membantu Anda menghindari jebakan umum dan memastikan bahwa orkestrasi agen Anda kuat, aman, dan dapat dipertahankan.

Agen tunggal, multitool

Anda dapat mengatasi beberapa masalah dengan satu agen jika Anda memberinya akses yang memadai ke alat dan sumber pengetahuan. Ketika jumlah sumber pengetahuan dan alat meningkat, menjadi sulit untuk memberikan pengalaman agen yang dapat diprediksi. Jika satu agen dapat dengan andal menyelesaikan skenario Anda, pertimbangkan untuk mengadopsi pendekatan tersebut. Overhead pengambilan keputusan dan pengendalian aliran sering melebihi manfaat dari membagi tugas di antara beberapa agen. Namun, batas keamanan, garis pandang jaringan, dan faktor-faktor lain masih dapat membuat pendekatan agen tunggal tidak layak.

Perutean deterministik

Beberapa pola mengharuskan Anda merutekan alur antar agen secara deterministik. Yang lain mengandalkan agen untuk memilih rute mereka sendiri. Jika agen Anda didefinisikan dalam lingkungan tanpa kode atau kode rendah, Anda mungkin tidak mengontrol perilaku tersebut. Jika Anda menentukan agen Anda dalam kode dengan menggunakan SDK seperti Microsoft Agent Framework atau Semantic Kernel, Anda memiliki lebih banyak kontrol.

Jendela kontekstual

Agen AI sering memiliki jendela konteks terbatas. Batasan ini dapat memengaruhi kemampuan mereka untuk memproses tugas yang kompleks. Ketika Anda menerapkan pola-pola ini, putuskan konteks apa yang diperlukan agen berikutnya agar efektif. Dalam beberapa skenario, Anda memerlukan konteks mentah lengkap yang dikumpulkan sejauh ini. Dalam skenario lain, versi ringkasan atau terpotong lebih tepat. Jika agen Anda dapat bekerja tanpa akumulasi konteks dan hanya memerlukan set instruksi baru, ambil pendekatan tersebut alih-alih memberikan konteks yang tidak membantu menyelesaikan tugas agen.

Keandalan

Pola-pola ini memerlukan agen yang berfungsi dengan benar dan transisi yang andal di antara mereka. Mereka sering mengakibatkan masalah sistem terdistribusi klasik seperti kegagalan simpul, partisi jaringan, kehilangan pesan, dan kesalahan berkala. Strategi mitigasi harus diberlakukan untuk mengatasi tantangan ini. Agen dan orkestratornya harus melakukan langkah-langkah berikut.

• Terapkan mekanisme batas waktu dan mekanisme ulang coba.

• Sertakan implementasi degradasi yang anggun untuk menangani satu atau beberapa agen dalam kesalahan pola.

• Menampilkan kesalahan alih-alih menyembunyikannya, sehingga agen berikutnya dan logika orkestrator dapat merespons dengan tepat.

• Pertimbangkan pola pemutus arus untuk dependensi agen.

• Merancang agen agar terisolasi sepraktis mungkin satu sama lain, dengan titik kegagalan tunggal yang tidak dibagikan antar agen. Contohnya:

  • Pastikan isolasi komputasi antar agen.

  • Mengevaluasi bagaimana menggunakan model tunggal sebagai layanan (MaaS) atau penyimpanan pengetahuan bersama dapat mengakibatkan pembatasan kecepatan saat agen berjalan secara bersamaan.

• Gunakan fitur checkpoint yang tersedia di SDK Anda untuk membantu memulihkan dari orkestrasi yang terganggu, seperti akibat gangguan atau penyebaran kode baru.

Keamanan

Menerapkan mekanisme keamanan yang tepat dalam pola desain ini meminimalkan risiko mengekspos sistem AI Anda terhadap serangan atau kebocoran data. Mengamankan komunikasi antara agen dan membatasi akses setiap agen ke data sensitif adalah strategi desain keamanan utama. Pertimbangkan langkah-langkah keamanan berikut:

• Terapkan autentikasi dan gunakan jaringan aman antar agen.

• Pertimbangkan implikasi privasi data dari komunikasi agen.

• Merancang jejak audit untuk memenuhi persyaratan kepatuhan.

• Merancang agen dan pengaturnya untuk mengikuti prinsip hak akses minimal.

• Pertimbangkan cara menangani identitas pengguna melalui berbagai agen. Agen harus memiliki akses luas ke penyimpanan pengetahuan untuk menangani permintaan dari semua pengguna, tetapi mereka tidak boleh mengembalikan data yang tidak dapat diakses oleh pengguna. Pemangkasan keamanan harus diimplementasikan di setiap agen dalam pola.

Pengamatan dan pengujian

Mendistribusikan sistem AI Anda di beberapa agen memerlukan pemantauan dan pengujian setiap agen secara individual, serta sistem secara keseluruhan, untuk memastikan fungsionalitas yang tepat. Saat Anda merancang strategi pengamatan dan pengujian, pertimbangkan rekomendasi berikut:

• Pantau semua operasi agen dan serah terima. Pemecahan masalah sistem terdistribusi adalah tantangan ilmu komputer, dan agen AI yang diorkestrasi tidak terkecuali.

• Lacak metrik performa dan penggunaan sumber daya untuk setiap agen sehingga Anda dapat membuat garis besar, menemukan hambatan, dan mengoptimalkan.

• Merancang antarmuka yang dapat diuji untuk agen individual.

• Menerapkan pengujian integrasi untuk alur kerja multi-agen.

Kesulitan dan antipola umum

Hindari kesalahan umum ini saat Anda menerapkan pola orkestrasi agen:

• Membuat kompleksitas koordinasi yang tidak perlu dengan menggunakan pola kompleks ketika orkestrasi berurutan atau bersamaan sederhana sudah cukup.

• Menambahkan agen yang tidak memberikan spesialisasi yang bermakna.

• Mengabaikan dampak latensi pada komunikasi multi-hop.

• Berbagi status yang dapat diubah antara agen bersamaan, yang dapat mengakibatkan data yang tidak konsisten secara transaksional karena mengasumsikan pembaruan sinkron di seluruh batas agen.

• Menggunakan pola deterministik untuk alur kerja yang secara inheren tidak deterministik.

• Menggunakan pola nondeterministik untuk alur kerja yang secara inheren deterministik.

• Mengabaikan batasan sumber daya saat Anda memilih orkestrasi bersamaan.

• Mengonsumsi sumber daya model yang berlebihan karena jendela konteks tumbuh saat agen mengumpulkan lebih banyak informasi dan berkonsultasi dengan model mereka untuk membuat kemajuan pada tugas mereka.

Menggabungkan pola orkestrasi

Aplikasi terkadang mengharuskan Anda menggabungkan beberapa pola orkestrasi untuk memenuhi persyaratannya. Misalnya, Anda dapat menggunakan orkestrasi berurutan untuk tahap pemrosesan data awal lalu beralih ke orkestrasi bersamaan untuk tugas analisis yang dapat diparalelkan. Jangan mencoba membuat satu alur kerja sesuai dengan satu pola ketika berbagai tahap beban kerja Anda memiliki karakteristik yang berbeda dan dapat memperoleh manfaat dari setiap tahap menggunakan pola yang berbeda.

Hubungan dengan pola desain cloud

Pola orkestrasi agen AI memperluas dan melengkapi pola desain cloud tradisional dengan mengatasi tantangan unik mengoordinasikan komponen cerdas dan otonom. Pola desain cloud berfokus pada masalah struktural dan perilaku dalam sistem terdistribusi, tetapi pola orkestrasi agen AI secara khusus mengatasi koordinasi komponen dengan kemampuan penalaran, perilaku pembelajaran, dan output nondeterministik.

Implementasi berbasis SDK

Banyak dari pola-pola ini mengandalkan implementasi berbasis kode untuk mengatasi logika orkestrasi. SDK yang mendukung kerangka kerja agen sering memberikan dukungan untuk banyak pola orkestrasi agen.

Microsoft Agent Framework

Microsoft Agent Framework SDK memiliki panduan implementasi untuk orkestrasi Kerangka Kerja Agen.

• Orkestrasi berurutan menggunakan Kerangka Kerja Agen
• Orkestrasi bersamaan menggunakan Kerangka Kerja Agen
• Orkestrasi handoff menggunakan Kerangka Kerja Agen
• Orkestrasi magentik menggunakan Kerangka Kerja Agen

Untuk implementasi langsung, jelajahi sampel alur kerja deklaratif Kerangka Kerja Agen di GitHub yang menunjukkan beberapa pola ini dalam praktiknya.

Kernel Semantik

Semantic Kernel SDK memiliki panduan implementasi untuk kerangka kerja agennya.

• Orkestrasi berurutan menggunakan Kernel Semantik
• Orkestrasi bersamaan menggunakan Kernel Semantik
• Orkestrasi Obrolan Grup menggunakan Kernel Semantik
• Orkestrasi pengalihan tugas menggunakan Kernel Semantik
• Orkestrasi magentik menggunakan Kernel Semantik

Untuk implementasi langsung, jelajahi sampel orkestrasi multi-agen Kernel Semantik di GitHub yang menunjukkan pola-pola ini dalam praktiknya.

Anda juga dapat menemukan banyak pola ini di AutoGen, seperti Magentic-One.

Implementasi dalam Microsoft Foundry Agent Service

Anda juga dapat menggunakan Layanan Agen Microsoft Foundry untuk menautkan agen dalam alur kerja yang relatif sederhana dengan menggunakan fungsionalitas agen yang terhubung . Alur kerja yang Anda terapkan dengan menggunakan layanan ini terutama nondeterministik, yang membatasi pola mana yang dapat sepenuhnya diterapkan di lingkungan tanpa kode ini.

Kontributor

Microsoft mempertahankan artikel ini. Kontributor berikut menulis artikel ini.

Penulis utama:

• Chad Kittel | Insinyur Perangkat Lunak Utama - Pola & Praktik Azure
• Clayton Siemens | Pengembang Konten Utama - Pola & Praktik Azure

Kontributor lain:

• Hemavathy Alaganandam | Insinyur Perangkat Lunak Utama
• James Lee | Ilmuwan Data 2
• Ritesh Modi | Insinyur Perangkat Lunak Utama
• Mahdi Setayesh | Insinyur Perangkat Lunak Utama
• Mark Taylor | Insinyur Perangkat Lunak Utama
• Yaniv Vaknin | Spesialis Teknis Senior

Untuk melihat profil LinkedIn nonpublik, masuk ke LinkedIn.

Langkah selanjutnya

Menerapkan orkestrasi agen dengan Kernel Semantik