Hubungan kepercayaan dan pola sesi bersama dasar

Bekerja dengan Discovery Engine adalah kolaborasi. Anda mengatur arah dan menentukan seperti apa kesuksesannya. Kognisi melakukan pelaksanaan. Kualitas kolaborasi ini tergantung pada seberapa jelas Anda mengekspresikan harapan Anda dan berapa banyak struktur yang Anda berikan.

Artikel ini membahas bagaimana persyaratan validasi membentuk perilaku kognisi, cara mengkalibrasi tingkat detail dalam tugas Anda, dan pola sesi bersama dasar untuk memulai.

Peran persyaratan validasi

Persyaratan validasi adalah tuas terpenting tunggal yang Anda miliki untuk membimbing perilaku kognisi. Mereka memberi tahu kognisi cara menilai apakah hasil tugas cukup baik. Tanpa mereka, kognisi tidak memiliki standar objektif. Dengan persyaratan tertulis yang baik, kognisi dapat mengevaluasi kualitas, menolak hasil yang tidak mencukupi, dan mencoba kembali sampai pekerjaan memenuhi kriteria Anda.

Apa yang terjadi ketika persyaratan validasi terlalu longgar

Jika persyaratan validasi Anda tidak jelas atau tidak ada, kognisi cenderung menerima hasil pertama yang dihasilkan agen. Tugas berpindah ke Selesai dengan cepat, tetapi hasilnya mungkin tidak memenuhi harapan Anda yang sebenarnya.

Contoh persyaratan longgar:

"Berikan jawaban yang baik."

Cognition tidak memiliki cara untuk mengevaluasi apa arti "baik" dalam konteks Anda. Respons agen melewati validasi karena tidak ada patokan konkret untuk dinyatakan gagal. Anda akhirnya meninjau hasil secara manual untuk menentukan kualitas, yang mengalahkan tujuan eksekusi otonom.

Apa yang terjadi ketika persyaratan validasi terlalu ketat

Jika persyaratan validasi Anda terlalu spesifik atau memerlukan presisi yang tidak dapat diandalkan oleh agen, sistem akan mencoba ulang tugas tersebut berulang kali. Setiap upaya menghasilkan hasil yang tidak memenuhi standar, yang menyebabkan beberapa siklus eksekusi. Akhirnya, kognisi menandai tugas sebagai Perlu Perhatian Pengguna karena tidak dapat menghasilkan hasil yang memenuhi semua persyaratan.

Contoh persyaratan yang terlalu ketat:

"Hasil harus mencakup nilai afinitas pengikatan yang akurat hingga 0,01 kcal/mol dengan referensi validasi eksperimental untuk setiap prediksi."

Jika alat atau model yang tersedia tidak dapat menghasilkan tingkat presisi tersebut, setiap upaya gagal validasi. Kognisi terus mencoba pendekatan yang berbeda, memakan waktu, dan menghitung sumber daya tanpa kemajuan.

Menemukan keseimbangan yang tepat

Persyaratan validasi yang efektif cukup spesifik untuk membedakan pekerjaan yang baik dari buruk, tetapi cukup fleksibel sehingga agen yang mampu dapat memenuhinya.

Panduan untuk menulis persyaratan validasi:

  • Menyatakan apa yang harus dikandung hasilnya, bukan bagaimana agen harus menghasilkannya. "Hasil termasuk prediksi kelarutan untuk kelima molekul kandidat" lebih baik daripada "Gunakan alat Graphormer untuk memprediksi kelarutan."
  • Fokus pada kriteria yang dapat diverifikasi. "Analisis mencakup setidaknya tiga properti molekul" dapat diverifikasi. "Analisis yang menyeluruh" bukan.
  • Cocokkan presisi dengan apa yang dapat dicapai. Jika Anda menggunakan model prediktif, tidak memerlukan akurasi tingkat eksperimental dalam kriteria validasi.
  • Gunakan beberapa persyaratan untuk tugas yang kompleks. Pecahkan kriteria kualitas menjadi persyaratan terpisah sehingga kognisi dapat melaporkan mana yang lulus dan mana yang gagal. Ini membantu Anda memahami apa yang berfungsi dan apa yang perlu penyesuaian.
  • Iterasi berdasarkan hasil. Setelah meninjau tugas yang telah selesai, persingkat persyaratan validasi untuk tugas serupa di masa mendatang. Pemahaman Anda tentang apa yang "cukup baik" berarti berkembang saat sesi bersama berlangsung.

Contoh: Persyaratan validasi yang dikalibrasi dengan baik

Tugas: "Memprediksi kelarutan dan potensial reduksi untuk tiga molekul kandidat menggunakan Graphormer"

Persyaratan validasi:

  1. "Hasilnya mencakup prediksi untuk ketiga molekul kandidat."
  2. "Setiap prediksi mencakup nilai potensi kelarutan (logS) dan pengurangan."
  3. "Hasil disajikan dalam format terstruktur dengan pengidentifikasi molekul."

Persyaratan ini spesifik (ketiga molekul, kedua properti, format terstruktur) tetapi dapat dicapai (tidak menuntut ambang akurasi tertentu yang mungkin tidak didukung model).

Tingkat struktur

Seberapa banyak struktur yang Anda terapkan pada tugas Anda menentukan seberapa besar peran kognisi untuk memahaminya sendiri. Anggap ini sebagai spektrum dari otonomi tinggi (Anda memberikan tujuan luas, kognisi menangani semuanya) hingga struktur tinggi (Anda menentukan setiap langkah, kognisi dijalankan dan memvalidasi).

Tidak ada pengaturan eksplisit untuk memilih tingkat kepercayaan atau mode otonomi. Anda mengekspresikan pilihan Anda melalui cara Anda menyiapkan sesi bersama Anda. Jika Anda membuat tugas yang bersifat umum, proses kognitif bertanggung jawab atas perencanaan dan dekomposisi. Jika Anda membuat beberapa tugas dan dependensi, kognisi mengikuti struktur Anda. Anda juga dapat memulai dengan pendekatan yang terstruktur dan melonggarkan kontrol ketika Anda mendapatkan kepercayaan diri, atau mengencangkan kontrol jika pemahaman tidak berjalan ke arah yang diharapkan.

Tujuan luas dengan struktur minimal

Anda menyediakan satu tugas tingkat tinggi dengan persyaratan validasi umum. Kognisi menguraikannya menjadi subtugas, memilih agen, dan mengelola seluruh sesi bersama.

Kapan menggunakan pendekatan ini:

  • Anda sedang menjelajahi area masalah baru dan belum mengetahui langkah-langkah yang tepat
  • Anda ingin melihat pendekatan apa yang ditemukan kognisi
  • Masalahnya cukup luas sehingga ada beberapa jalur yang valid

Apa yang diharapkan:

  • Cognition membuat subtugas yang tidak Anda tentukan secara eksplisit
  • Dekomposisi mungkin tidak cocok dengan bagaimana Anda akan menyusun pekerjaan.
  • Hasil dari tugas awal menunjukkan apa yang coba dilakukan oleh kognisi selanjutnya.
  • Tinjau secara berkala dan alihkan jika kognisi berjalan ke arah yang tidak membantu

Example:

Tugas: "Selidiki mekanisme pengikatan senyawa X dengan protein target Y dan identifikasi modifikasi struktural yang dapat meningkatkan afinitas pengikatan."

Validasi: "Analisis mengidentifikasi setidaknya 3 interaksi utama dalam mekanisme pengikatan" dan "Setidaknya 2 modifikasi struktural diusulkan dengan alasan"

Tugas terstruktur dengan dependensi

Anda membuat hierarki tugas sendiri: tugas induk untuk fase utama, tugas anak untuk langkah-langkah tertentu, dependensi untuk mengontrol urutan eksekusi, dan persyaratan validasi terperinci untuk setiap tugas.

Kapan menggunakan pendekatan ini:

  • Anda mengetahui langkah-langkah yang diperlukan dan ingin memastikan langkah-langkah tersebut diikuti
  • Sesi bersama memiliki fase yang jelas yang bergantung satu sama lain
  • Anda ingin menetapkan agen tertentu ke tugas tertentu
  • Kualitas pada setiap langkah penting dan Anda ingin titik pemeriksaan validasi di seluruh

Apa yang diharapkan:

  • Kognisi mengikuti struktur yang Anda tentukan
  • Tugas dijalankan dalam urutan yang Anda tentukan melalui dependensi
  • Validasi terjadi di setiap langkah, bukan hanya di akhir
  • Kognisi masih menangani eksekusi agen, pemulihan kesalahan, dan percobaan ulang dalam struktur yang Anda tetapkan
  • Jika tugas gagal validasi, kognisi mencobanya kembali sebelum pindah ke tugas dependen

Example:

Parent: "Characterize target molecule and identify improved analogs"
  Task 1: "Retrieve molecular structure from PubChem" (no dependencies)
  Task 2: "Compute molecular properties using RDKit" (depends on Task 1)
  Task 3: "Predict solubility using Graphormer" (depends on Task 1)
  Task 4: "Rank candidates by combined criteria" (depends on Tasks 2 and 3)

Setiap tugas memiliki persyaratan validasinya sendiri. Tugas 2 dan 3 berjalan secara paralel setelah Tugas 1 selesai. Tugas 4 menunggu keduanya.

Pendekatan hibrid

Dalam praktiknya, sebagian besar sesi bersama menggunakan kombinasi. Anda dapat menyusun fase utama sendiri tetapi membiarkan kognisi menguraikan fase tertentu ke dalam subtugas. Atau Anda mungkin bisa mulai dengan pendekatan yang luas, meninjau proses kognitif dari subtugas yang dibuat, dan menambahkan struktur jika diperlukan.

Pendekatan ini seringkali paling efektif. Anda membawa pengetahuan domain tentang struktur keseluruhan yang tepat, dan kognisi menangani eksekusi taktis dalam setiap fase.

Memulai: sesi bersama pertama Anda

Jika Anda menggunakan Discovery Engine untuk pertama kalinya, mulailah dengan sesi bersama yang sederhana dan terstruktur untuk membangun pemahaman tentang cara kerja kognisi sebelum beralih ke tujuan yang lebih luas.

Langkah 1: Buat sesi bersama kecil

Mulailah dengan tujuan terfokus yang memiliki 2-4 langkah yang jelas. Pendekatan ini memungkinkan Anda melihat siklus hidup tugas penuh (Baru, Mengeksekusi, Memvalidasi, Menyelesaikan) tanpa jam tunggu untuk hasil.

Langkah 2: Menulis persyaratan validasi tertentu

Untuk sesi bersama pertama Anda, lebih baik memilih hal yang spesifik daripada yang umum. Anda ingin melihat hasil evaluasi kognisi terhadap kriteria Anda sehingga Anda memahami cara kerja validasi.

Langkah 3: Mulai Mesin Penemuan dan amati

Tonton bagaimana kognisi memilih agen, urutan tugas, dan menangani validasi. Jangan campur tangan kecuali ada sesuatu yang jelas salah. Pendekatan ini membantu Anda mengembangkan intuisi tentang seberapa banyak panduan yang dibutuhkan oleh kognisi.

Langkah 4: Tinjau dan sesuaikan

Setelah sesi bersama selesai, tinjau:

  • Apakah kognisi mengikuti struktur tugas yang Anda tetapkan?
  • Apakah persyaratan validasi efektif, atau apakah mereka menyebabkan percobaan ulang yang tidak perlu?
  • Apakah agen yang tepat ditetapkan untuk setiap tugas?

Gunakan apa yang Anda pelajari untuk mengkalibrasi sesi bersama berikutnya.

Menyesuaikan kepercayaan dari waktu ke waktu

Saat Anda mendapatkan pengalaman dengan Discovery Engine, Anda mengembangkan rasa untuk memahami seberapa banyak struktur yang dibutuhkan oleh berbagai jenis pekerjaan. Beberapa pola yang perlu diingat:

  • Sesi bersama yang dipahami dengan baik dengan langkah-langkah yang sudah diketahui akan lebih efektif dengan struktur yang lebih jelas. Kau tahu jalannya, jadi tentukan itu. Biarkan kognisi menangani eksekusi dan validasi.
  • Penelitian eksplorasi dengan tujuan terbuka mendapat manfaat dari struktur yang lebih sedikit. Berikan kognisi ruang untuk menjelajah dan melakukan pemeriksaan secara berkala.
  • Sesi bersama campuran, yang beberapa fasenya sudah dipahami dengan baik dan fasenya yang lain masih bersifat eksploratif, mendapat manfaat dari pendekatan hibrida. Menyusun apa yang Anda ketahui, mendelegasikan apa yang tidak Anda ketahui.
  • Persyaratan validasi harus lebih tepat saat Anda mempelajari apa yang dapat diberikan agen dan alat. Mulai secara umum, persempit berdasarkan hasil.

Konten terkait

  • Terakhir diperbarui pada