Bagikan melalui

Meningkatkan pengujian agen dengan Copilot Studio Kit

Power CAT Copilot Studio Kit adalah aplikasi ramah pengguna yang memungkinkan Anda memverifikasi respons agen. Ini juga mencakup kemampuan asli seperti ekspor dan impor Excel untuk pembuatan dan pembaruan massal.

Mengonfigurasi, menjalankan, dan menganalisis

Konfigurasikan dan jalankan pengujian terhadap API Copilot Studio (Direct Line API) untuk mengevaluasi respons agen terhadap hasil yang diharapkan.

Untuk memperkaya hasil, ambil poin data tambahan dari Azure Application Insights dan Dataverse dengan menganalisis rekaman transkrip percakapan (seperti nama topik yang dipicu dan skor pengenalan niat yang tepat).

Untuk jawaban yang dihasilkan AI, yang sifatnya nondeterministik, gunakan perintah untuk membandingkan jawaban yang dihasilkan dengan contoh jawaban atau instruksi validasi.

Diagram yang memperlihatkan komponen Azure dan Power Platform yang terlibat dalam pengujian dan analisis API Copilot Studio Direct Line, termasuk Azure Application Insights, AI Builder, dan Dataverse.

Jenis pengujian

Alat ini mendukung jenis pengujian ini:

  • Kecocokan respons
  • Lampiran-lampiran seperti kartu adaptif
  • Kecocokan topik (memerlukan Dataverse)
  • Jawaban generatif (memerlukan AI Builder untuk analisis respons dan Application Insights untuk detail mengapa jawaban tidak dihasilkan)
  • Jenis pengujian multi-giliran adalah jenis pengujian khusus. Ini terdiri dari serangkaian kasus pengujian jenis reguler yang berjalan dalam urutan tertentu dalam konteks percakapan yang sama. Gunakan pengujian multi-tahap untuk menguji skenario secara menyeluruh, dan untuk menguji agen kustom dengan pengaturan generatif.
  • Validasi rencana memungkinkan pengembang memvalidasi bahwa agen kustom mereka yang menggunakan orkestrasi generatif menyertakan alat yang sesuai harapan. Alih-alih mengevaluasi apa yang dikatakan agen, jenis pengujian ini memeriksa bahwa rencana dinamis dari agen mencakup perangkat yang diharapkan (alat, tindakan, dan agen yang terhubung) hingga ke ambang batas yang telah ditentukan sebelumnya.

Pelajari selengkapnya tentang jenis pengujian di Mengonfigurasi pengujian di Copilot Studio Kit.

Cuplikan layar detail hasil uji coba, termasuk grafik yang menunjukkan tingkat keberhasilan dan latensi untuk semua eksekusi pengujian.

Langkah selanjutnya

Mengonfigurasi agen untuk otomatisasi pengujian

  • Last updated on