Mengevaluasi agen (pratinjau)

[Artikel ini adalah dokumentasi prarilis dan dapat berubah.]

Tab Evaluasi dalam pengalaman agen baru menyediakan pengujian yang terstruktur dan dapat diulang untuk agen Anda. Gunakan evaluasi untuk mengukur kualitas agen di berbagai kasus uji, melacak perbaikan dari waktu ke waktu, dan memvalidasi perilaku agen Anda sebelum Anda mempublikasikannya.

Important

Apa itu evaluasi agen?

Evaluasi agen memungkinkan Anda secara sistematis menguji respons agen Anda terhadap standar kualitas. Alih-alih menguji setiap skenario secara manual di tab Pratinjau , buat evaluasi dengan percakapan pengujian, definisikan cara mengukur respons, dan jalankan evaluasi untuk mendapatkan hasil kuantitatif.

Evaluasi membantu Anda menjawab pertanyaan seperti ini:

  • Apakah agen menjawab dengan benar di berbagai skenario yang diharapkan?
  • Apakah perubahan konfigurasi meningkatkan atau menurunkan kualitas respons?
  • Apakah agen memanggil alat saat seharusnya?

Konsep Utama

Konsep utama yang perlu diperhatikan saat menjalankan evaluasi di Copilot Studio:

Percakapan

Percakapan adalah kasus pengujian yang mewakili skenario yang Anda inginkan untuk ditangani oleh agen Anda. Setiap percakapan berisi pesan pengguna dan, jika diperlukan, respons agen yang diharapkan. Susun percakapan dalam evaluasi. Buat percakapan secara manual, hasilkan dengan AI, atau unggah dari file CSV.

Evaluations

Evaluasi adalah kumpulan pengujian bernama yang menggabungkan percakapan dengan metode pengujian. Anda membuat evaluasi dari tab Evaluasi, menambahkan percakapan ke dalamnya, lalu menjalankannya untuk memberikan hasil yang diberi skor.

Metode pengujian

Metode pengujian menentukan bagaimana respons dari agen dinilai. Saat ini, satu-satunya metode pengujian yang tersedia adalah Kualitas Umum, sebuah penilaian berbasis AI untuk memastikan apakah respons memenuhi standar kualitas, seperti relevansi dan kelengkapan.

Note

Metode pengujian Kualitas umum tidak membandingkan respons dengan jawaban yang diharapkan.

Profil pengguna

Evaluasi dijalankan menggunakan profil pengguna. Kelola profil terautentikasi mana yang menjalankan evaluasi sehingga alat dan koneksi agen dapat diuji sepenuhnya.

Alur kerja evaluasi

Ikuti langkah-langkah berikut untuk mengevaluasi agen:

  1. Buat evaluasi: Pada tab Evaluasi, mulai evaluasi baru. Pelajari lebih lanjut di Buat set uji untuk agen.
  2. Tambahkan percakapan: Tambahkan percakapan pengujian dengan menulisnya secara manual, menghasilkannya dengan AI, atau mengunggah file CSV.
  3. Konfigurasikan: Beri nama evaluasi, pilih metode pengujian, pilih versi agen, dan atur profil pengguna.
  4. Jalankan evaluasi: Pilih Evaluasi untuk menjalankan tes dan tunggu hasilnya. Pelajari lebih lanjut di Jalankan evaluasi untuk agen.
  5. Tinjau hasil: Analisis skor dan identifikasi area yang perlu ditingkatkan. Pelajari lebih lanjut di Lihat hasil evaluasi untuk agen.
  6. Iterasi: Sesuaikan instruksi, pengetahuan, atau alat agen Anda, lalu jalankan evaluasi lagi untuk mengukur dampaknya.
  • Last updated on