Jalankan evaluasi dan lihat hasil

Note

Artikel ini menjelaskan fitur yang digunakan pada agen atau alur agen yang didukung oleh harness standar.

Jalankan evaluasi dan analisis hasilnya untuk mengoptimalkan perilaku agen Anda dan memvalidasi bahwa agen Anda memenuhi persyaratan bisnis dan kualitas Anda. Anda juga dapat menjalankan test set beberapa kali untuk melihat perubahan seiring waktu saat Anda meningkatkan agen.

Artikel ini menjelaskan cara memulai evaluasi dan melihat hasil menggunakan antarmuka Copilot Studio. Anda juga dapat menjalankan evaluasi menggunakan Power Platform API atau connectors ditambahkan sebagai alat atau sebagai bagian dari alur otomatisasi di Copilot Studio atau Power Automate.

Hasil pengujian tersedia di Copilot Studio selama 89 hari. Untuk menyimpan hasil pengujian untuk jangka waktu yang lebih lama, ekspor hasilnya ke file CSV.

Menjalankan pengujian dengan data uji

Setelah Anda membuat set pengujian, jalankan pengujian dengan menggunakan set tersebut. Atau, jalankan ulang pengujian dengan menggunakan set yang sama untuk membandingkan hasil dari waktu ke waktu dan iterasi. Tes dapat memakan waktu hingga beberapa menit untuk dijalankan. Anda hanya dapat menjalankan satu pengujian dalam satu waktu.

Important

Evaluasi agen yang menggunakan autentikasi pengguna memerlukan akses melalui konektor Microsoft Copilot Studio. Jika admin menonaktifkan koneksi ini, Anda tidak dapat menjalankan pengujian dengan menggunakan alat evaluasi. Untuk informasi selengkapnya, lihat konektor dan grup data Copilot Studio.

1. Pergi ke halaman Evaluasi agen Anda.

   

2. Jalankan pengujian dengan melakukan salah satu tindakan berikut:

   • Di akhir pembuatan atau pengeditan test set, pilih Evaluasi.
   • Di bagian Hasil terbaru , jalankan ulang pengujian dengan melakukan salah satu langkah berikut:
     • Arahkan mouse ke atas hasil pengujian yang ingin Anda evaluasi lalu pilih ▶ Evaluasi (Evaluasi sekumpulan tes lagi) di samping Evaluasi Agen.
     • Pilih hasil pengujian untuk membukanya, lalu pilih ikon Jalankan ▶ di panel Ringkasan evaluasi .

   Jika profil pengguna untuk set pengujian memiliki koneksi yang rusak, atau set pengujian tidak memiliki profil pengguna, dialog Kelola profil dan koneksi akan muncul. Anda tidak perlu menggunakan profil pengguna untuk pengujian. Namun, jika Anda menggunakan profil pengguna, semua koneksi harus berfungsi dengan baik. Pelajari lebih lanjut di Kelola profil pengguna dan koneksi.

   Important

   Saat Anda memilih profil pengguna, Anda dapat meninjau dan mengautentikasi konektor apa pun yang digunakan agen Anda. Jika Anda memilih akun selain yang Anda gunakan untuk masuk ke Copilot Studio, seperti akun uji coba, Copilot Studio mengautentikasi profil pengguna tersebut dan mengambil koneksi pengguna yang sudah ada. Anda dapat mengonfigurasi, meninjau, dan menyimpan koneksi ini sebelum menjalankan evaluasi. Pelajari lebih lanjut di Kelola profil pengguna dan koneksi.

Evaluasi membutuhkan waktu beberapa menit untuk dijalankan. Hasil pengujian diproses secara real time, baris demi baris. Anda melihat hasil setiap kasus pengujian evaluasi muncul secara berurutan saat dihasilkan. Pemrosesan langsung kasus pengujian memberi Anda visibilitas langsung ke dalam tren kualitas dan potensi kegagalan saat evaluasi sedang berjalan. Anda dapat menghentikan proses berjalan kapan saja jika masalah muncul. Pemberitahuan muncul di Copilot Studio saat evaluasi lengkap selesai dan hasil ringkasan siap ditampilkan.

Note

Anda hanya dapat menjalankan satu set pengujian evaluasi pada satu waktu. Tunggu hingga evaluasi saat ini selesai sebelum menjalankan evaluasi lain.

Selami hasil pengujian

Setiap kali Anda menjalankan evaluasi dengan set pengujian, Copilot Studio:

1. Menggunakan akun pengguna yang terhubung untuk mensimulasikan percakapan dengan agen, mengirim setiap pertanyaan dalam kasus pengujian ke agen.

2. Kumpulkan respons agen.

3. Mengukur dan menganalisis keberhasilan setiap respons. Setiap kasus pengujian menerima Lulus, Gagal, Tidak Valid, atauKesalahan berdasarkan kriteria kasus pengujian.

4. Menetapkan skor Tingkat pass berdasarkan tingkat Lulus/Gagal dari set pengujian.

Anda dapat melihat Rasio kelulusan setiap set pengujian yang dijalankan di halaman Evaluasi agen, di bawah Hasil terbaru. Pilih Lihat semua untuk melihat eksekusi test set lainnya.

Melihat dan menilai analisis terperinci untuk studi kasus

Saat membuka hasil pengujian, Anda melihat detail eksekusi pengujian, daftar kueri yang digunakan dalam pengujian, bagaimana agen merespons, dan skor Lulus atau Gagal .

Pilih kasus pengujian dalam daftar untuk melihat penilaian terperinci dari setiap respons. Pilih Semua, Lulus, atau Gagal untuk memfilter kasus berdasarkan hasil.

Penilaian mencakup respons yang diharapkan dan aktual, alasan di balik hasil tes, dan pengetahuan, topik, dan alat yang digunakan agen untuk merespons.

1. Hasil evaluasi. Contoh ini menunjukkan detail hasil evaluasi kualitas.

2. Pilih Tampilkan peta aktivitas untuk melihat urutan input, keputusan, dan output agen Anda dalam kasus pengujian. Pelajari selengkapnya di Menampilkan aktivitas sesi.

3. Transkrip pertanyaan tes dan tanggapan agen.

4. Sumber daya yang digunakan agen dalam pengujian. Pilih salah satu untuk membukanya.

Anda dapat memberikan umpan balik kepada Microsoft tentang seberapa baik evaluasi dilakukan untuk setiap kasus pengujian. Umpan balik ini secara khusus tentang seberapa efektif metode evaluasi yang dipilih menilai respons, bukan apakah respons itu sendiri benar. Umpan balik Anda membantu meningkatkan kualitas dan akurasi evaluasi dari waktu ke waktu.

Untuk menilai evaluasi, pilih jempol atau jempol ke bawah di panel Detail kasus pengujian. Saat formulir umpan balik terbuka, berikan detail selengkapnya tentang rating Anda, lalu pilih Kirim.

Set pengujian evaluasi dapat dijalankan beberapa kali oleh beberapa "pembuat" dari agen yang sama. Pembuat dapat menjalankan evaluasi menggunakan set pengujian yang dibuat oleh pembuat lain. Pembuat dapat melihat status eksekusi dan metrik hasil dari setiap uji coba, tetapi hanya pembuat yang memulai uji coba yang dapat melihat respons agen dan penjelasan hasil.

Waktu respons tinjauan

Copilot Studio secara otomatis mengukur waktu respons untuk setiap interaksi selama evaluasi. Interaksi adalah permintaan pengguna tunggal dan respons agen yang sesuai. Waktu respons adalah waktu dari ujung ke ujung, dalam detik, dari saat agen menerima permintaan hingga mengembalikan respons. Ini mencakup semua penalaran, pemanggilan alat, pemanggilan konektor, kueri, atau langkah alur kerja yang dilakukan agen sebelum memberikan respons.

Untuk melihat waktu respons, pilih pertanyaan kasus uji di jendela Hasil . Nilai waktu respons muncul dalam detik di panel respons agen, setelah respons.

Untuk satu kasus uji respons, pertanyaan kasus uji dan respons agen membentuk satu interaksi. Kasus uji percakapan dapat memiliki beberapa interaksi, dan Copilot Studio mengukur masing-masing secara terpisah.

Gunakan waktu respons untuk mengidentifikasi interaksi yang lebih lambat dan membandingkan performa setelah Anda mengganti agen. Waktu respons hanyalah ukuran. Aplikasi ini tidak memberikan hasil Lulus atau Gagal atau memengaruhi tingkat kelulusan set tes.

Membandingkan hasil pengujian

Anda ingin menguji satu versi agen Anda dan melihat perubahan performa sebelum dan sesudah Anda membuat perubahan. Anda dapat membandingkan dua eksekusi dari set pengujian yang sama dengan menggunakan alat Perbandingan dengan .

Untuk melihat perbandingan, Anda perlu menjalankan set pengujian yang sama setidaknya dua kali.

1. Di halaman Evaluasi agen Anda, di bawah Hasil pengujian terbaru, buka uji coba yang ingin Anda gunakan sebagai dasar untuk perbandingan.

2. Pilih dropdown Bandingkan dengan , lalu pilih waktu dan tanggal uji coba yang ingin Anda bandingkan dengan hasil pengujian yang saat ini terbuka.

Dalam daftar Kasus pengujian, panah menunjukkan hasil kasus pengujian yang ditingkatkan dengan mengubah dari gagal menjadi lulus , atau ditolak dengan mengubah dari lulus menjadi gagal .

Pilih kasus pengujian untuk melihat detail selengkapnya. Di panel Ringkasan evaluasi , Anda dapat melihat perbandingan langsung skor pengujian, dengan hasil pengujian saat ini di atas.

Mengekspor hasil pengujian

Anda dapat mengekspor hasil pengujian ke file CSV. File mencantumkan pertanyaan, respons yang diharapkan (jika ada), metode pengujian, skor kelulusan (jika ada), respons agen, hasil pengujian, dan analisis untuk setiap kasus pengujian.

1. Pergi ke halaman Evaluasi agen Anda.
2. Di bagian Hasil terbaru , ekspor hasil pengujian dengan melakukan salah satu langkah berikut:
   • Arahkan kursor ke kasus pengujian yang ingin Anda ekspor, pilih tiga titik (...) lalu pilih Ekspor hasil pengujian.
   • Pilih kasus pengujian untuk membukanya, pilih tiga titik (...) di panel Ringkasan evaluasi , lalu pilih Ekspor hasil pengujian.

Hasil pengujian diunduh sebagai nama set pengujian Anda.csv.

Bagikan evaluasi menggunakan peran agent viewer

Jika Anda adalah pemilik agen dan ingin memberikan akses hanya ke halaman Evaluasi agen Anda, bagikan agen tersebut dan aktifkan peran berbagi penampil agen. Pengguna dengan peran ini dapat mengelola evaluasi untuk agen tertentu tanpa akses langsung ke agen tersebut.

Note

Peran penampil agen tidak memberikan hak istimewa di seluruh lingkungan atau penyewa.

Pengguna yang ditetapkan peran penampil agen untuk evaluasi:

• Lihat dan jalankan set pengujian evaluasi dari produsen lain.
• Mengganti nama, membatalkan, dan menghapus evaluasi.
• Tidak dapat membuat atau memperbarui set uji evaluasi yang dibagikan kepada mereka.

Note

Pengguna yang diberi peran penampil agen tidak dapat membuat, memperbarui, atau menghapus agen atau konten di luar evaluasi tempat mereka berperan sebagai penampil agen. Pengguna tidak dapat mempublikasikan agen atau mengelola pengaturan berbagi dan aksesnya.

Untuk menetapkan peran:

1. Buka aplikasi agen dan pilih ikon titik tiga (...) >lalu Bagikan.
2. Di bawah Pengguna baru dan identitas aplikasi, tambahkan pengguna atau grup. Atau pilih pengguna yang sudah ada dari daftar.
3. Di Miliki izin untuk agen ini sebagai, pilih Penampil Agen dari daftar peran.
4. Pilih Bagikan untuk membagikan agent.

Pengguna kemudian dapat membuka agen dan melihat tab Evaluasi dan Monitor . Mereka kemudian dapat mengelola evaluasi di tab Evaluasi .

Pelajari lebih lanjut tentang membagikan evaluasi agen dengan pengguna lain.