Ubah detail untuk test set

Gunakan test set untuk mengevaluasi dan menyempurnakan cara agen Anda menangani skenario respons dunia nyata. Artikel ini menjelaskan cara mengubah nama dan pengaturan test set, mengelola profil pengguna dan koneksi yang digunakan untuk autentikasi, mengedit atau menghapus kasus pengujian individual, dan menghapus seluruh test set atau hasil pengujian. Langkah-langkah ini membantu Anda memastikan evaluasi mencerminkan konteks pengguna yang tepat dan mempertahankan akses aman ke sumber pengetahuan dan alat.

Anda memiliki pilihan tiga metode uji, juga disebut sebagai grader, untuk mengevaluasi respons agen: kualitas, kemiripan, dan kecocokan teks. Untuk informasi selengkapnya tentang berbagai metode pengujian, lihat Metode pengujian.

Edit detail untuk test set

Anda dapat mengubah detail test set, seperti akun yang digunakan untuk autentikasi dan metode uji yang digunakan.

1. Buka halaman Evaluasi agen Anda.

   

2. Pilih test set.

3. Di test set, pilih kasus pengujian yang ingin Anda edit.

4. Atau, ubah nama test set.

5. Tambahkan atau ubah metode uji. Setiap metode uji mengukur nilai yang berbeda, dan memerlukan konfigurasi yang berbeda. Untuk mempelajari cara mengatur setiap metode uji, lihat Pilih metode uji.

   Metode uji	Tindakan	Jenis test set	Penskoran	Konfigurasi
   Kualitas umum	Seberapa baik respons kasus uji berdasarkan kualitas spesifiknya	Respons atau percakapan tunggal	Dinilai dari 100%	Tidak ada
   Bandingkan arti	Seberapa cocok arti jawaban kasus uji dengan jawaban yang diharapkan	Satu respons	Dinilai dari 100%	Skor lulus, jawaban yang diharapkan
   Penggunaan alat	Apakah kasus uji menggunakan semua atau sumber daya yang diharapkan	Satu respons	Lulus/gagal	Kemampuan yang diharapkan
   Pencocokan kata kunci	Apakah kasus uji menggunakan semua atau salah satu kata kunci atau frasa yang diharapkan	Respons atau percakapan tunggal	Lulus/gagal	Kata kunci atau frasa yang diharapkan
   Kesamaan teks	Seberapa baik teks jawaban kasus uji sesuai dengan jawaban yang diharapkan	Satu respons	Dinilai dari 100%	Skor lulus, jawaban yang diharapkan
   Kecocokan persis	Apakah jawaban kasus uji sama persis dengan jawaban yang diharapkan	Satu respons	Lulus/gagal	Jawaban yang diharapkan
   Kustom	Apakah respons kasus pengujian memenuhi kriteria atau harapan yang telah ditentukan.	Respons atau percakapan tunggal	Lulus/gagal (memenuhi kriteria label yang ditentukan)	Nama, instruksi evaluasi, label

6. Pilih Kelola profil untuk menambahkan akun, atau pilih profil saat ini untuk mengelola koneksi atau memilih profil lain. Pengujian otomatis menggunakan autentikasi dari akun pengujian yang dipilih. Evaluasi multi-profil hanya didukung untuk agen tanpa dependensi konektor. Jika agen Anda memiliki sumber pengetahuan atau alat yang memerlukan autentikasi khusus, Anda dapat memilih akun yang sesuai untuk pengujian Anda. Untuk informasi lebih lanjut, lihat Mengelola profil dan koneksi pengguna.

Catatan

Saat Copilot Studio membuat kasus pengujian atau menjalankan evaluasi, Copilot Studio menggunakan kredensial autentikasi akun yang terhubung untuk mengakses sumber pengetahuan dan alat agen Anda. Kasus uji yang dihasilkan dapat mencakup data sensitif yang dapat diakses oleh akun yang terhubung. Setiap pembuat dengan akses ke agen juga dapat melihat test set yang ditautkan ke agen tersebut.

Mengelola profil pengguna dan koneksi

Anda dapat menjalankan test set menggunakan autentikasi akun pengguna. Metode autentikasi ini memungkinkan agen Anda mengakses sumber pengetahuan dan alat yang dibutuhkan untuk menyelesaikan tujuannya.

Anda dapat menggunakan profil untuk menyimulasikan pengalaman pengguna tertentu. Misalnya, profil pengguna direktur dapat mengakses sumber pengetahuan yang berbeda dibandingkan dengan profil pengguna magang, sehingga agen memberikan hasil yang berbeda. Evaluasi multi-profil hanya didukung untuk agen tanpa dependensi konektor.

Penting

Profil pengguna dalam test set tidak dapat memberikan autentikasi untuk alat. Saat Anda menjalankan evaluasi, agen Anda harus menggunakan akun Anda untuk masuk untuk mengautentikasi koneksi ke alat. Jika Anda memilih profil pengguna yang berbeda atau koneksi alat agen Anda tidak menggunakan akun Anda untuk autentikasi, evaluasi kegagalan dengan pesan "Akun ini tidak dapat terhubung ke alat". Untuk mengatasinya, masuk dengan akun yang dikonfigurasi dengan konektor alat lalu jalankan evaluasi.

Hasil pengujian menampilkan profil pengguna yang digunakan.

Catatan

Saat Copilot Studio membuat kasus pengujian atau menjalankan evaluasi, Copilot Studio menggunakan kredensial autentikasi akun yang terhubung untuk mengakses sumber pengetahuan dan alat agen Anda. Kasus uji yang dihasilkan dapat mencakup data sensitif yang dapat diakses oleh akun yang terhubung. Setiap pembuat dengan akses ke agen juga dapat melihat test set yang ditautkan ke agen tersebut.

Evaluasi agen yang menggunakan autentikasi pengguna memerlukan akses melalui konektor Microsoft Copilot Studio. Jika admin menonaktifkan koneksi ini, Anda tidak dapat menjalankan pengujian dengan menggunakan alat evaluasi. Untuk informasi selengkapnya, lihat Konektor dan grup data Copilot Studio.

Untuk menambahkan atau mengubah profil pengguna dalam test set:

1. Buka test set, lalu pilih Kelola profil.

   

2. Pilih dropdown Pengguna, lalu:

   • Pilih akun pengguna yang ingin Anda gunakan, atau
   • Pilih Tambahkan akun, lalu masuk ke akun.

   

3. Untuk koneksi dengan peringatan, pilih koneksi. Ganti koneksi yang ada dengan koneksi yang berfungsi, pilih Hubungkan kembali untuk mencoba menghubungkan kembali koneksi yang ada, atau pilih Buat koneksi baru untuk mencoba koneksi baru.

4. Untuk koneksi baru, masukkan detail koneksi yang diminta, lalu pilih Hubungkan.

5. Saat semua koneksi berfungsi, pilih Simpan.

Menghapus test set atau hasil pengujian

Anda dapat menghapus kasus pengujian atau test set yang tidak lagi Anda perlukan.

1. Buka halaman Evaluasi agen Anda.
2. Di bagian Test set, hapus test set dengan melakukan salah satu langkah berikut:
   • Pilih tiga titik (…) pada kartu test set, lalu pilih Hapus.
   • Pilih test set untuk membukanya, lalu pilih tiga titik (…) di panel Konfigurasi test set, lalu pilih Hapus.
3. Di bagian Hasil terbaru, hapus hasil pengujian dengan melakukan salah satu langkah berikut:
   • Arahkan kursor ke hasil pengujian yang ingin Anda hapus, klik ikon tiga titik (…), lalu pilih Hapus pengujian.
   • Pilih hasil pengujian untuk membukanya, lalu pilih tiga titik (…) di panel Ringkasan evaluasi, lalu pilih Hapus.