Membuat satu set pengujian respons tunggal

Note

Artikel ini menjelaskan fitur yang digunakan pada agen atau alur agen yang didukung oleh harness standar.

Evaluasi respons tunggal menguji agen Anda menggunakan satu pertanyaan yang tidak terkait secara bergantian, daripada percakapan penuh. Misalnya, evaluasi respons tunggal untuk agen layanan pelanggan bertanya Apa jam kerja Anda?, mencatat respons agen terhadap pertanyaan tersebut, lalu dimulai dengan pertanyaan baru, Bagaimana cara menemukan riwayat pesanan saya?

Evaluasi respons tunggal baik ketika Anda ingin menguji agen Anda tentang bagaimana menjawab pertanyaan tertentu, tentang kemampuan apa yang dipanggilnya, dan tentang kata-kata yang tepat yang digunakan dalam jawabannya. Anda juga dapat menjalankan evaluasi percakapan, yang memungkinkan Anda menilai perilaku agen Anda selama interaksi yang lebih lama.

Evaluasi menggunakan kelompok uji. Set pengujian untuk evaluasi respons tunggal terdiri dari sekelompok hingga 100 kasus pengujian. Saat menjalankan evaluasi agen, Anda memilih set pengujian dan Copilot Studio menjalankan setiap kasus pengujian di dalam set tersebut terhadap agen Anda.

Anda dapat membuat kasus pengujian dalam set pengujian secara manual, mengimpornya menggunakan spreadsheet, atau menggunakan AI untuk menghasilkan pesan berdasarkan desain dan sumber daya agen Anda. Anda kemudian dapat memilih bagaimana Anda ingin mengukur kualitas respons agen Anda untuk setiap kasus pengujian dalam set pengujian.

Pelajari lebih lanjut tentang cara kerja evaluasi agen di Tentang evaluasi agen.

Untuk mempelajari cara mengedit set pengujian yang ada, lihat Mengubah detail set pengujian.

Important

Hasil pengujian tersedia di Copilot Studio selama 89 hari. Untuk menyimpan hasil pengujian untuk jangka waktu yang lebih lama, ekspor hasilnya ke file CSV.

Membuat set pengujian baru

1. Pergi ke halaman Evaluasi agen Anda.

   

2. Pilih Evaluasi Baru, lalu pilih Respons Tunggal.

   

3. Pilih metode yang ingin Anda gunakan untuk membuat set pengujian Anda. Satu set pengujian dapat memiliki hingga 100 kasus pengujian.

   • Serangkaian pertanyaan cepat agar Copilot Studio dapat menghasilkan kasus uji secara otomatis berdasarkan deskripsi, instruksi, dan kapabilitas agen Anda. Opsi ini menghasilkan 10 pertanyaan untuk menjalankan evaluasi kecil dan cepat atau untuk mulai membangun set pengujian yang lebih besar.
   • Set lengkap pertanyaan agar Copilot Studio dapat menghasilkan kasus pengujian menggunakan sumber pengetahuan atau topik dan memilih jumlah pertanyaan yang akan dihasilkan.
   • Gunakan percakapan obrolan percobaan Anda untuk secara otomatis mengisi set pengujian dengan pertanyaan yang Anda berikan di obrolan uji coba Anda. Cara ini menggunakan pertanyaan dari obrolan percobaan terbaru. Anda juga dapat memulai evaluasi dari obrolan pengujian dengan menggunakan ikon evaluasi .
     
   • Impor kasus pengujian dari file dengan menyeret file Anda ke area yang ditentukan, memilih Telusuri untuk mengunggah file, atau memilih salah satu opsi upload lainnya.
   • Atau, tulis beberapa pertanyaan sendiri untuk membuat set pengujian secara manual. Ikuti langkah-langkah untuk mengedit set pengujian untuk menambahkan dan mengedit kasus pengujian.
   • Gunakan data produksi berdasarkan tema dari analitik agen Anda.

4. Di bawah Nama, masukkan nama untuk test set Anda.

5. Di bawah Pilih metode pengujian, ubah atau tambahkan metode pengujian yang ingin Anda gunakan:

   • Tambahkan metode baru:
     1. Pilih Tambahkan metode pengujian.
     2. Pilih semua metode yang ingin Anda uji, lalu pilih OK.
     3. Beberapa metode memerlukan nilai kelulusan. Skor lulus menentukan berapa skor yang diperlukan untuk lulus atau gagal. Atur skor, lalu pilih OK.
     4. Beberapa metode memerlukan penambahan respons atau kata kunci yang diharapkan untuk setiap kasus pengujian Anda. Pelajari lebih lanjut di Pilih metode evaluasi
   • Pilih metode pengujian yang ada untuk diedit atau dihapus.

   Metode pengujian	Tindakan	Jenis test set	Penilaian	Konfigurasi
   Kualitas umum	Seberapa baik respons dari suatu kasus pengujian berdasarkan kriteria kualitas tertentu.	Tanggapan atau percakapan tunggal	Dinilai dari 100%	None
   Keamanan konten	Apakah respons kasus uji mengandung konten berbahaya, seperti kebencian, kekerasan, melukai diri sendiri, atau konten seksual	Tanggapan atau percakapan tunggal	Lulus/gagal	Jenis konten, Tingkat keamanan konten yang diizinkan
   Bandingkan makna	Seberapa baik arti jawaban kasus uji sesuai dengan jawaban yang diharapkan	Respons tunggal	Dinilai dari 100%	Skor lulus, jawaban yang diharapkan
   Penggunaan alat	Apakah kasus pengujian menggunakan semua atau sebagian dari sumber daya yang diharapkan	Respons tunggal	Lulus/gagal	Kemampuan yang diharapkan
   Pencocokan kata kunci	Apakah kasus pengujian menggunakan semua atau salah satu kata kunci atau frasa yang diharapkan	Tanggapan atau percakapan tunggal	Lulus/gagal	Kata kunci atau frasa yang diharapkan
   Kesamaan teks	Seberapa baik teks jawaban kasus uji cocok dengan jawaban yang diharapkan	Respons tunggal	Dinilai dari 100%	Skor lulus, jawaban yang diharapkan
   Kecocokan persis	Apakah jawaban kasus uji sama persis dengan jawaban yang diharapkan	Respons tunggal	Lulus/gagal	Jawaban yang diharapkan
   Khusus	Apakah respons kasus pengujian memenuhi kriteria atau ekspektasi yang Anda tentukan.	Tanggapan atau percakapan tunggal	Lulus/gagal (melewati kriteria label yang ditentukan)	Nama, instruksi evaluasi, label

6. Edit detail kasus pengujian. Semua metode pengujian, kecuali kualitas umum, memerlukan respons atau kata kunci yang diharapkan. Pelajari lebih lanjut tentang pengeditan kasus uji di Modify a test set.

7. Di bawah Konfigurasi tambahan, pilih Kelola.

   

8. Di Kelola profil dan koneksi, di bawah Pengguna, pilih atau tambahkan akun yang ingin Anda gunakan untuk kumpulan data ini. Evaluasi menggunakan akun ini untuk terhubung ke sumber pengetahuan dan alat selama pengujian. Pelajari lebih lanjut di Kelola profil pengguna dan koneksi.

   Note

   Pengujian otomatis menggunakan autentikasi akun pengujian yang dipilih. Jika agen Anda memiliki sumber pengetahuan atau koneksi yang memerlukan autentikasi tertentu, pilih akun yang sesuai untuk pengujian Anda. Saat Copilot Studio menghasilkan kasus pengujian, ia menggunakan kredensial autentikasi akun yang terhubung untuk mengakses sumber pengetahuan dan alat agen Anda. Kasus pengujian yang dihasilkan dapat menyertakan data sensitif yang dapat diakses akun yang terhubung. Setiap pembuat dengan akses ke agen juga dapat melihat set pengujian yang ditautkan ke agen tersebut.

9. Pilih Simpan untuk memperbarui kumpulan data tanpa menjalankan evaluasi atau Jalankan untuk menjalankan set data segera.

Menghasilkan satu set data respons dari pengetahuan atau topik

Anda dapat menguji agen Anda dengan menghasilkan pertanyaan dari informasi dan sumber percakapan yang sudah dimiliki agen Anda. Metode pengujian ini bagus untuk menguji bagaimana agen Anda menggunakan sumber pengetahuan atau topik yang sudah mereka miliki, tetapi tidak baik untuk menguji kesenjangan informasi.

Buat kasus data dengan menggunakan sumber pengetahuan berikut:

• Text

• Microsoft Word

• Microsoft Excel

• File PDF

• File di SharePoint

Note

Gunakan hanya file SharePoint individual sebagai sumber pengetahuan untuk menghasilkan set pengujian. Folder SharePoint tidak didukung.

Anda dapat menggunakan file hingga 5 MB untuk menghasilkan pertanyaan pengujian.

Untuk menghasilkan himpunan data:

1. Pergi ke halaman Evaluasi agen Anda.

2. Pilih Evaluasi baru.

3. Pilih opsi Generate pada toggle:

   

4. Di bawah Pilih tipe data, pilih Respons tunggal.

   • Pilih Tampilkan opsi generasi untuk mengonfigurasi pengaturan berikut:

     

     1. Di bawah Jumlah pertanyaan yang akan dibuat, pilih dan seret slider untuk memilih jumlah pertanyaan yang akan dihasilkan dalam set uji Anda.
     2. Di bawah Apa yang harus kami gunakan sebagai referensi?, pilih area yang ingin Anda referensikan oleh agen saat membuat pertanyaan untuk evaluasi baru. Anda memiliki dua opsi:
        • Sumber pengetahuan: Memindai pengetahuan agen untuk membuat serangkaian pertanyaan yang relevan. Pengetahuan bekerja paling baik untuk agen yang menggunakan orkestrasi generatif.
        • Topik: Memeriksa topik agen dan membuat pertanyaan tentang subjek tersebut. Terbaik untuk agen yang menggunakan mode klasik. Topik berfungsi dengan sangat baik untuk agen yang menggunakan orkestrasi klasik.

   

5. Pilih Generate data set.

6. Di bawah Set data Tinjau, masukkan detail kasus uji coba. Semua metode pengujian, kecuali kualitas umum, memerlukan respons atau kata kunci yang diharapkan. Pelajari lebih lanjut tentang mengedit kasus uji di Modify a test set.

   

7. Di bawah Pilih metode pengujian, pilih atau ubah metode pengujian yang ingin Anda gunakan:

   • Untuk menambahkan metode baru:
     1. Pilih Tambahkan metode pengujian.
     2. Pilih semua metode yang ingin Anda uji, lalu pilih OK. Anda dapat menambahkan beberapa metode.
     3. Untuk beberapa metode, atur skor lulus, lalu pilih OK. Skor lulus menentukan hasil skor yang diperlukan untuk lulus atau gagal.
     4. Beberapa metode memerlukan penambahan respons atau kata kunci yang diharapkan untuk setiap kasus pengujian Anda. Pelajari lebih lanjut di Pilih metode evaluasi.
   • Pilih metode pengujian yang ada untuk diedit atau dihapus.

8. Di bawah Konfigurasi tambahan, pilih Kelola.

   

9. Di Kelola profil dan koneksi, di bawah Pengguna, pilih atau tambahkan akun yang ingin Anda gunakan untuk kumpulan data ini. Evaluasi menggunakan akun ini untuk terhubung ke sumber pengetahuan dan alat selama pengujian. Pelajari lebih lanjut di Kelola profil pengguna dan koneksi.

   Note

   Pengujian otomatis menggunakan autentikasi akun pengujian yang dipilih. Jika agen Anda memiliki sumber pengetahuan atau koneksi yang memerlukan autentikasi tertentu, pilih akun yang sesuai untuk pengujian Anda. Saat Copilot Studio menghasilkan kasus pengujian, ia menggunakan kredensial autentikasi akun yang terhubung untuk mengakses sumber pengetahuan dan alat agen Anda. Kasus pengujian yang dihasilkan dapat menyertakan data sensitif yang dapat diakses akun yang terhubung. Setiap pembuat dengan akses ke agen juga dapat melihat set pengujian yang ditautkan ke agen tersebut.

10. Pilih Simpan untuk memperbarui kumpulan data tanpa menjalankan evaluasi atau Jalankan untuk menjalankan set data segera.

Batasan pembuatan kasus uji

Pembuatan kasus pengujian gagal jika satu atau beberapa pertanyaan melanggar setelan moderasi konten agen Anda. Kemungkinan alasannya meliputi:

• Instruksi atau topik dari agen menyebabkan model menghasilkan konten yang ditandai oleh sistem.
• Sumber pengetahuan yang terhubung mencakup konten sensitif atau terbatas.
• Pengaturan moderasi konten agen terlalu ketat.

Untuk mengatasi masalah, coba tindakan yang berbeda, seperti menyesuaikan sumber pengetahuan, memperbarui instruksi, atau mengubah pengaturan moderasi.

Satu set pengujian dapat berisi hingga 100 kasus pengujian.

Membuat file set pengujian untuk diimpor

Alih-alih membangun kasus uji langsung di Copilot Studio, Anda dapat membuat file spreadsheet dengan semua kasus uji Anda dan mengimpornya untuk membuat set uji Anda. Anda dapat menyusun setiap pertanyaan ujian dan menyatakan jawaban yang diharapkan untuk setiap soal. Setelah selesai membuat file, simpan sebagai file .csv atau .txt dan impor ke Copilot Studio.

Important

• File dapat berisi hingga 100 pertanyaan.
• Setiap pertanyaan dapat mencapai 1.000 karakter, termasuk spasi.
• File harus dalam nilai yang dipisahkan koma (CSV) atau format teks.

Untuk membuat file impor:

1. Buka aplikasi spreadsheet (misalnya, Microsoft Excel). Anda dapat mengunduh template CSV di bawah Atau mengunggah file setelah memilih Impor Evaluasi> Baru. Anda juga dapat mengunduh sesi pelanggan dari analytics untuk diedit menggunakan Excel.

2. Tambahkan judul berikut, dalam urutan ini, di baris pertama:

   • Question
   • Respons yang diharapkan

3. Masukkan pertanyaan pengujian Anda di kolom Pertanyaan. Setiap pertanyaan bisa 1.000 karakter atau kurang, termasuk spasi.

4. Masukkan respons yang diharapkan untuk setiap pertanyaan di kolom Respons yang diharapkan. Respons yang diharapkan bersifat opsional untuk mengimpor test set. Namun, Anda memerlukan respons yang diharapkan untuk menjalankan kasus pengujian kecocokan, kemiripan, dan membandingkan makna.

5. Simpan file sebagai file .csv atau .txt.

6. Impor file dengan mengikuti langkah-langkah dalam Membuat set pengujian baru.

Buat satu kumpulan data respons dengan mengimpor file set

1. Pergi ke halaman Evaluasi agen Anda.

2. Pilih Evaluasi baru.

3. Di bawah Pilih tipe data, pilih Respons tunggal.

4. Pilih opsi Impor di toggle.

   

5. Impor data dengan memilih Pratinjau obrolan untuk menggunakan data dari salah satu sesi pratinjau obrolan Anda saat ini, atau dengan mengimpor kasus uji dari file CSV dengan menyeret file Anda ke area yang ditentukan atau mengunggah setelah memilih Seret file atau klik untuk mengunggah (CSV).

   

6. Di bawah Set data Tinjauan, edit detail kasus uji coba. Semua metode pengujian, kecuali kualitas umum, memerlukan respons atau kata kunci yang diharapkan. Pelajari lebih lanjut di Modify a test set.

7. Di bawah Pilih metode pengujian, pilih atau ubah metode pengujian yang ingin Anda gunakan:

   • Untuk menambahkan metode baru:
     1. Pilih Tambahkan metode pengujian.
     2. Pilih semua metode yang ingin Anda uji, lalu pilih OK. Anda dapat menambahkan beberapa metode.
     3. Untuk beberapa metode, atur skor lulus, lalu pilih OK. Skor lulus menentukan hasil skor yang diperlukan untuk lulus atau gagal.
     4. Beberapa metode memerlukan penambahan respons atau kata kunci yang diharapkan untuk setiap kasus pengujian Anda. Pelajari lebih lanjut di Pilih metode evaluasi.
   • Pilih metode pengujian yang ada untuk diedit atau dihapus.

8. Di bawah Konfigurasi tambahan, pilih Kelola.

9. Di Kelola profil dan koneksi di bawah Pengguna, pilih atau tambahkan akun yang ingin Anda gunakan untuk kumpulan data ini. Evaluasi menggunakan akun ini untuk terhubung ke sumber pengetahuan dan alat selama pengujian. Pelajari lebih lanjut di Kelola profil pengguna dan koneksi.

10. Pilih Simpan untuk memperbarui kumpulan data tanpa menjalankan evaluasi atau Jalankan untuk menjalankan set data segera.

Membuat set pengujian berdasarkan tema

Buat set pengujian dengan pertanyaan dari percakapan dengan pengguna nyata. Metode ini menggunakan tema (pratinjau) yang terdapat dalam analitik agen Anda.

Tema adalah pengelompokan pertanyaan yang diambil dari kumpulan pertanyaan pengguna yang memicu jawaban generatif. Saat Anda membuat set pengujian menggunakan tema, Anda membuat kasus pengujian dari pertanyaan yang diajukan oleh pengguna yang terkait dengan tema tersebut.

Gunakan set pengujian ini untuk melakukan evaluasi yang berfokus pada satu area atau topik cakupan agen Anda. Misalnya, jika Anda memiliki agen layanan pelanggan, Anda dapat melacak kualitas jawaban untuk pertanyaan penagihan dan pembayaran secara terpisah dari kasus penggunaan lain seperti pemecahan masalah.

Note

Sebelum membuat set pengujian dari tema, Anda memerlukan akses ke tema di analitik. Tinjau prasyarat untuk tema (pratinjau).

1. Pada halaman Monitor agen Anda, buka daftar Tema.

2. Arahkan kursor ke tema, lalu pilih Evaluasi.

   

   Anda juga dapat memilih Lihat semua untuk melihat lebih banyak tema, lalu pilih Evaluasi.

3. Pilih Buat dan buka.

4. Edit detail dari kasus dan test set. Semua kasus pengujian yang menggunakan metode, kecuali kualitas umum, memerlukan respons yang diharapkan. Pelajari lebih lanjut tentang pengeditan di Modify a test set.

5. Pilih Simpan untuk memperbarui set pengujian tanpa menjalankan kasus pengujian atau Evaluasi untuk segera menjalankan set pengujian.