Uji pangkalan pengetahuan Anda di QnA Maker

Menguji pangkalan pengetahuan QnA Maker Anda adalah bagian penting dari proses iteratif untuk meningkatkan akurasi respons yang dikembalikan. Anda dapat menguji pangkalan pengetahuan melalui antarmuka obrolan yang disempurnakan yang juga memungkinkan Anda melakukan pengeditan.

Catatan

Layanan QnA Maker akan dihentikan pada 31 Maret 2025. Versi kemampuan pertanyaan dan jawaban yang lebih baru sekarang tersedia sebagai bagian dari Bahasa Azure AI. Untuk kemampuan menjawab pertanyaan dalam Language Service, lihat jawaban pertanyaan. Mulai 1 Oktober 2022, Anda tidak dapat membuat sumber daya QnA Maker baru. Untuk informasi tentang memigrasikan pangkalan pengetahuan QnA Maker yang ada ke jawaban atas pertanyaan, lihat panduan migrasi.

Uji secara interaktif di portal QnA Maker

1. Akses pangkalan pengetahuan Anda dengan memilih namanya di halaman Pangkalan pengetahuan saya.
2. Untuk mengakses panel geser Uji, pilih Uji di panel atas aplikasi Anda.
3. Masukkan kueri dalam kotak teks dan pilih Enter.
4. Jawaban paling cocok dari pangkalan pengetahuan dikembalikan sebagai respons.

Bersihkan panel uji

Untuk menghapus semua kueri pengujian yang dimasukkan dan hasilnya dari konsol pengujian, pilih Mulai dari awal di sudut kiri atas panel Uji.

Tutup panel uji

Untuk menutup panel Uji, pilih tombol Uji lagi. Saat panel Uji terbuka, Anda tidak dapat mengedit konten Pangkalan Pengetahuan.

Periksa skor

Anda memeriksa detail hasil pengujian di panel Periksa.

1. Dengan panel Uji slide-out terbuka, pilih Periksa detail selengkapnya tentang respons tersebut.

   

2. Panel Pemeriksaan muncul. Panel tersebut mencakup niat dengan skor tertinggi serta entitas yang teridentifikasi. Panel menunjukkan hasil ungkapan yang dipilih.

Mengoreksi jawaban penilaian teratas

Jika jawaban penilaian teratas salah, pilih jawaban yang benar dari daftar dan pilih Simpan dan Latih.

Menambahkan pertanyaan alternatif

Anda dapat menambahkan formulir alternatif pertanyaan ke jawaban tertentu. Ketik jawaban alternatif dalam kotak teks dan pilih enter untuk menambahkannya. Pilih Simpan dan Latih untuk menyimpan pembaruan.

Menambahkan jawaban baru

Anda dapat menambahkan jawaban baru jika salah satu jawaban yang ada yang cocok tidak benar atau jawabannya tidak ada di pangkalan pengetahuan (tidak ada kecocokan yang baik yang ditemukan di KB).

Di bagian bawah daftar jawaban, gunakan kotak teks untuk memasukkan jawaban baru dan tekan enter untuk menambahkannya.

Pilih Simpan dan Latih untuk mempertahankan jawaban ini. Pasangan jawaban pertanyaan baru sekarang telah ditambahkan ke pangkalan pengetahuan Anda.

Catatan

Semua pengeditan ke pangkalan pengetahuan Anda hanya disimpan saat Anda menekan tombol Simpan dan Latih.

Menguji pangkalan pengetahuan yang dipublikasikan

Anda bisa menguji versi pangkalan pengetahuan yang dipublikasikan di panel uji. Setelah Anda menerbitkan KB, pilih kotak KB yang diterbitkan dan mengirim kueri untuk mendapatkan hasil dari KB yang diterbitkan.

Uji batch dengan alat

Gunakan alat pengujian batch saat Anda ingin:

• tentukan jawaban dan skor teratas untuk serangkaian pertanyaan
• validasi jawaban yang diharapkan untuk sekumpulan pertanyaan

Prasyarat

• Langganan Azure - buat akun secara gratis
• Buat layanan QnA Maker atau gunakan layanan yang ada, yang menggunakan bahasa Inggris.
• Unduh file.docx sampel multi-turn
• Unduh alat pengujian batch, ekstrak file yang dapat dieksekusi dari file .zip.

Masuk ke portal QnA Maker

Masuk ke portal QnA Maker.

Membuat pangkalan pengetahuan baru dari file sample.docx multi-turn

1. Pilih Buat pangkalan pengetahuan dari bilah alat.

2. Lewati Langkah 1 karena Anda harus sudah memiliki sumber daya QnA Maker, beralih ke Langkah 2 untuk memilih informasi sumber daya yang ada:

   • Microsoft Entra ID
   • Nama Langganan Azure
   • Nama Layanan Azure QnA
   • Bahasa - bahasa Inggris

3. Masukkan nama Multi-turn batch test quickstart sebagai nama pangkalan pengetahuan Anda.

4. Di Langkah 4, konfigurasikan pengaturan dengan tabel berikut ini:

   Pengaturan	Nilai
   Aktifkan ekstraksi multi-turn dari URL, file .pdf atau .docx.	Dicentang
   Teks jawaban default	Batch test - default answer not found.
   + Tambah File	Pilih daftar file yang diunduh .docx di prasyarat.
   Obrolan	Pilih Profesional

5. Di Langkah 5, pilih Buat KB Anda.

   Ketika proses pembuatan selesai, portal menampilkan pangkalan pengetahuan yang dapat diedit.

Menyimpan, melatih, dan menerbitkan pangkalan pengetahuan

1. Pilih Simpan dan latih dari toolbar untuk menyimpan pangkalan pengetahuan.

2. Pilih Terbitkan dari toolbar lalu pilih Terbitkan lagi untuk menerbitkan pangkalan pengetahuan. Penerbitan membuat pangkalan pengetahuan tersedia untuk kueri dari titik akhir URL publik. Saat penerbitan selesai, simpan URL host dan informasi kunci titik akhir yang diperlihatkan di halaman Terbitkan.

   Data yang diperlukan	Contoh
   Host yang Diterbitkan	https://YOUR-RESOURCE-NAME.azurewebsites.net
   Kunci yang Diterbitkan	XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX (String karakter 32 ditunjukkan setelah Endpoint )
   ID Aplikasi	xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx (36 string karakter ditampilkan sebagai bagian dari POST )

Membuat file uji batch dengan ID pertanyaan

Untuk menggunakan alat uji batch, buat file bernama batch-test-data-1.tsv dengan editor teks. File harus dalam format UTF-8 dan perlu memiliki kolom berikut yang dipisahkan oleh tab.

Bidang file input TSV	Catatan	Contoh
ID pangkalan pengetahuan	ID pangkalan pengetahuan Anda ditemukan di halaman Terbitkan. Uji beberapa pangkalan pengetahuan dalam layanan yang sama pada satu waktu dalam satu file dengan menggunakan ID pangkalan pengetahuan yang berbeda dalam satu file.	xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx (36 string karakter ditampilkan sebagai bagian dari POST )
Pertanyaan	Teks pertanyaan yang akan di masukkan pengguna. Maksimal 1,000 karakter.	How do I sign out?
Tag metadata	opsional	topic:power menggunakan format key:value
Parameter teratas	opsional	25
ID jawaban yang diharapkan	opsional	13

Untuk pangkalan pengetahuan ini, tambahkan tiga baris hanya dua kolom yang diperlukan ke file. Kolom pertama adalah ID pangkalan pengetahuan Anda dan kolom kedua harus menjadi daftar pertanyaan berikut:

Kolom 2 - pertanyaan
Use Windows Hello to sign in
Charge your Surface Pro 4
Get to know Windows 10

Pertanyaan-pertanyaan ini adalah kata-kata yang tepat dari pangkalan pengetahuan dan harus mengembalikan 100 sebagai skor keyakinan.

Selanjutnya, tambahkan beberapa pertanyaan, mirip dengan pertanyaan-pertanyaan ini tetapi tidak persis sama pada tiga baris lagi, menggunakan ID pangkalan pengetahuan yang sama:

Kolom 2 - pertanyaan
What is Windows Hello?
How do I charge the laptop?
What features are in Windows 10?

Perhatian

Pastikan bahwa setiap kolom dipisahkan oleh pembatas tab saja. Spasi di depan atau di belakang ditambahkan ke data kolom dan akan menyebabkan program melempar pengecualian ketika jenis atau ukurannya salah.

File uji batch, ketika dibuka di Excel, terlihat seperti gambar berikut. ID pangkalan pengetahuan telah diganti dengan xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx untuk keamanan. Untuk pengujian batch Anda sendiri, pastikan kolom menampilkan ID pangkalan pengetahuan Anda.

Uji file batch

Jalankan program pengujian batch menggunakan format CLI berikut di baris perintah.

Ganti YOUR-RESOURCE-NAME dan ENDPOINT-KEY dengan nilai Anda sendiri untuk nama layanan dan kunci titik akhir. Nilai-nilai ini ditemukan di halaman Pengaturan di portal QnA Maker.

batchtesting.exe batch-test-data-1.tsv https://YOUR-RESOURCE-NAME.azurewebsites.net ENDPOINT-KEY out.tsv

Pengujian selesai dan menghasilkan file out.tsv:

ID pangkalan pengetahuan telah diganti dengan xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx untuk keamanan. Untuk pengujian batch Anda sendiri, kolom menampilkan ID pangkalan pengetahuan Anda.

Output uji skor kkeyakinan, di kolom keempat, menunjukkan tiga pertanyaan teratas mengembalikan skor 100 seperti yang diharapkan karena setiap pertanyaan persis sama seperti yang muncul di pangkalan pengetahuan. Tiga pertanyaan terakhir, dengan kata-kata baru dari pertanyaan, tidak mengembalikan 100 sebagai skor keyakinan. Untuk meningkatkan skor baik untuk pengujian, dan pengguna Anda, Anda perlu menambahkan lebih banyak pertanyaan alternatif ke pangkalan pengetahuan.

Pengujian dengan bidang opsional

Setelah Memahami format dan proses, Anda dapat membuat file pengujian, untuk berjalan melawan pangkalan pengetahuan Anda dari sumber data seperti dari log obrolan.

Karena sumber dan proses data otomatis, file pengujian dapat dijalankan berkali-kali dengan pengaturan yang berbeda untuk menentukan nilai yang benar.

Misalnya, jika Anda memiliki log obrolan dan ingin menentukan teks log obrolan mana yang berlaku untuk bidang metadata mana, buat file uji dan atur bidang metadata untuk setiap baris. Jalankan pengujian, lalu tinjau baris yang cocok dengan metadata. Umumnya, pertandingan harus positif, tetapi Anda harus meninjau hasil untuk positif palsu. Positif palsu adalah baris yang cocok dengan metadata tetapi berdasarkan teks, itu tidak boleh cocok.

Menggunakan bidang opsional dalam file uji batch input

Gunakan bagan berikut untuk memahami cara menemukan nilai bidang untuk data opsional.

Nomor kolom	Kolom opsional	Lokasi data
3	metadata	Ekspor pangkalan pengetahuan yang ada untuk pasangan key:value yang ada.
4	atas	Nilai default 25 disarankan.
5	ID set pertanyaan dan jawaban	Ekspor pangkalan pengetahuan yang ada untuk nilai ID. Perhatikan juga bahwa ID dikembalikan dalam file output.

Menambahkan metadata ke pangkalan pengetahuan

1. Di portal QnA, pada halaman Edit, tambahkan metadata topic:power ke pertanyaan berikut:

   Pertanyaan
   Mengisi daya Surface Pro 4 Anda
   Periksa tingkat baterai

   Dua pasangan QnA memiliki kumpulan metadata.

   Tip

   Untuk melihat metadata dan ID QnA dari setiap set, ekspor pangkalan pengetahuan. Pilih halaman Pengaturan, lalu pilih Ekspor sebagai file .xls. Temukan file yang diunduh ini dan buka dengan Excel meninjau metadata dan ID.

2. Pilih Simpan dan latih, lalu pilih halaman Terbitkan, lalu pilih tombol Terbitkan. Tindakan ini membuat perubahan tersedia untuk tes batch. Unduh pangkalan pengetahuan dari halaman Pengaturan.

   File yang diunduh memiliki format yang benar untuk metadata dan ID set pertanyaan dan jawaban yang benar. Menggunakan bidang ini di bagian berikutnya

   

Membuat tes batch kedua

Ada dua skenario utama untuk pengujian batch:

• Memproses file log obrolan - Tentukan jawaban teratas untuk pertanyaan yang sebelumnya tidak terlihat - situasi yang paling umum adalah ketika Anda perlu memproses adalah file log pertanyaan, seperti pertanyaan pengguna bot obrolan. Buat uji file batch, hanya dengan kolom yang diperlukan. Tes mengembalikan jawaban teratas untuk setiap pertanyaan. Itu tidak berarti jawabannya adalah jawaban yang benar. Setelah Anda menyelesaikan tes ini, lanjutkan ke tes validasi.
• Tes validasi - Validasi jawaban yang diharapkan. Tes ini mengharuskan semua pertanyaan dan jawaban yang diharapkan dalam tes batch telah divalidasi. Ini mungkin memerlukan beberapa proses manual.

Prosedur berikut mengasumsikan skenarionya adalah memproses log obrolan dengan

1. Buat file uji batch baru untuk menyertakan data opsional, batch-test-data-2.tsv. Tambahkan enam baris dari file input pengujian batch asli, lalu tambahkan ID pasangan metadata, atas, dan QnA untuk setiap baris.

   Untuk mensimulasikan proses otomatis memeriksa teks baru dari log obrolan terhadap pangkalan pengetahuan, atur metadata untuk setiap kolom ke nilai yang sama: topic:power.

   

2. Jalankan pengujian lagi, mengubah nama file input dan output untuk menunjukkan bahwa itu adalah tes kedua.

   

Hasil pengujian dan sistem pengujian otomatis

File output pengujian ini dapat diurai sebagai bagian dari alur pengujian berkelanjutan otomatis.

Output pengujian khusus ini harus dibaca sebagai: setiap baris difilter dengan metadata, dan karena setiap baris tidak cocok dengan metadata di pangkalan pengetahuan, jawaban default untuk baris yang tidak cocok dikembalikan ("tidak ada kecocokan yang baik yang ditemukan dalam kb"). Dari baris-baris yang cocok, ID QnA dan skor dikembalikan.

Semua baris mengembalikan label yang salah karena tidak ada baris yang cocok dengan ID jawaban yang diharapkan.

Anda harus dapat melihat dengan hasil ini bahwa Anda dapat mengambil log obrolan dan menggunakan teks sebagai kueri setiap baris. Tanpa mengetahui apa pun tentang data, hasilnya memberi tahu Anda banyak tentang data yang kemudian dapat Anda gunakan untuk bergerak maju:

• meta-data
• ID QnA
• skor

Apakah pemfilteran dengan meta-data adalah ide yang baik untuk pengujian? Ya dan Tidak. Sistem pengujian harus membuat file pengujian untuk setiap pasangan meta-data serta pengujian tanpa pasangan meta-data.

Membersihkan sumber daya

Jika Anda tidak akan terus menguji pangkalan pengetahuan, hapus alat file batch dan file pengujian.

Jika Anda tidak akan terus menggunakan pangkalan pengetahuan ini, hapus pangkalan pengetahuan dengan langkah-langkah berikut:

1. Di portal QnA Maker, pilih Pangkalan pengetahuan Saya dari menu atas.
2. Dalam daftar pangkalan pengetahuan, pilih ikon Hapus di baris pangkalan pengetahuan dari mulai cepat ini.

Dokumentasi referensi tentang alat ini meliputi:

• contoh baris perintah alat
• format untuk file input dan outfile TSV

Langkah berikutnya

Menerbitkan basis pengetahuan