Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
[Artikel ini adalah dokumentasi prarilis dan dapat berubah.]
Tema mengelompokkan pertanyaan pengguna yang saling terkait yang memicu jawaban generatif. Dengan mengelompokkan pertanyaan pengguna yang saling terkait, tema membantu Anda mengelola wawasan niat pelanggan, mengidentifikasi topik yang sering muncul, dan berfokus pada area yang perlu ditingkatkan. Anda dapat menelusuri setiap pertanyaan dalam setiap tema dan memantau performanya untuk memahami metrik tingkat tema.
Fitur Tema secara otomatis menganalisis semua pertanyaan yang belum diklasifikasikan yang memicu respons AI generatif dalam seminggu terakhir dan menyarankan tema berdasarkan analisis ini. Proses ini dilakukan setiap minggu. Di antara proses saran tema mingguan, fitur ini melakukan klasifikasi harian terhadap pertanyaan-pertanyaan baru yang memicu respons AI generatif dan menambahkan data tersebut ke metrik tema. Daftar Tema yang disarankan diperbarui secara berkala agar tema Anda tetap relevan dan mencerminkan data pengguna terbaru. Pembaruan otomatis ini menghemat waktu Anda dengan:
- Terus mengevaluasi relevansi tema terhadap data baru.
- Mengklasifikasikan pertanyaan individu ke dalam tema secara otomatis.
- Mengotomatiskan pengambilan data metrik mentah untuk setiap tema.
- Menghitung data metrik yang dikumpulkan untuk setiap tema.
Penting
Artikel ini berisi dokumentasi pratinjau Microsoft Copilot Studio dan dapat berubah.
Fitur pratinjau tidak dibuat untuk penggunaan produksi dan mungkin memiliki fungsionalitas terbatas. Fitur ini tersedia sebelum rilis resmi agar Anda bisa memperoleh akses awal dan memberikan tanggapan.
Jika Anda membangun agen siap produksi, lihat Gambaran umum Microsoft Copilot Studio.
Prasyarat
Untuk mendapatkan manfaat maksimal dari fitur Tema, termasuk kemampuan untuk melihat pertanyaan dan jawaban yang membentuk setiap tema:
Anda memerlukan peran kemanan Penampil Transkrip Bot untuk melihat daftar dan metriknya. Hanya admin yang dapat memberikan peran ini dengan menetapkan peran keamanan Penampil Transkrip Bot selama berbagi agen.
Pengaturan tingkat lingkungan untuk menyimpan transkrip percakapan di Dataverse diaktifkan.
Tema yang disarankan dan pertanyaan yang diklasifikasikan
Copilot Studio menyarankan tema berdasarkan catatan pertanyaan yang diajukan baru-baru ini. Dengan menyesuaikan setiap tema yang disarankan agar sesuai dengan struktur organisasi dan strategi pengalaman pelanggan, Anda dapat memperoleh wawasan yang lebih baik melalui indikator kinerja utama (KPI) khusus tema. Granularitas yang lebih dalam ini memudahkan untuk menemukan lokasi agen yang berkinerja buruk.
Tema membantu pembuat memahami pertanyaan apa yang diajukan pengguna kepada agen dan bagaimana kinerja agen. Pada eksekusi awal analitik berbasis Tema, Copilot Studio meninjau semua pertanyaan dari minggu sebelumnya dan menyarankan hingga 10 tema yang mengelompokkan pertanyaan pengguna berdasarkan kemiripannya. Setiap tema mencakup metrik seperti jumlah total pertanyaan, kualitas jawaban, dan reaksi pengguna. Periode analitik yang dipilih akan menyesuaikan data yang ditampilkan dalam daftar tema.
Setelah eksekusi awal, Copilot Studio mengklasifikasikan pertanyaan baru ke tema yang sudah ada secara harian, dan menghasilkan daftar tema baru yang disarankan setiap minggu.
Catatan
- Setidaknya 50 pertanyaan dengan jawaban generatif harus dicatat dalam tujuh hari terakhir sebelum Copilot Studio menghasilkan tema yang disarankan.
- Sebuah pertanyaan yang memicu respons AI generatif dapat diklasifikasikan menjadi lebih dari satu tema. Skenario ini mungkin menjadi lebih umum dalam mode Orkestrasi Generatif, saat jawaban agen didapatkan dari berbagai sumber.
- Setiap pertanyaan yang belum diklasifikasikan akan dimasukkan ke dalam tema Tidak Diklasifikasikan.
- Pelaksanaan saran mingguan mungkin memakan waktu beberapa menit untuk diselesaikan. Selama periode waktu ini, bagian Tema tidak tersedia untuk digunakan.
Daftar tema
Secara default, daftar Tema menampilkan lima tema teratas, diurutkan berdasarkan jumlah total pertanyaan yang diklasifikasikan ke setiap tema. Pilih Lihat semua untuk memperluas daftar dan menampilkan semua tema.
Dengan mengeksekusi saran tema mingguan otomatis dan klasifikasi pertanyaan harian, fitur Tema berkembang secara otomatis dan beradaptasi dengan perubahan perilaku pengguna.
Daftar Tema menampilkan metrik untuk setiap tema yang tercantum.
| Column | Deskripsi |
|---|---|
| Nama | Nama tema. |
| Total pertanyaan | Jumlah total pertanyaan yang diklasifikasikan ke dalam tema ini untuk jangka waktu yang dikonfigurasi. |
| Pertanyaan yang terjawab | Proporsi Total pertanyaan tersebut menghasilkan sebuah jawaban atas pertanyaan pengguna. |
| Kualitas respons | Proporsi dari jumlah seluruh respons (berdasarkan sampel pertanyaan) yang memiliki respons Good berkualitas. |
| Reaksi | Jumlah mentah reaksi positif (jempol ke atas) dan negatif (jempol ke bawah) dari pertanyaan yang diklasifikasikan untuk setiap tema. |
Arahkan kursor ke tema untuk melihat tombol Evaluasi. Pelajari selengkapnya tentang evaluasi agen.
Catatan
Mengapa ada 'Pertanyaan yang belum terjawab' dalam tema saya ketika semua pertanyaan yang telah diklasifikasikan memicu jawaban AI generatif?
Menurut definisi, hanya pertanyaan yang memicu jawaban AI generatif yang dapat diklasifikasikan dalam tema. Namun, memicu panggilan ke jawaban generatif tidak sama dengan memberikan jawaban atas pertanyaan pengguna.
Misalnya, biasanya ada topik peningkatan percakapan yang terhubung ke sumber pengetahuan. Dalam hal ini, jika niat tidak dikenali, topik mungkin terpicu untuk memanggil sumber pengetahuan meskipun tidak ada jawaban atas pertanyaan di sumber pengetahuan tersebut.
Menelusuri sebuah tema
Penting
Untuk mengakses fungsionalitas telusuri paling detail, kedua persyaratan berikut harus dipenuhi:
Pengaturan lingkungan berikut diaktifkan:
- Izinkan pemilik dan editor agen melihat transkrip sesi dari interaksi percakapan di agen mereka.
- Izinkan penyimpanan transkrip percakapan dan metadata yang terkait disimpan di Dataverse.
Untuk informasi selengkapnya, lihat Mengonfigurasi pengaturan transkrip untuk satu lingkungan.
Peran keamanan Penampil Transkrip Bot ditetapkan kepada pengguna. Untuk informasi selengkapnya, lihat Menambahkan pengguna ke peran keamanan.
Untuk menelusuri paling detail pertanyaan yang dikelompokkan ke dalam satu tema, pilih tema pada daftar Tema. Saat Anda telusuri paling detail, panel khusus untuk tema yang dipilih akan terbuka, menampilkan metrik pada tingkat tema dan pertanyaan individual.
Catatan
Daftar Tema meliputi:
- 100 pertanyaan terbaru diklasifikasikan ke dalam setiap tema.
- Pertanyaan dari 30 hari terakhir, terlepas dari jangka waktu yang dikonfigurasi. Jika periode yang dikonfigurasi sepenuhnya di luar 30 hari terakhir, Copilot Studio akan menampilkan notifikasi bahwa daftar tidak tersedia.
Di panel penelusuran tema, metrik pada level tema tersebut ditampilkan terlebih dahulu.
| Metrik tingkat tema | Deskripsi |
|---|---|
| Total pertanyaan | Total pertanyaan yang diklasifikasikan dalam tema ini yang memicu respons AI generatif selama periode waktu yang dikonfigurasi. |
| Pertanyaan yang terjawab | Proporsi Total pertanyaan tema ini menghasilkan sebuah jawaban atas pertanyaan pengguna. |
| Pertanyaan yang belum terjawab | Proporsi Total pertanyaan tema ini tidak menghasilkan sebuah jawaban atas pertanyaan pengguna. |
| Reaksi | Jumlah mentah reaksi positif (jempol ke atas) dan negatif (jempol ke bawah) dari pertanyaan yang diklasifikasikan dalam tema ini, seperti yang dicatat dalam mekanisme Learn Feedback. |
Untuk menampilkan perincian kualitas respons untuk sampel pertanyaan yang dijawab, dan semua sumber pengetahuan yang dirujuk dalam tema ini, pilih Lihat detail.
Untuk melihat informasi selengkapnya tentang salah satu nilai kualitas respons di tingkat tema, arahkan kursor ke segmen batang individual pada bagian Kualitas respon, pada panel Metrik tema. Tipsalat mencakup nilai pembobotan relatif dari segmen tersebut dan jumlah pertanyaan yang disampel untuk mencapai nilai tersebut.
Untuk melihat informasi selengkapnya di tingkat salah satu sumber pengetahuan yang tercantum, pilih sumber individual pada panel Semua sumber. Tips alat meliputi:
- Jumlah total pertanyaan yang mereferensikan sumber pengetahuan ini serta jumlah reaksi jempol ke atas dan jempol ke bawah.
- Bagan batang bertumpuk memperlihatkan pendetailan kualitas pembobotan relatif respons untuk pertanyaan yang merujuk sumber pengetahuan ini. Arahkan segmen apa pun pada diagram batang untuk melihat nilai pembobotan relatif dari segmen tersebut dan jumlah pertanyaan yang disampel untuk mencapai nilai tersebut.
Daftar pertanyaan berbasis tema mencerminkan semua pertanyaan yang memicu respons AI generatif dan diklasifikasikan ke dalam tema ini, serta menampilkan metrik berdasarkan per pertanyaan.
Metrik tingkat pertanyaan meliputi:
| Dimensi atau metrik tingkat pertanyaan | Deskripsi |
|---|---|
| Pertanyaan (dimensi) | Pertanyaan yang memicu respons AI generatif yang diklasifikasikan ke tema ini. |
| Terjawab? | Respons terhadap pertanyaan apakah kueri pengguna telah dijawab atau belum. Nilai yang mungkin adalah Answered sampai Unanswered. |
| Kualitas respons1 | Respons atas pertanyaan tentang bagimanan kualitas respons terhadap kueri pengguna. Nilai yang mungkin adalah Poor sampai Good. |
| Reaksi | Dua parameter, yaitu metrik Boolean Jempol ke atas / Jempol ke bawah, dan parameter Komentar berbasis teks. |
| Date | Tanggal ketika pertanyaan diajukan. |
| Sumber Pengetahuan | Daftar sumber pengetahuan yang dirujuk oleh pertanyaan ini dalam tema ini, dipisahkan dengan koma. |
1 Kualitas respons tidak selalu tersedia dan hanya akan ditampilkan jika pertanyaan tersebut diambil sampelnya untuk analisis kualitas.
Jika ingin, Anda dapat melakukan tindakan berikut di halaman daftar pertanyaan khusus tema:
- Terapkan filter tambahan untuk mempersempit daftar pertanyaan lebih lanjut dengan menggunakan filter dimensi daftar.
- Evaluasi pertanyaan yang tercantum sesuai dengan kriteria yang Anda tentukan dalam metode pengujian evaluasi.
- Unduh pertanyaan yang tercantum dalam bentuk File .CSV.
- Lihat informasi terperinci yang berkaitan dengan respons agen individual.
Pilih pertanyaan mana saja dari daftar untuk menampilkan informasi selengkapnya tentang pertanyaan tersebut pada panel Detail pertanyaan. Panel ini mencakup:
| Parameter tingkat pertanyaan terperinci | Deskripsi |
|---|---|
| Label waktu | Stempel waktu dari contoh terbaru saat pertanyaan dijawab. |
| Kueri pengguna | Pertanyaan yang diajukan. |
| Tanggapan | Respons AI generatif |
| Nilai jempol ke atas/Jempol ke bawah | Nilai instans terbaru dari pertanyaan ini untuk parameter jempol ke atas/jempol ke bawah. |
| Komentar | Komentar berbasis teks tambahan yang disediakan oleh pengguna, selain reaksi Jempol ke atas / Jempol ke bawah bersifat opsional. |
| Kualitas respons1 | Respons atas pertanyaan tentang bagimanan kualitas respons terhadap kueri pengguna. Nilai yang mungkin adalah Poor sampai Good. |
| Alasan2 | Dalam kasus saat kualitas respons adalah Poor, parameter ini menjelaskan alasannya. |
1 Kualitas respons tidak selalu tersedia dan hanya akan ditampilkan jika pertanyaan tersebut diambil sampelnya untuk analisis kualitas.
2 Jika kualitas respons adalah Good atau jika pertanyaannya tidak diambil sampelnya, parameter Alasan tidak memiliki nilai.
Evaluasi jawaban agen Anda berdasarkan tema
Catatan
Saat memilih Evaluasi untuk tema yang tercantum di halaman Tema, Anda berarti membuat test set baru di tingkat tema. Test set mencakup semua pertanyaan yang diklasifikasikan ke tema tersebut, hingga maksimal 100 pertanyaan. Sebelum Anda membuat test set evaluasi untuk menerapkan lebih banyak pemfilteran pada daftar pertanyaan, lakukan penelusuran paling detail pada tema terlebih dahulu. Kemudian, terapkan pemfilteran ke daftar. Setelah Anda menerapkan semua pemfilteran yang diinginkan, pilih Evaluasi dari halaman daftar pertanyaan.
Anda dapat melakukan pengujian terhadap jawaban agen Anda pada pertanyaan yang terkait dengan tema dengan menggunakan evaluasi agen (pratinjau).
Evaluasi berbasis tema menguji bagian tertentu dari cakupan agen Anda. Misalnya, jika memiliki agen layanan pelanggan, Anda dapat melacak kualitas jawaban untuk pertanyaan penagihan dan pembayaran secara terpisah dari kasus penggunaan lain seperti pemecahan masalah.
Pelajari selengkapnya cara membuat test set dari tema.
