Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
[Artikel ini adalah dokumentasi prarilis dan dapat berubah.]
Pertanyaan pengguna terkait grup tema yang memicu jawaban generatif. Dengan mengklusterkan pertanyaan terkait, tema membantu Anda mengatur wawasan niat pelanggan, mengidentifikasi topik yang sering, dan fokus pada area yang membutuhkan peningkatan. Anda dapat menjelajahi pertanyaan individual dalam tema dan memantau performa untuk memahami metrik tingkat tema.
Important
Artikel ini berisi dokumentasi pratinjau Microsoft Copilot Studio dan dapat berubah.
Fitur pratinjau tidak dimaksudkan untuk penggunaan produksi dan mungkin memiliki fungsionalitas terbatas. Fitur ini tersedia sebelum rilis resmi agar Anda bisa memperoleh akses awal dan memberikan tanggapan.
Jika Anda membangun agen yang siap untuk produksi, silakan lihat Gambaran Umum Microsoft Copilot Studio.
Proposisi nilai kunci
Fitur Tema secara otomatis menganalisis semua pertanyaan yang tidak diklasifikasikan yang memicu respons AI generatif dalam seminggu terakhir dan menyarankan tema berdasarkan analisis ini. Proses ini berjalan mingguan. Di antara eksekusi saran tema mingguan, fitur ini melakukan klasifikasi harian dari pertanyaan baru yang memicu respons AI generatif dan menambahkan data ini ke metrik tema. Daftar Tema yang disarankan disegarkan secara teratur sehingga tema Anda tetap relevan dan mencerminkan data pengguna terbaru. Refresh otomatis ini menghemat waktu Anda dengan:
- Terus mengevaluasi relevansi tema terhadap data baru.
- Mengklasifikasikan pertanyaan individual secara otomatis ke dalam tema.
- Mengotomatiskan pengambilan data metrik mentah untuk setiap tema.
- Menghitung data metrik agregat untuk setiap tema.
Prasyarat
Untuk mendapatkan nilai terbanyak dari fitur Tema, termasuk kemampuan untuk melihat pertanyaan dan jawaban komponen setiap tema:
Anda memerlukan peran keamanan Penampil Transkrip Bot untuk melihat daftar dan metriknya. Hanya admin yang dapat memberikan peran ini dengan menetapkan peran keamanan Penampil Transkrip Bot selama berbagi agen.
Pengaturan tingkat lingkungan untuk menyimpan transkrip percakapan di Dataverse diaktifkan.
Tema yang disarankan dan pertanyaan rahasia
Copilot Studio menyarankan tema berdasarkan catatan pertanyaan yang diajukan di masa lalu. Dengan menyesuaikan setiap tema yang disarankan agar sesuai dengan struktur organisasi dan strategi pengalaman pelanggan Anda, Anda dapat mendapatkan wawasan yang lebih baik melalui indikator performa utama (KPI) khusus tema. Granularitas yang lebih dalam ini memudahkan untuk menemukan di mana agen kurang berfungsi.
Tema membantu pembuat memahami pertanyaan apa yang diajukan pengguna kepada agen dan performa agen. Pada eksekusi awal analitik berbasis Tema, Copilot Studio melihat semua pertanyaan dari minggu lalu dan menyarankan hingga 10 tema yang mengelompokkan pertanyaan pengguna berdasarkan kesamaan satu sama lain. Setiap tema mencakup metrik seperti jumlah total pertanyaan, tingkat jawaban, dan reaksi pengguna. Periode analitik yang dipilih menyesuaikan data yang ditampilkan di daftar Tema .
Setelah eksekusi awal, Copilot Studio mengklasifikasikan pertanyaan baru ke tema yang ada secara berkelanjutan, setiap hari, dan menghasilkan daftar baru tema yang disarankan setiap minggu.
Note
- Setidaknya 50 pertanyaan dengan jawaban generatif harus dicatat dalam tujuh hari terakhir sebelum Copilot Studio menghasilkan tema yang disarankan.
- Pertanyaan yang memicu respons AI generatif dapat diklasifikasikan ke dalam lebih dari satu tema. Skenario ini mungkin menjadi lebih umum dalam mode Orkestrasi Generatif , di mana jawaban agen dapat berasal dari beberapa sumber yang berbeda.
- Setiap pertanyaan yang tetap tidak diklasifikasikan dimasukkan ke dalam tema Tidak Diklasifikasikan .
- Pelaksanaan saran mingguan mungkin memakan waktu beberapa menit untuk diselesaikan. Selama waktu ini, bagian Tema tidak tersedia untuk digunakan.
Daftar Tema
Secara default, daftar Tema menampilkan lima tema teratas, diberi peringkat berdasarkan jumlah total pertanyaan yang diklasifikasikan untuk setiap tema. Pilih Lihat semua untuk memperluas daftar dan menampilkan semua tema.
Dengan eksekusi saran tema mingguan otomatis dan klasifikasi pertanyaan harian, fitur Tema berkembang secara otomatis dan beradaptasi dengan perubahan perilaku pengguna.
Daftar Tema menampilkan metrik untuk setiap tema yang tercantum.
| Kolom | Description |
|---|---|
| Name | Nama tema. |
| Jumlah Pertanyaan | Jumlah total pertanyaan yang diklasifikasikan ke dalam tema ini untuk periode waktu yang dikonfigurasi. |
| Pertanyaan yang dijawab | Proporsi Total pertanyaan yang menghasilkan jawaban atas pertanyaan pengguna. |
| Kualitas respons | Proporsi jumlah semua tanggapan (berdasarkan sampel pertanyaan) yang memiliki respons yang Good berkualitas. |
| Reaksi | Jumlah mentah reaksi positif (jempol ke atas) dan negatif (jempol ke bawah) dari pertanyaan yang diklasifikasikan ke setiap tema. |
Arahkan kursor ke tema untuk melihat tombol Evaluasi . Pelajari evaluasi lebih lanjut.
Note
Mengapa ada 'Pertanyaan yang tidak terjawab' dalam tema saya ketika semua pertanyaan rahasia memicu jawaban AI generatif?
Menurut definisi, hanya pertanyaan yang memicu jawaban AI generatif yang dapat diklasifikasikan ke dalam tema. Tetapi memicu panggilan ke jawaban generatif tidak sama dengan memiliki jawaban atas kueri pengguna.
Misalnya, biasanya ada topik peningkatan percakapan yang terhubung ke sumber pengetahuan. Dalam hal ini, jika niat tidak dikenali, topik mungkin dipicu yang memanggil sumber pengetahuan meskipun tidak ada jawaban atas pertanyaan di sumber pengetahuan tersebut.
Menelusuri sebuah tema
Important
Untuk mengakses fungsionalitas telusuri paling detail, kedua hal berikut ini harus benar:
Pengaturan lingkungan berikut diaktifkan:
- Izinkan pemilik dan editor agen melihat transkrip sesi dari interaksi percakapan di agen mereka.
- Izinkan transkrip percakapan dan metadata terkait disimpan di Dataverse.
Untuk informasi selengkapnya, lihat Mengonfigurasi pengaturan transkrip untuk satu lingkungan.
Peran keamanan Penampil Transkrip Bot ditetapkan untuk pengguna. Untuk informasi selengkapnya, lihat Menambahkan pengguna ke peran keamanan.
Untuk menelusuri pertanyaan yang dikelompokkan ke dalam satu tema, pilih tema dalam daftar Tema . Saat Anda memperinci, panel khusus untuk tema yang dipilih terbuka, menampilkan metrik pada tingkat baik tema maupun pertanyaan individual.
Note
Daftar Tema meliputi:
- 100 pertanyaan terbaru diklasifikasikan ke dalam setiap tema.
- Pertanyaan dari 30 hari terakhir, terlepas dari periode waktu yang dikonfigurasi. Jika periode yang dikonfigurasi sepenuhnya di luar 30 hari terakhir, Copilot Studio menampilkan pemberitahuan bahwa daftar tidak tersedia.
Di panel penelusuran tema, metrik pada level tema tersebut ditampilkan terlebih dahulu.
| Metrik tingkat tema | Description |
|---|---|
| Jumlah Pertanyaan | Jumlah total pertanyaan yang diklasifikasikan ke dalam tema ini yang memicu respons AI generatif untuk periode waktu yang dikonfigurasi. |
| Pertanyaan yang dijawab | Proporsi Total pertanyaan tema ini menghasilkan sebuah jawaban atas pertanyaan pengguna. |
| Pertanyaan yang tidak terjawab | Proporsi Total pertanyaan tema ini tidak menghasilkan sebuah jawaban atas pertanyaan pengguna. |
| Reaksi | Jumlah mentah reaksi positif (jempol ke atas) dan negatif (jempol ke bawah) dari pertanyaan yang diklasifikasikan ke tema ini, seperti yang dicatat dalam mekanisme Umpan Balik Pelajari. |
Untuk menampilkan perincian kualitas respons untuk pengambilan sampel pertanyaan yang dijawab, dan semua sumber pengetahuan yang direferensikan dalam tema ini, pilih Lihat detail.
Pada panel Metrik tema , untuk melihat informasi selengkapnya tentang satu nilai kualitas respons di tingkat tema, di bagian Kualitas respons, arahkan kursor ke segmen bilah individual. Tipsalat mencakup nilai pembobotan relatif dari segmen tersebut dan jumlah pertanyaan yang disampel untuk mencapai nilai tersebut.
Untuk melihat informasi selengkapnya di tingkat salah satu sumber pengetahuan yang tercantum dalam tema, di bawah Penggunaan sumber pengetahuan, pilih sumber pengetahuan individual. Tooltip meliputi:
- Jumlah total pertanyaan yang mereferensikan sumber pengetahuan ini serta jumlah reaksi jempol ke atas dan jempol ke bawah.
- Bagan batang bertumpuk menunjukkan rincian bobot relatif kualitas respons untuk pertanyaan yang merujuk pada sumber pengetahuan ini. Arahkan kursor ke segmen mana pun dari diagram batang untuk melihat nilai bobot relatif segmen tersebut dan jumlah pertanyaan yang diambil sampelnya untuk mencapai nilai tersebut.
Daftar pertanyaan berbasis tema mencerminkan semua pertanyaan yang memicu respons AI generatif dan diklasifikasikan ke dalam tema ini, dan menampilkan metrik berdasarkan per pertanyaan .
Metrik tingkat pertanyaan meliputi:
| Dimensi atau metrik tingkat pertanyaan | Description |
|---|---|
| Pertanyaan (Dimensi) | Pertanyaan yang memicu respons AI generatif yang diklasifikasikan ke tema ini. |
| Apakah sudah terjawab? | Respons terhadap pertanyaan apakah kueri pengguna dijawab atau tidak. Nilai yang mungkin adalah Answered dan Unanswered. |
| Kualitas respons1 | Respons terhadap pertanyaan tentang kualitas respons terhadap kueri pengguna. Nilai yang mungkin adalah Poor dan Good. |
| Reaksi | Dua parameter, menjadi metrik Boolean Thumbs up / Thumbs down , dan parameter Komentar berbasis teks. |
| Date | Tanggal ketika pertanyaan ditanyakan. |
| Sumber Pengetahuan | Daftar sumber pengetahuan yang dipisahkan koma yang dirujuk oleh pertanyaan ini dalam tema ini. |
1 Kualitas respons tidak selalu tersedia dan muncul hanya jika pertanyaan diambil sampelnya untuk analisis kualitas.
Jika mau, Anda bisa melakukan tindakan berikut di halaman daftar pertanyaan khusus tema:
- Terapkan lebih banyak pemfilteran untuk mempersempit daftar pertanyaan lebih lanjut dengan menggunakan filter dimensi daftar.
- Evaluasi pertanyaan yang tercantum sesuai dengan kriteria yang Anda tentukan dalam metode pengujian evaluasi.
- Unduh pertanyaan yang tercantum sebagai file .csv.
- Lihat informasi terperinci khusus untuk respons agen individual.
Pilih pertanyaan apa pun dalam daftar untuk menampilkan informasi selengkapnya tentang pertanyaan di panel Detail pertanyaan . Panel ini mencakup:
| Parameter tingkat pertanyaan terperinci | Description |
|---|---|
| Cap waktu | Stempel waktu terakhir kali ketika pertanyaan dijawab. |
| Kueri pengguna | Pertanyaan yang diajukan. |
| Jawaban | Respons AI generatif. |
| Nilai jempol ke atas/Jempol ke bawah | Nilai instans terbaru dari pertanyaan ini untuk parameter Jempol ke atas/Jempol ke bawah. |
| Comment | Komentar berbasis teks tambahan opsional, disediakan oleh pengguna, selain reaksi Jempol ke atas / Jempol ke bawah . |
| Kualitas respons1 | Respons terhadap pertanyaan tentang kualitas respons terhadap kueri pengguna. Nilai yang mungkin adalah Poor dan Good. |
| Alasan2 | Dalam kasus di mana kualitas respons adalah Poor, parameter ini menjelaskan alasannya. |
1 Kualitas respons tidak selalu tersedia dan muncul hanya jika pertanyaan diambil sampelnya untuk analisis kualitas.
2 Jika kualitas Respons adalah Good atau jika pertanyaan tidak diambil sampelnya, parameter Alasan tidak memiliki nilai.
Mengevaluasi jawaban agen Anda berdasarkan tema
Note
Saat Anda memilih Evaluasi untuk tema yang tercantum di halaman Tema , Anda membuat set pengujian baru di tingkat tema. Set pengujian mencakup semua pertanyaan yang diklasifikasikan ke tema tersebut, hingga 100 pertanyaan. Untuk menerapkan lebih banyak pemfilteran pada daftar pertanyaan, sebelum Anda membuat kumpulan pengujian evaluasi, telusuri paling detail tema terlebih dahulu. Kemudian, terapkan pemfilteran ke daftar. Setelah Anda menerapkan semua pemfilteran yang diinginkan, pilih Evaluasi dari halaman daftar pertanyaan.
Anda dapat menguji jawaban agen Anda atas pertanyaan yang terkait dengan tema dengan menggunakan evaluasi agen (pratinjau).
Evaluasi berbasis tema menguji bagian tertentu dari cakupan agen Anda. Misalnya, jika Anda memiliki agen layanan pelanggan, Anda dapat melacak kualitas jawaban untuk pertanyaan penagihan dan pembayaran secara terpisah dari kasus penggunaan lain seperti pemecahan masalah.
Pelajari lebih lanjut cara membuat set pengujian dari tema.
