Menganalisis pertanyaan pengguna berdasarkan tema (pratinjau)

[Artikel ini adalah dokumentasi prarilis dan dapat berubah.]

Tema adalah pengelompokan pertanyaan yang diambil dari kumpulan pertanyaan pengguna yang memicu jawaban generatif. Tema mengelompokkan pertanyaan pengguna terkait ke dalam grup yang diatur secara cerdas, yang lebih sedikit namun lebih mudah dikelola. Dengan tema, Anda dapat memperoleh wawasan tingkat kategori tentang niat pelanggan, mengidentifikasi topik yang sering, dan memfokuskan upaya pada area yang membutuhkan peningkatan. Anda kemudian dapat menelusuri pertanyaan individual tema dan memantau performa pada tingkat yang lebih terperinci ini untuk lebih memahami metrik tingkat tema.

Penting

Artikel ini berisi dokumentasi pratinjau Microsoft Copilot Studio dan dapat berubah.

Fitur pratinjau tidak dimaksudkan untuk penggunaan produksi dan mungkin memiliki fungsionalitas terbatas. Fitur ini tersedia sebelum rilis resmi agar Anda bisa memperoleh akses awal dan memberikan tanggapan.

Jika Anda membangun agen siap produksi, lihat Gambaran umum Microsoft Copilot Studio.

Proposisi nilai kunci

Fitur Tema secara otomatis menganalisis semua pertanyaan yang tidak diklasifikasikan yang memicu respons AI generatif dalam seminggu terakhir dan menyarankan tema berdasarkan analisis ini. Proses ini berjalan mingguan. Di antara eksekusi saran tema mingguan , fitur ini melakukan klasifikasi harian dari pertanyaan baru yang memicu respons AI generatif, menambahkan data ini ke metrik tema. Daftar Tema yang disarankan disegarkan secara teratur sehingga tema Anda tetap relevan dan mencerminkan data pengguna terbaru. Refresh otomatis ini menghemat waktu Anda dengan:

• Terus mengevaluasi relevansi tema terhadap data baru
• Mengklasifikasikan pertanyaan individual secara otomatis ke dalam tema
• Mengotomatiskan pengambilan data metrik mentah untuk setiap tema
• Menghitung data metrik agregat untuk setiap tema

Prasyarat

Untuk mengoptimalkan nilai fitur Tema, termasuk dapat menelusuri paling detail pertanyaan dan jawaban komponen setiap tema:

• Anda memerlukan peran keamanan Penampil Transkrip Bot untuk melihat daftar dan metriknya. Hanya admin yang dapat memberikan peran ini dengan menetapkan peran keamanan Penampil Transkrip Bot selama berbagi agen.

• Pengaturan tingkat lingkungan untuk menyimpan transkrip percakapan di Dataverse diaktifkan.

Tema yang disarankan dan pertanyaan rahasia

Copilot Studio menyarankan tema berdasarkan catatan pertanyaan yang diajukan di masa lalu. Dengan menyesuaikan setiap tema yang disarankan agar sesuai dengan struktur organisasi dan strategi pengalaman pelanggan Anda, Anda dapat mendapatkan wawasan yang lebih baik melalui indikator performa utama (KPI) khusus tema. Granularitas yang lebih dalam ini memudahkan untuk menemukan di mana agen kurang berfungsi.

Tema membantu pembuat memahami pertanyaan apa yang diajukan pengguna kepada agen dan performa agen. Pada eksekusi awal analitik berbasis Tema, Copilot Studio melihat semua pertanyaan dari minggu lalu dan menyarankan hingga 10 tema yang mengelompokkan pertanyaan pengguna berdasarkan kesamaan satu sama lain. Setiap tema mencakup metrik seperti jumlah total pertanyaan, tingkat jawaban, dan reaksi pengguna. Data yang ditampilkan dalam daftar Tema disesuaikan berdasarkan periode analitik yang dipilih.

Setelah eksekusi awal, Copilot Studio mengklasifikasikan pertanyaan baru ke tema yang ada secara berkelanjutan, setiap hari, dan menghasilkan daftar baru tema yang disarankan setiap minggu.

Nota

• Setidaknya harus ada 50 pertanyaan dengan jawaban generatif yang dicatat dalam tujuh hari terakhir sebelum Copilot Studio menghasilkan tema yang disarankan.
• Ada kemungkinan pertanyaan yang memicu respons AI generatif diklasifikasikan menjadi lebih dari satu tema. Skenario ini mungkin menjadi lebih umum dalam mode Orkestrasi Generatif , di mana jawaban agen dapat berasal dari beberapa sumber yang berbeda.
• Setiap pertanyaan yang tetap tidak diklasifikasikan dimasukkan ke dalam tema Tidak Diklasifikasikan .
• Pelaksanaan saran mingguan mungkin memakan waktu beberapa menit untuk diselesaikan. Selama waktu ini, bagian Tema tidak tersedia untuk digunakan.

Daftar Tema

Secara default, daftar Tema menampilkan lima (5) tema teratas, diberi peringkat berdasarkan jumlah total pertanyaan yang diklasifikasikan untuk setiap tema. Pilih Lihat semua untuk memperluas daftar untuk menampilkan semua tema.

Dengan eksekusi saran tema mingguan otomatis dan klasifikasi pertanyaan harian, fitur Tema berkembang secara otomatis dan beradaptasi dengan perubahan perilaku pengguna.

Daftar Tema menampilkan metrik untuk setiap tema yang tercantum.

Column	Description
Nama	Nama tema.
Jumlah Pertanyaan	Jumlah total pertanyaan yang diklasifikasikan ke dalam tema ini untuk periode waktu yang dikonfigurasi.
Pertanyaan yang dijawab	Proporsi Total pertanyaan yang menghasilkan jawaban atas pertanyaan pengguna.
Kualitas respons	Proporsi jumlah semua tanggapan (berdasarkan sampel pertanyaan) yang memiliki respons yang Good berkualitas.
Reaksi	Jumlah mentah reaksi positif (jempol ke atas) dan negatif (jempol ke bawah) dari pertanyaan yang diklasifikasikan ke setiap tema.

Nota

Mengapa ada 'Pertanyaan yang tidak terjawab' dalam tema saya ketika semua pertanyaan rahasia memicu jawaban AI generatif?

Menurut definisi, hanya pertanyaan yang memicu jawaban AI generatif yang dapat diklasifikasikan ke dalam tema. Tetapi memicu panggilan ke jawaban generatif tidak sama dengan memiliki jawaban atas kueri pengguna.

Misalnya, biasanya ada topik peningkatan percakapan yang terhubung ke sumber pengetahuan. Dalam hal ini, jika niat tidak dikenali, topik ini mungkin dipicu yang memanggil sumber pengetahuan meskipun tidak ada jawaban atas pertanyaan di sumber pengetahuan tersebut.

Menelusuri sebuah tema

Untuk menelusuri pertanyaan yang dikelompokkan ke dalam satu tema, pilih tema dalam daftar Tema . Saat Anda memperinci, panel khusus untuk tema yang dipilih terbuka, menampilkan metrik pada tingkat baik tema maupun pertanyaan individual.

Nota

Daftar Tema meliputi:

• Hingga 100 pertanyaan terbaru yang diklasifikasikan ke dalam setiap tema.
• Pertanyaan dari 30 hari terakhir, terlepas dari periode waktu yang dikonfigurasi. Jika periode yang dikonfigurasi sepenuhnya di luar 30 hari terakhir, Copilot Studio menampilkan pemberitahuan bahwa daftar tidak tersedia.

Di panel penelusuran tema, metrik pada level tema tersebut ditampilkan terlebih dahulu.

Metrik tingkat tema	Description
Jumlah Pertanyaan	Jumlah total pertanyaan (diklasifikasikan ke dalam tema ini) yang memicu respons AI generatif untuk periode waktu yang dikonfigurasi.
Pertanyaan yang dijawab	Proporsi Total pertanyaan tema ini menghasilkan sebuah jawaban atas pertanyaan pengguna.
Pertanyaan yang tidak terjawab	Proporsi Total pertanyaan tema ini tidak menghasilkan sebuah jawaban atas pertanyaan pengguna.
Reaksi	Jumlah mentah reaksi positif (jempol ke atas) dan negatif (jempol ke bawah) dari pertanyaan yang diklasifikasikan ke tema ini, seperti yang dicatat dalam mekanisme Umpan Balik Pelajari.

Untuk menampilkan perincian kualitas respons untuk sampel pertanyaan yang dijawab, dan semua sumber pengetahuan yang direferensikan dalam tema ini, pilih Tampilkan selengkapnya.

Pada panel Metrik tema , untuk melihat informasi selengkapnya tentang satu nilai kualitas respons di tingkat tema, di bagian Kualitas respons, arahkan kursor ke segmen bilah individual. Tipsalat mencakup nilai pembobotan relatif dari segmen tersebut dan jumlah pertanyaan yang disampel untuk mencapai nilai tersebut.

Untuk melihat informasi selengkapnya di tingkat salah satu sumber pengetahuan yang tercantum dalam tema, di bawah Penggunaan sumber pengetahuan, pilih sumber pengetahuan individual. Tooltip meliputi:

• Jumlah total pertanyaan yang mereferensikan sumber pengetahuan ini serta jumlah reaksi jempol ke atas dan jempol ke bawah.
• Bagan batang bertumpuk memperlihatkan pendetailan kualitas pembobotan relatif respons untuk pertanyaan yang merujuk sumber pengetahuan ini. Arahkan kursor ke segmen mana pun dari diagram batang untuk melihat nilai bobot relatif segmen tersebut dan jumlah pertanyaan yang diambil sampelnya untuk mencapai nilai tersebut.

Dalam panel penelusuran bawah tema individual, bagian Pertanyaan pengguna mencantumkan semua pertanyaan yang memicu respons AI generatif dalam jangka waktu yang dikonfigurasi dan diklasifikasikan ke dalam tema ini, dan menampilkan metrik berdasarkan per pertanyaan . Metrik tingkat pertanyaan meliputi:

Dimensi atau metrik tingkat pertanyaan	Description
Pertanyaan (Dimensi)	Pertanyaan (yang memicu respons AI generatif) diklasifikasikan ke tema ini.
Apakah sudah terjawab?	Respons terhadap pertanyaan apakah kueri pengguna dijawab atau tidak. Nilai yang mungkin adalah Answered dan Unanswered.
Kualitas respons1	Respons terhadap pertanyaan tentang kualitas respons terhadap kueri pengguna. Nilai yang mungkin adalah Poor dan Good.
Reaksi	Dua parameter, menjadi metrik Boolean Thumbs up / Thumbs down , dan parameter Komentar berbasis teks.
Sumber Pengetahuan	Daftar sumber pengetahuan yang dipisahkan koma yang dirujuk oleh pertanyaan ini dalam tema ini.

¹ Kualitas respons tidak selalu tersedia dan muncul hanya jika pertanyaan diambil sampelnya untuk analisis kualitas.

Pilih pertanyaan apa pun dalam daftar untuk menampilkan informasi selengkapnya tentang pertanyaan di panel Detail pertanyaan . Panel ini mencakup:

Parameter tingkat pertanyaan terperinci	Description
Label waktu	Stempel waktu terakhir kali ketika pertanyaan dijawab.
Kueri pengguna	Pertanyaan yang diajukan.
Jawaban	Respons AI generatif.
Nilai jempol ke atas/Jempol ke bawah	Nilai instans terbaru dari pertanyaan ini untuk parameter jempol ke atas/jempol ke bawah.
Comment	Komentar berbasis teks tambahan opsional, disediakan oleh pengguna, selain reaksi Jempol ke atas / Jempol ke bawah .
Kualitas respons1	Respons terhadap pertanyaan tentang kualitas respons terhadap kueri pengguna. Nilai yang mungkin adalah Poor dan Good.
Alasan2	Dalam kasus di mana kualitas respons adalah Poor, parameter ini menjelaskan alasannya.

¹ Kualitas respons tidak selalu tersedia dan muncul hanya jika pertanyaan diambil sampelnya untuk analisis kualitas.

² Jika kualitas Respons adalah Good atau jika pertanyaan tidak diambil sampelnya, parameter Alasan tidak diberi nilai apa pun.