Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Penting
Artikel ini menjelaskan metrik dan data yang tersedia untuk pengalaman analitik chatbot klasik. Secara default, Copilot Studio menggunakan analitik untuk agen modern. Analitik chatbot klasik tersedia berdasarkan permintaan. Kirim permintaan dengan menghubungi dukungan teknis.
Tab Ringkasan di halaman Analytics memberi Anda gambaran umum tentang performa agen Anda. Ini menggunakan teknologi kecerdasan buatan (AI) untuk menunjukkan kepada Anda topik mana yang memiliki efek terbesar pada tingkat eskalasi, tingkat pengabaian, dan tingkat resolusi.
Sesi analitik melacak interaksi pengguna dengan agen Anda dan mencoba menangkap seberapa baik agen Anda menangani tugas pengguna. Satu percakapan dapat berisi satu atau beberapa sesi analitik. Setiap sesi dikaitkan dengan topik tertentu. Topik non-sistem terakhir yang dipicu—atau topik sistem pertama yang dipicu, jika tidak ada topik non-sistem yang dipicu—dikaitkan dengan sesi analitik.
Bagan ringkasan mengukur seberapa baik kinerja agen Anda dan membantu Anda menemukan topik yang paling memengaruhi kinerja agen Anda. Sesi akan habis setelah 30 menit tidak aktif.
Catatan
Analytics tidak tersedia di halaman Analytics untuk aktivitas yang diselesaikan saat Anda menguji agen menggunakan Copilot Studio panel pengujian.
Sesi dimulai saat pengguna berinteraksi dengan agen Anda atau agen mengirimkan pesan proaktif ke pengguna. Sesi dimulai dalam keadaan tidak terlibat .
Sesi menjadi aktif ketika salah satu hal berikut terjadi:
- Topik non-sistem dipicu
- Sesi dieskalasi
- Topik penggantian dipicu
- Topik peningkatan percakapan dipicu
Setelah sesi terlibat, sesi tetap terlibat. Sesi yang terlibat dapat memiliki salah satu hasil berikut: diselesaikan, ditingkatkan, atau ditinggalkan.
Sesi berakhir dan dianggap dieskalasi saat topik Eskalasi dipicu atau simpul Transfer ke agen dijalankan. (Sesi analitik saat ini berakhir, apakah percakapan ditransfer ke agen langsung atau tidak.)
Sesi berakhir dan dianggap terselesaikan ketika:
- Topik Akhir Percakapan dipicu dan pengguna mengonfirmasi bahwa interaksi berhasil atau membiarkan waktu sesi habis.
- Topik Keberhasilan Dikonfirmasi dipicu.
Sesi berakhir dan dianggap diabaikan ketika sesi yang terlibat habis waktu dan tidak mencapai status terselesaikan atau dieskalasi.
Tab ringkasan mencakup berbagai grafik dengan tampilan grafis indikator kinerja utama agen Anda. Sisa artikel ini menjelaskan setiap bagan secara lebih rinci.
Tip
- Secara default, halaman menampilkan indikator performa utama selama tujuh hari terakhir. Untuk mengubah jangka waktu, gunakan kontrol tanggal di bagian atas halaman.
- Transkrip percakapan untuk analitik chatbot klasik tersedia Dataverse sekitar enam jam setelah sesi analitik dimulai.
Diagram ringkasan
Grafik ringkasan merangkum indikator kinerja utama untuk periode waktu yang ditentukan dan persentase perubahan selama periode tersebut.
| KETERANGAN | Rincian |
|---|---|
| Sesi Total | Jumlah total sesi dalam periode waktu yang ditentukan. |
| Tingkat keterlibatan | Persentase total sesi yang terlibat. |
| Tingkat resolusi | Persentase sesi terlibat yang diselesaikan. |
| Tingkat eskalasi | Persentase sesi terlibat yang ditingkatkan. |
| Tingkat pengabaian | Persentase sesi terlibat yang ditinggalkan. |
| CSAT | Tampilan grafis skor CSAT (kepuasan pelanggan) rata-rata untuk sesi saat pelanggan merespons permintaan akhir sesi untuk melakukan survei. |
Diagram keterlibatan dari waktu ke waktu
Bagan Keterlibatan dari waktu ke waktu memberikan tampilan grafis tentang jumlah sesi yang terlibat dan tidak terlibat dari waktu ke waktu.
| Description | Detail |
|---|---|
| Terlibat | Jumlah hari sesi yang terlibat. |
| Tidak terlibat | Jumlah hari sesi yang tidak terlibat. |
Diagram hasil sesi dari waktu ke waktu
Bagan Hasil sesi dari waktu ke waktu memberikan tampilan grafis tentang tingkat resolusi harian, tingkat eskalasi, dan tingkat pengabaian selama periode waktu yang ditentukan.
| Description | Detail |
|---|---|
| Tertangani | Tingkat harian sesi tertangani. |
| Dieskalasikan | Tingkat harian sesi dieskalasi. |
| Diabaikan | Tingkat harian sesi diabaikan. |
Diagram penggerak tingkat resolusi
Bagan Driver tingkat resolusi menampilkan topik dalam urutan dampaknya terhadap tingkat resolusi selama periode waktu yang ditentukan.
| KETERANGAN | Rincian |
|---|---|
| Topik | Sebuah Copilot Studio topik. |
| Kurs | Persentase sesi terlibat untuk topik yang diselesaikan. |
| Dampak | Skor dampak tingkat resolusi topik. Skor dampak tingkat resolusi adalah tingkat resolusi keseluruhan termasuk topik dikurangi tingkat resolusi keseluruhan tidak termasuk topik. |
Bagan menampilkan dampak sebagai persentase. Topik dengan persentase dampak positif adalah topik dengan tingkat resolusi yang lebih tinggi dari rata-rata—topik tersebut meningkatkan tingkat resolusi keseluruhan agen Anda.
Tingkatkan tingkat resolusi topik dengan persentase dampak negatif yang tinggi untuk meningkatkan tingkat resolusi keseluruhan untuk agen Anda dengan lebih cepat.
Untuk melihat informasi tambahan tentang setiap topik, pilih tautan Detail untuk menampilkan halaman detail topik. Untuk informasi selengkapnya, lihat Menganalisis penggunaan topik.
Diagram penggerak tingkat eskalasi
Bagan Pendorong tingkat eskalasi menampilkan topik dalam urutan dampaknya terhadap tingkat eskalasi selama periode waktu yang ditentukan.
| KETERANGAN | Rincian |
|---|---|
| Topik | Sebuah Copilot Studio topik. |
| Kurs | Persentase sesi terlibat untuk topik yang ditingkatkan. |
| Dampak | Skor dampak tingkat eskalasi topik. Skor dampak tingkat eskalasi adalah tingkat eskalasi keseluruhan termasuk topik dikurangi tingkat eskalasi tidak termasuk topik. |
Bagan menampilkan dampak sebagai persentase. Topik dengan persentase dampak positif adalah topik dengan tingkat eskalasi yang lebih besar dari rata-rata—topik tersebut meningkatkan tingkat eskalasi keseluruhan agen Anda.
Turunkan tingkat eskalasi topik dengan persentase dampak tinggi untuk mengurangi tingkat eskalasi untuk agen Anda dengan lebih cepat.
Untuk melihat informasi tambahan tentang setiap topik, pilih tautan Detail untuk menampilkan halaman detail topik. Untuk informasi selengkapnya, lihat Menganalisis penggunaan topik.
Diagram penggerak tingkat pengabaian
Bagan Driver tingkat pengabaian menampilkan topik dalam urutan dampaknya terhadap tingkat pengabaian selama periode waktu yang ditentukan.
| KETERANGAN | Rincian |
|---|---|
| Topik | Sebuah Copilot Studio topik. |
| Kurs | Persentase sesi terlibat untuk topik yang ditinggalkan. |
| Dampak | Skor dampak tingkat pengabaian topik. Skor dampak tingkat pengabaian adalah tingkat pengabaian keseluruhan termasuk topik dikurangi tingkat pengabaian tidak termasuk topik. |
Bagan menampilkan dampak sebagai persentase. Topik dengan persentase dampak positif adalah topik dengan tingkat pengabaian lebih besar dari rata-rata—topik tersebut meningkatkan tingkat pengabaian keseluruhan agen Anda.
Turunkan tingkat pengabaian topik dengan persentase dampak tinggi untuk menurunkan tingkat pengabaian untuk agen Anda dengan lebih cepat.
Untuk melihat informasi tambahan tentang setiap topik, pilih tautan Detail untuk menampilkan halaman detail topik. Untuk informasi selengkapnya, lihat Menganalisis penggunaan topik.
Menganalisis metrik kepuasan pelanggan agen Anda
Tab Kepuasan Pelanggan di halaman Analytics memberikan tampilan mendetail data survei kepuasan pelanggan (CSAT), termasuk skor CSAT rata-rata, tema kueri pengguna utama, dan insight yang dapat ditindaklanjuti tentang pendorong kepuasan atau ketidakpuasan terhadap tanggapan agen Anda.
Secara default, halaman menampilkan indikator kinerja utama selama tujuh hari terakhir. Untuk mengubah jangka waktu, gunakan pemilih tanggal di bagian atas halaman. Anda dapat mengambil data untuk periode apa pun dalam 45 hari terakhir.
Skor Kepuasan Pelanggan
Bagan skor kepuasan pelanggan memberikan tampilan grafis rata-rata skor CSAT untuk sesi di mana pelanggan menanggapi permintaan akhir percakapan untuk mengikuti survei. Survei CSAT meminta pelanggan untuk menilai pengalaman mereka pada skala 1 hingga 5. Jika pelanggan menanggapi lebih dari satu survei dalam sesi yang sama, hanya survei terbaru yang digunakan.
Grafik ini juga menyediakan indikator perubahan periode ke periode. Misalnya, saat Anda memilih periode tiga hari, indikator menunjukkan persentase perubahan relatif terhadap tiga hari sebelum periode yang dipilih. Indikator periode-ke-periode hanya muncul jika agen Anda memiliki data survei CSAT yang tersedia untuk periode sebelumnya. Jika tidak ada data survei CSAT yang tersedia untuk periode waktu akhir yang sama relatif terhadap apa yang dipilih dalam filter, maka indikator periode-ke-periode tidak muncul.
Tingkat respons survei CSAT
Bagan tingkat respons survei CSAT menunjukkan jumlah survei CSAT akhir percakapan yang disajikan dan persentase survei yang diselesaikan.
Rincian kepuasan pelanggan (CSAT)
Bagan rincian kepuasan pelanggan menunjukkan persentase sesi yang puas, tidak puas, atau netral dalam jangka waktu yang dipilih. Panel status kepuasan pelanggan memberikan detail selengkapnya tentang berbagai sinyal yang digunakan untuk menentukan status kepuasan sesi.
Skor kepuasan pelanggan
Bagan status kepuasan pelanggan memberikan wawasan utama tentang tema yang dicari pengguna, dan tingkat kepuasan pengguna tentang respons agen. Sesi dengan tema serupa dikelompokkan bersama. Bagan menunjukkan jumlah sesi untuk setiap tema selama periode yang dipilih, dan persentase sesi ini yang puas atau tidak puas. Sesi yang tidak puas dan tidak puas dianggap sebagai sesi netral dan tidak muncul di diagram ini.
Tema sesi tertentu diturunkan menggunakan model ML. Sebelum dikirim ke dasbor analitik, tema diproses untuk menghapus data pribadi atau informasi sensitif apa pun, seperti nomor telepon. Selain itu, jika tema mengandung bahasa yang tidak senonoh atau berbahaya, tema-tema ini ditutup.
Untuk melihat pendorong kepuasan atau ketidakpuasan tertentu, arahkan kursor ke setiap segmen grafik. Jika salah satu kriteria benar untuk sesi tertentu, maka sesi tersebut diklasifikasikan sebagai puas atau tidak puas:
Sesi dianggap tidak puas jika:
- Pengguna memberikan dua bintang atau kurang di akhir survei percakapan .
- Pengguna diminta untuk menyusun ulang kueri mereka dua kali atau lebih dari dua kali di (topik penggantian sistem).
- Pengguna meninggalkan sesi.
- Pengguna meningkatkan sesi ke agen langsung.
- Sentimen keseluruhan pengguna tentang percakapan mereka dengan agen diklasifikasikan sebagai negatif. Sentimen ditentukan menggunakan model ML yang tersedia untuk umum yang disetel untuk analisis sentimen.
Sesi dianggap puas jika:
- Pengguna memberikan empat bintang atau lebih di akhir survei percakapan .
- Pengguna tidak diminta untuk menyusun ulang kueri mereka lebih dari sekali di (topik penggantian sistem).
- Sesi itu diselesaikan.
- Sentimen keseluruhan pengguna tentang percakapan mereka dengan agen diklasifikasikan sebagai positif.
Sesi yang tidak memenuhi kriteria di atas dianggap sebagai sesi netral dan tidak muncul di diagram ini.
Pada tab Ringkasan halaman Analytics , Anda dapat menggunakan ikon Informasi untuk mempelajari tingkat keterlibatan, eskalasi, pengabaian, dan penyelesaian lebih lanjut.
Ekstraksi sentimen tema dan sesi
Copilot Studio menggunakan teknik pemrosesan bahasa alami (NLP) untuk mengekstrak tema dan menetapkan sentimen ke sesi agen tertentu.
Untuk setiap sesi, Copilot Studio mengekstrak tema dari ucapan pengguna pertama. Sesi individual dengan tema serupa digabungkan, dan muncul sebagai satu item pada bagan status Kepuasan pelanggan.
Untuk mengevaluasi sentimen sesi, model NLP yang mendasarinya dilatih pada kumpulan data bahasa Inggris publik. Proses ini menganalisis teks sesi untuk menentukan apakah sentimen keseluruhan positif, negatif, atau netral. Proses ini juga memproses kueri pengguna terlebih dahulu untuk menghapus positif palsu. Misalnya, prapemrosesan ini memastikan bahwa kueri seperti "apa opsi terbaik?" tidak diklasifikasikan sebagai positif semata-mata karena kata "terbaik" muncul dalam kueri.