Menganalisis agen percakapan

Note

Fitur-fitur dalam artikel ini didukung oleh harness standar, yang menggunakan opsi penagihan yang dijelaskan dalam Lisensi untuk agen yang didukung oleh harness standar. Pelajari cara mengakses fitur standar di agen standar Access dan alur agen.

Halaman Analytics di Copilot Studio memberikan wawasan agregat tentang efektivitas keseluruhan agen Anda di seluruh sesi analytics. Halaman dibagi menjadi area inti yang berfokus pada konteks performa yang berbeda. Halaman ini juga menampilkan area Ikhtisar yang menyediakan metrik indikator performa utama (KPI) tingkat tinggi untuk agen Anda, area Penghematan yang menganalisis penghematan waktu dan biaya yang dapat diatributkan ke agen atau alat agen Anda, dan area Ringkasan yang memberikan wawasan analitik utama tentang performa agen Anda.

Ada empat bagian inti yang harus difokuskan saat meninjau dan meningkatkan efektivitas agen percakapan.

• Bagian Ringkasan, Gambaran Umum, dan Penghematan menunjukkan wawasan analitik utama tentang agen Anda bersama dengan statistik penagihan dan penghematan biaya; lihat Ringkasan, Gambaran Umum, dan Penghematan untuk mempelajari selengkapnya tentang setiap subbagian.
• Bagian Metrik kustom memungkinkan Anda menentukan metrik khusus bisnis untuk kasus penggunaan agen Anda.
• Bagian Efektivitas membantu Anda mengevaluasi kualitas pengalaman pengguna dengan menunjukkan di mana percakapan berjalan dengan baik, di mana percakapan mengalami kendala, dan bagaimana perasaan pengguna terhadap hasilnya.
• Bagian Gunakan membantu Anda meningkatkan performa operasional dengan menunjukkan seberapa baik agen Anda menjawab pertanyaan, seberapa andal alat dan sumber pengetahuan mendukung jawaban tersebut, dan di mana pembaruan yang ditargetkan dapat meningkatkan cakupan dan konsistensi.

Anda dapat melihat analitik untuk peristiwa yang terjadi dalam 360 hari terakhir.

Metrik khusus

Bagian Metrik kustom memungkinkan Anda menentukan hingga tiga metrik khusus bisnis dalam bahasa alami dan melacak seberapa sering setiap hasil muncul di seluruh sesi sampel. Gunakan metrik ini untuk melengkapi wawasan analitik standar Anda dengan indikator yang mencerminkan tujuan agen dan penggunaan bisnis Anda.

Untuk pengguna dengan hak istimewa Bot Transcript Viewer, Anda dapat menelusuri daftar sesi pelanggan yang difilter berdasarkan segmen yang dipilih dari grafik donat. Dari daftar sesi, Anda dapat melihat alasan di balik metrik dan mengakses dasar transkrip dengan memilih sesi individual.

Untuk mempelajari cara membuat, menguji, dan menyempurnakan metrik kustom, lihat Menganalisis agen Anda dengan metrik kustom.

Efektivitas

Bagian Efektivitas menunjukkan umpan balik pengguna yang dikumpulkan dari reaksi, respons agen, hasil survei, dan skor sentimen untuk sesi. Efektivitas dibagi di banyak subbagian:

• Hasil percakapan: Mengetahui hasil akhir percakapan membantu Anda mulai mengidentifikasi di mana agen Anda berhasil dan di mana diperlukan penyempurnaan.
• Respons: Respons pengguna, termasuk umpan balik suka/tidak suka dan komentar pengguna atas respons agen tertentu.
• Kepuasan pelanggan: Tampilan skor kepuasan pelanggan (CSAT).
• Sentimen (pratinjau): Analisis sentimen berbasis AI untuk keseluruhan sesi.
• Agen: Lihat metrik volume panggilan, rasio keberhasilan, dan status saat ini untuk agen turunan dan agen yang terhubung.

Data umpan balik disimpan dalam tabel transkrip percakapan di Dataverse. Untuk daftar saluran yang mendukung fitur ini, lihat detail Fitur.

Hasil percakapan

Bagian Hasil percakapan menampilkan bagan yang melacak jenis hasil untuk setiap sesi antara agen dan pengguna Anda.

Bagan, baik ditampilkan sebagai histogram bertumpuk atau bagan area bertumpuk, memvisualisasikan volume relatif dari berbagai hasil, yang diberi kode warna dan ditumpuk berdasarkan jenis. Setiap Diselesaikan, Dieskalasi, Diabaikan, dan Tidak terlibat diwakili oleh warnanya masing-masing untuk setiap poin data. Sumbu y menunjukkan jumlah sesi.

Untuk melihat metrik tentang hasil individual khusus untuk satu poin data (hari tertentu), arahkan mouse ke area yang mewakili warna hasil yang menarik (misalnya, teal untuk Diabaikan) pada hari yang Anda minati.

Untuk mengunduh data hasil percakapan (data yang divisualisasikan dalam grafik), pilih ikon menu dan pilih Unduh CSV.

Note

Jika Anda memiliki hasil yang dihapus dari bagan saat Anda mengunduh, datanya tidak muncul di CSV.

Untuk membuka panel samping dengan informasi terperinci tentang hasil percakapan, pilih Lihat detail pada bagan. Panel samping Hasil percakapan meliputi:

• Perincian bagan pai dari hasil sesi, menampilkan bobot relatif (dinyatakan sebagai persentase) dari hasil Diselesaikan, Dieskalasi, dan Diabaikan.
• Grafik batang bertumpuk menunjukkan pembobotan relatif (dinyatakan sebagai persen) dari alasan hasil Diselesaikan yang Dikonfirmasi dan Diselesaikan yang Tersirat yang menjelaskan semua hasil sesi yang diselesaikan.
• Grafik batang bertumpuk menampilkan pembobotan relatif (dinyatakan sebagai persen) dari alasan hasil yang Dimaksudkan Sistem, Tidak Dimaksudkan Sistem, dan Diminta Pengguna menjelaskan semua hasil sesi yang dieskalasi.
• Topik teratas yang mengarah pada setiap hasil.

Note

Untuk melihat tooltip dengan informasi jumlah mentah, arahkan mouse ke segmen bagan pai atau batang bertumpuk.

Sesi termasuk dalam salah satu dari dua keadaan berikut:

• Tidak terlibat: Sesi dimulai saat pengguna berinteraksi dengan agen Anda atau agen mengirimkan pesan proaktif kepada pengguna. Sesi dimulai dalam keadaan tidak terlibat.

• Terlibat: Pengguna secara aktif berinteraksi dengan agen. Ada perbedaan perilaku berdasarkan mode orkestrasi agen.

  • Orkestrasi klasik: Sesi menjadi terlibat ketika salah satu topik berikut dipicu:

    • Topik kustom yang langsung dipicu oleh pengguna
    • Mengeskalasikan topik
    • Topik cadangan
    • Topik pengembangan percakapan

  • Orkestrasi AI generatif: Sesi menjadi terlibat ketika pengguna secara langsung memicu rencana dan menyertakan salah satu elemen berikut:

    • Topik luar sistem
    • Mengeskalasikan topik
    • Topik cadangan
    • Sumber Pengetahuan
    • Perangkat

Sesi yang terlibat memiliki salah satu hasil berikut:

Kategori hasil	Hasil	Deskripsi
Diselesaikan		Sesi berakhir dengan sukses. Ada dua jenis sesi yang diselesaikan: Diselesaikan dikonfirmasi dan Diselesaikan secara tersirat.
	Diselesaikan dikonfirmasi	Sebuah sesi dianggap Diselesaikan dikonfirmasi saat Akhir topik percakapan dipicu dan pengguna mengonfirmasi bahwa interaksi berhasil.
	Diselesaikan tersirat	A session is Diselesaikan secara tersirat saat sesi selesai tanpa konfirmasi pengguna namun didasarkan pada logika agen. Status Terselesaikan Tersirat bergantung pada apakah agen Anda menggunakan orkestrasi AI Klasik atau Generatif. - Orkestrasi klasik: Sesi dianggap Diselesaikan tersirat saat Akhir Topik percakapan dipicu, dan pengguna membiarkan waktu sesi habis tanpa memberikan konfirmasi. - Orkestrasi AI generatif: Sesi dianggap Diselesaikan tersirat ketika sesi berakhir dan tidak ada rencana aktif yang tersisa. Paket aktif adalah paket yang menunggu input pengguna.
Ditingkatkan		Sebuah sesi berakhir tetapi dianggap Dieskalasi saat topik Eskalasi dipicu atau node Alihkan ke agen dijalankan (sesi analitik saat ini berakhir, terlepas dari apakah percakapan tersebut dialihkan ke agen langsung atau tidak). Ada tiga jenis sesi yang dieskalasi: Sesi dimaksudkan sistem, Sesi tidak dimaksudkan sistem, dan Sesi diminta pengguna.
	Sistem yang dimaksud	Sesi dieskalasi secara otomatis sebagai akibat dari aturan bisnis otomatis yang ditetapkan oleh pembuat. Eskalasi adalah hasil yang diharapkan dari percakapan dan bukan sesuatu yang perlu diselidiki atau diubah. Contoh: Pengguna ingin mentransfer lebih dari USD 25.000 kepada pihak ketiga. Jumlah ini melebihi ambang batas dalam aturan bisnis dan sesi tersebut secara otomatis ditingkatkan sebagai akibatnya.
	Sistem tidak disengaja	Eskalasi terjadi secara otomatis sebagai akibat dari sesi yang melebihi satu atau beberapa ambang yang ditetapkan oleh pembuat. Biasanya, hasil ini menunjukkan bahwa pengguna terjebak dalam percakapan dan membutuhkan bantuan. Contoh: Sesi dieskalasikan setelah tiga kegagalan untuk melakukan tugas tertentu.
	Permintaan pengguna	Sesi diekskalasi karena ada permintaan pengguna eksplisit selama percakapan. Contoh: Pengguna memasukkan Transfer me to an agent.
Diabaikan		Sesi berakhir dan dianggap Diabaikan ketika sesi yang aktif dihentikan setelah 30 menit dan tidak mencapai status terselesaikan atau dieskalasi.

Anda juga dapat mengatur hasil untuk alat dengan conversationOutcome parameter menggunakan editor kode alat. Misalnya, conversationOutcome: ResolvedConfirmed untuk keberhasilan yang dikonfirmasi atau conversationOutcome: ResolvedImplied untuk keberhasilan tersirat.

Lihat dokumentasi panduan tentang mengukur keterlibatan untuk saran dan praktik terbaik tentang cara mengukur dan meningkatkan keterlibatan.

Reaksi

Bagian Reaksi menunjukkan umpan balik pengguna yang dikumpulkan dari reaksi terhadap respons agen. Bagan menghitung frekuensi pengguna memilih tombol jempol ke atas (positif) atau jempol ke bawah (negatif) yang tersedia pada setiap respons yang mereka terima dari agen Anda.

Note

• Agen yang dipublikasikan ke saluran Microsoft 365 Copilot memerlukan persetujuan admin di pusat admin Microsoft 365 untuk membagikan umpan balik pengguna, termasuk reaksi dan komentar. Anda dapat melihat umpan balik ini di halaman Monitor . Pelajari lebih lanjut di pengaturan Agen di pusat admin Microsoft 365.
• Reaksi dari saluran Microsoft 365 Copilot tidak digabungkan atau dihitung dalam kolom Reaksi pada bagian penggunaan sumber Tema dan Pengetahuan.
• Untuk melihat komentar, Anda harus memiliki peran keamanan Penampil Transkrip Bot.

Fitur Reactions secara default Aktif untuk semua saluran kecuali saluran Microsoft 365 Copilot. Anda dapat mematikan fitur ini, jika diinginkan. Anda juga dapat menambahkan atau mengedit penafian untuk pengguna tentang cara umpan balik mereka digunakan:

1. Buka agen, lalu buka Pengaturan, dan temukan bagian Umpan balik pengguna.

2. Nonaktifkan Kumpulkan reaksi pengguna terhadap pesan agen baik Aktif atau Nonaktif.

3. Tambahkan atau edit penafian agar pengguna mengetahui cara masukan mereka digunakan. Anda juga dapat memberikan informasi dan kiat privasi.

Pengguna dengan hak istimewa Penampil Transkrip Bot dapat menelusuri paling detail respons agen untuk reaksi individu dan memfilter menurut komentar pengguna.

Lihat tren reaksi dari waktu ke waktu

Pilih Lihat detail pada petak Reaksi untuk membuka panel samping Reaksi . Panel menunjukkan bagaimana reaksi positif dan negatif (dari Thumbs up dan Thumbs down) berkembang dari waktu ke waktu.

Kepuasan pelanggan

Bagian Kepuasan pelanggan menunjukkan informasi tentang kepuasan pengguna berdasarkan hasil survei pengguna:

• Skor kepuasan: Skor dari 5 dihitung dari skor kepuasan pelanggan rata-rata (CSAT) untuk sesi di mana pengguna memberikan tanggapan terhadap permintaan di akhir sesi untuk menyelesaikan survei.

  Note

  Skor 1 dan 2 dipetakan ke Tidak puas, skor 3 dianggap Netral, dan skor 4 dan 5 dipetakan ke Puas.

• Kepuasan berdasarkan sesi: Bagan batang bertumpuk yang memvisualisasikan bobot relatif untuk setiap kategori skor survei, yaitu Dissatisfied, Neutral, dan Satisfied. Arahkan kursor ke setiap segmen bagan untuk melihat ukuran sampel dan nilai numerik pembobotan setiap kategori skor. Untuk pengguna dengan hak istimewa Penampil Transkrip Bot, Anda dapat menggali lebih dalam ke dalam daftar sesi pelanggan yang disaring berdasarkan bagian segmen bilah yang dipilih.

Pilih Lihat detail untuk melihat tren Skor kepuasan selama periode waktu yang dipilih.

Sentimen (pratinjau)

[Bagian ini adalah dokumentasi prarilis dan dapat berubah sewaktu-waktu.]

Analisis sentimen menggunakan AI untuk menganalisis pesan pengguna dari sampel sesi untuk mengevaluasi sentimen pengguna secara keseluruhan bagi agen. Nilai numerik mewakili persentase sesi dengan sentimen pengguna negatif.

Important

Artikel ini berisi dokumentasi pratinjau Microsoft Copilot Studio dan dapat berubah.

Fitur pratinjau tidak dimaksudkan untuk penggunaan produksi dan mungkin memiliki fungsionalitas terbatas. Fitur ini tersedia sebelum rilis resmi agar Anda bisa memperoleh akses awal dan memberikan tanggapan.

Jika Anda membangun agen yang siap untuk produksi, silakan lihat Gambaran Umum Microsoft Copilot Studio.

Pilih Lihat detail untuk melihat data sentimen untuk bobot relatif dari setiap kategori sentimen (menjadi Positive, Neutral, dan Negative).

Anda dapat mengaktifkan dan menonaktifkan analisis sentimen untuk agen Anda di bawah Pengaturan. Saat analisis sentimen dinonaktifkan, sentimen pengguna tidak dianalisis selama sesi.

1. Buka Pengaturan dan pilih Tingkat Lanjut.

2. Aktifkan atau nonaktifkan Analisis Sentimen.

   

Agents

Daftar Agen menampilkan metrik volume, performa, dan status tingkat tinggi untuk agen terhubung dan turunan dari agen utama Anda. Daftar mengidentifikasi jenis hubungan yang dimiliki agen yang tercantum ke agen utama Anda di kolom Jenis. Jika agen adalah agen turunan, jenisnya adalah Child. Agen yang terhubung memiliki jenis yang tercantum yang mencerminkan tempat pembuatannya (misalnya, Copilot Studio, Azure AI Foundry). Metrik Panggilan untuk setiap agen yang tercantum menjelaskan volume panggilan dari agen utama ke agen yang terhubung atau agen turunan. Tingkat keberhasilan mencerminkan proporsi panggilan (sebagai % dari semua panggilan) yang berhasil diselesaikan. Status menunjukkan status administratif masing-masing untuk setiap agen yang tersambung dan agen anak.

Secara default, daftar Agen menampilkan lima (5) agen terhubung dan agen turunan teratas agen utama Anda, yang diberi peringkat berdasarkan jumlah total pertanyaan dari tertinggi hingga terendah. Jika ada lebih dari lima agen, pilih Lihat semua untuk menampilkan semua agen.

Note

Tombol Lihat semua hanya terlihat jika ada lebih dari lima agen yang terhubung atau turunan ke agen utama Anda.

Gunakan

Bagian Gunakan membantu Anda memahami bagaimana pengguna berinteraksi dengan agen Anda dan tempat untuk meningkatkan keandalan jawaban. Penggunaan dibagi di banyak subbagian:

• Tema: Tema membantu Anda mendapatkan wawasan analitik dengan mengklusterkan pertanyaan pengguna ke dalam kategori yang disarankan AI.
• Tingkat jawaban dan kualitas yang dihasilkan: Memahami kapan agen berjuang untuk memberikan jawaban atas pertanyaan pengguna dan bagaimana ia menggunakan sumber pengetahuan dapat membantu Anda menemukan cara untuk meningkatkan tingkat jawaban dan kualitas agen Anda.
• Penggunaan alat: Mempelajari seberapa sering alat digunakan dan seberapa sering alat berhasil dapat membantu Anda memahami apakah alat tersebut berguna dan berhasil bagi pengguna.
• Penggunaan sumber pengetahuan: Mempelajari seberapa sering sumber pengetahuan individu digunakan dan seberapa sering mereka mengembalikan kesalahan membantu Anda meningkatkan kualitas dan cakupan jawaban agen Anda.

Tingkat dan kualitas jawaban yang dihasilkan

Dengan jawaban generatif, agen Anda dapat menggunakan AI untuk menghasilkan jawaban atas kueri pengguna menggunakan sumber pengetahuan dan instruksi yang Anda berikan. Namun, agen Anda mungkin tidak dapat menjawab semua kueri pengguna. Bagian Laju jawaban dan kualitas yang dihasilkan melacak, mengatur, dan menganalisis kueri yang tidak terjawab dan kualitas jawaban untuk memberi Anda panduan untuk meningkatkan performa jawaban agen Anda.

Tingkat Jawaban menunjukkan jumlah pertanyaan yang dijawab dan tidak terjawab dalam periode waktu yang dipilih dan persentase perubahan dari waktu ke waktu.

Kualitas jawaban mengukur kualitas jawaban menggunakan AI. Copilot Studio melihat sekumpulan sampel pertanyaan yang telah dijawab dan menganalisis berbagai aspek kualitas, termasuk kelengkapan, relevansi, dan tingkat ketaatan pada fakta dari respons. Jika jawabannya memenuhi standar yang ditetapkan, Copilot Studio akan memberi label jawaban sebagai Kualitas yang baik . Copilot Studio memberi label kepada jawaban yang tidak memenuhi standar tersebut sebagai "Kualitas buruk". Untuk jawaban yang buruk, Copilot Studio menetapkan alasan peringkat kualitas dan menunjukkan persentase jawaban yang dialokasikan untuk setiap kategori.

Arahkan mouse ke atas segmen batang apa pun di grafik untuk melihat pembobotan relatif dari alasan individu untuk label kualitas Baik atau Buruk. Tipsalat juga menunjukkan jumlah jawaban yang diambil sampelnya untuk sampai pada nilai persentase yang dihitung.

Dalam legenda di bawah bagan, arahkan mouse ke salah satu alasan label kualitas untuk menyoroti alasan tersebut dalam bagan.

Pilih segmen bagan batang untuk membuka halaman pertanyaan pengguna yang difilter pada kualitas respons tersebut. Pilih Lihat pertanyaan untuk melihat daftar semua pertanyaan yang tidak difilter dalam periode waktu yang dikonfigurasi.

Penggunaan alat

Bagian Penggunaan alat menunjukkan bagan dan metrik yang melacak seberapa sering alat Anda dimulai dari waktu ke waktu, dan seberapa sering agen Anda berhasil menggunakan alat tersebut. Bagian ini juga menunjukkan indikator tren tentang seberapa sering agen Anda menggunakan setiap alat dan persentase alat yang disebut berhasil digunakan.

Bagan menampilkan lima alat teratas yang digunakan selama periode tanggal yang ditentukan di bagian atas halaman Analitik .

Dalam legenda di bawah bagan, arahkan mouse ke salah satu alat untuk menyoroti alat tersebut dalam bagan.

Untuk membuka panel samping dengan daftar semua alat yang digunakan dalam periode waktu yang ditentukan, bersama dengan indikator tren, pilih Lihat detail pada bagan. Pada panel Penggunaan alat, Anda dapat menampilkan perhitungan persentase pertanyaan yang digunakan untuk setiap alat. Jika agen Anda memiliki agen turunan, Anda dapat memilih untuk menampilkan perhitungan untuk agen utama dan agen turunan (Semua), Agen utama saja, atau Agen turunan saja.

Penggunaan sumber pengetahuan

Bagian Penggunaan sumber pengetahuan memberikan wawasan tentang bagaimana agen Anda menggunakan sumber pengetahuannya dan seberapa sering sumber tersebut mengembalikan kesalahan. Untuk detail selengkapnya tentang metrik, pemfilteran, dan kemampuan penelusuran yang tersedia, lihat Penggunaan sumber pengetahuan.