Pantau efektivitas agen percakapan

Note

Artikel ini menjelaskan fitur yang digunakan oleh agen atau alur agen yang didukung oleh standard harness.

Gunakan halaman Monitor di Copilot Studio untuk meninjau efektivitas agen percakapan Anda selama sesi analitik. Identifikasi di mana percakapan berhasil atau gagal, tinjau umpan balik pengguna, dan temukan peluang untuk meningkatkan jawaban serta penggunaan alat.

Tinjau area berikut:

• Area Ringkasan, Gambaran Umum, dan Penghematan menunjukkan wawasan utama, indikator kinerja utama (KPI), serta perkiraan penghematan waktu dan biaya.
• Bagian Metrik kustom (pratinjau) memungkinkan Anda mendefinisikan metrik khusus bisnis untuk kasus penggunaan agen Anda.
• Bagian Efektivitas membantu Anda mengevaluasi kualitas pengalaman pengguna dengan menunjukkan di mana percakapan berjalan dengan baik, di mana percakapan mengalami kendala, dan bagaimana perasaan pengguna terhadap hasilnya.
• Bagian Gunakan membantu Anda meningkatkan performa operasional dengan menunjukkan seberapa baik agen Anda menjawab pertanyaan, seberapa andal alat dan sumber pengetahuan mendukung jawaban tersebut, dan di mana pembaruan yang ditargetkan dapat meningkatkan cakupan dan konsistensi.

Anda dapat melihat analitik untuk peristiwa yang terjadi dalam 360 hari terakhir.

Metrik kustom (pratinjau)

[Bagian ini adalah dokumentasi prarilis dan dapat berubah sewaktu-waktu.]

Bagian Metrik kustom memungkinkan Anda menentukan hingga tiga metrik khusus bisnis dalam bahasa alami dan melacak seberapa sering setiap hasil muncul di seluruh sesi sampel. Gunakan metrik ini untuk melengkapi wawasan analitik standar Anda dengan indikator yang mencerminkan tujuan agen dan penggunaan bisnis Anda.

Important

Artikel ini berisi dokumentasi pratinjau Microsoft Copilot Studio dan dapat berubah.

Fitur pratinjau tidak dimaksudkan untuk penggunaan produksi dan mungkin memiliki fungsionalitas terbatas. Fitur ini tersedia sebelum rilis resmi agar Anda bisa memperoleh akses awal dan memberikan tanggapan.

Jika Anda membangun agen yang siap untuk produksi, silakan lihat Gambaran Umum Microsoft Copilot Studio.

Pengguna dengan hak istimewa Bot Transcript Viewer dapat menelusuri daftar sesi pelanggan yang difilter berdasarkan segmen yang dipilih dari bagan donat. Pilih sesi individual untuk melihat alasan di balik metrik dan mengakses transkripnya.

Pelajari lebih lanjut tentang membuat, menguji, dan menyempurnakan metrik di Monitor agen Anda dengan metrik kustom (pratinjau).

Efektivitas

Bagian Efektivitas menunjukkan umpan balik pengguna yang dikumpulkan dari reaksi, respons agen, hasil survei, dan skor sentimen untuk sesi. Efektivitas dibagi di banyak subbagian:

• Hasil percakapan: Mengetahui hasil akhir percakapan membantu Anda mulai mengidentifikasi di mana agen Anda berhasil dan di mana diperlukan penyempurnaan.
• Respons: Respons pengguna, termasuk umpan balik suka/tidak suka dan komentar pengguna atas respons agen tertentu.
• Kepuasan pelanggan: Tampilan skor kepuasan pelanggan (CSAT).
• Sentimen (pratinjau): Analisis sentimen berbasis AI untuk keseluruhan sesi.
• Agen: Lihat metrik volume panggilan, rasio keberhasilan, dan status saat ini untuk agen turunan dan agen yang terhubung.

Sistem menyimpan data umpan balik dalam tabel transkrip percakapan di Dataverse.

Hasil percakapan

Bagian Hasil percakapan menampilkan bagan yang melacak jenis hasil untuk setiap sesi antara agen dan pengguna Anda.

Grafik menampilkan histogram bertumpuk atau grafik area bertumpuk yang menunjukkan hasil sesi. Terselesaikan, Dieskalasikan, Ditinggalkan, dan Tidak Terlibat masing-masing memiliki warna yang sesuai dalam legenda. Sumbu y menunjukkan jumlah sesi.

Untuk melihat metrik untuk outcome pada hari tertentu, gunakan legenda grafik untuk mengidentifikasi outcome tersebut, lalu arahkan kursor ke segmennya untuk hari itu.

Untuk mengunduh data hasil percakapan, buka menu grafik dan pilih Unduh CSV.

Note

Jika Anda meniadakan outcome apa pun dari bagan saat mengunduh, datanya tidak akan muncul di CSV.

Untuk membuka panel samping dengan informasi terperinci tentang hasil percakapan, pilih Lihat detail pada bagan. Panel samping Hasil percakapan meliputi:

• Perincian bagan pai dari hasil sesi, menampilkan bobot relatif (dinyatakan sebagai persentase) dari hasil Diselesaikan, Dieskalasi, dan Diabaikan.
• Grafik batang bertumpuk menunjukkan pembobotan relatif (dinyatakan sebagai persen) dari alasan hasil Diselesaikan yang Dikonfirmasi dan Diselesaikan yang Tersirat yang menjelaskan semua hasil sesi yang diselesaikan.
• Grafik batang bertumpuk menampilkan pembobotan relatif (dinyatakan sebagai persen) dari alasan hasil yang Dimaksudkan Sistem, Tidak Dimaksudkan Sistem, dan Diminta Pengguna menjelaskan semua hasil sesi yang dieskalasi.
• Topik teratas yang mengarah pada setiap hasil.

Note

Untuk melihat tooltip dengan informasi jumlah mentah, arahkan mouse ke segmen bagan pai atau batang bertumpuk.

Sesi termasuk dalam salah satu dari dua keadaan berikut:

• Tidak terlibat: Sesi dimulai saat pengguna berinteraksi dengan agen Anda atau agen mengirimkan pesan proaktif kepada pengguna. Sesi dimulai dalam keadaan tidak terlibat.

• Terlibat: Pengguna secara aktif berinteraksi dengan agen. Ada perbedaan perilaku berdasarkan mode orkestrasi agen.

  • Orkestrasi klasik: Sesi menjadi terlibat ketika salah satu topik berikut dipicu:

    • Topik kustom yang langsung dipicu oleh pengguna
    • Mengeskalasikan topik
    • Topik cadangan
    • Topik pengembangan percakapan

  • Orkestrasi AI generatif: Sesi menjadi terlibat ketika pengguna secara langsung memicu rencana dan menyertakan salah satu elemen berikut:

    • Topik luar sistem
    • Mengeskalasikan topik
    • Topik cadangan
    • Sumber Pengetahuan
    • Perangkat

Sesi yang terlibat memiliki salah satu hasil berikut:

Kategori hasil	Hasil	Description
Diselesaikan		Sesi berakhir dengan sukses. Ada dua jenis sesi yang diselesaikan: Diselesaikan dikonfirmasi dan Diselesaikan secara tersirat.
	Diselesaikan dikonfirmasi	Sebuah sesi dianggap Diselesaikan dikonfirmasi saat Akhir topik percakapan dipicu dan pengguna mengonfirmasi bahwa interaksi berhasil.
	Diselesaikan tersirat	A session is Diselesaikan secara tersirat saat sesi selesai tanpa konfirmasi pengguna namun didasarkan pada logika agen. Status Terselesaikan Tersirat bergantung pada apakah agen Anda menggunakan orkestrasi AI Klasik atau Generatif. - Orkestrasi klasik: Sesi dianggap Diselesaikan tersirat saat Akhir Topik percakapan dipicu, dan pengguna membiarkan waktu sesi habis tanpa memberikan konfirmasi. - Orkestrasi AI generatif: Sesi dianggap Diselesaikan tersirat ketika sesi berakhir dan tidak ada rencana aktif yang tersisa. Paket aktif adalah paket yang menunggu input pengguna.
Ditingkatkan		Sebuah sesi berakhir tetapi dianggap Dieskalasi saat topik Eskalasi dipicu atau node Alihkan ke agen dijalankan (sesi analitik saat ini berakhir, terlepas dari apakah percakapan tersebut dialihkan ke agen langsung atau tidak). Ada tiga jenis sesi yang dieskalasi: Sesi dimaksudkan sistem, Sesi tidak dimaksudkan sistem, dan Sesi diminta pengguna.
	Sistem yang dimaksud	Sesi dieskalasi secara otomatis sebagai akibat dari aturan bisnis otomatis yang ditetapkan oleh pembuat. Eskalasi adalah hasil yang diharapkan dari percakapan dan bukan sesuatu yang perlu diselidiki atau diubah. Contoh: Pengguna ingin mentransfer lebih dari USD 25.000 kepada pihak ketiga. Jumlah ini melebihi ambang batas dalam aturan bisnis dan sesi tersebut secara otomatis ditingkatkan sebagai akibatnya.
	Sistem tidak disengaja	Eskalasi terjadi secara otomatis sebagai akibat dari sesi yang melebihi satu atau beberapa ambang yang ditetapkan oleh pembuat. Biasanya, hasil ini menunjukkan bahwa pengguna terjebak dalam percakapan dan membutuhkan bantuan. Contoh: Sesi dieskalasikan setelah tiga kegagalan untuk melakukan tugas tertentu.
	Permintaan pengguna	Sesi diekskalasi karena ada permintaan pengguna eksplisit selama percakapan. Contoh: Pengguna memasukkan Transfer me to an agent.
Diabaikan		Sesi berakhir dan dianggap Diabaikan ketika sesi yang aktif dihentikan setelah 30 menit dan tidak mencapai status terselesaikan atau dieskalasi.

Anda juga dapat mengatur hasil untuk alat dengan conversationOutcome parameter menggunakan editor kode alat. Misalnya, conversationOutcome: ResolvedConfirmed untuk keberhasilan yang dikonfirmasi atau conversationOutcome: ResolvedImplied untuk keberhasilan tersirat.

Reaksi

Bagian Reaksi menunjukkan umpan balik pengguna yang dikumpulkan dari reaksi terhadap respons agen. Bagan menghitung frekuensi pengguna memilih tombol jempol ke atas (positif) atau jempol ke bawah (negatif) yang tersedia pada setiap respons yang mereka terima dari agen Anda.

Note

• Agen yang dipublikasikan ke saluran Microsoft Copilot memerlukan persetujuan admin di pusat admin Microsoft 365 untuk membagikan umpan balik pengguna, termasuk reaksi dan komentar. Anda dapat melihat umpan balik ini di halaman Monitor . Pelajari lebih lanjut di pengaturan Agen di pusat admin Microsoft 365.
• Reaksi dari saluran Microsoft Copilot tidak digabungkan atau dihitung dalam kolom Reaksi pada bagian penggunaan sumber Tema dan Pengetahuan.
• Untuk melihat komentar, Anda harus memiliki peran keamanan Penampil Transkrip Bot.

Fitur Reactions secara default aktif untuk semua saluran kecuali saluran Microsoft Copilot. Anda dapat mematikan fitur ini, jika diinginkan. Anda juga dapat menambahkan atau mengedit penafian untuk pengguna tentang cara umpan balik mereka digunakan:

1. Buka agent, buka Pengaturan, dan temukan bagian umpan balik pengguna.

2. Nonaktifkan Kumpulkan reaksi pengguna terhadap pesan agen baik Aktif atau Nonaktif.

3. Tambahkan atau edit penafian agar pengguna mengetahui cara masukan mereka digunakan. Anda juga dapat memberikan informasi dan kiat privasi.

Pengguna dengan hak istimewa Penampil Transkrip Bot dapat menelusuri paling detail respons agen untuk reaksi individu dan memfilter menurut komentar pengguna.

Lihat tren reaksi dari waktu ke waktu

Pilih Lihat detail pada petak Reaksi untuk membuka panel samping Reaksi . Panel menunjukkan bagaimana reaksi positif dan negatif (dari Thumbs up dan Thumbs down) berkembang dari waktu ke waktu.

Kepuasan pelanggan

Bagian Kepuasan pelanggan menunjukkan informasi tentang kepuasan pengguna berdasarkan hasil survei pengguna:

• Skor kepuasan: Skor dari 5 dihitung dari skor kepuasan pelanggan rata-rata (CSAT) untuk sesi di mana pengguna memberikan tanggapan terhadap permintaan di akhir sesi untuk menyelesaikan survei.

  Note

  Skor 1 dan 2 dipetakan ke Tidak puas, skor 3 dianggap Netral, dan skor 4 dan 5 dipetakan ke Puas.

• Kepuasan berdasarkan sesi: Bagan batang bertumpuk yang memvisualisasikan bobot relatif untuk setiap kategori skor survei, yaitu Dissatisfied, Neutral, dan Satisfied. Arahkan kursor ke setiap segmen bagan untuk melihat ukuran sampel dan nilai numerik pembobotan setiap kategori skor. Untuk pengguna dengan hak istimewa Penampil Transkrip Bot, Anda dapat menggali lebih dalam ke dalam daftar sesi pelanggan yang disaring berdasarkan bagian segmen bilah yang dipilih.

Pilih Lihat detail untuk melihat tren Skor kepuasan selama periode waktu yang dipilih.

Sentimen (pratinjau)

[Bagian ini adalah dokumentasi prarilis dan dapat berubah sewaktu-waktu.]

Analisis sentimen menggunakan AI untuk menganalisis pesan pengguna dari sampel sesi untuk mengevaluasi sentimen pengguna secara keseluruhan bagi agen. Nilai numerik mewakili persentase sesi dengan sentimen pengguna negatif.

Important

Artikel ini berisi dokumentasi pratinjau Microsoft Copilot Studio dan dapat berubah.

Fitur pratinjau tidak dimaksudkan untuk penggunaan produksi dan mungkin memiliki fungsionalitas terbatas. Fitur ini tersedia sebelum rilis resmi agar Anda bisa memperoleh akses awal dan memberikan tanggapan.

Jika Anda membangun agen yang siap untuk produksi, silakan lihat Gambaran Umum Microsoft Copilot Studio.

Pilih Lihat detail untuk melihat data sentimen untuk bobot relatif dari setiap kategori sentimen (menjadi Positive, Neutral, dan Negative).

Anda dapat mengaktifkan dan menonaktifkan analisis sentimen untuk agen Anda di bawah Pengaturan. Saat analisis sentimen dinonaktifkan, sentimen pengguna tidak dianalisis selama sesi.

1. Buka Pengaturan dan pilih Tingkat Lanjut.

2. Aktifkan atau nonaktifkan Analisis Sentimen .

   

Agen

Daftar Agen menampilkan metrik volume, performa, dan status tingkat tinggi untuk agen terhubung dan turunan dari agen utama Anda. Daftar mengidentifikasi jenis hubungan yang dimiliki agen yang tercantum ke agen utama Anda di kolom Jenis. Jika agen adalah agen turunan, jenisnya adalah Child. Agen yang terhubung memiliki jenis yang tercantum yang mencerminkan tempat pembuatannya (misalnya, Copilot Studio, Azure AI Foundry). Metrik Panggilan untuk setiap agen yang tercantum menjelaskan volume panggilan dari agen utama ke agen yang terhubung atau agen turunan. Tingkat keberhasilan mencerminkan proporsi panggilan (sebagai % dari semua panggilan) yang berhasil diselesaikan. Status menunjukkan status administratif masing-masing untuk setiap agen yang tersambung dan agen anak.

Secara default, daftar Agen menampilkan lima agen terhubung dan anak teratas dari agen utama Anda, yang diurutkan dari jumlah total pertanyaan tertinggi hingga terendah. Jika ada lebih dari lima agen, pilih Lihat semua untuk menampilkan semua agen.

Note

Tombol Lihat semua hanya terlihat jika ada lebih dari lima agen yang terhubung atau turunan ke agen utama Anda.

Gunakan

Bagian Gunakan membantu Anda memahami bagaimana pengguna berinteraksi dengan agen Anda dan tempat untuk meningkatkan keandalan jawaban. Penggunaan dibagi di banyak subbagian:

• Tema: Tema membantu Anda mendapatkan wawasan analitik dengan mengklusterkan pertanyaan pengguna ke dalam kategori yang disarankan AI.
• Tingkat jawaban dan kualitas yang dihasilkan: Identifikasi kapan agen Anda kesulitan menjawab pertanyaan dan bagaimana agen Anda menggunakan sumber pengetahuan untuk meningkatkan tingkat dan kualitas jawabannya.
• Penggunaan alat: Mempelajari seberapa sering alat digunakan dan seberapa sering alat berhasil dapat membantu Anda memahami apakah alat tersebut berguna dan berhasil bagi pengguna.
• Penggunaan sumber pengetahuan: Mempelajari seberapa sering sumber pengetahuan individu digunakan dan seberapa sering mereka mengembalikan kesalahan membantu Anda meningkatkan kualitas dan cakupan jawaban agen Anda.

Tingkat dan kualitas jawaban yang dihasilkan

Dengan jawaban generatif, agen Anda dapat menggunakan AI untuk menghasilkan jawaban atas pertanyaan pengguna dengan menggunakan sumber pengetahuan dan instruksi yang Anda berikan. Namun, agen Anda mungkin tidak dapat menjawab semua kueri pengguna. Bagian Laju jawaban dan kualitas yang dihasilkan melacak, mengatur, dan menganalisis kueri yang tidak terjawab dan kualitas jawaban untuk memberi Anda panduan untuk meningkatkan performa jawaban agen Anda.

Tingkat Jawaban menunjukkan jumlah pertanyaan yang dijawab dan tidak terjawab dalam periode waktu yang dipilih dan persentase perubahan dari waktu ke waktu.

Kualitas jawaban mengukur kualitas jawaban menggunakan AI. Copilot Studio menganalisis contoh pertanyaan yang telah dijawab untuk kelengkapan, relevansi, dan keterdasaran. Jika sebuah jawaban memenuhi standar tertentu, Copilot Studio menyebutnya sebagai Kualitas Baik. Jawaban yang tidak memenuhi standar itu diberi label Kualitas Buruk . Untuk jawaban buruk, Copilot Studio memberikan alasan untuk penilaian kualitas dan menampilkan persentase jawaban yang diberikan ke setiap kategori.

Arahkan mouse ke atas segmen batang apa pun di grafik untuk melihat pembobotan relatif dari alasan individu untuk label kualitas Baik atau Buruk. Tipsalat juga menunjukkan jumlah jawaban yang diambil sampelnya untuk sampai pada nilai persentase yang dihitung.

Dalam legenda di bawah bagan, arahkan mouse ke salah satu alasan label kualitas untuk menyoroti alasan tersebut dalam bagan.

Pilih segmen bagan batang untuk membuka halaman pertanyaan pengguna yang difilter pada kualitas respons tersebut. Pilih Lihat pertanyaan untuk melihat daftar semua pertanyaan yang tidak difilter dalam periode waktu yang dikonfigurasi.

Penggunaan alat

Bagian Penggunaan Alat menampilkan grafik dan metrik yang melacak seberapa sering alat Anda dijalankan dari waktu ke waktu, dan seberapa sering agen Anda berhasil menggunakan alat tersebut. Bagian ini juga menunjukkan indikator tren tentang seberapa sering agen Anda menggunakan setiap alat dan persentase alat yang disebut berhasil digunakan.

Grafik menampilkan lima alat teratas yang digunakan selama periode tanggal yang ditentukan di bagian atas halaman Monitor .

Pada legenda di bawah grafik, arahkan kursor ke salah satu alat untuk menyorot alat tersebut di grafik.

Untuk membuka panel samping dengan daftar semua alat yang digunakan dalam periode waktu yang ditentukan, bersama dengan indikator tren, pilih Lihat detail pada bagan. Pada panel Penggunaan alat, Anda dapat menampilkan perhitungan persentase pertanyaan yang digunakan untuk setiap alat. Jika agen Anda memiliki agen turunan, Anda dapat memilih untuk menampilkan perhitungan untuk agen utama dan agen turunan (Semua), Agen utama saja, atau Agen turunan saja.

Penggunaan sumber pengetahuan

Bagian Penggunaan sumber pengetahuan memberikan wawasan tentang bagaimana agen Anda menggunakan sumber pengetahuannya dan seberapa sering sumber tersebut mengembalikan kesalahan. Pelajari lebih lanjut di Penggunaan sumber pengetahuan.