Pantau kinerja agen di Copilot Studio

Note

Artikel ini menjelaskan fitur yang digunakan oleh agen atau alur agen yang didukung oleh standard harness.

Gunakan analitik untuk memahami seberapa baik kinerja agen Anda dan untuk mengidentifikasi area yang perlu ditingkatkan.

Halaman Monitor di Copilot Studio merangkum metrik utama dan menyediakan analitik penggunaan untuk komponen agen Anda. Buka metrik individual untuk mengeksplorasi data yang mendasari.

Pengalaman Monitor disesuaikan untuk agen percakapan dan agen otonom.

Pemantauan tersedia di semua wilayah geografis. Data monitor tersedia hingga 360 hari. Detail sesi dan informasi transkrip tersedia selama 28 hari terakhir. Stempel waktu dan tanggal dalam analitik berada dalam Waktu Universal Terkoordinasi (UTC). Stempel waktu dan tanggal mencakup waktu mulai dan berakhir hari, waktu sesi, dan penanda waktu lainnya dalam data agen Anda.

Note

Halaman Monitor tidak menampilkan analitik untuk aktivitas yang Anda selesaikan saat menguji agen Anda di Copilot Studio menggunakan panel pengujian.

Memberikan akses khusus tampilan terbatas ke analitik

Jika Anda adalah pemilik agen, bagikan agen dengan peran berbagi Analytics Viewer untuk memberikan akses hanya ke halaman Monitor-nya . Untuk mengakses informasi transkrip percakapan, orang tersebut juga harus memiliki peran keamanan Bot Transcript Viewer .

Pelajari lebih lanjut di Bagikan analitik agen.

Important

Sebagai pemilik agen, Anda hanya dapat berbagi peran penampil Analitik dengan individu dan bukan dengan grup pengguna.

Untuk mengakses halaman Monitor agen Anda:

1. Buka agen Anda di Copilot Studio.
2. Pilih Monitor di bilah menu atas.

Summary

Area Summary menggunakan Copilot untuk menghasilkan ringkasan AI wawasan analitik utama tentang agen Anda. Pilih Lihat Lainnya untuk melihat daftar wawasan lengkap yang dirangkum.

Ini membantu Anda dengan cepat memahami tema dan metrik umum dan mengidentifikasi area untuk peningkatan agen Anda dengan meringkasnya dalam daftar berpoin untuk periode pelaporan yang dipilih. Daftar ini dapat mencakup metrik keterlibatan, sentimen dan umpan balik pelanggan, serta tren sejak periode pelaporan terakhir.

Ringkasan komentar pelanggan (pratinjau)

[Bagian ini adalah dokumentasi prarilis dan dapat berubah sewaktu-waktu.]

Ringkasan komentar pelanggan membantu Anda memahami sentimen pelanggan tingkat tinggi tentang agen melalui umpan balik dan komentar. Wawasan diprioritaskan berdasarkan volume komentar terkait dan signifikansi keseluruhannya. Ringkasan ini menyaring komentar yang bernilai rendah atau tidak relevan, dan mengelompokkan umpan balik terkait bersama-sama.

Important

Artikel ini berisi dokumentasi pratinjau Microsoft Copilot Studio dan dapat berubah.

Fitur pratinjau tidak dimaksudkan untuk penggunaan produksi dan mungkin memiliki fungsionalitas terbatas. Fitur ini tersedia sebelum rilis resmi agar Anda bisa memperoleh akses awal dan memberikan tanggapan.

Jika Anda membangun agen yang siap untuk produksi, silakan lihat Gambaran Umum Microsoft Copilot Studio.

Untuk memberikan umpan balik kepada Microsoft tentang bagian ini, pilih Jempol ke atas atau Jempol ke bawah. Gunakan panel Kirim umpan balik ke Microsoft untuk menambahkan komentar dan memilih apakah akan membagikan file terkait.

1. Pada panel Kirim umpan balik ke Microsoft , jelaskan dalam bahasa alami yang Anda sukai atau tidak suka, tergantung pada ikon mana yang Anda pilih untuk membuka panel.
2. Pilih apakah akan membagikan prompt, respons yang dihasilkan, contoh konten relevan, dan file log tambahan.
3. Pilih Kirim.

Overview

Periksa ringkasan kinerja tingkat tinggi di area Gambaran Umum , lalu jelajahi metrik individual secara lebih detail.

Pengguna aktif

Metrik pengguna aktif menunjukkan adopsi agen percakapan dan bagaimana adopsi tersebut berubah seiring waktu. Pengguna aktif adalah pengguna unik yang berinteraksi dengan agen percakapan setidaknya sekali selama periode laporan. Halaman Monitor menampilkan pengguna aktif harian (DAU) dan pengguna aktif bulanan (MAU). Penghitungan harian mencakup satu hari penuh 24 jam di UTC. Jumlah bulanan mengikuti bulan kalender di UTC.

Important

Fitur Metrik pengguna aktif hanya didukung jika Anda mengatur agen Anda untuk memerlukan autentikasi di bawah Pengaturan>Autentikasi>.

DAU rata-rata untuk periode yang dipilih, ditambah perubahan persen dari periode sebelumnya, muncul sebagai indikator kinerja utama (KPI) di bagian Gambaran Umum .

Note

Rumus untuk metrik terhitung DAU rata-rata adalah: (sum of all full-day active user counts in the period) / (count of full days in the period).

Untuk melihat detail selengkapnya tentang jumlah pengguna aktif harian dan bulanan saat mereka tren dari waktu ke waktu, pilih tombol Lihat pengguna aktif di sudut kanan atas panel gambaran umum.

Sesi percakapan saja

Analitik untuk agen percakapan di Copilot Studio melacak keterlibatan pengguna dengan agen Anda dan mencoba mengukur seberapa baik agen Anda menangani tugas pengguna.

Analitik percakapan menggunakan konsep dan istilah berikut:

• Percakapan adalah interaksi berkelanjutan antara pengguna tertentu, atau sekelompok pengguna, di saluran dan agen Anda.

• Percakapan dapat dijeda dan dilanjutkan nanti, atau ditransfer ke perwakilan layanan pelanggan. Percakapan mungkin satu arah, baik dari pelanggan ke agen, atau dari agen ke pelanggan, tetapi lebih sering merupakan interaksi bolak-balik antara pelanggan dan agen.

• Waktu percakapan habis setelah 30 menit tidak aktif.

• Untuk agen yang dipublikasikan ke kanal Telekomunikasi, percakapan akan berakhir 3 menit setelah acara Akhiri Percakapan.

• Satu percakapan dapat berisi satu atau beberapa sesi analitik.

• Sesi analitik yang didukung oleh Standard harness dikaitkan dengan topik kustom terakhir yang dipicu oleh pengguna. Jika sesi tidak menyertakan topik kustom, itu adalah topik sistem terakhir yang dipicu langsung oleh pengguna.

Sesi pemicu peristiwa saja

Agen otonom adalah agen dengan pemicu peristiwa. Agen ini hanya mendukung analitik untuk agen dengan pemicu.

Sebuah sesi analitik untuk agen dengan pemicu melacak waktu dari saat agen menerima payload dari pemicu dan tindakan yang dilakukan oleh agen sebagai respons. Sesi analitik ini menangkap apa yang ditanggapi agen Anda, dan seberapa baik kinerja agen Anda.

Note

Jika pemicu gagal dan agen tidak menerima payload pemicu, sesi analitik tidak dapat dimulai. Analitik hanya melacak eksekusi yang berhasil dipicu.

Tampilan hibrid - sesi berbasis percakapan dan dipicu oleh peristiwa

Ketika data agen Anda mencakup sesi untuk setidaknya satu percakapan dan setidaknya satu eksekusi berbasis pemicu dalam periode laporan, halaman Monitor menampilkan tampilan hibrida yang berisi metrik relevan untuk sesi percakapan maupun sesi otonom. Dalam tampilan ini, bagian Ringkasan dan Efektivitas menampilkan metrik secara berdampingan untuk sesi percakapan dan sesi yang dipicu peristiwa. Bagian Gunakan memungkinkan Anda memilih antara Percakapan atau Jalankan, yang hanya menampilkan data yang relevan. Memilih Semua memperlihatkan semua data terkait penggunaan. Bagian Kepuasan menampilkan metrik kepuasan untuk sesi percakapan.

Pelajari lebih lanjut di:

• Pantau efektivitas agen percakapan untuk metrik sesi percakapan

• Pantau kesehatan agen otonom untuk metrik sesi yang dipicu oleh peristiwa

Unduh transkrip percakapan

Anda dapat mengunduh transkrip sesi di Copilot Studio untuk periode dalam 28 hari terakhir. Bisa memakan waktu hingga satu jam setelah sesi analitik berakhir sebelum data terkait muncul di dasbor analitik. Pelajari lebih lanjut tentang ketersediaan, izin, dan langkah-langkah unduhan di Mengunduh transkrip percakapan di Copilot Studio.

Retensi transkrip Dataverse terpisah dari jendela data sesi 28 hari di Copilot Studio. Pelajari lebih lanjut di Unduh transkrip percakapan di Power Apps.

Analitik penggunaan topik

Dalam Copilot Studio, topik menentukan bagaimana percakapan agen berlangsung dan mewakili sebagian percakapan antara pengguna dan agen. Panel Monitor topik menunjukkan bagaimana suatu topik berjalan, termasuk seberapa sering dipicu, bagaimana sesi yang memilikinya terselesaikan, dan seberapa puas pengguna dengan sesi tersebut. Gunakan wawasan ini untuk mengidentifikasi topik yang sering dieskalasikan atau ditinggalkan, lalu prioritaskan untuk perbaikan. Pelajari selengkapnya di Membuat dan mengedit topik.

Note

Topic Monitor hanya tersedia untuk agen yang didukung oleh Standard harness dan untuk topik yang terkait dengan sesi. Jika agen Anda menggunakan orkestrasi generatif, gunakan hasil percakapan dan tema di halaman Monitor sebagai gantinya.

Untuk melihat panel Monitor topik:

1. Buka halaman Topik agen Anda di Copilot Studio.

2. Pilih topik yang ingin Anda analisis. Jika tidak ada topik yang tersedia, lihat Membuat dan mengedit topik.

3. Di pojok kanan atas halaman Topik , pilih Lainnya (...) >Monitor.

Panel Monitor topik menampilkan:

• Hasil topik: Bagan hasil sesi, , Escalated, Resolveddan Abandoned, untuk sesi di mana topik ini dipicu. Gunakan bagan ini untuk menilai kesehatan topik dengan cepat. Proporsi hasil Escalated atau Abandoned yang tinggi dapat berarti topik perlu disempurnakan.
• Total penggunaan topik: Bagan tren hasil topik dari waktu ke waktu. Gunakan ini untuk mendeteksi regresi, misalnya, lonjakan dalam sesi Yang Diabaikan setelah topik diedit atau untuk mengonfirmasi bahwa perubahan terbaru meningkatkan tingkat resolusi.
• Skor kepuasan pelanggan: Skor berdasarkan respons survei pengguna dari sesi yang terkait dengan topik ini.
• Tren skor kepuasan: Bagan yang menunjukkan bagaimana skor kepuasan berubah dari waktu ke waktu. Gunakan tren ini untuk mengidentifikasi periode ketika sentimen pengguna menurun atau meningkat.

Untuk mengubah rentang waktu, pilih menu tarik-turun rentang waktu di bagian atas panel Monitor topik.

Informasi terkait

Mengukur pengembalian investasi (ROI) dan nilai bisnis agen AI