Ikhtisar analitik

Manfaatkan analitik untuk memahami performa agen Anda dan menemukan area yang perlu diperbaiki.

Halaman Analitik di Copilot Studio menampilkan data komprehensif untuk agen Anda, mulai dari ringkasan metrik utama hingga analitik penggunaan mendalam untuk komponen agen Anda. Anda dapat menelusuri paling detail setiap elemen data untuk mendapatkan informasi yang lebih mendalam.

Pengalaman analitik disesuaikan untuk agen percakapan dan untuk agen otonom.

Data analitik tersedia di semua wilayah. Data analitik tersedia selama maksimal 360 hari. Detail sesi dan informasi transkrip tersedia selama 28 hari terakhir. Cap waktu dan tanggal di analitik dalam Universal Terkoordinasi (UTC). Stempel waktu dan tanggal meliputi waktu mulai dan akhir hari, waktu sesi, serta penanda waktu lainnya dalam data agen Anda.

Catatan

Halaman Analitik tidak menampilkan analitik untuk aktivitas yang Anda lakukan saat menguji agen di Copilot Studio dengan menggunakan panel pengujian.

Memberikan akses khusus tampilan terbatas ke analitik

Jika Anda adalah pemilik agen dan ingin memberikan akses hanya ke halaman Analitik agen, Anda dapat melakukannya dengan berbagi agen menggunakan peran berbagi Penampil Analitik yang diaktifkan. Jika Anda ingin orang yang Anda bagikan agen ini memiliki akses ke informasi dari transkrip percakapan, maka mereka juga harus memiliki peran keamanan Penampil Transkrip Bot.

Pelajari lebih lanjut tentang berbagi analitik agen.

Penting

Sebagai pemilik agen, Anda hanya dapat memberikan peran penampil Analytics kepada individu dan bukan kepada grup pengguna.

Untuk mengakses halaman Analytics pada agen Anda:

1. Buka agen Copilot Studio Anda.
2. Di bilah menu atas, pilih analitik.

Ringkasan

Bagian Ringkasan menggunakan Copilot untuk menghasilkan ringkasan AI dari analytics insights utama mengenai agen Anda. Pilih Lihat Lainnya untuk melihat daftar lengkap ringkasan wawasan.

Ini membantu Anda dengan cepat memahami tema dan metrik umum serta mengidentifikasi area yang perlu ditingkatkan untuk agen Anda dengan merangkum semuanya dalam daftar poin-poin untuk periode pelaporan yang dipilih. Ini dapat mencakup metrik keterlibatan, sentimen dan umpan balik pelanggan, serta tren sejak periode pelaporan terakhir.

Ringkasan komentar pelanggan (pratinjau) membantu Anda memahami gambaran umum sentimen pelanggan tentang agen, seperti umpan balik dan komentar. Wawasan diprioritaskan berdasarkan jumlah komentar terkait dan pentingnya secara keseluruhan. Komentar bernilai rendah atau tidak relevan disaring dan umpan balik yang terkait dikelompokkan bersama.

Anda dapat memberikan tanggapan kepada Microsoft tentang bagian ini dengan ikon Jempol ke atas dan Jempol ke bawah. Gunakan panel Kirim tanggapan ke Microsoft untuk menambahkan komentar dan berbagi file terkait. Dengan memberikan tanggapan deskriptif seperti ini, kita dapat bekerja sama untuk terus meningkatkan produk kita.

1. Pada panel Kirim tanggapan ke Microsoft, jelaskan dalam bahasa alami yang disukai atau tidak disukai, tergantung ikon mana yang Anda pilih untuk membuka panel.
2. Pilih apakah akan membagikan perintah, respons yang dihasilkan, sampel konten yang relevan, dan file log tambahan.
3. Pilih kirim.

Anda juga dapat memeriksa ringkasan performa tingkat tinggi di area Gambaran Umum, lalu mengkaji performanya secara lebih mendalam.

Pengguna aktif

Metrik pengguna aktif memberikan wawasan tentang sejauh mana agen percakapan diadopsi dan bagaimana trennya dari waktu ke waktu. Pengguna aktif adalah pengguna unik yang berinteraksi dengan agen percakapan setidaknya sekali selama periode laporan. Copilot Studio Analytics menampilkan jumlah pengguna aktif untuk dua periode waktu yang telah ditetapkan: pengguna aktif harian (DAU) dan pengguna aktif bulanan (MAU). Penghitungan harian dimulai dan diakhiri sesuai dengan siklus 24 jam penuh di zona waktu UTC. Penghitungan bulanan mengikuti bulan kalender, dimulai serta berakhir pada hari pertama dan terakhir sesuai dengan zona waktu UTC.

Penting

Fitur Metrik pengguna aktif hanya didukung jika Anda mengatur agen Anda untuk mewajibkan autentikasi di Pengaturan>Keamanan>Autentikasi.

DAU rata-rata untuk periode yang dipilih, ditambah persentase perubahan dari periode sebelumnya, muncul sebagai indikator performa utama (KPI) di bagian Gambaran Umum.

Catatan

Rumus untuk metrik terhitung DAU rata-rata adalah: (sum of all full-day active user counts in the period) / (count of full days in the period).

Untuk melihat detail lebih lanjut tentang jumlah pengguna aktif harian dan bulanan seiring dengan tren dari waktu ke waktu, pilih tombol Lihat pengguna aktif di pojok kanan atas panel ringkasan.

Hanya sesi percakapan

Analitik untuk agen percakapan di Copilot Studio melacak keterlibatan pengguna dengan agen Anda dan berupaya menangkap seberapa efektif agen Anda dalam menangani tugas-tugas pengguna.

Analitik percakapan menggunakan konsep dan istilah berikut:

• Percakapan adalah interaksi berkelanjutan antara pengguna tertentu, atau sekelompok pengguna, di saluran dan agen Anda.

• Percakapan dapat dijeda dan dilanjutkan nanti, atau ditransfer ke staf layanan pelanggan. Percakapan bisa bersifat satu arah, baik dari pelanggan ke agen maupun sebaliknya, tetapi umumnya merupakan interaksi bolak-balik antara pelanggan dan agen.

• Percakapan akan berakhir setelah 30 menit tidak ada aktivitas.

• Untuk agen yang dipublikasikan ke saluran Telepon, percakapan akan berakhir 3 menit setelah peristiwa Akhiri Percakapan.

• Satu percakapan dapat berisi satu atau beberapa sesi analitik.

• Sesi analitik dalam mode klasik dikaitkan dengan topik kustom terakhir yang dipicu oleh pengguna. Jika sesi tidak mencakup topik khusus, maka topik sistem terakhir yang dipicu langsung oleh pengguna.

Hanya sesi pemicu peristiwa

Agen otonom adalah agen dengan pemicu peristiwa. Agen ini mendukung hanya analitik untuk agen dengan pemicu.

Sesi analitik untuk agen dengan pemicu melacak dari saat agen menerima payload dari pemicu hingga tindakan apa pun yang dijalankan agen sebagai respons. Sesi analitik ini menangkap apa yang ditanggapi agen Anda, dan seberapa baik kinerja agen Anda.

Catatan

Jika pemicu gagal dan agen tidak menerima payload pemicu, sesi analitik tidak dapat dimulai. Analitik hanya melacak eksekusi yang berhasil dipicu.

Tampilan hibrid - sesi percakapan dan sesi yang dipicu peristiwa

Jika data agen Anda menyertakan sesi untuk setidaknya satu percakapan dan setidaknya satu eksekusi berbasis pemicu dalam periode laporan, halaman Analitik menampilkan tampilan hibrida metrik yang relevan untuk sesi percakapan dan otonom. Dalam tampilan ini, bagian Ringkasan dan Efektivitas menampilkan metrik secara berdampingan untuk sesi percakapan dan sesi yang dipicu peristiwa. Bagian Penggunaan memungkinkan Anda memilih antara Percakapan atau Eksekusi, yang hanya menampilkan data yang relevan. Memilih Semua akan menampilkan semua data terkait penggunaan. Bagian Kepuasan menampilkan metrik kepuasan untuk sesi percakapan.

Untuk informasi lebih lanjut tentang:

• Metrik yang ditampilkan yang relevan dengan sesi percakapan, lihat Menganalisis efektivitas agen percakapan.

• Metrik yang ditampilkan relevan dengan sesi yang dipicu oleh peristiwa, lihat Menganalisis kesehatan agen otonom.

Mengunduh transkrip percakapan

Anda dapat mengunduh transkrip percakapan beberapa menit setelah percakapan berakhir secara otomatis. Anda dapat mengunduh transkrip untuk periode waktu apa pun dalam 29 hari terakhir. Anda dapat mengunduhnya di Dataverse menggunakan portal Power Apps serta sebagai transkrip obrolan sesi menggunakan aplikasi Copilot Studio. Diperlukan waktu hingga satu jam setelah sesi analitik berakhir sebelum data terkait muncul di dasbor analitik.

Catatan

Anda tidak dapat mengunduh transkrip percakapan di Dataverse menggunakan aplikasi Copilot Studio di Teams. Untuk meninjau dan mengekspor transkrip di Dataverse, Anda harus mendaftar ke Aplikasi web Copilot Studio. Anda dapat mengunduh transkrip percakapan sesi dengan menggunakan aplikasi Copilot Studio. Untuk informasi selengkapnya, lihat Unduh transkrip sesi agen.

Analitik penggunaan topik

Di Copilot Studio, topik menentukan bagaimana percakapan agen berjalan dan mewakili bagian dari percakapan antara pengguna dan agen. Panel analitik topik memperlihatkan kinerja masing-masing topik, termasuk frekuensi pemicuannya, bagaimana sesi yang melibatkan topik tersebut diselesaikan, dan tingkat kepuasan pengguna atas sesi-sesi tersebut. Anda dapat menggunakan wawasan ini untuk mengidentifikasi topik yang sering diekskalasi atau ditinggalkan, lalu memprioritaskan topik tersebut untuk perbaikan. Untuk informasi lebih lanjut tentang topik dan cara membuatnya, lihat Membuat dan mengedit topik.

Catatan

Analitik topik hanya tersedia untuk agen dalam mode klasik dan untuk topik yang terkait dengan sesi analitik. Jika agen Anda menggunakan orkestrasi generatif, gunakan hasil percakapan dan tema di halaman Analitik.

Untuk melihat panel analitik topik:

1. Navigasikan ke halaman Topik agen Anda di Copilot Studio.

2. Pilih topik yang ingin Anda analisis. Jika tidak ada topik yang tersedia, lihat Buat dan edit topik.

3. Di sudut kanan atas halaman Topik, pilih Lainnya (...) >Analitik.

Panel analitik topik menampilkan:

• Hasil topik: Bagan hasil sesi, Escalated, Resolved, dan Abandoned, untuk sesi tempat topik ini dipicu. Gunakan bagan ini untuk menilai kesehatan topik dengan cepat. Proporsi hasil Escalated atau Abandoned yang tinggi dapat berarti topik perlu diperbaiki.
• Total penggunaan topik: Bagan tren hasil topik dari waktu ke waktu. Gunakan ini untuk mendeteksi penurunan kinerja, misalnya lonjakan sesi yang Diabaikan setelah topik diedit, atau untuk memastikan bahwa perubahan terbaru meningkatkan tingkat resolusi.
• Skor kepuasan pelanggan: Nilai yang diperoleh dari respons survei pengguna pada sesi yang terkait dengan topik ini.
• Tren skor kepuasan: Grafik yang menggambarkan perubahan skor kepuasan dari waktu ke waktu. Gunakan tren ini untuk mengidentifikasi periode ketika sentimen pengguna menurun atau meningkat.

Untuk mengubah rentang waktu, pilih dropdown rentang waktu di bagian atas panel analitik topik.

Informasi terkait

• Mengukur laba atas investasi (ROI) dan nilai bisnis agen AI