Bagikan melalui

Pengoptimalan performa untuk beban kerja aplikasi cerdas

Efisiensi kinerja adalah kemampuan beban kerja Anda untuk menskalakan secara efisien untuk memenuhi tuntutan yang ditempatkan oleh pengguna. Memantau kinerja beban kerja aplikasi cerdas Anda sangat penting untuk memastikan bahwa beban kerja tersebut beroperasi secara efektif dan efisien.

Tim beban kerja perlu menetapkan metrik performa utama, meninjau kinerja sistem secara teratur, dan mendiagnosis masalah apa pun dengan segera. Prosedur pemantauan dan diagnostik yang efektif membantu menjaga keandalan sistem dan kepuasan pengguna.

Tentukan target performa

Mengidentifikasi metrik kinerja utama melibatkan penentuan pengukuran penting yang melacak kemajuan menuju pencapaian sasaran kinerja beban kerja. Metrik ini menyediakan cara yang dapat diukur untuk mengukur dan meningkatkan efisiensi kinerja.

Saat Anda mengidentifikasi metrik utama untuk difokuskan, pertimbangkan metrik yang terkait dengan kapasitas, waktu respons, tingkat defleksi, serta keterlibatan dan hasil:

  • Kapasitas: Throughput dan konkurensi adalah metrik kapasitas sampel. Throughput mengacu pada kemampuan untuk menangani sejumlah transaksi tertentu dalam jangka waktu tertentu. Misalnya, agen mungkin menangani 200.000 sesi obrolan per bulan. Pertimbangkan juga variasi musiman dan puncak maksimum percakapan bersamaan yang diantisipasi. Konkurensi adalah ukuran pengguna atau tindakan simultan. Misalnya, agen mungkin menangani maksimal 5.000 obrolan bersamaan selama musim puncak. Memahami volume target membantu memvalidasi arsitektur dan skala target.

  • Waktu respons: Latensi dan waktu muat adalah metrik waktu respons umum. Latensi adalah waktu yang dibutuhkan untuk menanggapi permintaan (200 milidetik). Waktu muat adalah waktu yang dibutuhkan agen untuk menjadi aktif dan merespons pesan pertama. Pahami latensi maksimum yang diharapkan bagi agen untuk menjawab kueri, dan tentukan pendekatan untuk menangani tindakan yang berjalan lama (misalnya, menunggu sistem eksternal mengembalikan data).

  • Tingkat defleksi: Dalam konteks AI percakapan, defleksi adalah indikator yang mewakili persentase permintaan yang diselesaikan dengan cara layanan mandiri yang seharusnya ditangani oleh perwakilan layanan pelanggan. Dengan kata lain, ini mengacu pada jumlah tugas yang tidak lagi harus ditangani tim karena otomatisasi. Mengoptimalkan tingkat defleksi agen adalah salah satu area fokus utama bagi organisasi untuk mencapai tujuan bisnis mereka, mulai dari pengembalian investasi (ROI) dan kepuasan pelanggan (CSAT), hingga peningkatan kinerja agen secara keseluruhan. Microsoft Copilot Studio memberikan gambaran umum tentang kinerja agen Anda, termasuk indikator utama seperti tingkat resolusi, tingkat eskalasi, dan CSAT.

  • Keterlibatan dan hasil: Melacak keterlibatan dan hasil percakapan adalah kunci untuk mengukur metrik kinerja agen dan mengidentifikasi area yang perlu ditingkatkan. Pelajari selengkapnya di Mengukur keterlibatan agen dan Mengukur hasil agen.

Perencanaan kinerja

Sumber daya dalam beban kerja Anda memiliki batasan performa. Batasan performa berlaku untuk fitur dalam setiap layanan. Anda perlu memahami keterbatasan sumber daya dalam beban kerja Anda dan memperhitungkan keterbatasan tersebut ke dalam keputusan desain Anda. Misalnya, Anda harus tahu apakah keterbatasan sumber daya mengharuskan Anda mengubah pendekatan desain atau mengubah sumber daya sama sekali.

  • Pahami volume target. Volume target membantu memvalidasi arsitektur dan skala target, aspek lisensi agen, dan potensi efek pada Dataverse penyimpanan untuk transkrip percakapan.
  • Pahami batasan platform. Saat mengintegrasikan beban kerja aplikasi cerdas Anda dengan sistem eksternal, misalnya melalui Power Automate atau permintaan HTTP, penting untuk memvalidasi bahwa setiap komponen dapat menangani beban.
  • Identifikasi kemacetan. Ukur throughput dan waktu respons untuk mengidentifikasi komponen sistem Anda yang mungkin menjadi bermasalah seiring bertambahnya beban kerja. Identifikasi kemacetan dalam proses end-to-end dengan menggunakan kemampuan analisis penambangan proses seperti pengerjaan ulang dan analisis akar penyebab.

Pelajari lebih lanjut: Rekomendasi untuk perencanaan performa

Pemantauan performa

Pengoptimalan performa memerlukan data untuk mengukur performa beban kerja atau alur saat ini terhadap target performanya. Kumpulkan jumlah dan variasi data yang cukup untuk mengukur kinerja kode dan infrastruktur secara akurat terhadap target kinerja yang ditetapkan. Pastikan bahwa setiap komponen dan alur dalam beban kerja secara otomatis menghasilkan metrik dan log yang berkelanjutan dan bermakna.

Pantau dengan cermat kinerja beban kerja aplikasi cerdas Anda untuk memastikannya beroperasi pada efektivitas dan efisiensi puncak.

Copilot Studio Menyediakan analitik siap pakai yang komprehensif yang memungkinkan Anda memahami penggunaan agen dan indikator kinerja utama.

Anda dapat melihat laporan yang terkait dengan:

  • Performa dan penggunaan
  • Kepuasan pelanggan
  • Informasi sesi
  • Penggunaan topik
  • Sesi tertagih

Selain fitur analitik asli di dalamnya Copilot Studio, Anda dapat mengirim data telemetri ke. Application Insights Pelajari lebih lanjut di Tangkap telemetri dengan Application Insights. Pantau performa dan deteksi anomali secara terus-menerus dengan menggunakan alat seperti Azure Monitor, Analitik Log, Application Insights dan pemberitahuan.

Tentukan indikator kinerja utama (KPI) yang ingin Anda pantau untuk mengukur keberhasilan beban kerja aplikasi cerdas Anda, seperti tingkat keterlibatan, tingkat resolusi, dan tingkat defleksi. Pertama, tinjau dasbor asli untuk memahami data yang tersedia. Kemudian, putuskan apakah membuat laporan khusus akan memenuhi kebutuhan spesifik Anda dengan lebih baik.

Selengkapnya:

Pengoptimalan kinerja berkelanjutan

Mengoptimalkan kinerja secara proaktif melibatkan penerapan langkah-langkah untuk meningkatkan dan meningkatkan kinerja beban kerja sebelum masalah muncul. Langkah-langkah proaktif termasuk mengidentifikasi potensi hambatan, memantau metrik kinerja, dan menerapkan pengoptimalan untuk memastikan beban kerja berjalan secara efisien dan memenuhi sasaran kinerja.

Untuk terus meningkatkan beban kerja aplikasi cerdas Anda, jadwalkan tinjauan rutin terhadap kinerja agen:

Indikator kinerja Devinisi
Tingkat resolusi Persentase permintaan pengguna yang berhasil diselesaikan oleh agen tanpa memerlukan eskalasi ke perwakilan layanan pelanggan.
Tingkat keterlibatan Persentase dari total sesi yang terlibat. Sesi dianggap terlibat ketika pengguna berinteraksi dengan agen dengan cara yang bermakna, seperti memicu topik nonsistem, meningkatkan sesi, atau memanggil topik penggantian.
Tingkat pengabaian Persentase sesi terlibat yang berakhir tanpa mencapai resolusi atau eskalasi. Pada dasarnya, ini mengukur seberapa sering pengguna meninggalkan atau berhenti berinteraksi dengan agen sebelum masalah mereka diselesaikan atau dieskalasi ke perwakilan.
Tingkat eskalasi Persentase sesi terlibat yang dieskalasi ke perwakilan. Metrik ini adalah kunci untuk memahami seberapa sering agen tidak dapat menyelesaikan kueri pengguna sendiri dan memerlukan campur tangan manusia.
Ucapan yang tidak dikenali Terjadi ketika model pemahaman bahasa alami (NLU) agen tidak dapat mencocokkan input pengguna dengan maksud atau topik yang telah ditentukan sebelumnya. Sistem tidak dapat menentukan maksud pengguna berdasarkan input yang diberikan.
CSAT Kepuasan.
Topik dengan resolusi rendah Mengacu pada topik percakapan yang sering gagal menyelesaikan kueri pengguna secara efektif. Topik-topik ini sering menyebabkan ketidakpuasan pengguna, pengabaian, atau eskalasi ke perwakilan.

Tinjauan ini membantu memprioritaskan backlog pembaruan agen. Misalnya, jika ucapan yang tidak dikenali sering dieskalasi ke perwakilan layanan pelanggan, ambil kesempatan untuk meningkatkan defleksi. Analisis pola pengguna yang memicu penggantian dan ucapan yang tidak dikenali, dan latih topik yang ada atau buat topik baru untuk melengkapi agen agar dapat memenuhi kebutuhan pengguna dengan lebih baik.

Selengkapnya: