วัดผลและปรับปรุงประสิทธิภาพของเอเจนต์ด้วยตัวชี้วัด KPI และการวิเคราะห์

การทำความเข้าใจประสิทธิภาพของเอเจนต์เป็นสิ่งสำคัญเพื่อยกระดับประสบการณ์ของผู้ใช้และการบรรลุเป้าหมายทางธุรกิจ เอเจนต์ Copilot Studio มีเครื่องมือวิเคราะห์และ KPI ในตัว พร้อมตัวเลือกในการสร้างเครื่องมือวิเคราะห์และรายงานแบบกำหนดเอง คุณสามารถเพิ่มประสิทธิภาพการทำงานของเอเจนต์ได้อย่างต่อเนื่องเมื่อเวลาผ่านไปโดยการทบทวนเมตริกเหล่านี้เป็นประจำและวิเคราะห์ช่องว่างที่เกิดขึ้น

วัดอัตราการมีส่วนร่วม

อัตราการมีส่วนร่วมของเอเจนต์สนทนาวัดเปอร์เซ็นต์ของเซสชันที่ถูกจัดประเภทว่ามีส่วนร่วม เซสชันเริ่มต้นในสถานะ ไม่มีส่วนร่วม เมื่อผู้ใช้โต้ตอบกับเอเจนต์หรือเอเจนต์ส่งข้อความเริ่มต้นไปยังผู้ใช้ เซสชันจะเข้าสู่สถานะ มีส่วนร่วม เมื่อมีการเรียกใช้หัวข้อที่กำหนดเอง หรือเมื่อการสนทนาเข้าสู่หนึ่งในหัวข้อของระบบต่อไปนี้: การเพิ่มความครอบคลุมของการสนทนา ส่งต่อ หรือย้อนกลับ

อัตราการมีส่วนร่วมที่สูงหมายความว่าเอเจนต์ประสบความสําเร็จในการแนะนําผู้ใช้ในหัวข้อต่างๆ อัตราการมีส่วนร่วมต่ำแสดงถึงช่องว่างในการครอบคลุมหัวข้อ หรือผู้ใช้อาจไม่เข้าใจความสามารถของเอเจนต์ คุณสามารถติดตามอัตราการมีส่วนร่วมได้ผ่านแดชบอร์ดการวิเคราะห์ของเอเจนต์

เรียนรู้เพิ่มเติมใน วัดการมีส่วนร่วมของเอเจนต์

ติดตามผลลัพธ์ของเซสชัน

ผลลัพธ์ของเซสชันจะกำหนดว่าสนทนาจบลงในสถานะใด ผลลัพธ์ของเซสชันที่มีส่วนร่วมอาจเป็นได้รับการแก้ไข ยกเลิก หรือส่งต่อ

  • เซสชันแก้ไขแล้ว: สิ้นสุดลงเรียบร้อยแล้ว

    • ผลลัพธ์ที่ยืนยันว่าได้รับการแก้ไข จะเกิดขึ้นเมื่อหัวข้อสิ้นสุดการสนทนาถูกเรียกใช้และผู้ใช้ยืนยันว่าคำถามของตนได้รับคำตอบแล้ว ผู้ใช้มีตัวเลือกในการกรอกคะแนนความพึงพอใจของลูกค้า (CSAT) ด้วยเหตุนี้ จึงแนะนำให้ออกแบบการสนทนาให้สิ้นสุดด้วยหัวข้อสิ้นสุดการสนทนา

    • ผลลัพธ์ที่ ถือว่า ได้รับการแก้ไขโดยระบบจะเกิดขึ้นเมื่อเซสชันสิ้นสุดลงโดยที่ผู้ใช้ไม่ได้ยืนยัน แต่ตรรกะของเอเจนต์กำหนดว่าได้รับการแก้ไขแล้ว

  • เซสชันที่ถูกยกระดับ จะเกิดขึ้นเมื่อเอเจนต์เข้าสู่หัวข้อยกระดับหรือใช้โหนดโอนการสนทนา

  • เซสชันที่ถูกละทิ้ง จะเกิดขึ้นเมื่อเซสชันสิ้นสุดลงโดยไม่ได้รับการแก้ไขหรือยกระดับ

คุณสามารถตรวจสอบผลลัพธ์การสนทนาได้จากแดชบอร์ดการวิเคราะห์ของเอเจนต์

เรียนรู้เพิ่มเติมใน การวัดผลลัพธ์ของเอเจนต์

เลือกกลยุทธ์การวิเคราะห์

Copilot Studio ให้การวิเคราะห์เชิงลึกสำหรับแต่ละเอเจนต์ นำเสนอข้อมูลเชิงลึกเกี่ยวกับรูปแบบการใช้งานและตัวชี้วัดประสิทธิภาพหลักอื่นๆ เรียนรู้เพิ่มเติมใน ภาพรวมของการวิเคราะห์ คุณสามารถใช้ข้อมูลการวิเคราะห์ที่สร้างโดย Copilot Studio ในรายงานที่กำหนดเองได้ ขณะสร้างรายงานแบบกำหนดเอง ควรวางแผนว่าจะจัดเก็บข้อมูลอย่างไรและที่ไหน เรียนรู้เพิ่มเติมใน พัฒนากลยุทธ์การวิเคราะห์แบบกำหนดเอง

กำหนดกลยุทธ์การปรับประสิทธิภาพ

ปรับปรุงเอเจนต์ที่สร้างด้วย Copilot Studio อย่างต่อเนื่องเพื่อเพิ่มผลตอบแทนจากการลงทุนและความพึงพอใจของลูกค้า

ประเมินประสิทธิภาพของเอเจนต์เป็นรายเดือน และเน้นที่หัวข้อเหล่านี้:

  • อัตราการผลักคำขอ: เปอร์เซ็นต์ของคำขอที่เสร็จสมบูรณ์ผ่านระบบบริการตนเอง
  • อัตราการแก้ปัญหา: เปอร์เซ็นต์ของเซสชันที่สิ้นสุดด้วยการแก้ไขปัญหา
  • อัตราการมีส่วนร่วม: เปอร์เซ็นต์ของเซสชันที่มีส่วนร่วม
  • หัวข้อที่มีอัตราการแก้ปัญหาต่ำ: อัตราการแก้ปัญหาสำหรับแต่ละหัวข้อ
  • ข้อความที่ไม่ถูกจดจํา: วลีที่ไม่ได้กระตุ้นหัวข้อที่กําหนดเอง
  • การวิเคราะห์ตามช่องทาง: ตัวชี้วัดเพื่อระบุส่วนที่แตกต่างของประสิทธิภาพในแต่ละช่องทาง

เรียนรู้เพิ่มเติมใน ภาพรวมของการเบนความสนใจ

รวบรวมคะแนนกดถูกใจและไม่ถูกใจและความคิดเห็นของผู้ใช้

ผู้ใช้สามารถให้ปฏิกิริยาต่อข้อความใดๆ ที่ส่งโดยเอเจนต์ได้โดยใช้ปุ่มนิ้วโป้งขึ้นหรือนิ้วโป้งลง เมื่อผู้ใช้เลือกปุ่มถูกใจหรือไม่ถูกใจ ให้แจ้งให้ผู้ใช้แสดงความคิดเห็นเพิ่มเติมในช่องความคิดเห็น คุณสามารถดูปฏิกิริยาและความคิดเห็นทั้งหมดในช่วง 28 วันที่ผ่านมาได้ในแท็บการวิเคราะห์ของเอเจนต์ภายใน Copilot Studio

เรียนรู้เพิ่มเติมใน การโต้ตอบ

วิเคราะห์คําถามของผู้ใช้ตามธีม

Copilot Studio วิเคราะห์คำถามของผู้ใช้ทั้งหมดที่กระตุ้นการตอบของ AI สร้างสรรค์ และจัดกลุ่มเป็นธีมทั่วไป ธีมช่วยให้ผู้สร้างเข้าใจว่าผู้ใช้สอบถามอะไรกับเอเจนต์และประสิทธิภาพของเอเจนต์เป็นอย่างไร คุณสามารถดูคำถามที่เกี่ยวข้องทั้งหมดและตัวชี้วัดคุณภาพการตอบสำหรับแต่ละธีมได้

เรียนรู้เพิ่มเติมใน วิเคราะห์คําถามของผู้ใช้ตามธีม

ดู KPI การสนทนาใน Copilot Studio Kit

ตัวชี้วัดประสิทธิภาพหลัก (KPI) ของการสนทนาเพื่อประเมินผลการทำงานของเอเจนต์ก็มีให้ เป็นส่วนหนึ่งของ Copilot Studio Kit ด้วย

Copilot Studio Kit มอบประโยชน์เหล่านี้:

  • จัดเก็บเมตริกรวมสำหรับเอเจนต์ใน Dataverse
  • เก็บรักษาข้อมูล KPI สําหรับการติดตามระยะยาว
  • กำหนดตัวแปรเฉพาะเพื่อติดตามเป็นส่วนหนึ่งของ KPI เช่น Net Promoter Score (NPS)
  • บันทึกการถอดความการสนทนาแบบเต็มพร้อมกับข้อมูล KPI
  • ขยายรายงาน Power BI ตัวอย่างเพื่อสร้างรายงานแบบกำหนดเอง

เรียนรู้เพิ่มเติมใน ติดตามประสิทธิภาพของเอเจนต์ด้วย KPI การสนทนาใน Copilot Studio Kit

ขั้นตอนถัดไป

เรียนรู้วิธีตีความสัญญาณ เช่น ปริมาณการสนทนา คุณภาพของเซสชัน และพฤติกรรมการกลับมาใช้งาน เพื่อเข้าใจรูปแบบการโต้ตอบของผู้ใช้กับเอเจนต์สนทนา