การวัดผลแชทบอท

สำคัญ

ความสามารถและคุณลักษณะต่างๆ ของ Power Virtual Agents เป็น ส่วนหนึ่งของ Microsoft Copilot Studio แล้ว ภายหลังการลงทุนที่สำคัญใน Generative AI และการรวมที่ได้รับการปรับปรุงใน Microsoft Copilot

บทความและภาพหน้าจอบางรายการอาจอ้างถึง Power Virtual Agents ในขณะที่เราอัปเดตคู่มือและเนื้อหาการฝึกอบรม

การติดตามการมีส่วนร่วมและผลลัพธ์ของการสนทนาเป็นสิ่งสำคัญในการวัดเมตริกประสิทธิภาพของแชทบอท และระบุจุดสำหรับการปรับปรุงในแดชบอร์ดการวิเคราะห์

สำคัญ

การสนทนาของ Microsoft Copilot Studio ระหว่างผู้ใช้กับแชทบอททำให้เกิดเซสชันการวิเคราะห์หนึ่งเซสชันหรือหลายเซสชัน เซสชันการวิเคราะห์ทั้งหมดเป็นแบบ มีส่วนร่วม หรือ ไม่ได้มีส่วนร่วม

การทำความเข้าใจผลของเซสชันการวิเคราะห์

แต่ละเซสชันการวิเคราะห์มีผลลัพธ์:

• เซสชัน ที่ไม่ได้มีส่วนร่วม จะมีผลลัพธ์เป็น ไม่มี เสมอ
• เซสชัน ที่มีส่วนร่วม มีผลลัพธ์อย่างใดอย่างหนึ่งต่อไปนี้:

• แก้ปัญหาแล้ว
• เลื่อนระดับแล้ว
• ถูกละทิ้ง

การมีส่วนร่วมและผลลัพธ์

เซสชันการวิเคราะห์การสนทนา สถานะการมีส่วนร่วม และผลลัพธ์สามารถใช้งานเป็นส่วนหนึ่งของ แดชบอร์ดการวิเคราะห์ หรือใน ConversationTranscriptตาราง ใน Dataverse

การมีส่วนร่วม	ผลที่ได้	ข้อกำหนด
ไม่มีส่วนร่วม	ไม่มี (None)	เซสชันที่ไม่ได้มีส่วนร่วมทั้งหมดจะมีผลลัพธ์เป็น ไม่มี
มีส่วนร่วม	เลื่อนระดับแล้ว (HandOff)	เซสชันได้รับการพิจารณาว่า เลื่อนระดับแล้ว เมื่อหัวข้อ เลื่อนระดับ ถูกทริกเกอร์ หรือมาถึงโหนด โอนการสนทนา
มีส่วนร่วม	แก้ปัญหาแล้ว (Resolved)	เซสชันจะถือว่า แก้ปัญหาแล้ว เมื่อหัวข้อ จบการสนทนา ถูกทริกเกอร์ และผู้ใช้ยืนยันว่าการโต้ตอบนั้นสำเร็จ (impliedSuccess = FALSE) หรือไม่ตอบและปล่อยให้เซสชันหมดเวลา (impliedSuccess = TRUE)
มีส่วนร่วม	ถูกละทิ้ง (Abandoned)	เซสชันถือว่า ถูกละทิ้ง เมื่อเซสชันที่มีส่วนร่วมหมดเวลาและไม่เข้าสู่สถานะ แก้ปัญหาแล้ว หรือ เลื่อนระดับแล้ว

การจบการสนทนาอย่างเหมาะสมเพื่อวัดผลลัพธ์

สิ่งสำคัญคือต้องจบการสนทนาด้วยหัวข้อ จบการสนทนา เพื่อให้ผู้ใช้ยืนยันว่าปัญหาได้รับการแก้ไขแล้วหรือไม่ (และอาจเลื่อนระดับ)

เมื่อบอทยืนยันความสำเร็จ แบบสำรวจ CSAT จะแสดงต่อผู้ใช้ เพื่อรับคะแนน 0-5

หากคุณมั่นใจในผลลัพธ์ของการสนทนาตามตรรกะหัวข้อ คุณสามารถตั้งค่าสถานะว่าเป็นการยืนยันความสำเร็จโดยตรงหรือเปลี่ยนเส้นทางไปยังหัวข้อเลื่อนระดับ

เคล็ดลับ

ในพื้นที่ทำงานการสร้างแบบรวม ในโปรแกรมแก้ไขโค้ด คุณสามารถตั้งค่า conversationOutcome ภายในการดำเนินการ ตัวอย่างเช่น conversationOutcome: ResolvedConfirmed สำหรับความสำเร็จที่ยืนยันหรือ conversationOutcome: ResolvedImplied สำหรับความสำเร็จโดยนัย