ตรวจสอบประสิทธิภาพของเอเจนต์ใน Copilot Studio

Note

บทความนี้อธิบายคุณสมบัติที่ใช้ในเอเจนต์หรือการไหลของเอเจนต์ที่ขับเคลื่อนโดยฮาร์เนสมาตรฐาน

ใช้การวิเคราะห์เพื่อทำความเข้าใจว่าเอเจนต์ของคุณทำงานได้ดีเพียงใด และเพื่อระบุส่วนที่ต้องปรับปรุง

หน้า Monitor ใน Copilot Studio สรุปตัวชี้วัดสําคัญและให้การวิเคราะห์การใช้งานสําหรับส่วนประกอบของเอเจนต์ของคุณ เปิดเมตริกแต่ละตัวเพื่อสำรวจข้อมูลเบื้องหลัง

ประสบการณ์ Monitor ถูกออกแบบมาสําหรับเอเจนต์สนทนาและเอเจนต์อิสระ

มีการตรวจสอบในทุกภูมิภาค ข้อมูลการตรวจสอบพร้อมใช้งานได้นานสูงสุด 360 วัน รายละเอียดเซสชันและข้อมูลสําเนาบทสนทนาจะมีให้ในช่วง 28 วันที่ผ่านมา การประทับเวลาและวันที่ในการวิเคราะห์จะใช้เวลาสากลเชิงพิกัด (UTC) การประทับเวลาและวันที่รวมถึงเวลาเริ่มต้นและสิ้นสุดของวัน เวลาเซสชัน และเครื่องหมายเวลาอื่นๆ ในข้อมูลของตัวแทนของคุณ

Note

หน้า Monitor จะไม่แสดงการวิเคราะห์กิจกรรมที่คุณทําเมื่อทดสอบ agent ใน Copilot Studio โดยใช้แผงทดสอบ

อนุญาตให้เข้าถึงมุมมองแบบจํากัดในการวิเคราะห์เท่านั้น

หากคุณเป็นเจ้าของเอเจนต์ ให้แชร์เอเจนต์กับบทบาทการแชร์ Analytics Viewer เพื่อให้สิทธิ์เข้าถึงเฉพาะหน้า Monitor เท่านั้น เพื่อเข้าถึงข้อมูลถอดความการสนทนา บุคคลนั้นต้องมีบทบาทความปลอดภัย Bot Transcript Viewer ด้วย

เรียนรู้เพิ่มเติมใน แบ่งปันการวิเคราะห์ของตัวแทน

สําคัญ

ในฐานะเจ้าของตัวแทน คุณสามารถแชร์บทบาทผู้ชม Analytics กับบุคคลได้เท่านั้น และไม่สามารถแชร์กับกลุ่มผู้ใช้

วิธีเข้าถึงหน้า Monitor ของเอเจนต์ของคุณ:

1. เปิดเอเจนต์ของคุณใน Copilot Studio
2. เลือก Monitor ที่แถบเมนูด้านบน

Summary

ส่วน สรุป ใช้ Copilot เพื่อสร้างข้อมูลสรุป AI สําหรับข้อมูลเชิงลึกด้านการวิเคราะห์ที่สําคัญเกี่ยวกับเจ้าหน้าที่ของคุณ เลือก ดูเพิ่มเติม เพื่อดูรายการสรุปทั้งหมดของข้อมูลเชิงลึก

ซึ่งช่วยให้คุณเข้าใจธีมและเมตริกทั่วไปได้อย่างรวดเร็ว และระบุพื้นที่สําหรับการปรับปรุงสําหรับตัวแทนของคุณ โดยการสรุปไว้ในรายการหัวข้อย่อยสําหรับระยะเวลาการรายงานที่เลือก รายการนี้อาจรวมถึงตัวชี้วัดการมีส่วนร่วม ความรู้สึกและข้อเสนอแนะของลูกค้า รวมถึงแนวโน้มตั้งแต่รอบรายงานล่าสุด

สรุปความคิดเห็นของลูกค้า (พรีวิว)

[ส่วนนี้เป็นเอกสารก่อนการนำออกใช้ และอาจเปลี่ยนแปลงได้]

สรุปความคิดเห็นของลูกค้า ช่วยให้คุณเข้าใจภาพรวมความรู้สึกของลูกค้าต่อเจ้าหน้าที่จากข้อเสนอแนะและความคิดเห็น ข้อมูลเชิงลึกจะถูกจัดลําดับความสําคัญตามทั้งปริมาณของความคิดเห็นที่เกี่ยวข้องและนัยสําคัญโดยรวม สรุปจะกรองความคิดเห็นที่มีคุณค่าต่ำหรือไม่เกี่ยวข้อง และรวบรวมข้อเสนอแนะที่เกี่ยวข้องกันเข้าด้วยกัน

สําคัญ

บทความนี้มีเอกสารรุ่นพรีวิว Microsoft Copilot Studio และอาจจะมีการเปลี่ยนแปลงในอนาคต

คุณลักษณะพรีวิวไม่ได้มีไว้สำหรับการนำไปใช้งานจริงและอาจมีฟังก์ชันการทำงานที่จำกัด คุณลักษณะเหล่านี้สามารถใช้ได้ก่อนการเปิดตัวอย่างเป็นทางการเพื่อให้คุณสามารถเข้าใช้งานได้ก่อนเวลาและให้ข้อคิดเห็น

หากคุณกำลังสร้างเอเจนต์ที่พร้อมสำหรับการใช้งานจริง โปรดดู ภาพรวมของ Microsoft Copilot Studio

หากต้องการให้ข้อเสนอแนะแก่ Microsoft เกี่ยวกับส่วนนี้ ให้เลือก Thumbs up หรือ Thumbs down ใช้แผง ส่งความคิดเห็นไปยัง Microsoft เพื่อเพิ่มความคิดเห็นและเลือกว่าจะแชร์ไฟล์ที่เกี่ยวข้องหรือไม่

1. ในแผง ส่งความคิดเห็นให้ Microsoft ให้อธิบายเป็นภาษาธรรมชาติว่าคุณชอบหรือไม่ชอบ ทั้งนี้ขึ้นอยู่กับไอคอนที่คุณเลือกเพื่อเปิดแผง
2. เลือกว่าจะแชร์พรอมต์ การตอบกลับที่สร้างขึ้น ตัวอย่างเนื้อหาที่เกี่ยวข้อง และไฟล์บันทึกเพิ่มเติม
3. เลือก ส่ง

Overview

ตรวจสอบสรุปผลการดําเนินงานระดับสูงในพื้นที่ ภาพรวม จากนั้นสํารวจเมตริกแต่ละรายการอย่างละเอียดมากขึ้น

ผู้ใช้ที่ใช้งานอยู่

เมตริกผู้ใช้ที่ใช้งานอยู่แสดงให้เห็นถึงการนําเอเจนต์สนทนามาใช้และการเปลี่ยนแปลงของมันตามกาลเวลา ผู้ใช้ที่ใช้งานอยู่คือผู้ใช้ที่ไม่ซ้ํากันที่โต้ตอบกับตัวแทนการสนทนาอย่างน้อยหนึ่งครั้งในช่วงระยะเวลาของรายงาน หน้า Monitor จะแสดงผู้ใช้ที่ใช้งานรายวัน (DAU) และผู้ใช้ที่ใช้งานรายเดือน (MAU) การนับรายวันครอบคลุมตลอด 24 ชั่วโมงเต็มในหน่วย UTC การนับรายเดือนจะเป็นไปตามเดือนปฏิทินใน UTC

สําคัญ

ฟีเจอร์เมตริกผู้ใช้ที่ใช้งานอยู่จะได้รับการสนับสนุนเฉพาะเมื่อคุณตั้งค่าตัวแทนของคุณให้จําเป็นต้องมีการรับรองความถูกต้องภายใต้การรับรองความถูกต้องของ>>

DAU เฉลี่ยสําหรับรอบระยะเวลาที่เลือก รวมถึงการเปลี่ยนแปลงเปอร์เซ็นต์จากรอบระยะเวลาก่อนหน้า จะปรากฏเป็นตัวบ่งชี้ประสิทธิภาพหลัก (KPI) ในส่วน ภาพรวม

Note

สูตรสําหรับเมตริกที่คํานวณ DAU เฉลี่ยคือ: (sum of all full-day active user counts in the period) / (count of full days in the period)

หากต้องการดูรายละเอียดเพิ่มเติมเกี่ยวกับจํานวนผู้ใช้ที่ใช้งานอยู่รายวันและรายเดือนตามแนวโน้มเมื่อเวลาผ่านไป ให้เลือกปุ่ม ดูผู้ใช้ที่ใช้งานอยู่ ที่มุมบนขวาของแผงภาพรวม

เซสชันการสนทนาเท่านั้น

Analytics สําหรับตัวแทนการสนทนา ใน Copilot Studio จะติดตามการมีส่วนร่วมของผู้ใช้กับตัวแทนของคุณ และพยายามจับภาพว่าตัวแทนของคุณจัดการกับงานผู้ใช้ได้ดีเพียงใด

การวิเคราะห์การสนทนาใช้แนวคิดและคำศัพท์ต่อไปนี้:

• การสนทนาคือการโต้ตอบอย่างต่อเนื่องระหว่างผู้ใช้หรือกลุ่มผู้ใช้ที่เฉพาะเจาะจงใน ช่องทาง และตัวแทนของคุณ

• การสนทนาสามารถหยุดชั่วคราวและกลับมาเริ่มต่อในภายหลัง หรือ โอนไปยังเจ้าหน้าที่บริการลูกค้า การสนทนาอาจเป็นแบบทางเดียว ไม่ว่าจะจากลูกค้าไปยังตัวแทน หรือจากตัวแทนไปยังลูกค้า แต่โดยทั่วไปแล้วจะเป็นการโต้ตอบไปมาระหว่างลูกค้าและตัวแทน

• การสนทนาหมดเวลาหลังจากไม่มีการใช้งาน 30 นาที

• สําหรับตัวแทนที่เผยแพร่ไปยังช่องทาง Telephony การสนทนาจะหมดเวลา 3 นาทีหลังจากเหตุการณ์ สิ้นสุดการสนทนา

• การสนทนาเดียวสามารถมีหนึ่งเซสชันการวิเคราะห์หรือมากกว่านั้น

• เซสชันวิเคราะห์ที่ขับเคลื่อนโดย Standard harness จะเชื่อมโยงกับหัวข้อที่กําหนดเองล่าสุดที่ผู้ใช้เรียกใช้ หากเซสชันไม่มีหัวข้อที่กําหนดเอง จะเป็นหัวข้อระบบสุดท้ายที่ผู้ใช้ทริกเกอร์โดยตรง

เซสชันทริกเกอร์เหตุการณ์เท่านั้น

เอเจนต์อัตโนมัติเป็นเอเจนต์ที่มีทริกเกอร์เหตุการณ์ ตัวแทนเหล่านี้สนับสนุน การวิเคราะห์เฉพาะสําหรับตัวแทนที่มีทริกเกอร์เท่านั้น

เซสชันการวิเคราะห์สำหรับเอเจนต์ที่มีทริกเกอร์จะติดตามตั้งแต่เวลาที่เอเจนต์ได้รับเพย์โหลดจากทริกเกอร์ ไปจนถึงการดำเนินการต่างๆ ที่เอเจนต์เรียกใช้เพื่อตอบสนองต่อสิ่งนั้น เซสชันการวิเคราะห์เหล่านี้จะเก็บบันทึกสิ่งที่เอเจนต์ของคุณตอบสนอง และประสิทธิภาพของเอเจนต์ของคุณ

Note

หากทริกเกอร์ล้มเหลวและเอเจนต์ไม่ได้รับส่วนข้อมูลของทริกเกอร์ เซสชันการวิเคราะห์จะไม่สามารถเริ่มต้นได้ การวิเคราะห์จะติดตามเฉพาะการเรียกใช้ที่ทริกเกอร์สำเร็จเท่านั้น

มุมมองแบบไฮบริด - ทั้งเซสชันการสนทนาและเซสชันที่ทริกเกอร์เหตุการณ์

เมื่อข้อมูลของตัวแทนของคุณรวมถึงเซสชันสําหรับการสนทนาอย่างน้อยหนึ่งครั้ง และอย่างน้อยหนึ่งรันที่ใช้ทริกเกอร์ในช่วงเวลาของรายงาน หน้า Monitor จะแสดงมุมมอง ไฮบริด ของเมตริกที่เกี่ยวข้องทั้งสําหรับเซสชันสนทนาและเซสชันอัตโนมัติ ในมุมมองนี้ ส่วน ภาพรวม และ ประสิทธิผล จะแสดงเมตริกเคียงข้างกันสําหรับทั้งเซสชันการสนทนาและเซสชันที่ทริกเกอร์เหตุการณ์ ส่วน ใช้ ช่วยให้คุณสามารถเลือกระหว่าง การสนทนา หรือ การทํางาน ซึ่งจะแสดงเฉพาะข้อมูลที่เกี่ยวข้องเท่านั้น การเลือก ทั้งหมด จะแสดงข้อมูลที่เกี่ยวข้องกับการใช้ทั้งหมด ส่วน ความพึงพอใจ จะแสดงเมตริกความพึงพอใจสําหรับเซสชันการสนทนา

เรียนรู้เพิ่มเติมใน:

• ตรวจสอบประสิทธิภาพของเอเจนต์การสนทนา สําหรับเมตริกเซสชันสนทนา

• ตรวจสอบสุขภาพเอเจนต์อัตโนมัติ สําหรับเมตริกเซสชันที่ถูกกระตุ้นโดยเหตุการณ์

ดาวน์โหลดการถอดความการสนทนา

คุณสามารถดาวน์โหลดข้อความถอดเสียงของเซสชันใน Copilot Studio สําหรับช่วงเวลาภายใน 28 วันที่ผ่านมา อาจใช้เวลาถึงหนึ่งชั่วโมงหลังจากเซสชันวิเคราะห์สิ้นสุดก่อนที่ข้อมูลที่เกี่ยวข้องจะปรากฏบนแดชบอร์ดวิเคราะห์ เรียนรู้เพิ่มเติมเกี่ยวกับความพร้อมใช้งาน สิทธิ์ และขั้นตอนการดาวน์โหลดใน ดาวน์โหลดการถอดเสียงบทสนทนาใน Copilot Studio

การเก็บรักษาทรานสคริปต์ใน Dataverse แยกจากหน้าต่างข้อมูลเซสชัน 28 วันใน Copilot Studio เรียนรู้เพิ่มเติมได้ที่ ดาวน์โหลดสำเนาบทสนทนาใน Power Apps

การวิเคราะห์การใช้งานหัวข้อ

ใน Copilot Studio หัวข้อจะกําหนดวิธีการที่การสนทนาตัวแทนจะดําเนินไปและแสดงถึงส่วนหนึ่งของการสนทนาระหว่างผู้ใช้และตัวแทน แผง Monitor หัวข้อจะแสดงว่าหัวข้อแต่ละหัวข้อทํางานอย่างไร รวมถึงความถี่ที่ถูกทริกเกอร์ เซสชันที่มีหัวข้อนั้นแก้ไขอย่างไร และความพึงพอใจของผู้ใช้กับเซสชันเหล่านั้น ใช้ข้อมูลเชิงลึกเหล่านี้เพื่อระบุหัวข้อที่มักจะบานปลายหรือถูกละทิ้งบ่อยครั้ง จากนั้นจัดลําดับความสําคัญเพื่อปรับปรุง เรียนรู้เพิ่มเติมใน สร้างและแก้ไขหัวข้อ

Note

Topic Monitor มีให้ใช้งานเฉพาะสำหรับเอเจนต์ที่ขับเคลื่อนด้วย Standard harness และสำหรับหัวข้อที่เกี่ยวข้องกับ เซสชันเท่านั้น หากเอเจนต์ของคุณใช้การจัดเรียงแบบสร้างสรรค์ ให้ใช้ผลลัพธ์และธีมการสนทนาในหน้า Monitor แทน

เพื่อดูแผงการตรวจสอบสำหรับหัวข้อ:

1. ไปที่หน้าTopicsของตัวแทนใน Copilot Studio

2. เลือกหัวข้อที่คุณต้องการวิเคราะห์ ถ้าไม่มีหัวข้อที่พร้อมใช้งาน ดูสร้างและแก้ไขหัวข้อ

3. ที่มุมขวาบนของหน้าหัวข้อ ให้เลือก เพิ่มเติม (...) >เฝ้าดู

แผงหัวข้อ Monitor แสดงว่า:

• ผลลัพธ์ของหัวข้อ: แผนภูมิของ ผลลัพธ์เซสชัน, Escalated, Resolvedและ Abandonedสําหรับเซสชันที่หัวข้อนี้ถูกทริกเกอร์ ใช้แผนภูมินี้เพื่อประเมินสถานภาพของหัวข้ออย่างรวดเร็ว สัดส่วนที่สูงหรือEscalatedAbandonedผลลัพธ์อาจหมายถึงหัวข้อที่ต้องการการปรับปรุง
• การใช้หัวข้อทั้งหมด: แผนภูมิของแนวโน้มผลลัพธ์ของหัวข้อเมื่อเวลาผ่านไป ใช้ข้อมูลนี้เพื่อตรวจหาการถดถอย ตัวอย่างเช่น อัตราการเพิ่มขึ้นทันทีทันใดในเซสชันที่ถูกละทิ้งหลังจากที่มีการแก้ไขหัวข้อ หรือเพื่อยืนยันว่าการเปลี่ยนแปลงล่าสุดมีอัตราความละเอียดที่ดีขึ้น
• คะแนนความพึงพอใจของลูกค้า: คะแนนที่ยึดตามการตอบแบบสํารวจของผู้ใช้จากเซสชันที่เกี่ยวข้องกับหัวข้อนี้
• แนวโน้มคะแนนความพึงพอใจ: แผนภูมิที่แสดงการเปลี่ยนแปลงของ คะแนนความพึงพอใจ เมื่อเวลาผ่านไป ใช้แนวโน้มนี้เพื่อระบุช่วงเวลาที่ความรู้สึกของผู้ใช้ลดลงหรือดีขึ้น

หากต้องการเปลี่ยนช่วงเวลา ให้เลือกแบบเลื่อนลงช่วงเวลาที่ด้านบนของแผงหัวข้อ Monitor

ข้อมูลที่เกี่ยวข้อง

วัดผลตอบแทนจากการลงทุน (ROI) และมูลค่าทางธุรกิจของตัวแทน AI