หมายเหตุ
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลอง ลงชื่อเข้าใช้หรือเปลี่ยนไดเรกทอรีได้
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลองเปลี่ยนไดเรกทอรีได้
[บทความนี้เป็นเอกสารก่อนการนำออกใช้ และอาจเปลี่ยนแปลงได้]
แท็บ ประเมิน ในประสบการณ์เอเจนต์ใหม่ให้การทดสอบที่มีโครงสร้างและสามารถทดสอบซ้ำได้สำหรับเอเจนต์ของคุณ ใช้การประเมินเพื่อวัดคุณภาพของเอเจนต์ในแต่ละกรณีทดสอบ ติดตามการปรับปรุงตามเวลา และตรวจสอบพฤติกรรมของเอเจนต์ก่อนเผยแพร่
สำคัญ
- นี่คือคุณลักษณะรุ่นพรีวิวที่พร้อมสำหรับการใช้งานจริง
- พรีวิวที่พร้อมสำหรับการใช้งานจริงอยู่ภายใต้ข้อกำหนดการใช้งานเพิ่มเติม
การประเมินตัวแทนคืออะไร?
การประเมินเอเจนต์ช่วยให้คุณทดสอบการตอบของเอเจนต์ของคุณอย่างเป็นระบบตามมาตรฐานคุณภาพ แทนที่จะทดสอบแต่ละสถานการณ์ด้วยตนเองในแท็บ Preview ให้สร้างการประเมินผลพร้อมบทสนทนาทดสอบ กําหนดวิธีวัดผลตอบรับ และรันการประเมินผลเพื่อให้ได้ผลลัพธ์เชิงปริมาณ
การประเมินช่วยให้คุณตอบคําถามเหล่านี้ได้:
- เอเจนต์ตอบถูกต้องในหลากหลายสถานการณ์ที่คาดไว้หรือไม่
- การเปลี่ยนแปลงการกำหนดค่าทำให้คุณภาพการตอบดีขึ้นหรือแย่ลงหรือไม่
- เอเจนต์เรียกเครื่องมือเมื่อควรจะเรียกไหม?
แนวคิดหลัก
แนวคิดต่อไปนี้มีความสำคัญเมื่อทำการประเมินใน Copilot Studio:
การสนทนา
การสนทนาเป็นกรณีทดสอบที่แสดงถึงสถานการณ์ที่คุณต้องการให้เอเจนต์ของคุณจัดการ แต่ละการสนทนาประกอบด้วยข้อความของผู้ใช้ และอาจจะมีการตอบของเอเจนต์ที่คาดหวัง จัดกลุ่มการสนทนาเข้าในชุดการประเมิน สร้างบทสนทนาด้วยตนเอง สร้างด้วย AI หรืออัปโหลดจากไฟล์ CSV
การประเมินผล
ชุดการประเมินที่มีชื่อคือชุดการทดสอบที่ผสานการสนทนากับวิธีการทดสอบ คุณสามารถสร้างการประเมินจากแท็บ ประเมิน เพิ่มบทสนทนาเข้าไป และเรียกใช้งานเพื่อให้ได้ผลลัพธ์ที่ได้รับคะแนน
วิธีการทดสอบ
วิธีการทดสอบจะกำหนดหลักเกณฑ์การให้คะแนนการตอบของเอเจนต์ ปัจจุบัน วิธีทดสอบที่มีอยู่มีเพียงวิธีเดียวคือ General quality ซึ่งเป็นการประเมินด้วย AI ว่าคําตอบนั้นตรงตามมาตรฐานคุณภาพหรือไม่ เช่น ความเกี่ยวข้องและความสมบูรณ์
หมายเหตุ
วิธีการทดสอบคุณภาพทั่วไปจะไม่ทำการเปรียบเทียบการตอบกับคำตอบที่คาดหวังไว้
โปรไฟล์ผู้ใช้
การประเมินจะทำงานภายใต้โปรไฟล์ผู้ใช้ จัดการโปรไฟล์ที่ได้รับการยืนยันตัวตนใดที่รันการประเมินผล เพื่อให้เครื่องมือและการเชื่อมต่อของเอเจนต์สามารถทดสอบได้อย่างเต็มที่
เวิร์กโฟลว์การประเมิน
ทําตามขั้นตอนเหล่านี้เพื่อประเมินเอเจนต์:
- สร้างการประเมิน: บนแท็บ ประเมิน เริ่มต้นการประเมินใหม่ เรียนรู้เพิ่มเติมในส่วน สร้างชุดทดสอบสําหรับเอเจนต์
- เพิ่มการสนทนา: เพิ่มการสนทนาทดสอบโดยการเขียนด้วยตนเอง สร้างโดย AI หรืออัปโหลดไฟล์ CSV
- กําหนดค่า: ตั้งชื่อการประเมิน เลือกวิธีการทดสอบ เลือกเวอร์ชันของเอเจนต์ และตั้งค่าโปรไฟล์ผู้ใช้
- รันการประเมินผล: เลือก ประเมิน ผล เพื่อรันการทดสอบและรอผลลัพธ์ ดูข้อมูลเพิ่มเติมได้ที่ ดําเนินการประเมินผลสําหรับตัวแทน
- ตรวจสอบผลลัพธ์: วิเคราะห์คะแนนและระบุจุดที่ต้องปรับปรุง ดูข้อมูลเพิ่มเติมได้ที่ ดูผลการประเมินสําหรับเอเจนต์
- ทําซ้ํา: ปรับคําแนะนํา ความรู้ หรือเครื่องมือของตัวแทน แล้วรันการประเมินอีกครั้งเพื่อวัดผลกระทบ