สร้างหรือแก้ไขชุดทดสอบเพื่อประเมินตัวแทนของคุณ

[บทความนี้เป็นคู่มือรุ่นก่อนวางจำหน่าย และอาจจะมีการเปลี่ยนแปลงในอนาคต]

ชุดทดสอบประกอบด้วยกลุ่มกรณีทดสอบสูงสุด 100 กรณี เมื่อคุณเรียกใช้การประเมินตัวแทน คุณจะเลือกชุดทดสอบ และ Copilot Studio จะเรียกใช้ทุกกรณีทดสอบในชุดนั้นกับตัวแทนของคุณ

คุณสามารถสร้างกรณีทดสอบภายในชุดทดสอบด้วยตนเอง นําเข้าโดยใช้สเปรดชีต หรือใช้ AI เพื่อสร้างข้อความตามการออกแบบและทรัพยากรของตัวแทนของคุณ จากนั้นคุณสามารถเลือกวิธีที่คุณต้องการวัดคุณภาพของการตอบกลับของตัวแทนของคุณสําหรับแต่ละกรณีทดสอบภายในชุดทดสอบ

สําหรับข้อมูลเพิ่มเติมเกี่ยวกับวิธีการทํางานของการประเมินตัวแทน โปรดดู เกี่ยวกับการประเมินตัวแทน

หากต้องการเรียนรู้วิธีแก้ไขชุดทดสอบที่มีอยู่ ให้ดูที่เปลี่ยนรายละเอียดของชุดทดสอบ

สําคัญ

ผลการทดสอบมีอยู่ใน Copilot Studio เป็นเวลา 89 วัน หากต้องการบันทึกผลการทดสอบของคุณเป็นระยะเวลานานขึ้น ให้ ส่งออกผลลัพธ์เป็น ไฟล์ CSV

สร้างชุดการทดสอบใหม่

1. ไปที่หน้า การประเมินของ ตัวแทนของคุณ

1. เลือก การประเมินใหม่

   

2. ในหน้า การประเมินใหม่ ให้เลือกวิธีการที่คุณต้องการใช้เพื่อสร้างชุดทดสอบของคุณ ชุดทดสอบสามารถมีกรณีทดสอบได้สูงสุด 100 กรณี

   • ชุดคําถามด่วน เพื่อให้ Copilot Studio สร้างกรณีทดสอบโดยอัตโนมัติตามคําอธิบาย คําแนะนํา และความสามารถของตัวแทนของคุณ ตัวเลือกนี้สร้างคําถาม 10 ข้อสําหรับเรียกใช้การประเมินขนาดเล็กและรวดเร็ว หรือเพื่อเริ่มสร้างชุดทดสอบที่ใหญ่ขึ้น
   • ชุดคําถามแบบเต็ม เพื่อให้ Copilot Studio สร้างกรณีทดสอบโดยใช้ แหล่งความรู้หรือหัวข้อ ของตัวแทนของคุณ และเลือกจํานวนคําถามที่จะสร้าง
   • ใช้การสนทนาในแชททดสอบของคุณเพื่อ เติมคําถามที่คุณให้ไว้ใน แชททดสอบลงในชุดทดสอบโดยอัตโนมัติ วิธีนี้ใช้คําถามจากแชททดสอบล่าสุด คุณยังสามารถเริ่มการประเมินจากแชททดสอบได้โดยใช้ปุ่มประเมิน
   • นําเข้ากรณีทดสอบจาก ไฟล์ โดยลากไฟล์ของคุณไปยังพื้นที่ที่กําหนด เลือกเรียก ดู เพื่ออัปโหลดไฟล์ หรือเลือกตัวเลือกการอัปโหลดอื่นๆ
   • หรือเขียนคําถามด้วยตัวคุณเอง เพื่อสร้างชุดทดสอบด้วยตนเอง ทําตามขั้นตอนเพื่อ แก้ไขชุดทดสอบ เพื่อเพิ่มและแก้ไขกรณีทดสอบ
   • ใช้ ข้อมูลการผลิตตามธีม จากการวิเคราะห์ของตัวแทนของคุณ

3. แก้ไขรายละเอียดของกรณีทดสอบ กรณีทดสอบทั้งหมดที่ใช้วิธีการ ยกเว้น คุณภาพทั่วไป ต้องการการตอบสนองที่คาดหวัง สําหรับข้อมูลเพิ่มเติมเกี่ยวกับการแก้ไข โปรดดู แก้ไขชุดทดสอบ

4. ภายใต้ ชื่อ ใส่ชื่อสําหรับชุดทดสอบของคุณ

5. เปลี่ยนหรือเพิ่ม วิธีการทดสอบ ที่คุณต้องการใช้:

   • เพิ่มวิธีการใหม่:
     1. เลือก เพิ่มวิธีทดสอบ
     2. เลือกวิธีการทั้งหมดที่คุณต้องการทดสอบ จากนั้นเลือก ตกลง คุณสามารถเพิ่มได้หลายวิธี
     3. สําหรับบางวิธี ให้ตั้งค่าคะแนนผ่าน จากนั้นเลือก ตกลง คะแนนผ่านจะเป็นตัวกําหนดคะแนนที่ส่งผลให้ผ่านหรือล้มเหลว
     4. บางวิธีจําเป็นต้องเพิ่มคําตอบหรือคีย์เวิร์ดที่คาดหวังสําหรับกรณีทดสอบแต่ละกรณี สําหรับข้อมูลเพิ่มเติม โปรดดู เลือกวิธีการประเมิน
   • เลือกวิธีการทดสอบที่มีอยู่เพื่อแก้ไขหรือลบ

   วิธีทดสอบ	การวัด	การให้คะแนน	การตั้งค่าคอนฟิก
   คุณภาพทั่วไป	คําตอบของกรณีทดสอบดีแค่ไหนตามคุณสมบัติเฉพาะ	คะแนนเต็ม 100%	ไม่มีใคร
   เปรียบเทียบความหมาย	ความหมายของคําตอบของกรณีทดสอบตรงกับคําตอบที่คาดหวังมากน้อยเพียงใด	คะแนนเต็ม 100%	คะแนนผ่าน คําตอบที่คาดหวัง
   การใช้ความสามารถ	กรณีทดสอบใช้ทรัพยากรที่คาดไว้หรือไม่	ผ่าน/ไม่ผ่าน	ความสามารถที่คาดหวัง
   การจับคู่คีย์เวิร์ด	กรณีทดสอบใช้คําหลักหรือวลีที่คาดหวังทั้งหมดหรือบางส่วนหรือไม่	ผ่าน/ไม่ผ่าน	คีย์เวิร์ดหรือวลีที่คาดหวัง
   ความคล้ายคลึงกันของข้อความ	ข้อความของคําตอบของกรณีทดสอบตรงกับคําตอบที่คาดหวังมากน้อยเพียงใด	คะแนนเต็ม 100%	คะแนนผ่าน คําตอบที่คาดหวัง
   การทํางานตรงทั้งหมด	คําตอบของกรณีทดสอบตรงกับคําตอบที่คาดไว้หรือไม่	ผ่าน/ไม่ผ่าน	คําตอบที่คาดหวัง

6. เลือก โปรไฟล์ผู้ใช้ แล้วเลือกหรือเพิ่มบัญชีที่คุณต้องการใช้สําหรับชุดการทดสอบนี้ หรือดําเนินการต่อโดยไม่ต้องรับรองความถูกต้อง การประเมินจะใช้บัญชีนี้เพื่อเชื่อมต่อกับแหล่งข้อมูลองค์ความรู้และเครื่องมือในระหว่างการทดสอบ สําหรับข้อมูลเกี่ยวกับการเพิ่มและการจัดการโปรไฟล์ผู้ใช้ โปรดดู จัดการโปรไฟล์ผู้ใช้และการเชื่อมต่อ

   Note

   การทดสอบอัตโนมัติจะใช้การรับรองความถูกต้องของบัญชีทดสอบที่เลือก หากตัวแทนของคุณมีแหล่งข้อมูลความรู้หรือการเชื่อมต่อที่ต้องมีการรับรองความถูกต้องเฉพาะ ให้เลือกบัญชีที่เหมาะสมสําหรับการทดสอบของคุณ เมื่อ Copilot Studio สร้างกรณีทดสอบ จะใช้ข้อมูลรับรองความถูกต้องของบัญชีที่เชื่อมต่อเพื่อเข้าถึงแหล่งข้อมูลความรู้และเครื่องมือของตัวแทนของคุณ กรณีทดสอบหรือผลลัพธ์ที่สร้างขึ้นอาจรวมถึงข้อมูลที่ละเอียดอ่อนที่บัญชีที่เชื่อมโยงสามารถเข้าถึงได้ และข้อมูลนี้จะปรากฏแก่ผู้สร้างทั้งหมดที่สามารถเข้าถึงชุดการทดสอบได้

7. เลือก บันทึก เพื่ออัปเดตชุดการทดสอบโดยไม่ต้องเรียกใช้กรณีทดสอบ หรือ ประเมิน เพื่อเรียกใช้ชุดทดสอบทันที

ข้อจํากัดในการสร้างกรณีทดสอบ

การสร้างกรณีทดสอบล้มเหลวหากคําถามอย่างน้อยหนึ่งข้อละเมิดการตั้งค่าการกลั่นกรองเนื้อหาของตัวแทนของคุณ สาเหตุที่เป็นไปได้ ได้แก่ :

• คําแนะนําหรือหัวข้อของเอเจนต์นําโมเดลเพื่อสร้างเนื้อหาที่ระบบตั้งค่าสถานะ
• แหล่งข้อมูลความรู้ที่เชื่อมต่อประกอบด้วยเนื้อหาที่ละเอียดอ่อนหรือถูกจํากัด
• การตั้งค่าการกลั่นกรองเนื้อหาของตัวแทนนั้นเข้มงวดเกินไป

เมื่อต้องการแก้ไขปัญหา ให้ลองดําเนินการต่างๆ เช่น การปรับแหล่งข้อมูลให้ความรู้ การอัปเดตคําแนะนํา หรือการแก้ไขการตั้งค่าการควบคุม

ชุดทดสอบสามารถมีกรณีทดสอบได้สูงสุด 100 กรณี

สร้างชุดทดสอบจากความรู้หรือหัวข้อ

คุณสามารถทดสอบตัวแทนของคุณโดยการสร้างคําถามโดยใช้ข้อมูลและแหล่งข้อมูลการสนทนาที่ตัวแทนของคุณมีอยู่แล้ว วิธีการทดสอบนี้เหมาะสําหรับการทดสอบว่าตัวแทนของคุณใช้ความรู้และหัวข้อที่มีอยู่แล้วอย่างไร แต่ไม่ดีสําหรับการทดสอบช่องว่างของข้อมูล

คุณสามารถสร้างกรณีทดสอบได้โดยใช้แหล่งข้อมูลองค์ความรู้เหล่านี้:

• ข้อความ

• ไมโครซอฟท์เวิร์ด

• ไมโครซอฟท์ เอ็กเซล

คุณสามารถใช้ไฟล์ที่มีขนาดไม่เกิน 293 KB เพื่อสร้างคําถามทดสอบ

ในการสร้างชุดทดสอบ:

1. ใน การประเมินใหม่ ให้เลือก ชุดคําถามแบบเต็ม

2. เลือก ความรู้ หรือ หัวข้อ

   • ความรู้จะทํางานได้ดีที่สุดสําหรับเอเจนต์ที่ใช้การประสานรวมเชิงกําเนิด วิธีนี้สร้างคําถามโดยใช้แหล่งข้อมูลองค์ความรู้ของตัวแทนของคุณที่เลือก
   • หัวข้อทํางานได้ดีที่สุดสําหรับตัวแทนที่ใช้การประสานรวมแบบคลาสสิก วิธีนี้สร้างคําถามโดยใช้หัวข้อของตัวแทนของคุณ

3. สําหรับ ความรู้ ให้เลือกแหล่งข้อมูลองค์ความรู้ที่คุณต้องการรวมไว้ในการสร้างคําถาม

1. สําหรับ ความรู้ และ หัวข้อ ให้เลือกและลากแถบเลื่อนเพื่อเลือกจํานวนคําถามที่จะสร้าง

1. เลือกสร้าง

2. ภายใต้ ชื่อ ใส่ชื่อสําหรับชุดทดสอบของคุณ

3. 1. เปลี่ยนหรือเพิ่ม วิธีการทดสอบ ที่คุณต้องการใช้:
   • เพิ่มวิธีการใหม่:
     1. เลือก เพิ่มวิธีทดสอบ
     2. เลือกวิธีการทั้งหมดที่คุณต้องการทดสอบ จากนั้นเลือก ตกลง คุณสามารถเพิ่มได้หลายวิธี
     3. สําหรับบางวิธี ให้ตั้งค่าคะแนนผ่าน จากนั้นเลือก ตกลง คะแนนผ่านจะเป็นตัวกําหนดคะแนนที่ส่งผลให้ผ่านหรือล้มเหลว
     4. บางวิธีจําเป็นต้องเพิ่มคําตอบหรือคีย์เวิร์ดที่คาดหวังสําหรับกรณีทดสอบแต่ละกรณี สําหรับข้อมูลเพิ่มเติม โปรดดู เลือกวิธีการประเมิน
   • เลือกวิธีการทดสอบที่มีอยู่เพื่อแก้ไขหรือลบ

4. แก้ไขรายละเอียดของกรณีทดสอบ กรณีทดสอบทั้งหมดที่ใช้วิธีการ ยกเว้น คุณภาพทั่วไป ต้องการการตอบสนองที่คาดหวัง สําหรับข้อมูลเพิ่มเติมเกี่ยวกับการแก้ไข โปรดดู แก้ไขชุดทดสอบ

5. เลือก บันทึก เพื่ออัปเดตชุดการทดสอบโดยไม่ต้องเรียกใช้กรณีทดสอบ หรือ ประเมิน เพื่อเรียกใช้ชุดทดสอบทันที

สร้างไฟล์ชุดทดสอบเพื่อนําเข้า

แทนที่จะสร้างกรณีการทดสอบของคุณโดยตรงใน Copilot Studio คุณสามารถสร้างไฟล์สเปรดชีตด้วยกรณีการทดสอบทั้งหมดของคุณและนําเข้าเพื่อสร้างชุดทดสอบของคุณ คุณสามารถเขียนคําถามทดสอบแต่ละข้อ กําหนดวิธีการทดสอบที่คุณต้องการใช้ และระบุคําตอบที่คาดไว้สําหรับแต่ละคําถาม เมื่อคุณสร้างไฟล์เสร็จแล้ว บันทึกเป็นไฟล์ .csv หรือ .txt และนําเข้าไปยัง Copilot Studio

สําคัญ

• ไฟล์สามารถมีได้สูงสุด 100 คําถาม
• แต่ละคําถามสามารถมีได้ถึง 1,000 ตัวอักษรรวมถึงช่องว่าง
• ไฟล์ต้องอยู่ในรูปแบบค่าที่คั่นด้วยเครื่องหมายจุลภาค (CSV) หรือรูปแบบข้อความ

หากต้องการสร้างไฟล์นำเข้า:

1. เปิดแอปพลิเคชันสเปรดชีต (ตัวอย่างเช่น Microsoft Excel)

2. เพิ่มหัวเรื่องต่อไปนี้ในแถวแรกตามลําดับ:

   • คำถาม
   • การตอบกลับที่คาดหวัง
   • วิธีการทดสอบ

3. ป้อนคําถามทดสอบของคุณในคอลัมน์ คําถาม แต่ละคําถามสามารถมีอักขระไม่เกิน 1,000 ตัว รวมช่องว่างด้วย

4. ป้อนวิธีทดสอบวิธีใดวิธีหนึ่งต่อไปนี้สําหรับแต่ละคําถามในคอลัมน์ วิธีการทดสอบ :

   • คุณภาพทั่วไป
   • เปรียบเทียบความหมาย
   • ความคล้ายคลึง
   • ตรงกันทุกประการ
   • การจับคู่คีย์เวิร์ด

5. ป้อนการตอบที่คาดไว้สําหรับแต่ละคําถามในคอลัมน์ การตอบที่คาดไว้ การตอบที่คาดไว้เป็นตัวเลือกสําหรับการนําเข้าชุดทดสอบ อย่างไรก็ตาม คุณจําเป็นต้องมีการตอบที่คาดหวังเพื่อเรียกใช้การตรงกัน ความคล้ายคลึงกัน และการเปรียบเทียบความหมายของกรณีการทดสอบ

6. บันทึกไฟล์เป็นไฟล์ .csv หรือ .txt

7. นําเข้าไฟล์โดยทําตามขั้นตอนใน สร้างชุดทดสอบใหม่

สร้างชุดทดสอบตามธีม

สร้างชุดทดสอบด้วยคําถามจากการสนทนากับผู้ใช้จริง วิธีนี้ใช้ ธีม (พรีวิว) ซึ่งพบได้ในการวิเคราะห์ของตัวแทนของคุณ

ธีมคือการจัดกลุ่มของคำถามที่นำมาจากคลังคำถามของผู้ใช้ซึ่งทำให้เกิดการสร้างคำตอบใหม่ เมื่อคุณสร้างชุดทดสอบโดยใช้ธีม คุณจะสร้างกรณีทดสอบจากคําถามที่ถามโดยผู้ใช้ที่เกี่ยวข้องกับธีมนั้น

ใช้ชุดทดสอบเหล่านี้เพื่อทําการประเมินที่มุ่งเน้นไปที่พื้นที่หรือหัวข้อใดหัวข้อหนึ่งในขอบเขตของตัวแทนของคุณ ตัวอย่างเช่น หากคุณมีตัวแทนฝ่ายบริการลูกค้า คุณสามารถติดตามคุณภาพคําตอบสําหรับคําถาม เกี่ยวกับการเรียกเก็บเงินและการชําระเงิน แยกต่างหากจากกรณีการใช้งานอื่นๆ เช่น การแก้ไขปัญหา

Note

ก่อนสร้างชุดทดสอบจากธีม คุณต้องมีสิทธิ์เข้าถึงธีมในการวิเคราะห์ ตรวจสอบข้อกําหนดเบื้องต้นสําหรับธีม (พรีวิว)

1. ในหน้าการวิเคราะห์ของเจ้าหน้าที่ ให้ไปที่รายการธีม

2. วางเมาส์เหนือธีม แล้วเลือก ประเมิน

   

   คุณยังสามารถเลือก ดูทั้งหมด เพื่อดูธีมเพิ่มเติม จากนั้นเลือก ประเมิน

3. เลือก สร้างและเปิด

4. แก้ไขรายละเอียดของชุดทดสอบและกรณี กรณีทดสอบทั้งหมดที่ใช้วิธีการ ยกเว้น คุณภาพทั่วไป ต้องการการตอบสนองที่คาดหวัง สําหรับข้อมูลเพิ่มเติมเกี่ยวกับการแก้ไข โปรดดู แก้ไขชุดทดสอบ

5. เลือก บันทึก เพื่ออัปเดตชุดการทดสอบโดยไม่ต้องเรียกใช้กรณีทดสอบ หรือ ประเมิน เพื่อเรียกใช้ชุดทดสอบทันที