หมายเหตุ
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลอง ลงชื่อเข้าใช้หรือเปลี่ยนไดเรกทอรีได้
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลองเปลี่ยนไดเรกทอรีได้
บทความนี้จะตอบคําถามที่ถามบ่อยเกี่ยวกับความสามารถของ AI ที่ใช้ในคุณลักษณะการวิเคราะห์ใน Copilot Studio
AI เชิงสร้างใช้สําหรับการวิเคราะห์อย่างไร
Copilot Studio ใช้ AI เพื่อประเมินคุณภาพของคําตอบที่สร้างสรรค์และเพื่อระบุรูปแบบในคิวรีของผู้ใช้ผ่านการคลัสเตอร์ คลัสเตอร์เหล่านี้ให้ข้อมูลเชิงลึกลงในประสิทธิภาพการทํางานของตัวแทน
คําตอบที่สร้าง ไว้ใช้แหล่งความรู้ที่คุณเลือกเพื่อสร้างการตอบกลับ คุณลักษณะยังรวบรวมความคิดเห็นใดๆ ที่คุณให้ไว้ การวิเคราะห์ใช้แบบจําลองภาษาขนาดใหญ่ (LLM) เพื่อจัดประเภทข้อความสนทนาระหว่างผู้ใช้และตัวแทนลงในระดับที่ระบุคุณภาพของคําตอบที่สร้างไว้ การจัดประเภทเหล่านี้จะถูกรวมเพื่อให้ข้อมูลสรุปประสิทธิภาพของตัวแทน
การจัดกลุ่มใช้ LLM เพื่อเรียงลำดับข้อความของผู้ใช้เป็นกลุ่มตามหัวเรื่องที่ใช้ร่วมกันและตั้งชื่อที่เป็นคำอธิบายให้แต่ละกลุ่ม Copilot Studio ใช้ชื่อของคลัสเตอร์เหล่านี้เพื่อให้ข้อมูลเชิงลึกชนิดต่าง ๆ ที่คุณสามารถใช้เพื่อปรับปรุงตัวแทนของคุณ
คุณภาพของการตอบกลับสำหรับคำตอบที่เป็นการสร้างขึ้นโดยปัญญาประดิษฐ์
อะไรคือวัตถุประสงค์ในการใช้คุณภาพของการตอบกลับ
ใช้คุณภาพของการวิเคราะห์การตอบสนองเพื่อทําความเข้าใจประสิทธิภาพการทํางานของตัวแทนและระบุการปรับปรุง ในปัจจุบัน คุณสามารถใช้การวิเคราะห์เพื่อทําความเข้าใจว่าคุณภาพของคําตอบที่สร้างสรรค์ของตัวแทนเป็นไปตามความคาดหวังของคุณหรือไม่
นอกเหนือจากคุณภาพโดยรวมแล้ว คุณภาพการวิเคราะห์การตอบกลับยังระบุพื้นที่ที่ตัวแทนดําเนินการได้ไม่ดีหรือล้มเหลวในการทําตามเป้าหมายที่คุณต้องการ ระบุตําแหน่งของคําตอบที่ก่อให้เกิดผลได้ไม่ดี และทําตามขั้นตอนในการปรับปรุงคุณภาพของพวกเขา
เมื่อระบุประสิทธิภาพที่ไม่ดี ให้ทําตามแนวทางปฏิบัติที่ดีที่สุดที่สามารถช่วยปรับปรุงคุณภาพได้ ตัวอย่างเช่น หลังจากระบุแหล่งความรู้ที่มีประสิทธิภาพที่ไม่ดี คุณสามารถแก้ไขแหล่งความรู้หรือแยกแหล่งความรู้ออกเป็นหลายแหล่ง ซึ่งมุ่งเน้นไปที่คุณภาพที่เพิ่มขึ้น
มีการใช้ข้อมูลใดบ้างในการสร้างการวิเคราะห์เพื่อคุณภาพของการตอบกลับ
คุณภาพของการวิเคราะห์การตอบสนองจะขึ้นอยู่กับตัวอย่างของการโต้ตอบ แบบตอบที่สร้าง ไว้ ซึ่งจำเป็นต้องใช้การสอบถามของผู้ใช้ การตอบของเอเจนต์ และแหล่งความรู้ที่เกี่ยวข้องที่โมเดลสร้างสรรค์ใช้สำหรับคำตอบที่สร้างอัตโนมัติ คุณภาพของการวิเคราะห์การตอบสนองใช้ข้อมูลนั้นเพื่อประเมินว่าคุณภาพคําตอบเชิงสร้างนั้นดีหรือไม่ และหากไม่ใช่ สาเหตุที่คุณภาพต่ํา ตัวอย่างเช่น คุณภาพของการตอบกลับสามารถระบุคําตอบที่ไม่สมบูรณ์ ไม่เกี่ยวข้อง หรือไม่มีเหตุผลเต็มที่
ข้อจํากัดของคุณภาพของการวิเคราะห์การตอบกลับคืออะไร และผู้ใช้จะสามารถลดผลกระทบของข้อจํากัดเหล่านี้ได้อย่างไร
คุณภาพของการวิเคราะห์การตอบสนองไม่ได้ใช้การตอบสนองที่ก่อให้เกิดทั้งหมด แต่การวิเคราะห์จะวัดตัวอย่างของเซสชันผู้ใช้-เอเจนต์แทน ตัวแทนที่มีจํานวนคําตอบที่สร้างสําเร็จน้อยกว่าจํานวนต่ําสุดไม่สามารถได้รับคุณภาพของสรุปการวิเคราะห์การตอบสนอง
มีหลายกรณีที่การวิเคราะห์ไม่ประเมินการตอบสนองของแต่ละบุคคลได้อย่างถูกต้อง ในระดับรวม ควรมีความแม่นยําสำหรับกรณีส่วนใหญ่
การวิเคราะห์คุณภาพของการตอบกลับไม่ได้ให้รายละเอียดของคําค้นหาเฉพาะที่นําไปสู่ประสิทธิภาพคุณภาพต่ํา นอกจากนี้ยังไม่มีการแบ่งแหล่งความรู้ทั่วไปหรือหัวข้อที่ใช้เมื่อเกิดการตอบสนองที่มีคุณภาพต่ํา
การวิเคราะห์จะไม่ถูกคํานวณสําหรับคําตอบที่ใช้ความรู้เชิงสร้าง
ความสมบูรณ์ของคําตอบเป็นหนึ่งในตัวชี้วัดที่ใช้ในการประเมินคุณภาพการตอบกลับ เมตริกนี้วัดว่าการตอบกลับกล่าวถึงเนื้อหาในเอกสารที่ดึงมาอย่างสมบูรณ์เพียงใด
ถ้าระบบไม่ดึงเอกสารที่เกี่ยวข้องพร้อมข้อมูลเพิ่มเติมสําหรับคําถาม ระบบจะไม่ประเมินเมตริกความสมบูรณ์ของเอกสารนั้น
มีมาตรการป้องกันใดบ้างสำหรับการวิเคราะห์คุณภาพการตอบสนองใน Copilot Studio สำหรับปัญญาประดิษฐ์ที่มีความรับผิดชอบ?
ผู้ใช้ของตัวแทนไม่เห็นผลลัพธ์การวิเคราะห์ ผลลัพธ์พร้อมใช้งานสําหรับผู้สร้างและผู้ดูแลระบบตัวแทนเท่านั้น
ผู้สร้างและผู้ดูแลระบบสามารถใช้คุณภาพของการวิเคราะห์การตอบสนองเพื่อดูเปอร์เซ็นต์ของการตอบสนองคุณภาพที่ดีและเหตุผลที่กําหนดไว้ล่วงหน้าสําหรับประสิทธิภาพการทํางานที่ไม่ดีเท่านั้น ผลลัพธ์จะรวมและแสดงเป็นเปอร์เซ็นต์และหมวดหมู่ที่กําหนดไว้ล่วงหน้า
เราทดสอบการวิเคราะห์คุณภาพของการตอบสนองอย่างถี่ถ้วนในระหว่างการพัฒนาเพื่อให้แน่ใจถึงประสิทธิภาพที่ดี อย่างไรก็ตาม ในบางกรณี การประเมินคุณภาพของการตอบสนองอาจไม่ถูกต้อง
การวิเคราะห์ความคิดเห็นสําหรับเซสชันการสนทนา
จุดประสงค์ในการใช้การวิเคราะห์ความเชื่อมั่นคืออะไร?
ใช้การวิเคราะห์ความคิดเห็นเพื่อทําความเข้าใจระดับความพึงพอใจของผู้ใช้ในเซสชันการสนทนาตามการวิเคราะห์ AI ของข้อความผู้ใช้ไปยังตัวแทน คุณสามารถเข้าใจความคิดเห็นโดยรวมของเซสชัน (บวก ลบ หรือเป็นกลาง) ตรวจสอบเหตุผล และใช้หน่วยวัดเพื่อแก้ปัญหา
ข้อมูลใดบ้างที่ใช้สําหรับการวิเคราะห์ความคิดเห็น
การวิเคราะห์ความคิดเห็นใช้ข้อความผู้ใช้ไปยังตัวแทนสําหรับชุดตัวอย่างของเซสชันการสนทนา
การวิเคราะห์ความคิดเห็นใช้ข้อมูลนั้นเพื่อประเมินว่าความพึงพอใจของผู้ใช้ในระหว่างเซสชันเป็นบวก ลบ หรือเป็นกลาง ตัวอย่างเช่น ผู้ใช้สามารถใช้คําพูดและน้ําเสียงที่บ่งบอกถึงความหงุดหงิดหรือไม่พอใจตามการโต้ตอบกับตัวแทน ในกรณีนี้ เซสชันจะถูกจัดประเภทเป็นความคิดเห็นเชิงลบ
ข้อจํากัดของการวิเคราะห์ความคิดเห็นคืออะไร และผู้ใช้จะบรรเทาข้อจํากัดเหล่านี้ได้อย่างไร
การวิเคราะห์ความคิดเห็นไม่ได้คํานวณโดยใช้เซสชันการสนทนาทั้งหมด แต่การวิเคราะห์จะวัดตัวอย่างของเซสชันผู้ใช้-เอเจนต์แทน ตัวแทนที่มีจำนวนคำตอบที่สร้างขึ้นโดยปัญญาประดิษฐ์ที่ประสบความสำเร็จต่ำกว่าขั้นต่ำในแต่ละวันจะไม่สามารถรับคะแนนความคิดเห็นได้
ปัจจุบันการวิเคราะห์ความคิดเห็นขึ้นอยู่กับคําตอบที่สร้างขึ้นและต้องการจํานวนคําตอบที่ประสบความสําเร็จรายวันขั้นต่ําเพื่อคํานวณคะแนนความคิดเห็นสําหรับตัวแทน
ในการคํานวณความคิดเห็นสําหรับเซสชัน ต้องมีข้อความผู้ใช้อย่างน้อยสองข้อความ นอกจากนี้ เนื่องจากข้อจํากัดทางเทคนิคในปัจจุบัน การวิเคราะห์ความคิดเห็นจะไม่ดําเนินการกับเซสชันที่มีข้อความเกิน 26 ข้อความทั้งหมด (รวมถึงข้อความผู้ใช้และตัวแทน)
การวิเคราะห์ความคิดเห็นไม่ได้ให้รายละเอียดของข้อความผู้ใช้เฉพาะที่นําไปสู่คะแนนความคิดเห็น
การป้องกันใดที่มีอยู่เพื่อการวิเคราะห์ความรู้สึกใน Copilot Studio สำหรับการใช้งาน AI อย่างรับผิดชอบ?
ผู้ใช้ของตัวแทนไม่เห็นผลลัพธ์การวิเคราะห์ ผลลัพธ์พร้อมใช้งานสําหรับผู้สร้างและผู้ดูแลระบบตัวแทนเท่านั้น
คุณสามารถใช้การวิเคราะห์ความคิดเห็นเพื่อดูการแบ่งย่อยความคิดเห็นในเซสชันทั้งหมดเท่านั้น
เราทดสอบการวิเคราะห์ความเชื่อมั่นอย่างละเอียดในระหว่างการพัฒนาเพื่อให้มั่นใจถึงประสิทธิภาพที่ดี อย่างไรก็ตาม ในบางกรณี การประเมินความเชื่อมั่นอาจไม่ถูกต้อง
ธีมของคำถามของผู้ใช้
ธีมมีไว้ใช้เพื่ออะไร?
การจัดกลุ่มตามธีมและการวิเคราะห์ระดับธีมช่วยให้คุณเข้าใจได้อย่างรวดเร็วว่าผู้ใช้ถามเกี่ยวกับอะไรในระดับมาตราส่วน คุณลักษณะนี้วิเคราะห์คิวรีของผู้ใช้จํานวนมาก และแสดงหัวข้อระดับสูง ("ธีม") ที่แสดงถึงผู้ใช้งานหลักสนใจ การวิเคราะห์นี้ช่วยให้คุณย้ายจากการตรวจสอบการสนทนาแต่ละรายการเพื่อระบุรูปแบบที่กว้างขึ้น ความต้องการใหม่ และพื้นที่ที่น่าสนใจ
โดยให้ภาพรวมที่มีโครงสร้างข้อมูลของกิจกรรมของผู้ใช้ การวิเคราะห์ระดับธีมช่วยให้คุณ:
ระบุหัวข้อที่พบบ่อยที่สุดที่ผู้ใช้มีส่วนร่วม
ตรวจหาช่องว่างในความครอบคลุมหรือประสบการณ์ที่ไม่ชัดเจน
ตรวจสอบว่าความสนใจของผู้ใช้เปลี่ยนแปลงไปตามเวลาอย่างไร
จัดลําดับความสําคัญของการปรับปรุงตามความต้องการของผู้ใช้จริง
การวิเคราะห์ธีมทํางานอย่างไรในระดับสูง
คุณลักษณะนี้ทํางานเป็นกระบวนการแบบหลายขั้นตอนที่มีการจัดระเบียบคิวรีของผู้ใช้เป็นกลุ่มที่มีความหมายอย่างต่อเนื่อง ในระดับสูง กระบวนการนี้ประกอบด้วยสองขั้นตอนหลัก:
การสร้างธีมตัวเลือก
ระบบวิเคราะห์ชุดคิวรี่ผู้ใช้ล่าสุดและระบุธีมตัวเลือกที่แสดงหัวข้อระดับสูงที่แตกต่างกัน ระบบตรวจพบรูปแบบ ความคล้ายคลึง และหัวเรื่องที่เป็นกิจวัตรทั่วทั้งคิวรีเพื่อให้ได้ตัวเลือกเหล่านี้
การระบุแหล่งที่มาของคิวรีตามธีม
หลังจากระบบสร้างธีมผู้สมัครระบบจะเชื่อมโยงคิวรีแต่ละรายการไปยังธีมที่เกี่ยวข้องมากที่สุด แต่ละธีมแสดงคอลเลกชันของคําถามผู้ใช้ที่เกี่ยวข้องและพัฒนาไปเมื่อระบบประมวลผลคิวรีใหม่ ระบบจะปรับแต่งธีมเหล่านี้เมื่อเวลาผ่านไปโดยใช้สัญญาณ เช่น ความคล้ายคลึงกันเชิงความหมายและคําติชมของผู้ใช้ กระบวนการปรับปรุงนี้ช่วยให้การแทนค่าปรับตัวเมื่อมีการเปลี่ยนแปลงลักษณะการทํางานของผู้ใช้
ข้อมูลใดที่ใช้เพื่อสร้างธีม
ผู้ใช้สร้างหัวข้อจากคำค้นหาที่ให้ผลลัพธ์เป็นคำตอบที่สร้างโดย AI กระบวนการมุ่งเน้นไปที่หน้าต่างล่าสุดของกิจกรรมเพื่อให้แน่ใจว่าธีมสะท้อนให้เห็นถึงความสนใจและแนวโน้มที่กําลังพัฒนาของผู้ใช้ในปัจจุบัน เมื่อข้อมูลใหม่พร้อมใช้งาน ระบบจะรีเฟรชธีมเพื่อให้มีความเกี่ยวข้อง
เนื่องจากธีมอาศัยรูปแบบในคิวรีของผู้ใช้ คุณลักษณะนี้ขึ้นอยู่กับการมีกิจกรรมจํานวนที่มีความหมายในการวิเคราะห์ ในสถานการณ์ที่มีข้อมูลจํากัดหรือคิวรีที่มีส่วนย่อยสูง ระบบอาจไม่สร้างธีมหรืออาจให้ข้อมูลเชิงลึกที่จํากัด
ข้อจํากัดของการวิเคราะห์ธีมคืออะไร และฉันจะบรรเทาได้อย่างไร
การวิเคราะห์ธีมคือระบบการคลัสเตอร์ที่ขับเคลื่อนด้วยข้อมูลและประสิทธิภาพของระบบจะขึ้นอยู่กับลักษณะและปริมาณของคิวรีของผู้ใช้ ข้อจํากัดบางอย่างอาจรวมถึง:
ข้อมูลไม่เพียงพอหรือหลากหลายสูงอาจนําไปสู่ธีมที่กว้างหรือแคบเกินไป
บางครั้งหัวข้อที่เกี่ยวข้องอย่างใกล้ชิดอาจแยกออกเป็นธีมที่แยกต่างหาก
คิวรีที่ไม่เกี่ยวข้องอาจถูกจัดกลุ่มเข้าด้วยกันในบางครั้ง
การเปลี่ยนแปลงในภาษาของผู้ใช้เมื่อเวลาผ่านไปอาจส่งผลต่อความสอดคล้องของธีม
เพื่อให้ได้ค่าสูงสุดจากธีม:
ตรวจสอบธีมที่สร้างขึ้นเป็นประจํา
ให้คําติชม (ตัวอย่างเช่น: ยกนิ้วโป้งขึ้นหรือลง) เพื่อปรับปรุงคุณภาพ
แปลธีมเป็นข้อมูลเชิงลึกเชิงทิศทางแทนที่จะเป็นการจัดประเภทที่แน่นอน
การป้องกัน AI ที่มีหน้าที่รับผิดชอบคืออะไร
การคลัสเตอร์ธีมและการวิเคราะห์ได้รับการออกแบบด้วยหลักการ AI ที่มีความรับผิดชอบในใจ
ผู้สร้างและผู้ดูแลระบบที่ได้รับอนุญาตเป็นคนเดียวที่สามารถดูธีมได้
เฉพาะผู้ที่ได้รับอนุญาตเพื่อดูคิวรีของผู้ใช้เท่านั้นที่สามารถดูส่วนย่อยของธีมได้
ธีมสะท้อนถึงเนื้อหาของคิวรีของผู้ใช้เพื่อให้ข้อมูลสรุปที่ตรงไปตรงมาสําหรับผู้สร้างและผู้ดูแลระบบเพื่อดู
การป้องกันเหล่านี้ช่วยให้มั่นใจได้ว่าธีมจะให้ข้อมูลเชิงลึกที่เป็นประโยชน์ในขณะที่ยังคงรักษาประสบการณ์ที่ปลอดภัยและมีการควบคุม
การวิเคราะห์เมตริกแบบกําหนดเอง
อะไรคือวัตถุประสงค์ของการใช้เมตริกแบบกําหนดเอง?
ใช้การวิเคราะห์เมตริกแบบกําหนดเองเพื่อทําความเข้าใจว่าตัวแทนการสนทนาของคุณมีผลต่อผลลัพธ์ทางธุรกิจมากเพียงใด เมตริกเหล่านี้ช่วยเสริมการวิเคราะห์การประหยัด ตัวอย่างของเมตริกแบบกําหนดเองได้แก่ อัตราความละเอียด การจัดประเภทเจตนาของลูกค้า และผลลัพธ์เฉพาะโดเมนอื่นๆ
เมตริกแบบกําหนดเองสามารถแสดงตําแหน่งที่ตัวแทนพลาดเป้าหมายที่ตั้งใจไว้ได้ กําหนดสิ่งที่ต้องวัด ทดสอบเมตริกเทียบกับข้อมูลเซสชันจริง และปรับปรุงข้อกําหนดตามผลลัพธ์
ข้อมูลใดบ้างที่ใช้ในการคํานวณเมตริกแบบกําหนดเอง
คํานวณเมตริกแบบกําหนดเองโดยใช้ตัวอย่างของเซสชันตัวแทนที่ผ่านมา การคํานวณใช้ข้อความการสนทนาที่แลกเปลี่ยนระหว่างเซสชัน
แบบจําลอง AI จะจัดประเภทข้อมูลเซสชันตามข้อกําหนดเมตริกของคุณ ตัวแทนรวมผลลัพธ์ทั่วทั้งตัวอย่างเพื่อแสดงประสิทธิภาพเมตริกโดยรวมสําหรับช่วงเวลาที่เลือก
ข้อจํากัดของเมตริกแบบกําหนดเองคืออะไรและผู้ใช้จะลดผลกระทบของข้อจํากัดได้อย่างไร
เมตริกแบบกําหนดเองไม่ได้ใช้เซสชันของตัวแทนทั้งหมด แต่จะวัดตัวอย่างของเซสชันจากช่วงเวลาที่เลือก เนื่องจากผลลัพธ์จะขึ้นอยู่กับตัวอย่าง ให้ถือว่าผลลัพธ์เป็นตัวบ่งชี้ทิศทางแทนที่จะเป็นตัวเลขที่แน่นอน
พิจารณาว่าการคํานวณเมตริกจะขึ้นอยู่กับข้อความทรานสคริปเมื่อทําการแปลเมตริก หลีกเลี่ยงการสรุปเกี่ยวกับลักษณะการทํางานที่เกิดขึ้นกับข้อความภายนอกเป็นหลัก เช่น หัวข้อและเครื่องมือ
แบบจําลอง AI อาจจัดประเภทเซสชันผิด ผลลัพธ์การรวมนั้นถูกต้องโดยทั่วไปแล้ว เซสชันที่ไม่ตรงกับประเภทที่กําหนดไว้จะถูกวางในประเภทที่ใช้แสดงแทน (อื่น ๆ) หากผลลัพธ์การทดสอบไม่ตรงกับผลลัพธ์ที่คาดไว้ คุณสามารถอัปเดตคําอธิบายเมตริกและข้อกําหนดหมวดหมู่ได้
หากคุณเปลี่ยนคําแนะนําหรือการกําหนดค่าของบริษัทตัวแทนอย่างมากหลังจากกําหนดเมตริก เมตริกดังกล่าวอาจไม่แสดงถึงลักษณะการทํางานที่อัปเดตของตัวแทนอีกต่อไป ตรวจสอบเมตริกที่กำหนดเองหลังจากทำการเปลี่ยนแปลงที่สำคัญกับเอเจนต์
การป้องกันใดที่มีอยู่สำหรับตัวชี้วัดที่กำหนดเองภายใน Copilot Studio เพื่อให้แน่ใจว่า AI มีความรับผิดชอบ
ผู้สร้างตัวแทนและผู้ดูแลระบบเป็นคนเดียวที่สามารถเข้าถึงผลลัพธ์เมตริกแบบกําหนดเองได้ ผู้ใช้ของตัวแทนไม่สามารถเข้าถึงผลลัพธ์การวิเคราะห์ได้
คุณตรวจสอบและอนุมัติเมตริกแบบกําหนดเองทั้งหมดก่อนที่จะบันทึก ในระหว่างข้อกําหนดเมตริก คุณจะทดสอบเมตริกกับข้อมูลเซสชันตัวอย่างและตรวจสอบผลลัพธ์แต่ละรายการและการใช้เหตุผลของแบบจําลอง หากผลลัพธ์ไม่ตรงตามความคาดหวัง คุณสามารถอัปเดตหรือละทิ้งเมตริกได้ เมตริกจะไม่ถูกนําไปใช้โดยไม่มีการยืนยันอย่างชัดเจนของคุณ
พร้อมท์ที่สร้างขึ้นโดย AI ที่ใช้ในการจัดประเภทเซสชันจะปรากฏให้คุณเห็นใน UI เพื่อให้คุณสามารถทําความเข้าใจวิธีที่แบบจําลองแปลคําจํากัดความของเมตริกของคุณ คุณสามารถแก้ไขหรือลบเมตริกแบบกําหนดเองได้ทุกเมื่อ
ในบางโอกาส การจัดประเภทเซสชันแต่ละรายการอาจไม่แม่นยํา ควรตีความผลลัพธ์ในการรวมแทนที่จะเป็นในระดับเซสชันแต่ละระดับ