คำถามที่ถามบ่อยสำหรับการวิเคราะห์

บทความนี้ตอบคำถามที่พบบ่อยเกี่ยวกับความสามารถของ AI ที่ใช้ในคุณลักษณะการวิเคราะห์ใน Copilot Studio

AI สร้างสรรค์ใช้สำหรับการวิเคราะห์อย่างไร

Copilot Studio ใช้ AI เพื่อประเมินคุณภาพของคำตอบที่สร้างโดยอัตโนมัติและเพื่อระบุรูปแบบในการสืบค้นของผู้ใช้ผ่านการจัดกลุ่ม คลัสเตอร์เหล่านี้ให้ข้อมูลเชิงลึกเกี่ยวกับประสิทธิภาพของเอเจนต์

คำตอบที่สร้างโดยอัตโนมัติ ใช้แหล่งความรู้ที่คุณเลือกเพื่อสร้างการตอบ คุณลักษณะยังรวบรวมความคิดเห็นใดๆ ที่คุณให้ไว้ การวิเคราะห์ใช้โมเดลภาษาขนาดใหญ่ (LLM) เพื่อจัดประเภทข้อความสนทนาระหว่างผู้ใช้และเอเจนต์ลงในระดับที่ระบุคุณภาพของคำตอบที่สร้างโดยอัตโนมัติ การจัดประเภทเหล่านี้จะถูกรวมเข้าด้วยกันเพื่อให้สรุปประสิทธิภาพของเอเจนต์

การจัดกลุ่มใช้ LLM เพื่อเรียงลำดับข้อความของผู้ใช้เป็นกลุ่มตามหัวเรื่องที่ใช้ร่วมกันและตั้งชื่อที่เป็นคำอธิบายให้แต่ละกลุ่ม Copilot Studio ใช้ชื่อของคลัสเตอร์เหล่านี้เพื่อให้ข้อมูลเชิงลึกชนิดต่างๆ ที่คุณสามารถใช้เพื่อปรับปรุงเอเจนต์ของคุณ

คุณภาพของการตอบสำหรับคำตอบที่สร้างโดยอัตโนมัติ

จุดประสงค์การใช้งานของคุณภาพการตอบคืออะไร

ใช้การวิเคราะห์คุณภาพการตอบเพื่อทำความเข้าใจประสิทธิภาพของเอเจนต์และระบุจุดที่ต้องปรับปรุง ในปัจจุบัน คุณสามารถใช้การวิเคราะห์เพื่อทำความเข้าใจว่าคุณภาพของคำตอบที่สร้างโดยอัตโนมัติของเอเจนต์ตรงตามความคาดหวังของผู้สร้างหรือไม่

นอกเหนือจากคุณภาพโดยรวมแล้ว คุณภาพการวิเคราะห์การตอบยังระบุส่วนที่เอเจนต์ดำเนินการได้ไม่ดีหรือล้มเหลวในการทำตามเป้าหมายที่คุณตั้งใจไว้ ระบุจุดที่คำตอบที่สร้างโดยอัตโนมัติมีประสิทธิภาพต่ำและดำเนินการเพื่อปรับปรุงคุณภาพของคำตอบเหล่านั้น

เมื่อระบุประสิทธิภาพที่ไม่ดี ให้ทำตามแนวทางปฏิบัติที่สามารถช่วยปรับปรุงคุณภาพได้ ตัวอย่างเช่น หลังจากระบุแหล่งความรู้ที่มีประสิทธิภาพที่ไม่ดี คุณสามารถแก้ไขแหล่งความรู้ หรือแยกแหล่งความรู้ออกเป็นหลายแหล่ง โดยมุ่งเน้นไปที่คุณภาพที่เพิ่มขึ้น

มีการใช้ข้อมูลใดบ้างในการสร้างการวิเคราะห์เพื่อคุณภาพของการตอบ

คุณภาพของการวิเคราะห์การตอบขึ้นอยู่กับตัวอย่างของการโต้ตอบจาก คำตอบที่สร้างโดยอัตโนมัติ ซึ่งจำเป็นต้องใช้การสอบถามของผู้ใช้ การตอบของเอเจนต์ และแหล่งความรู้ที่เกี่ยวข้องที่โมเดลสร้างสรรค์ใช้สำหรับคำตอบที่สร้างโดยอัตโนมัติ คุณภาพของการวิเคราะห์การตอบใช้ข้อมูลนั้นเพื่อประเมินว่าคุณภาพคำตอบที่สร้างโดยอัตโนมัตินั้นดีหรือไม่ และหากไม่ใช่ เหตุใดทำให้มีคุณภาพต่ำ ตัวอย่างเช่น คุณภาพของการตอบสามารถระบุคำตอบที่ไม่สมบูรณ์ ไม่เกี่ยวข้อง หรือไม่มีการอ้างอิงแบบเต็ม

ข้อจำกัดของคุณภาพของการวิเคราะห์การตอบคืออะไร และผู้ใช้จะสามารถลดผลกระทบของข้อจำกัดเหล่านั้นได้อย่างไร

• คุณภาพของการวิเคราะห์การตอบไม่ใช้การตอบที่สร้างอัตโนมัติทั้งหมด แต่การวิเคราะห์จะวัดตัวอย่างของเซสชันผู้ใช้-เอเจนต์แทน เอเจนต์ที่ที่มีจำนวนคำตอบที่สร้างโดยอัตโนมัติสำเร็จต่ำสุดไม่สามารถได้รับคุณภาพของข้อมูลสรุปการวิเคราะห์การตอบ

• มีหลายกรณีที่การวิเคราะห์ไม่ประเมินการตอบของแต่ละบุคคลได้อย่างถูกต้อง ในระดับรวม ควรมีความแม่นยําสำหรับกรณีส่วนใหญ่

• คุณภาพของการวิเคราะห์การตอบไม่มีการแบ่งย่อยของการสอบถามเฉพาะที่นำไปสู่ประสิทธิภาพการทำงานที่มีคุณภาพต่ำ นอกจากนี้ยังไม่มีการแบ่งแหล่งความรู้ทั่วไปหรือหัวข้อที่ใช้เมื่อมีการตอบที่มีคุณภาพต่ำ

• การวิเคราะห์จะไม่ถูกคำนวณสำหรับคำตอบที่ใช้ ความรู้แบบสร้างสรรค์

• ความสมบูรณ์ของคำตอบเป็นเมตริกหนึ่งที่ใช้ประเมินคุณภาพของการตอบ เมตริกนี้ใช้วัดว่าการตอบครอบคลุมเนื้อหาในเอกสารที่ดึงมาได้ครบถ้วนเพียงใด

  หากระบบไม่ดึงเอกสารที่เกี่ยวข้องซึ่งมีข้อมูลเพิ่มเติมสำหรับคำถาม ระบบจะไม่ประเมินตัวชี้วัดความสมบูรณ์ของคำตอบที่อ้างอิงเอกสารนั้น

มีการป้องกันอะไรบ้างสำหรับการวิเคราะห์คุณภาพการตอบใน Copilot Studio ตามหลักการ AI ที่รับผิดชอบ

ผู้ใช้เอเจนต์ไม่เห็นผลการวิเคราะห์ ผลการวิเคราะห์มีให้เฉพาะผู้สร้างเอเจนต์และผู้ดูแลระบบเท่านั้น

ผู้สร้างและผู้ดูแลระบบสามารถใช้คุณภาพของการวิเคราะห์การตอบเพื่อดูเปอร์เซ็นต์ของการตอบคุณภาพที่ดีและเหตุผลที่กำหนดไว้ล่วงหน้าสำหรับประสิทธิภาพการทำงานที่ไม่ดีเท่านั้น ผลลัพธ์จะถูกรวบรวมและนำเสนอเป็นเปอร์เซ็นต์และหมวดหมู่ที่กำหนดไว้ล่วงหน้า

เราทดสอบการวิเคราะห์คุณภาพของการตอบอย่างถี่ถ้วนในระหว่างการพัฒนาเพื่อให้แน่ใจถึงประสิทธิภาพที่ดี อย่างไรก็ตาม สำหรับกรณีที่พบได้ยากคือ คุณภาพของการประเมินการตอบอาจไม่แม่นยํา

การวิเคราะห์ความคิดเห็นสำหรับเซสชันการสนทนา

จุดประสงค์การใช้งานของการวิเคราะห์ความคิดเห็นคืออะไร

ใช้การวิเคราะห์ความคิดเห็นเพื่อเข้าใจระดับความพึงพอใจของผู้ใช้ในแต่ละเซสชันการสนทนาโดยอิงจากการวิเคราะห์ข้อความของผู้ใช้ถึงเอเจนต์ด้วย AI คุณสามารถเข้าใจความรู้สึกโดยรวมของเซสชัน (เชิงบวก เชิงลบ หรือเป็นกลาง) ตรวจสอบเหตุผล และใช้มาตรการเพื่อจัดการได้

มีการใช้ข้อมูลอะไรในการวิเคราะห์ความคิดเห็นบ้าง

การวิเคราะห์ความคิดเห็นใช้ข้อความที่ผู้ใช้ส่งถึงเอเจนต์สำหรับชุดตัวอย่างของเซสชันการสนทนา

การวิเคราะห์ความคิดเห็นใช้ข้อมูลดังกล่าวเพื่อประเมินว่าความพึงพอใจของผู้ใช้ระหว่างเซสชันนั้นเป็นบวก ลบ หรือเป็นกลาง ตัวอย่างเช่น ผู้ใช้สามารถใช้คำพูดและน้ำเสียงที่บ่งบอกถึงความหงุดหงิดหรือไม่พอใจในการโต้ตอบกับเอเจนต์ ในกรณีนี้ เซสชันจะถูกจัดประเภทเป็นความคิดเห็นเชิงลบ

ข้อจำกัดของการวิเคราะห์ความคิดเห็นคืออะไร และผู้ใช้สามารถลดข้อจำกัดเหล่านี้ได้อย่างไร

การวิเคราะห์ความคิดเห็นไม่ได้คำนวณโดยใช้เซสชันการสนทนาทั้งหมด แต่การวิเคราะห์จะวัดตัวอย่างของเซสชันผู้ใช้-เอเจนต์แทน หากเอเจนต์มีจำนวนคำตอบที่สร้างโดยอัตโนมัติที่สำเร็จในแต่ละวันไม่ถึงขั้นต่ำ จะไม่ได้รับคะแนนความคิดเห็น

การวิเคราะห์ความคิดเห็นในขณะนี้ขึ้นอยู่กับคำตอบที่สร้างโดยอัตโนมัติ และต้องมีจำนวนคำตอบที่ประสบความสำเร็จรายวันขั้นต่ำเพื่อคำนวณคะแนนความคิดเห็นของเอเจนต์

ในการคํานวณความคิดเห็นสําหรับเซสชัน ต้องมีข้อความผู้ใช้อย่างน้อยสองข้อความ นอกจากนี้ เนื่องจากข้อจำกัดทางเทคนิคในปัจจุบัน การวิเคราะห์ความคิดเห็นจะไม่ดำเนินการกับเซสชันที่มีจำนวนข้อความทั้งหมดเกิน 26 ข้อความ (ทั้งจากผู้ใช้และเอเจนต์)

การวิเคราะห์ความคิดเห็นไม่ได้แจกแจงข้อความผู้ใช้เฉพาะที่นำไปสู่คะแนนความคิดเห็น

มีการป้องกันอะไรบ้างสำหรับการวิเคราะห์ความคิดเห็นใน Copilot Studio สำหรับ AI ที่รับผิดชอบ

ผู้ใช้เอเจนต์ไม่เห็นผลการวิเคราะห์ ผลการวิเคราะห์มีให้เฉพาะผู้สร้างเอเจนต์และผู้ดูแลระบบเท่านั้น

คุณสามารถใช้การวิเคราะห์ความคิดเห็นเพื่อดูรายละเอียดของความคิดเห็นในทุกเซสชันเท่านั้น

เราทดสอบการวิเคราะห์ความคิดเห็นอย่างถี่ถ้วนในระหว่างการพัฒนาเพื่อให้แน่ใจถึงประสิทธิภาพที่ดี อย่างไรก็ตาม ในบางกรณี การประเมินความคิดเห็นอาจไม่ถูกต้อง

ธีมของคำถามของผู้ใช้

ธีมมีวัตถุประสงค์เพื่อใช้งานอย่างไร

การจัดกลุ่มตามธีมและการวิเคราะห์ในระดับธีมช่วยให้คุณเข้าใจสิ่งที่ผู้ใช้ถามในภาพรวมได้อย่างรวดเร็ว คุณลักษณะนี้จะวิเคราะห์คำค้นหาของผู้ใช้จำนวนมากและนำเสนอหัวข้อระดับสูง ("ธีม") ที่แสดงถึงหัวข้อหลักที่ผู้ใช้สนใจ การวิเคราะห์นี้ช่วยให้คุณขยับจากการตรวจสอบบทสนทนาแต่ละรายการไปสู่การระบุรูปแบบที่กว้างขึ้น ความต้องการที่เกิดขึ้น และประเด็นที่น่าสนใจ

ด้วยการให้ภาพรวมของกิจกรรมผู้ใช้ที่มีโครงสร้างและขับเคลื่อนด้วยข้อมูล การวิเคราะห์ระดับธีมจะช่วยให้คุณ:

• ระบุหัวข้อที่ผู้ใช้มีส่วนร่วมบ่อยที่สุด

• ตรวจจับช่องว่างในความครอบคลุมหรือประสบการณ์ที่ไม่ชัดเจน

• ติดตามว่าความสนใจของผู้ใช้มีวิวัฒนาการอย่างไรเมื่อเวลาผ่านไป

• จัดลําดับความสําคัญของการปรับปรุงตามความต้องการของผู้ใช้จริง

กระบวนการวิเคราะห์ธีมในภาพรวมทำงานอย่างไร

คุณลักษณะนี้ทำงานผ่านกระบวนการหลายขั้นตอนที่จัดกลุ่มการสืบค้นของผู้ใช้อย่างต่อเนื่องให้เป็นกลุ่มที่มีความหมาย ในภาพรวม กระบวนการนี้ประกอบด้วยสองขั้นตอนหลัก:

การสร้างผู้สมัครธีม

ระบบจะวิเคราะห์ชุดการสืบค้นของผู้ใช้ล่าสุดและคัดเลือกธีมตัวเลือกที่สื่อถึงหัวข้อหลักในระดับสูงแต่ละประเภท ระบบจะวิเคราะห์รูปแบบ ลักษณะคล้ายคลึง และหัวข้อที่เกิดขึ้นซ้ำในคิวรีของผู้ใช้ เพื่อสกัดธีมที่อาจเป็นไปได้เหล่านี้

การจัดประเภทคิวรีไปยังธีม

หลังจากที่ระบบสร้างธีมผู้สมัครแล้ว ระบบจะเชื่อมโยงคิวรีแต่ละรายการเข้ากับธีมที่เกี่ยวข้องมากที่สุด แต่ละธีมเป็นกลุ่มของคำถามที่เกี่ยวข้องกันของผู้ใช้ และปรับเปลี่ยนไปตามการประมวลผลคิวรีใหม่ๆ ของระบบ ระบบจะปรับปรุงธีมเหล่านี้เมื่อเวลาผ่านไปโดยใช้สัญญาณ เช่น ความคล้ายคลึงกันทางความหมายและข้อเสนอแนะจากผู้ใช้ กระบวนการปรับแต่งนี้ช่วยให้การแสดงสามารถปรับเปลี่ยนได้ตามพฤติกรรมของผู้ใช้ที่เปลี่ยนไป

มีการใช้ข้อมูลใดในการสร้างธีม

ผู้ใช้สร้างธีมจากคำค้นหาที่ให้คำตอบที่สร้างโดยอัตโนมัติ กระบวนการนี้เน้นช่วงเวลาของกิจกรรมล่าสุดเพื่อให้ธีมสะท้อนถึงความสนใจของผู้ใช้ในปัจจุบันและแนวโน้มที่เปลี่ยนแปลงไป เมื่อมีข้อมูลใหม่เข้ามา ระบบจะรีเฟรชธีมเพื่อให้มีความเกี่ยวข้อง

เนื่องจากคุณลักษณะธีมอาศัยรูปแบบในคำค้นหาของผู้ใช้ คุณลักษณะนี้จึงขึ้นอยู่กับปริมาณกิจกรรมที่มีความหมายเพื่อให้สามารถวิเคราะห์ได้ ในกรณีที่มีข้อมูลจำกัดหรือคิวรีที่แตกกระจายมาก ระบบอาจไม่สร้างธีมหรืออาจให้ข้อมูลเชิงลึกได้เพียงเล็กน้อย

ข้อจำกัดของการวิเคราะห์ธีมคืออะไร และฉันจะบรรเทาได้อย่างไร

การวิเคราะห์ธีมเป็นระบบการจัดกลุ่มที่ขับเคลื่อนด้วยข้อมูล และประสิทธิภาพขึ้นอยู่กับลักษณะและปริมาณการสืบค้นของผู้ใช้ ข้อจำกัดที่อาจเกิดขึ้น ได้แก่:

• ข้อมูลที่ไม่เพียงพอหรือมีความหลากหลายสูงอาจนำไปสู่ธีมที่กว้างหรือแคบเกินไป

• หัวข้อที่มีความใกล้เคียงกันบางครั้งอาจถูกแบ่งออกเป็นธีมที่แยกจากกัน

• คิวรีที่ไม่เกี่ยวข้องอาจถูกจัดกลุ่มเข้าด้วยกันในบางครั้ง

• การเปลี่ยนแปลงภาษาของผู้ใช้เมื่อเวลาผ่านไปอาจส่งผลต่อความสอดคล้องของธีม

วิธีรับประโยชน์สูงสุดจากธีม

• ทบทวนธีมที่สร้างขึ้นเป็นประจำ

• ให้ข้อเสนอแนะ (เช่น ยกนิ้วโป้งขึ้นหรือลง) เพื่อปรับปรุงคุณภาพ

• ตีความธีมเป็นข้อมูลเชิงลึกเชิงทิศทางมากกว่าการจัดหมวดหมู่ที่แน่นอน

มีมาตรการป้องกัน AI ที่รับผิดชอบอะไรบ้าง

การจัดกลุ่มและการวิเคราะห์ธีมได้รับการออกแบบโดยคำนึงถึงหลักการ AI ที่มีความรับผิดชอบ

• เฉพาะผู้สร้างและผู้ดูแลระบบที่ได้รับอนุญาตเท่านั้นที่สามารถเข้าถึงธีมได้

• เฉพาะผู้ที่ได้รับอนุญาตให้ดูคำค้นหาของผู้ใช้เท่านั้นจึงจะสามารถเห็นการจำแนกเป็นธีมได้

• ธีมสะท้อนถึงเนื้อหาของคําค้นหาของผู้ใช้ ดังนั้นจึงให้ข้อมูลสรุปที่ชัดเจนและซื่อตรงแก่ผู้สร้างและผู้ดูแลระบบ

มาตรการเหล่านี้ช่วยให้แน่ใจว่าธีมมอบข้อมูลเชิงลึกที่เป็นประโยชน์ พร้อมทั้งรักษาความปลอดภัยและการควบคุมในการใช้งาน

การวิเคราะห์เมตริกแบบกำหนดเอง

จุดประสงค์การใช้งานของเมตริกแบบกำหนดเองคืออะไร

ใช้การวิเคราะห์ตัวชี้วัดแบบกำหนดเองเพื่อทำความเข้าใจว่าเอเจนต์สนทนาของคุณส่งผลต่อผลลัพธ์ทางธุรกิจมากน้อยเพียงใด ตัวชี้วัดเหล่านี้เสริมการวิเคราะห์ด้านการประหยัด ตัวอย่างของเมตริกที่กำหนดเอง ได้แก่ อัตราการแก้ปัญหา การจำแนกเจตนาของลูกค้า และผลลัพธ์เฉพาะด้านโดเมนอื่นๆ

เมตริกที่กำหนดเองสามารถแสดงกรณีที่เอเจนต์พลาดเป้าหมายที่ตั้งใจไว้ กําหนดสิ่งที่จะวัด ทดสอบเมตริกกับข้อมูลเซสชันจริง และปรับแต่งคําจํากัดความตามผลลัพธ์

ข้อมูลใดที่ใช้ในการคํานวณเมตริกแบบกำหนดเอง

คำนวณเมตริกแบบกำหนดเองโดยใช้ตัวอย่างเซสชันของเอเจนต์ที่ผ่านมา การคำนวณจะใช้ข้อความสนทนาที่แลกเปลี่ยนระหว่างเซสชัน

โมเดล AI จัดประเภทข้อมูลเซสชันตามนิยามเมตริกของคุณ เอเจนต์จะรวมผลลัพธ์จากตัวอย่างเพื่อแสดงประสิทธิภาพของเมตริกโดยรวมสำหรับช่วงเวลาที่เลือก

ข้อจำกัดของเมตริกแบบกำหนดเองมีอะไรบ้าง และผู้ใช้จะลดผลกระทบของข้อจำกัดได้อย่างไร

เมตริกแบบกำหนดเองไม่ได้ใช้เซสชันของเอเจนต์ทั้งหมด แต่จะวัดจากเซสชันตัวอย่างในช่วงเวลาที่เลือกเท่านั้น เนื่องจากผลลัพธ์มาจากตัวอย่าง ให้ถือว่าเป็นตัวชี้นำทิศทางมากกว่าค่าที่แน่นอน

โปรดพิจารณาว่าการคำนวณเมตริกจะอิงจากการถอดความข้อความเมื่อคุณตีความเมตริก ควรหลีกเลี่ยงการสรุปเกี่ยวกับลักษณะการทำงานที่ส่วนใหญ่เกิดขึ้นนอกข้อความ เช่น หัวข้อและเครื่องมือ

โมเดล AI อาจจัดประเภทเซสชันผิดพลาด ผลลัพธ์โดยรวมโดยทั่วไปมีความถูกต้อง เซสชันที่ไม่ตรงกับประเภทที่กำหนดไว้จะถูกจัดอยู่ในประเภทสำรอง (อื่นๆ) หากผลการทดสอบไม่ตรงกับผลลัพธ์ที่คาดไว้ คุณสามารถอัปเดตคำอธิบายเมตริกและคำจำกัดความของประเภทได้

หากคุณเปลี่ยนคำแนะนำหรือการกำหนดค่าของเอเจนต์อย่างมีนัยสำคัญหลังจากกำหนดเมตริก เมตริกอาจไม่สะท้อนถึงลักษณะการทำงานที่อัปเดตของเอเจนต์อย่างถูกต้องอีกต่อไป ตรวจสอบเมตริกที่กำหนดเองของตนเองหลังจากทำการเปลี่ยนแปลงที่สำคัญกับเอเจนต์

มีการป้องกันอะไรบ้างสำหรับเมตริกแบบกำหนดเองใน Copilot Studio สำหรับ AI ที่รับผิดชอบ

ผู้สร้างและผู้ดูแลระบบเอเจนต์เท่านั้นที่สามารถเข้าถึงผลลัพธ์เมตริกที่กำหนดเองได้ ผู้ใช้ของตัวแทนไม่มีสิทธิ์เข้าถึงผลการวิเคราะห์

คุณตรวจสอบและอนุมัติเกณฑ์ชี้วัดที่กําหนดเองทั้งหมดก่อนบันทึก ในระหว่างการกำหนดเมตริก คุณจะทดสอบเมตริกกับข้อมูลเซสชันตัวอย่าง และตรวจสอบผลลัพธ์แต่ละรายการและการให้เหตุผลของแบบจำลอง หากผลลัพธ์ไม่เป็นไปตามความคาดหวัง คุณสามารถอัปเดตหรือละทิ้งเมตริกได้ จะไม่นำตัวชี้วัดไปใช้จนกว่าคุณจะยืนยันอย่างชัดเจน

พร้อมท์ที่สร้างโดย AI ที่ใช้ในการจําแนกเซสชันจะปรากฏให้คุณเห็นใน UI ดังนั้นคุณจึงเข้าใจว่าโมเดลตีความคําจํากัดความเมตริกของคุณอย่างไร คุณสามารถแก้ไขหรือลบเกณฑ์ชี้วัดที่กำหนดเองได้ทุกเมื่อ

ในบางครั้ง การจัดประเภทเซสชันแต่ละรายการอาจมีความคลาดเคลื่อน ผลลัพธ์ควรพิจารณาในภาพรวมมากกว่าการดูในระดับแต่ละเซสชัน

เนื้อหาที่เกี่ยวข้อง

• การวิเคราะห์
• คำถามที่ถามบ่อยสำหรับคำตอบที่สร้างโดยอัตโนมัติ