การกํากับดูแลของมนุษย์ในการใช้คอมพิวเตอร์

หมายเหตุ

ฟีเจอร์ในบทความนี้ขับเคลื่อนด้วยฮาร์เนสมาตรฐาน ซึ่งใช้ตัวเลือกการเรียกเก็บเงินที่อธิบายไว้ใน การอนุญาตใช้งาน สําหรับตัวแทนที่ขับเคลื่อนด้วยฮาร์เนสมาตรฐาน เรียนรู้วิธีเข้าถึงฟีเจอร์มาตรฐานใน Access standard agent และ agent flows

เมื่อคุณใช้การกํากับดูแลของมนุษย์ เอเจนต์การใช้คอมพิวเตอร์จะเลื่อนระดับให้กับบุคคลที่คุณกําหนดค่าในการตั้งค่าการกํากับดูแลของมนุษย์เมื่อจําเป็นต้องยืนยันหรือข้อมูลเพิ่มเติม

หมายเหตุ

เอเจนต์การใช้คอมพิวเตอร์อาจพบการโจมตีด้วยการแทรกพร้อมท์ ซึ่งคำแนะนำที่ซ่อนอยู่ในสกรีนช็อต หน้าเว็บ หรืออินพุตอื่นๆ พยายามที่จะส่งผลกระทบต่อการดำเนินการในรูปแบบที่ไม่ได้ตั้งใจ เพื่อลดความเสี่ยงนี้ ให้ดำเนินการเอเจนต์เหล่านี้ภายในสภาพแวดล้อมที่น่าเชื่อถือ แยกจากกัน และใช้การตรวจสอบความถูกต้องที่มีประสิทธิภาพก่อนที่จะดำเนินการคำแนะนำใดๆ

รองรับคุณสมบัติตามรุ่น

ตารางต่อไปนี้แสดงรายการรุ่นที่สนับสนุนคุณลักษณะการกํากับดูแลของมนุษย์

ผู้ให้บริการโมเดล เวอร์ชัน สถานะ สนับสนุนการกํากับดูแลของมนุษย์
Azure OpenAI คอมพิวเตอร์ OpenAI ด้วยโปรแกรม Agent V1 เกษียณอายุ ใช่
Azure OpenAI ตัวแทนผู้ใช้คอมพิวเตอร์ (CUA) ใช้งานอยู่ ใช่
Anthropic ซอนเน็ท Claude 4.5 ใช้งานอยู่ ใช่

ตรวจสอบกิจกรรมของเอเจนต์และการใช้คอมพิวเตอร์

ในระหว่างการทํางาน เมื่อเอเจนต์ที่ใช้คอมพิวเตอร์ต้องการการยืนยันหรือข้อมูลเพิ่มเติม สามารถส่งคําขอตรวจสอบไปยังผู้ตรวจสอบมนุษย์ที่ตั้งค่าไว้ผ่านอีเมล Outlook นอกจากนี้ยังสามารถแสดงการ์ดตรวจสอบแบบอินไลน์ในแผงกิจกรรมการใช้งานคอมพิวเตอร์ขั้นสูง

พฤติกรรมโมเดล AI แบบความน่าจะเป็นจะกระตุ้นให้มีการขอตรวจสอบจากมนุษย์ พฤติกรรมนี้หมายความว่าโมเดลอาจไม่กระตุ้นคําขอเหล่านี้ในทุกสถานการณ์ที่บุคคลต้องการหยุดชั่วคราว และอาจกระตุ้นคําขอเหล่านี้เมื่อไม่จําเป็นต้องหยุดพัก อย่าพึ่งพาการตรวจสอบหรือคําขอชี้แจงจากมนุษย์เป็นมาตรการป้องกันหรือรับประกันว่าระบบจะขอข้อมูลจากมนุษย์ก่อนดําเนินการเสมอ

หมายเหตุ

  • เฉพาะผู้สร้างเครื่องมือใช้งานคอมพิวเตอร์เท่านั้นที่ได้รับคําขอตรวจสอบจากมนุษย์และสามารถเข้าถึงบันทึกที่ละเอียดผ่านแผงกิจกรรมการใช้งานคอมพิวเตอร์ขั้นสูง หากคุณเลือก ข้อมูล รับรองผู้ใช้ปลายทาง ในการตั้งค่าเครื่อง ผู้ที่ตั้งค่าการเชื่อมต่อเดิมจะได้รับคําขอเหล่านี้ แต่ต้องเป็นผู้ตรวจสอบมนุษย์ที่ได้รับมอบหมายด้วย
  • หากต้องการตรวจสอบคําขอตรวจสอบโดยมนุษย์ในแผงกิจกรรมของเอเจนต์ที่ใช้คอมพิวเตอร์ในแผนที่กิจกรรมของเอเจนต์ คุณต้องเปิดใช้งาน การบันทึกการใช้งานคอมพิวเตอร์ขั้นสูง ในสภาพแวดล้อมของคุณ ถ้าประสบการณ์กิจกรรมการใช้คอมพิวเตอร์ขั้นสูงไม่ปรากฏในแผนผังกิจกรรม ผู้ดูแลระบบของคุณอาจปิดใช้งานคุณลักษณะนี้สำหรับสภาพแวดล้อมของคุณ

ตารางต่อไปนี้แสดงข้อมูลหลักที่รวมอยู่ในคำขออีเมลการตรวจสอบโดยมนุษย์:

ฟิลด์ คำอธิบาย
เอเจนต์ที่ใช้เครื่องมือ ชื่อของเอเจนต์ Copilot Studio
เครื่องมือการใช้คอมพิวเตอร์ ชื่อเครื่องมือคอมพิวเตอร์ที่ใช้กระตุ้นคำขอ
การสนทนา การเชื่อมโยงลึกไปยังกิจกรรมของเอเจนต์ซึ่งเครื่องมือการใช้คอมพิวเตอร์กําลังทํางานอยู่
คำขอหมดเวลา วันและเวลาที่คําขอหมดอายุ
ส่งคำขอโดย ผู้สร้าง (เจ้าของการเชื่อมต่อ) ของเครื่องมือการใช้คอมพิวเตอร์
ระบุข้อมูลที่ขาดหายไป กล่องข้อความสําหรับการตอบสนองเพื่อส่งไปยังเครื่องมือการใช้คอมพิวเตอร์
ส่ง ปุ่มสําหรับส่งข้อความตอบกลับที่ป้อน สําหรับคําขอยืนยัน ให้พิมพ์ ใช่ เพื่อยืนยัน หรือ ไม่ เพื่อปฏิเสธ

ตอบสนองต่อคําขอการตรวจสอบโดยมนุษย์

เพื่อตอบสนองต่อคําขอตรวจสอบของมนุษย์ คุณสามารถตอบกลับ ทางอีเมล หรือแบบ อินไลน์ โดยใช้แผงกิจกรรมการใช้คอมพิวเตอร์ในแผนที่กิจกรรมของตัวแทนได้ การตอบกลับแบบอินไลน์จําเป็นต้องเปิดใช้งาน การบันทึกการใช้งานคอมพิวเตอร์ขั้นสูง ในสภาพแวดล้อม ในทั้งสองกรณี ถ้าคุณไม่มีการตอบกลับ เวิร์กโฟลว์ยังคงหยุดชั่วคราวและจะหยุดโดยอัตโนมัติเมื่อหมดเวลาที่ระบุในอีเมล

สำคัญ

ระบบการกำกับดูแลของมนุษย์จะขึ้นอยู่กับพฤติกรรมของแบบจำลอง AI เชิงความน่าจะเป็น แม้ว่าระบบอาจมีคำถามระบบ และข้อจำกัดอื่น ๆ แต่บางครั้งอาจสร้างการขอคำชี้แจงที่ไม่จำเป็น ซึ่งอาจล้มเหลวในการทริกเกอร์เมื่อมีการคาดหวัง หรืออาจขอข้อมูลที่ไม่ควรให้ในบริบทที่ระบุ รวมถึงข้อมูลที่อาจละเอียดอ่อน

ดังนั้น ผู้ตรวจสอบควรใช้วิจารณญาณในการตอบสนองคําขอควบคุมดูแลจากมนุษย์ และไม่ควรส่งข้อมูลที่ละเอียดอ่อน เช่น ชื่อผู้ใช้ รหัสผ่าน รหัส PIN ข้อมูลบัตรเครดิต หรือหมายเลขประกันสังคม ขึ้นอยู่กับการกําหนดค่าขององค์กรคุณ การตอบกลับคําขอตรวจสอบโดยมนุษย์อาจคงอยู่ในสภาพแวดล้อม Dataverse หรือบันทึกการตรวจสอบ Purview และอาจมองเห็นได้โดยผู้ใช้ที่ได้รับอนุญาตภายในองค์กรของคุณ

ตอบกลับทางอีเมล

อีเมลคําขอตรวจสอบโดยมนุษย์มีรายละเอียดเกี่ยวกับตัวแทน เครื่องมือ และการสนทนา พร้อมกับข้อมูลเฉพาะหรือการชี้แจงที่ถูกร้องขอ ตรวจสอบคําขออย่างรอบคอบเพื่อตรวจสอบว่าคุณมีข้อมูลเพียงพอที่จะตอบสนองหรือไม่ ถ้าเหมาะสม ใส่การตอบกลับของคุณในเขตข้อมูลข้อความที่กําหนด และเลือกส่ง

ตอบกลับแบบอินไลน์

  1. เลือกลิงก์ การสนทนา ในอีเมลคําขอตรวจสอบของมนุษย์เพื่อเปิดแผนที่กิจกรรมของตัวแทน
  2. ค้นหาการดําเนินการการใช้คอมพิวเตอร์ที่ตรงกับเครื่องมือการใช้คอมพิวเตอร์ที่กําหนดค่าไว้ และเปิดแผงด้านข้าง
  3. ในส่วน กิจกรรม ของแผงด้านข้าง ให้ตรวจสอบรายการกิจกรรม กิจกรรมที่รอการตรวจสอบจากมนุษย์มีการทําเครื่องหมายเป็นตัวบ่งชี้การรอถัดจากการตอบสนองแบบจําลอง
  4. ตรวจสอบคําขออย่างรอบคอบและตรวจสอบว่าคุณมีข้อมูลเพียงพอที่จะตอบสนองหรือไม่ ถ้าเหมาะสม ใส่การตอบกลับของคุณในเขตข้อมูลข้อความที่กําหนด และเลือกส่ง

ปิดการควบคุมโดยมนุษย์

สำคัญ

การปิดการควบคุมโดยมนุษย์ไม่ได้ทําให้ตัวแทนที่ใช้คอมพิวเตอร์มีความเป็นอิสระเต็มที่ เอเจนต์ยังคงหยุดชั่วคราวเมื่อต้องการการยืนยันหรือคําชี้แจง หากไม่มีการตั้งค่าผู้ตรวจสอบ คําขอเหล่านี้จะไม่มีที่ให้ส่งต่อ ดังนั้นเซสชันจะล้มเหลวเมื่อเอเจนต์หยุดชั่วคราว กําหนดค่าผู้ตรวจสอบอย่างน้อยหนึ่งคน

หากต้องการปิดการควบคุมโดยมนุษย์ ให้ไปที่ส่วนการควบคุมดูแลของมนุษย์ในเครื่องมือใช้คอมพิวเตอร์ และลบผู้ตรวจสอบทั้งหมดออกจากรายการ มอบหมายคําขอให้ทํา

คําถามที่ถามบ่อยสําหรับการใช้เครื่องมือคอมพิวเตอร์