การตรวจสอบโดยมนุษย์สำหรับระบบอัตโนมัติที่ใช้พร้อมท์

บทความนี้เน้นย้ำถึงบทบาทที่สำคัญของการตรวจสอบโดยมนุษย์ในการปรับใช้งานคุณลักษณะ สร้างข้อความด้วย GPT ใน Power Automate คุณลักษณะนี้ใช้โมเดล การสร้างข้อความ จาก AI Builder ซึ่งขับเคลื่อนโดย Azure OpenAI Service แม้ว่าโมเดลเหล่านี้จะมีประสิทธิภาพสูง แต่บางครั้งโมเดลเหล่านี้สามารถสร้างข้อมูลที่ทำให้เข้าใจผิดหรือเป็นการปลอมแปลงได้ และมีแนวโน้มที่จะกระตุ้นให้เกิดการโจมตีด้วยการใส่พร้อมท์

สำคัญ

• AI Builder พร้อมท์กำลังทำงานบนแบบจำลอง GPT-3.5 Turbo ที่ขับเคลื่อนโดย การบริการ Azure OpenAI
• ความสามารถนี้ จำกัดเฉพาะบางภูมิภาค
• ความสามารถนี้อาจขึ้นอยู่กับขีดจำกัดการใช้งานหรือการควบคุมปริมาณความจุ

การโจมตีด้วยการใส่พร้อมท์

การโจมตีด้วยการใส่พร้อมท์เกิดขึ้นเมื่อบุคคลที่สามใช้ประโยชน์จากความไว้วางใจโดยธรรมชาติของโมเดลในแหล่งอินพุตทั้งหมด ผู้โจมตีจะใส่พร้อมท์ลงในเนื้อหาที่ผู้ใช้ที่ถูกต้องตามกฎหมายขอให้โซลูชัน AI โต้ตอบด้วย ซึ่งนำไปสู่การเปลี่ยนแปลงในผลลัพธ์ของโซลูชัน AI และอาจรวมถึงการดำเนินการด้วย

ตัวอย่างเช่น พิจารณาสถานการณ์ที่นักพัฒนาพลเมืองใช้การดำเนินการ สร้างข้อความด้วย GPT เพื่อกำหนดคำตอบต่อการร้องเรียนของลูกค้าที่รวบรวมจากแพลตฟอร์มต่างๆ เช่น อีเมล โซเชียลมีเดีย หรือฟอรัม ผู้โจมตีสามารถใส่พร้อมท์ลงในเนื้อหาจากแหล่งใดแหล่งหนึ่งเหล่านี้ สถานการณ์นี้อาจหลอกลวงโมเดลให้สร้างการตอบที่แตกต่างไปจากที่ตั้งใจไว้ คำตอบอาจไม่เหมาะสม ไม่ถูกต้อง หรือเป็นอันตราย ข้อมูลที่ไม่ถูกต้องที่ส่งไปยังลูกค้าอาจส่งผลเสียต่อชื่อเสียงของบริษัทและความสัมพันธ์กับลูกค้า

การปลอมแปลงในโมเดล AI

การปลอมแปลง หรือที่เรียกว่า การสร้างผลลัพธ์ที่ไม่มีจริงเป็นอีกหนึ่งความท้าทายที่โมเดล AI ต้องเผชิญ ซึ่งรวมถึงโมเดลการสร้างข้อความ การปลอมแปลงนี้เกิดขึ้นเมื่อโมเดล AI สร้างข้อมูลที่ไม่ได้อิงอยู่กับอินพุตที่ให้มาหรือข้อมูลที่มีอยู่แล้ว โดยพื้นฐานแล้วเป็นข้อมูลที่มี การประดิษฐ์ หรือ ภาพหลอน

ตัวอย่างเช่น หากโมเดล AI ถูกขอให้สร้างบทสรุปของเหตุการณ์ทางประวัติศาสตร์ตามข้อความที่กำหนด โมเดล AI ก็อาจมีรายละเอียดหรือเหตุการณ์ที่ไม่ได้กล่าวถึงในข้อความต้นฉบับ ตัวอย่างเช่น โฟลว์จะสร้างบทสรุปของการประชุมตามการถอดความของการบันทึกเสียง ข้อมูลอินพุตประกอบด้วยรายละเอียดเกี่ยวกับผู้เข้าร่วม บทความที่กล่าวถึง และการตัดสินใจ อย่างไรก็ตาม โมเดลอาจสร้างบทสรุปที่รวมรายการการดำเนินการหรือการตัดสินใจที่ไม่เคยมีการอภิปรายในการประชุม สถานการณ์นี้เป็นตัวอย่างของการประดิษฐ์ โดยที่โมเดลได้ สร้างผลลัพธ์ที่ไม่มีจริง ของข้อมูลที่ไม่มีอยู่ในข้อมูลอินพุต

หากต้องการลดความเสี่ยงของการประดิษฐ์ ให้นำแนวทางปฏิบัติของ AI ที่รับผิดชอบมาใช้ ซึ่งรวมถึงการทดสอบพร้อมท์และโฟลว์อย่างเข้มงวด โดยให้ข้อมูลพื้นฐานแก่โมเดลมากที่สุดเท่าที่จะเป็นไปได้ และในที่สุดก็นำระบบที่แข็งแกร่งสำหรับการกำกับดูแลของมนุษย์ไปใช้ได้

จัดการความเสี่ยงผ่านแนวทางปฏิบัติของ AI ที่รับผิดชอบ

เราสนับสนุนแนวทางปฏิบัติของ AI ที่มีความรับผิดชอบเพื่อลดความเสี่ยงเหล่านี้ แม้ว่าจะมีกลยุทธ์ในการกลั่นกรองเนื้อหาที่สร้างโดยโมเดล แต่การจัดการแนวโน้มของโมเดลในการสร้างการตอบที่เป็นการประดิษฐ์หรือยอมจำนนต่อการโจมตีด้วยการใส่พร้อมท์ยังคงเป็นความท้าทายที่ซับซ้อน เรารับทราบความเสี่ยงเหล่านี้และยืนยันอีกครั้งถึงความมุ่งมั่นของเราในการกำกับดูแลและควบคุมของมนุษย์

ด้วยความตระหนักถึงความจำเป็นของระบบอัตโนมัติที่ราบรื่น เรากำลังปรับปรุงระบบความปลอดภัยของเราในเชิงรุกและแสวงหาความเข้าใจที่ลึกซึ้งยิ่งขึ้นเกี่ยวกับความท้าทายเหล่านี้ วัตถุประสงค์ของเราคือ การปรับปรุงโมเดลการสร้างข้อความเพิ่มขึ้นด้วยมาตรการความปลอดภัยที่เหมาะสม ซึ่งสอดคล้องกับหลักการ AI ที่รับผิดชอบโดยการออกแบบ โดยคืนการควบคุมให้กับนักพัฒนาในทุกเมื่อที่เป็นไปได้

ดูเพิ่มเติม

AI ที่รับผิดชอบ - คำถามที่ถามบ่อย