การตรวจสอบโดยมนุษย์สำหรับระบบอัตโนมัติที่ใช้พร้อมท์

บทความนี้อธิบายบทบาทที่สำคัญของการตรวจสอบโดยมนุษย์เมื่อเรียกใช้พร้อมท์ใน Power Automate พร้อมท์ใช้โมเดล AI สร้างสรรค์ที่ขับเคลื่อนโดยบริการ Azure OpenAI แม้ว่าโมเดลเหล่านี้จะมีประสิทธิภาพสูง แต่บางครั้งโมเดลเหล่านี้สามารถสร้างข้อมูลที่ทำให้เข้าใจผิดหรือเป็นการปลอมแปลงได้ และมีแนวโน้มที่จะกระตุ้นให้เกิดการโจมตีด้วยการใส่พร้อมท์

สำคัญ

• พร้อมท์ AI Builder ทำงานในโมเดล GPT ที่ขับเคลื่อนโดย บริการ Azure OpenAI
• ความสามารถนี้ จำกัดเฉพาะบางภูมิภาค
• ความสามารถนี้อาจขึ้นอยู่กับขีดจำกัดการใช้งานหรือการควบคุมปริมาณความจุ

การโจมตีด้วยการใส่พร้อมท์

การโจมตีด้วยการใส่พร้อมท์เกิดขึ้นเมื่อบุคคลที่สามใช้ประโยชน์จากความไว้วางใจโดยธรรมชาติของโมเดลในแหล่งอินพุตทั้งหมด ผู้โจมตีจะใส่พร้อมท์ลงในเนื้อหาที่ผู้ใช้ที่ถูกต้องตามกฎหมายขอให้โซลูชัน AI โต้ตอบด้วย ซึ่งนำไปสู่การเปลี่ยนแปลงในผลลัพธ์ของโซลูชัน AI และอาจรวมถึงการดำเนินการด้วย

พิจารณาสถานการณ์ที่นักพัฒนาพลเมืองใช้พร้อมท์เพื่อสร้างการตอบข้อร้องเรียนของลูกค้าที่รวบรวมจากแพลตฟอร์มต่างๆ เช่น อีเมล โซเชียลมีเดีย หรือฟอรัม ผู้โจมตีอาจแทรกพร้อมท์ลงในเนื้อหาจากแหล่งใดแหล่งหนึ่งเหล่านี้ โดยหลอกลวงโมเดลให้สร้างการตอบที่ไม่ได้ตั้งใจ การตอบอาจไม่เหมาะสม ไม่ถูกต้อง หรือเป็นอันตราย การส่งข้อมูลที่ไม่ถูกต้องให้กับลูกค้าอาจส่งผลเสียต่อชื่อเสียงของบริษัทและความสัมพันธ์กับลูกค้า

การปลอมแปลงในโมเดล AI

การประดิษฐ์หรือที่เรียกว่าการประดิษฐ์ข้อมูลเป็นอีกหนึ่งความท้าทายที่โมเดล AI ต้องเผชิญ รวมถึงโมเดล AI สร้างสรรค์ ที่ใช้โดยพร้อมท์ การปลอมแปลงนี้เกิดขึ้นเมื่อโมเดล AI สร้างข้อมูลที่ไม่ได้อิงอยู่กับอินพุตที่ให้มาหรือข้อมูลที่มีอยู่แล้ว โดยพื้นฐานแล้วเป็นข้อมูลที่มี การประดิษฐ์ หรือ ภาพหลอน

ตัวอย่างเช่น หากโมเดล AI ถูกขอให้สร้างบทสรุปของเหตุการณ์ทางประวัติศาสตร์ตามข้อความที่กำหนด โมเดล AI ก็อาจมีรายละเอียดหรือเหตุการณ์ที่ไม่ได้กล่าวถึงในข้อความต้นฉบับ ตัวอย่างเช่น โฟลว์ระบบคลาวด์จะสร้างบทสรุปของการประชุมโดยยึดตามการถอดเสียงของการบันทึก ข้อมูลอินพุตประกอบด้วยรายละเอียดเกี่ยวกับผู้เข้าร่วม บทความที่กล่าวถึง และการตัดสินใจ อย่างไรก็ตาม โมเดลอาจสร้างบทสรุปที่รวมรายการการดำเนินการหรือการตัดสินใจที่ไม่เคยมีการอภิปรายในการประชุม สถานการณ์นี้เป็นตัวอย่างของการประดิษฐ์ โดยที่โมเดลได้ สร้างผลลัพธ์ที่ไม่มีจริง ของข้อมูลที่ไม่มีอยู่ในข้อมูลอินพุต

หากต้องการลดความเสี่ยงของการประดิษฐ์ ให้นำแนวทางปฏิบัติของ AI ที่รับผิดชอบมาใช้ รวมถึงการทดสอบคำสั่งและโฟลว์ระบบคลาวด์อย่างเข้มงวด การให้ข้อมูลพื้นฐานที่จำเป็นแก่โมเดลให้มากที่สุดเท่าที่จะเป็นไปได้ และในที่สุดก็ใช้ระบบที่แข็งแกร่งสำหรับการกำกับดูแลของมนุษย์

จัดการความเสี่ยงผ่านแนวทางปฏิบัติของ AI ที่รับผิดชอบ

เราสนับสนุนแนวทางปฏิบัติของ AI ที่มีความรับผิดชอบเพื่อลดความเสี่ยงเหล่านี้ แม้ว่าจะมีกลยุทธ์ในการกลั่นกรองเนื้อหาที่สร้างโดยโมเดล แต่การจัดการแนวโน้มของโมเดลในการสร้างการตอบที่เป็นการประดิษฐ์หรือยอมจำนนต่อการโจมตีด้วยการใส่พร้อมท์ยังคงเป็นความท้าทายที่ซับซ้อน เรารับทราบความเสี่ยงเหล่านี้และยืนยันอีกครั้งถึงความมุ่งมั่นของเราในการกำกับดูแลและควบคุมของมนุษย์

ด้วยความตระหนักถึงความจำเป็นของระบบอัตโนมัติที่ราบรื่น เรากำลังปรับปรุงระบบความปลอดภัยของเราในเชิงรุกและแสวงหาความเข้าใจที่ลึกซึ้งยิ่งขึ้นเกี่ยวกับความท้าทายเหล่านี้ วัตถุประสงค์ของเราคือการปรับแต่งโมเดล AI สร้างสรรค์ที่ใช้โดยพร้อมท์ด้วยมาตรการความปลอดภัยที่เหมาะสม ซึ่งสอดคล้องกับหลักการของ AI ที่รับผิดชอบตามการออกแบบ โดยคืนการควบคุมให้กับนักพัฒนาในทุกที่ที่ทำได้

ข้อมูลที่เกี่ยวข้อง

คำถามที่ถามบ่อยเกี่ยวกับความสามารถในการสร้างข้อความและพร้อมท์